Страница 1 из 1

Ovirt iSCSI и Centos 7

Добавлено: 06 ноя 2018 05:51
QqQ
Добрый день, недавно решили перейти на ISCSI за места NFS(при подключении СХД на Centos 7) и возникла такая проблема:
Развернули мы значит таргет на центосе, настроили и он даже подключился в овирту. Однако после первой перезагрузке центоса, блочное устройство а именно raid10 попросту отвалился и заново не подключается, пишет что "устройство уже используется". Начали разбираться и оказалось, что при подключении таргета к овирту, последний создал несколько LVM и они не дают подключить блочное устройство обратно к таргету.
Как решить данную проблему?
Вот настройка iSCSI и вывод lsblk до перезагрузки Centos:

Код: Выделить всё

/> ls
o- / ..................................................................................................... [...]
  o- backstores .......................................................................................... [...]
  | o- block .............................................................................. [Storage Objects: 1]
  | | o- ovirt-storage ............................................... [/dev/md0 (18.2TiB) write-thru activated]
  | |   o- alua ............................................................................... [ALUA Groups: 1]
  | |     o- default_tg_pt_gp ................................................... [ALUA state: Active/optimized]
  | o- fileio ............................................................................. [Storage Objects: 0]
  | o- pscsi .............................................................................. [Storage Objects: 0]
  | o- ramdisk ............................................................................ [Storage Objects: 0]
  o- iscsi ........................................................................................ [Targets: 1]
  | o- iqn.2018-10.data96-01.123.ru:cc55c6f325fc ...................................... [TPGs: 1]
  |   o- tpg1 ........................................................................... [no-gen-acls, no-auth]
  |     o- acls ...................................................................................... [ACLs: 5]
  |     | o- iqn.2018-10.data96-01.123.ru:cc55c6f325fc ......................... [Mapped LUNs: 1]
  |     | | o- mapped_lun0 ..................................................... [lun0 block/ovirt-storage (rw)]
  |     | o- iqn.2018-10.node96-01.123.ru:237fd777795a ......................... [Mapped LUNs: 1]
  |     | | o- mapped_lun0 ..................................................... [lun0 block/ovirt-storage (rw)]
  |     | o- iqn.2018-10.node96-02.123.ru:b72906ab949e ......................... [Mapped LUNs: 1]
  |     | | o- mapped_lun0 ..................................................... [lun0 block/ovirt-storage (rw)]
  |     | o- iqn.2018-10.node96-03.123.ru:176fae3bfed2 ......................... [Mapped LUNs: 1]
  |     | | o- mapped_lun0 ..................................................... [lun0 block/ovirt-storage (rw)]
  |     | o- iqn.2018-10.ovirt96.123.ru:f5ac17c4be9e ........................... [Mapped LUNs: 1]
  |     |   o- mapped_lun0 ..................................................... [lun0 block/ovirt-storage (rw)]
  |     o- luns ...................................................................................... [LUNs: 1]
  |     | o- lun0 .......................................... [block/ovirt-storage (/dev/md0) (default_tg_pt_gp)]
  |     o- portals ................................................................................ [Portals: 1]
  |       o- 10.10.10.133:3260 ........................................................................... [OK]
  o- loopback ..................................................................................... [Targets: 0]
lsblk:

Код: Выделить всё

NAME            MAJ:MIN RM   SIZE RO TYPE   MOUNTPOINT
sda               8:0    0   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
sdb               8:16   0   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
sdc               8:32   0   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
sdd               8:48   0   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
sde               8:64   0   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
sdf               8:80   0   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
sdg               8:96   1   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
sdh               8:112  1   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
sdi               8:128  1   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
После перезагрузки:

Код: Выделить всё

o- / .......................................................................................................... [...]
  o- backstores ............................................................................................... [...]
  | o- block ................................................................................... [Storage Objects: 0]
  | o- fileio .................................................................................. [Storage Objects: 0]
  | o- pscsi ................................................................................... [Storage Objects: 0]
  | o- ramdisk ................................................................................. [Storage Objects: 0]
  o- iscsi ............................................................................................. [Targets: 1]
  | o- iqn.2018-10.data96-01.123.ru:cc55c6f325fc ........................................... [TPGs: 1]
  |   o- tpg1 ................................................................................ [no-gen-acls, no-auth]
  |     o- acls ........................................................................................... [ACLs: 5]
  |     | o- iqn.2018-10.data96-01.123.ru:cc55c6f325fc .............................. [Mapped LUNs: 0]
  |     | o- iqn.2018-10.node96-01.123.ru:237fd777795a .............................. [Mapped LUNs: 0]
  |     | o- iqn.2018-10.node96-02.123.ru:b72906ab949e .............................. [Mapped LUNs: 0]
  |     | o- iqn.2018-10.node96-03.123.ru:176fae3bfed2 .............................. [Mapped LUNs: 0]
  |     | o- iqn.2018-10.ovirt96.123.ru:f5ac17c4be9e ................................ [Mapped LUNs: 0]
  |     o- luns ........................................................................................... [LUNs: 0]
  |     o- portals ..................................................................................... [Portals: 1]
  |       o- 10.10.10.133:3260 ................................................................................ [OK]
  o- loopback .......................................................................................... [Targets: 0]
  
lsblk:

Код: Выделить всё

NAME                                                                                  MAJ:MIN RM   SIZE RO TYPE   MOUNTPOINT
sda                                                                                     8:0    0   3.7T  0 disk
└─md0                                                                                   9:0    0  18.2T  0 raid10
  ├─eebdab0a--323b--4bf8--8185--845682fd86cf-metadata                                 253:2    0   512M  0 lvm
  ├─eebdab0a--323b--4bf8--8185--845682fd86cf-outbox                                   253:3    0   128M  0 lvm
  ├─eebdab0a--323b--4bf8--8185--845682fd86cf-xleases                                  253:4    0     1G  0 lvm
  ├─eebdab0a--323b--4bf8--8185--845682fd86cf-leases                                   253:5    0     2G  0 lvm
  ├─eebdab0a--323b--4bf8--8185--845682fd86cf-ids                                      253:6    0   128M  0 lvm
  ├─eebdab0a--323b--4bf8--8185--845682fd86cf-inbox                                    253:7    0   128M  0 lvm
  ├─eebdab0a--323b--4bf8--8185--845682fd86cf-master                                   253:8    0     1G  0 lvm
  ├─eebdab0a--323b--4bf8--8185--845682fd86cf-b28da8ab--f3a9--4796--a2b0--40406b69ef6f 253:9    0   128M  0 lvm
  └─eebdab0a--323b--4bf8--8185--845682fd86cf-4e30da68--0c4c--4e89--95ce--de549a1f1b88 253:10   0   128M  0 lvm
 . . .
 
и в каждом sd[a-i] есть такие записи.

Re: Ovirt iSCSI и Centos 7

Добавлено: 09 ноя 2018 22:31
Dan Yasny
Интересный глюк - после рестарта md0 пропал как backing store, но информация все еще на месте. я бы зарепортил в багзиллу, плюс наверное перестать использовать md.

Re: Ovirt iSCSI и Centos 7

Добавлено: 14 ноя 2018 06:09
QqQ
Тут абсолютно без разницы, какой тип хранилки использовать, он в любом случае создает vlm'ы на ней. Видимо это какая-то фишка работы самого Ovirt'a, но только описания работы ISCSi я так и не нашёл. :(

Re: Ovirt iSCSI и Centos 7

Добавлено: 14 ноя 2018 13:33
Dan Yasny
Ovirt не делает ничего такого что не делал бы обычный линукс. Он просто создает lvm на lunах которые получает

Re: Ovirt iSCSI и Centos 7

Добавлено: 15 ноя 2018 03:24
QqQ
Так для чего используются данные VLM и почему из-за них блочное устройство считается "затяным", и его нельзя опубликовать?

Re: Ovirt iSCSI и Centos 7

Добавлено: 15 ноя 2018 14:39
Dan Yasny
Перед тем как отформатировать новый LUN, овирт проверяет нет ли на нем чего либо, чтоб случайно не стереть лишнее. Если находит там LVM то сообщает об этом. Никакой магии

Re: Ovirt iSCSI и Centos 7

Добавлено: 16 ноя 2018 05:05
QqQ
Для чего используются созданные Ovirt'ом LVMы, которые он делает на хранилке подключенной по ISCSI ? - 1
Почему блочное устройство(на котором создались LVMы при мервом подключении) является занятым этими же LVMами и не публикуется после перезагрузки СХД? - 2

Re: Ovirt iSCSI и Centos 7

Добавлено: 16 ноя 2018 15:17
Dan Yasny
LVM используется для всего. овирт не использует файловые системы на блочных устройствах.

PV = LUN
VG = Storage Domain
LV = VM disk, плюс несколько LV выделяются для метадаты.