Ovirt iSCSI и Centos 7

Ответить
QqQ
Сообщения: 4
Зарегистрирован: 06 ноя 2018 04:47

Ovirt iSCSI и Centos 7

Сообщение QqQ » 06 ноя 2018 05:51

Добрый день, недавно решили перейти на ISCSI за места NFS(при подключении СХД на Centos 7) и возникла такая проблема:
Развернули мы значит таргет на центосе, настроили и он даже подключился в овирту. Однако после первой перезагрузке центоса, блочное устройство а именно raid10 попросту отвалился и заново не подключается, пишет что "устройство уже используется". Начали разбираться и оказалось, что при подключении таргета к овирту, последний создал несколько LVM и они не дают подключить блочное устройство обратно к таргету.
Как решить данную проблему?
Вот настройка iSCSI и вывод lsblk до перезагрузки Centos:

Код: Выделить всё

/> ls
o- / ..................................................................................................... [...]
  o- backstores .......................................................................................... [...]
  | o- block .............................................................................. [Storage Objects: 1]
  | | o- ovirt-storage ............................................... [/dev/md0 (18.2TiB) write-thru activated]
  | |   o- alua ............................................................................... [ALUA Groups: 1]
  | |     o- default_tg_pt_gp ................................................... [ALUA state: Active/optimized]
  | o- fileio ............................................................................. [Storage Objects: 0]
  | o- pscsi .............................................................................. [Storage Objects: 0]
  | o- ramdisk ............................................................................ [Storage Objects: 0]
  o- iscsi ........................................................................................ [Targets: 1]
  | o- iqn.2018-10.data96-01.123.ru:cc55c6f325fc ...................................... [TPGs: 1]
  |   o- tpg1 ........................................................................... [no-gen-acls, no-auth]
  |     o- acls ...................................................................................... [ACLs: 5]
  |     | o- iqn.2018-10.data96-01.123.ru:cc55c6f325fc ......................... [Mapped LUNs: 1]
  |     | | o- mapped_lun0 ..................................................... [lun0 block/ovirt-storage (rw)]
  |     | o- iqn.2018-10.node96-01.123.ru:237fd777795a ......................... [Mapped LUNs: 1]
  |     | | o- mapped_lun0 ..................................................... [lun0 block/ovirt-storage (rw)]
  |     | o- iqn.2018-10.node96-02.123.ru:b72906ab949e ......................... [Mapped LUNs: 1]
  |     | | o- mapped_lun0 ..................................................... [lun0 block/ovirt-storage (rw)]
  |     | o- iqn.2018-10.node96-03.123.ru:176fae3bfed2 ......................... [Mapped LUNs: 1]
  |     | | o- mapped_lun0 ..................................................... [lun0 block/ovirt-storage (rw)]
  |     | o- iqn.2018-10.ovirt96.123.ru:f5ac17c4be9e ........................... [Mapped LUNs: 1]
  |     |   o- mapped_lun0 ..................................................... [lun0 block/ovirt-storage (rw)]
  |     o- luns ...................................................................................... [LUNs: 1]
  |     | o- lun0 .......................................... [block/ovirt-storage (/dev/md0) (default_tg_pt_gp)]
  |     o- portals ................................................................................ [Portals: 1]
  |       o- 10.10.10.133:3260 ........................................................................... [OK]
  o- loopback ..................................................................................... [Targets: 0]
lsblk:

Код: Выделить всё

NAME            MAJ:MIN RM   SIZE RO TYPE   MOUNTPOINT
sda               8:0    0   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
sdb               8:16   0   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
sdc               8:32   0   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
sdd               8:48   0   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
sde               8:64   0   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
sdf               8:80   0   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
sdg               8:96   1   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
sdh               8:112  1   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
sdi               8:128  1   3.7T  0 disk
└─md0             9:0    0  18.2T  0 raid10
После перезагрузки:

Код: Выделить всё

o- / .......................................................................................................... [...]
  o- backstores ............................................................................................... [...]
  | o- block ................................................................................... [Storage Objects: 0]
  | o- fileio .................................................................................. [Storage Objects: 0]
  | o- pscsi ................................................................................... [Storage Objects: 0]
  | o- ramdisk ................................................................................. [Storage Objects: 0]
  o- iscsi ............................................................................................. [Targets: 1]
  | o- iqn.2018-10.data96-01.123.ru:cc55c6f325fc ........................................... [TPGs: 1]
  |   o- tpg1 ................................................................................ [no-gen-acls, no-auth]
  |     o- acls ........................................................................................... [ACLs: 5]
  |     | o- iqn.2018-10.data96-01.123.ru:cc55c6f325fc .............................. [Mapped LUNs: 0]
  |     | o- iqn.2018-10.node96-01.123.ru:237fd777795a .............................. [Mapped LUNs: 0]
  |     | o- iqn.2018-10.node96-02.123.ru:b72906ab949e .............................. [Mapped LUNs: 0]
  |     | o- iqn.2018-10.node96-03.123.ru:176fae3bfed2 .............................. [Mapped LUNs: 0]
  |     | o- iqn.2018-10.ovirt96.123.ru:f5ac17c4be9e ................................ [Mapped LUNs: 0]
  |     o- luns ........................................................................................... [LUNs: 0]
  |     o- portals ..................................................................................... [Portals: 1]
  |       o- 10.10.10.133:3260 ................................................................................ [OK]
  o- loopback .......................................................................................... [Targets: 0]
  
lsblk:

Код: Выделить всё

NAME                                                                                  MAJ:MIN RM   SIZE RO TYPE   MOUNTPOINT
sda                                                                                     8:0    0   3.7T  0 disk
└─md0                                                                                   9:0    0  18.2T  0 raid10
  ├─eebdab0a--323b--4bf8--8185--845682fd86cf-metadata                                 253:2    0   512M  0 lvm
  ├─eebdab0a--323b--4bf8--8185--845682fd86cf-outbox                                   253:3    0   128M  0 lvm
  ├─eebdab0a--323b--4bf8--8185--845682fd86cf-xleases                                  253:4    0     1G  0 lvm
  ├─eebdab0a--323b--4bf8--8185--845682fd86cf-leases                                   253:5    0     2G  0 lvm
  ├─eebdab0a--323b--4bf8--8185--845682fd86cf-ids                                      253:6    0   128M  0 lvm
  ├─eebdab0a--323b--4bf8--8185--845682fd86cf-inbox                                    253:7    0   128M  0 lvm
  ├─eebdab0a--323b--4bf8--8185--845682fd86cf-master                                   253:8    0     1G  0 lvm
  ├─eebdab0a--323b--4bf8--8185--845682fd86cf-b28da8ab--f3a9--4796--a2b0--40406b69ef6f 253:9    0   128M  0 lvm
  └─eebdab0a--323b--4bf8--8185--845682fd86cf-4e30da68--0c4c--4e89--95ce--de549a1f1b88 253:10   0   128M  0 lvm
 . . .
 
и в каждом sd[a-i] есть такие записи.

Аватара пользователя
Dan Yasny
Дорогой гость
Сообщения: 83
Зарегистрирован: 07 окт 2016 14:17
Контактная информация:

Re: Ovirt iSCSI и Centos 7

Сообщение Dan Yasny » 09 ноя 2018 22:31

Интересный глюк - после рестарта md0 пропал как backing store, но информация все еще на месте. я бы зарепортил в багзиллу, плюс наверное перестать использовать md.

QqQ
Сообщения: 4
Зарегистрирован: 06 ноя 2018 04:47

Re: Ovirt iSCSI и Centos 7

Сообщение QqQ » 14 ноя 2018 06:09

Тут абсолютно без разницы, какой тип хранилки использовать, он в любом случае создает vlm'ы на ней. Видимо это какая-то фишка работы самого Ovirt'a, но только описания работы ISCSi я так и не нашёл. :(

Аватара пользователя
Dan Yasny
Дорогой гость
Сообщения: 83
Зарегистрирован: 07 окт 2016 14:17
Контактная информация:

Re: Ovirt iSCSI и Centos 7

Сообщение Dan Yasny » 14 ноя 2018 13:33

Ovirt не делает ничего такого что не делал бы обычный линукс. Он просто создает lvm на lunах которые получает

QqQ
Сообщения: 4
Зарегистрирован: 06 ноя 2018 04:47

Re: Ovirt iSCSI и Centos 7

Сообщение QqQ » 15 ноя 2018 03:24

Так для чего используются данные VLM и почему из-за них блочное устройство считается "затяным", и его нельзя опубликовать?

Аватара пользователя
Dan Yasny
Дорогой гость
Сообщения: 83
Зарегистрирован: 07 окт 2016 14:17
Контактная информация:

Re: Ovirt iSCSI и Centos 7

Сообщение Dan Yasny » 15 ноя 2018 14:39

Перед тем как отформатировать новый LUN, овирт проверяет нет ли на нем чего либо, чтоб случайно не стереть лишнее. Если находит там LVM то сообщает об этом. Никакой магии

QqQ
Сообщения: 4
Зарегистрирован: 06 ноя 2018 04:47

Re: Ovirt iSCSI и Centos 7

Сообщение QqQ » 16 ноя 2018 05:05

Для чего используются созданные Ovirt'ом LVMы, которые он делает на хранилке подключенной по ISCSI ? - 1
Почему блочное устройство(на котором создались LVMы при мервом подключении) является занятым этими же LVMами и не публикуется после перезагрузки СХД? - 2

Аватара пользователя
Dan Yasny
Дорогой гость
Сообщения: 83
Зарегистрирован: 07 окт 2016 14:17
Контактная информация:

Re: Ovirt iSCSI и Centos 7

Сообщение Dan Yasny » 16 ноя 2018 15:17

LVM используется для всего. овирт не использует файловые системы на блочных устройствах.

PV = LUN
VG = Storage Domain
LV = VM disk, плюс несколько LV выделяются для метадаты.

Ответить

Вернуться в «oVirt»