oVirt — часть 7 — GlusterFS

    2014-03-23 00:04 | Автор: jekader | Filed under: FedoraMD

    Описание настройки и использования GlusterFS в качестве распределённого хранилища данных


    Более подробные шаги установки (подразумеваем что oVirt и хосты уже установлены - если нет см. Прошлые видео):

    1) ставим необходимые пакеты на гипервизоры:
    # yum install glusterfs-server vdsm-gluster

    2) включаем сервис:
    # chkconfig glusterd on
    # service glusterd start

    3) отключаем (либо настраиваем) iptables:
    # chkconfig iptables off
    # service iptables off

    Подробный список портов тут:
    access.redhat.com/site/documentation/en-US/Red_Hat_Storage/2.1/html/Installation_Guide/chap-Installation_Guide-Planning-Port.html
    для oVirt не нужны порты NFS и CIFS

    4) после выведения хоста в Maintenance Mode, перезапускаем vdsm:
    # service vdsmd restart

    При желании ручной настройки glusterfs пользуемся статьёй:
    www.howtoforge.com/high-availability-storage-with-glusterfs-3.2.x-on-centos-6.3-automatic-file-replication-mirror-across-two-storage-servers

    При ошибках в правах доступа, монтируем volume вручную и меняем владельца:
    # mkdir /tmp/gluster
    # mount.glusterfs : /tmp/gluster
    # chown vdsm:kvm /tmp/gluster
    # umount /tmp/gluster

    1 Star2 Stars3 Stars4 Stars5 Stars (1 votes, average: 5,00 out of 5)
    Loading...

    Метки:

    14 комментариев »


    комментариев 14

    1. Руслан:

      Добрый день! Отличные видео-мануалы нашел на вашем сайте и очень этому рад. Были решены многие вопросы и многое почерпнул из них. Изучать oVirt начал совсем недавно, очень нравится, и есть вопрос, с которым разобраться самостоятельно я пока не в силах. В качестве тестовых компов у меня имеются в наличии:
      1.Intel Core 2 Duo E4500, 5 Gb DDR2
      2.AMD Phenom(tm) II X4 920, 8 Gb DDR2
      3.Intel(R) Core(TM) i5-2500, 8Gb DDR3
      4.Intel(R) Core(TM) i5-2400, 8Gb DDR3
      Так же имеются 4 HDD объемом по 500 Gb, ну и валяется в сторонке еще 80 Gb.
      После просмотра видео oVirt – часть 3 – настройка и использование, я решил поступить следующим образом, поднять ovirt-engine на сервере №1, используя максимальный объем HDD, из имеющихся в наличии, т.е 2х500 Gb, объединив их с помощью LVM и настроив nfs. Остальные HDD использовать на оставшихся серверах, которые планировал использовать под гипервизоры. Отлично.
      Но я решил ознакомиться со всеми вашими видео и 7я часть(GlusterFS) подвергла сомнениям мое решение. Что же использовать? GlusterFS или же оптимальнее будет использовать первый вариант? Хотелось бы использовать весь доступный объем памяти и вычислительных мощностей, а чем нагрузить — найдем) а так же интересует возможность миграции.
      И собственно вопрос, как к специалисту, каково ваше мнение, как оптимальнее использовать имеющиеся ресурсы с oVirt?
      Спасибо.

    2. jekader:

      Руслан, очень рад что мои видео оказались Вам полезны.

      По рассматриваемой конфигурации — скажем прямо, GlusterFS это дополнительная головная боль в случае обновлений или неполадок с сетью (split brain и тому подобное как результат). По скорости всё равно упрётесь в возможности ethernet адаптеров, причём в случае зеркалирования на glusterfs запись будет вестись дважды, то есть пропускная способность снизится. В итоге выгода от GlusterFS не покрывает потенциальных рисков вызванных повышенной сложностью системы.

      Лично я люблю iSCSI, поэтому я запихнул-бы все харды в одну машину (докупил-бы простецкий SATA контроллер если не хватает портов) и разметил там громадный LVM раздел, который зашарил-бы по iSCSI в качестве Storage Domain. Можно iSCSI заменить на NFS естественно, так что Ваш изначальный подход считаю правильным.

      И ещё дополнительный совет по проектированию инфраструктуры: всегда полезно storage повесить на отдельный сетевой адаптер, чтобы скорость прочих операций не страдала.

    3. Руслан:

      Спасибо большое за ответ, Евгений!
      Мало того что ваши видео оказались полезными, ваши видео, пожалуй, самые информативные из той информации которая попалась мне, не считая ovirt.org, конечно же. Еще раз спасибо за ваши видео.
      Поступлю именно так, как вы советуете. Получается, что нет необходимости иметь дисковое пространство на нодах. В таком случае, могу предположить, что возможно использовать загрузки по сети. Не использовали ли вы такое в своей практике?

    4. jekader:

      Не вижу препятствий к использованию Netboot системы в качестве гипервизора. На нём почти все файлы открываются только на чтение, пишутся только логи.

      По сути проект ovirt-node (http://www.ovirt.org/Node_Building) представляет собой минимальную Read-only систему. Она конечно устанавливается на диск, но само существование данного подхода с «тонкими» гипервизорами подсказывает, что по сети тоже вполне можно грузиться.

      Единственная польза от локального диска — это пожалуй swap партиция. Никогда не помешает на гипервизоре, особенно если оперативки негусто.

    5. Руслан:

      Евгений, огромное Вам спасибо, за исчерпывающие ответы, на мои вопросы! Буду пробовать и выбирать оптимальное для себя решение. fedora.md добавил в закладки) Спасибо, всего доброго!

    6. Руслан:

      Евгений, добрый день! Не нашел куда еще вам можно написать, потому пишу сюда) К слову, мне удалось реализовать бездисковую работу гипервизоров, таким образом, чтобы не нужно было каждый раз при загрузке ноды цеплять ее к engine(использовал nfs-root). Пока тестим надежность такой схемы. У меня возник еще один вопрос, и ,надеюсь, вы сможете его прояснить. Из имеющхся физических машин, выступающих в роли бездисковых гипервизоров, не все имеют одинаковый тип процессора. При экспериментах на машинах с intel процессорами проблем никаких не возникло. Когда я поднимаю engine, цепляю к нему хост на amd процессоре и пытаюсь подцепить хост на intel, я создаю новый кластер, т.к. тип процессора другой, и получаю ошибку о невозможности подключения к Storage Domain. Значит ли это, что для использования разных типов процессоров, мне придется использовать разные дата центры? И, что запускать виртуальные машины на разных кластерах можно только с помощью экспорта?

    7. aprogrammer:

      Могу посоветовать почитать эту статью по тестированию распределения контента в GlusteFS — http://sysadm.pp.ua/linux/glusterfs-setup.html .Очень толково написано, может кому-то понадобиться.

    8. Oleg:

      Спасибо. Знакомство и изучение ovirt через Ваши видео обзоры. Нет даже мануалы для меня. Если и находишь ещё что на других ресурсах, но для подкрепления возвращается к ним. Спасибо. Не как только со iscsi разобраться не могу. Не хватает обзоро про этот вид стоража с ovirt.

    9. jekader:

      Спасибо за добрые слова!
      iSCSI гораздо проще чем Gluster, поэтому и не удостоился отдельного видео. Достаточно настроить на отдельной машине target (или использовать SAN), и подключиться к нему.

    10. Oleg:

      Так и сделал, но что то не находит ovirt target. Либо я не правильно target , либо не все тонкости подключения ovirt к target учитыыаю. Хорошее описание по созданию target может укажите? Но лучше объяснение от Вас. Более дохотчево у Вас получается.

    11. jekader:

      по ссылке выше есть описание как target так и initiator — так можно и работоспособность проверить прямо с гипервизора ovirt

    12. Александр:

      Здравствуйте, Евгений.
      Как с вами можно связаться и проконсультироваться по oVirt.

    13. jekader:

      Несколько вариантов:
      * спросить тут
      * под видео на youtube
      * под статьёй на https://blog.it-kb.ru/tag/ovirt/
      * в англоязычной рассылке ovirt-users

    14. Александр:

      Есть множество мелких вопросов с которыми бы вы могли помочь в скайпе например или телеграме потратив 5 минут.
      Простите за наглость но не могли бы вы написать мне на почту как с вами можно связаться и пообщаться.

    Leave a comment

    *