Назад | Перейти на главную страницу

Разверните Hadoop в Openstack

Я хочу развернуть Hadoop в облаке Openstack. Есть ли какой-нибудь автоматический способ сделать это?

Кто-нибудь пробовал это сделать? Я ищу девопов вроде джуджу. Я никогда не использовал juju, и сейчас я просматриваю учебник juju по развертыванию, но большинство примеров основаны на облаке Amazon.

Что-нибудь лучше, чем джуджу? Я хотел бы развернуть Hadoop на экземплярах Opensuse, так что juju для меня всего лишь временное решение. сейчас это не работает, но я думаю, что рано или поздно с этим справлюсь, но, конечно, любое руководство будет приветствоваться.

Для автоматического развертывания вам нужно окунуться в мир шеф-повара и лома. Вероятно, лучшее место для начала здесь.

http://robhirschfeld.com/2011/11/29/hadoop-crowbar-released-to-open-source

Для развертывания вручную сотрудники Big Data Craft внедрили Hadoop на OpenStack Swift. Вам нужно будет использовать их реализацию java-cloudfiles.

Об этом есть запись в блоге на http://bigdatacraft.com/archives/349

Код можно найти здесь:

https://github.com/Dazo-org/hadoop-common

https://github.com/Dazo-org/java-cloudfiles

Добавьте Sahara (модуль OpenStack) в OpenStack. Он управляет Hadoop за вас.