Я попытался настроить кластер Apache Hive Cluster в GCP, используя следующую ссылку на Google Cloud Platform.
https://cloud.google.com/solutions/using-apache-hive-on-cloud-dataproc
Я создал проект, и у меня есть кредиты на целые годы. Сценарий, упомянутый на этой странице, использует оболочку Google для настройки кластера вместо использования пользовательского интерфейса GCP.
В этом и заключается проблема, я выполняю все шаги, описанные выше, и собираюсь создать кластер, используя следующую команду - «Не работает» !!
gcloud dataproc clusters create hive-cluster. \
--scopes sql-admin \
--image-version 1.3 \
--initialization-actions gs://dataproc-initialization-actions/cloud-sql-proxy/cloud-sql-proxy.sh \
--properties hive:hive.metastore.warehouse.dir=gs://$PROJECT-warehouse/datasets \
--metadata "hive-metastore-instance=$PROJECT:$REGION:hive-metastore"
Я получаю ошибку «Недостаточно квоты CPUS. Запрошено 12.0, доступно 8.0».
Теперь вот в чем проблема. Если бы я использовал GCP UI - dataproc для создания кластера, я бы смог настроить CPU. Но у этого варианта есть свои ограничения по отношению к Hive.
Пришлось запустить кластер программно через оболочку. Теперь я не знаю, как это исправить, если только я физически не открою каждый сценарий оболочки, доступный в ведре Google, и не найду, где были установлены эти значения.
Кому-нибудь помочь? Может, мне стоит посмотреть на это по-другому ...
Если ваша проблема связана только с проблемой квоты, у нее есть простое решение, просто запросите увеличение квоты ЦП.
Перейти к вашей Страница квот в Google Cloud Console.
На странице квот выберите квоты, которые вы хотите изменить.
Нажмите кнопку «Изменить квоты» вверху страницы.
Поставьте галочку напротив сервиса, который хотите редактировать, в этом случае "Compute Engine API" и метрика "ЦПУ".
Введите свое имя, адрес электронной почты и номер телефона и нажмите «Далее».
Введите запрос на увеличение квоты и нажмите Далее.
Отправьте свой запрос.
Вы получите ответ от команды Compute Engine в течение 24–48 часов с момента вашего запроса.