Назад | Перейти на главную страницу

Конфигурация Apache Hive в GCP - невежественный?

Я попытался настроить кластер Apache Hive Cluster в GCP, используя следующую ссылку на Google Cloud Platform.

https://cloud.google.com/solutions/using-apache-hive-on-cloud-dataproc

Я создал проект, и у меня есть кредиты на целые годы. Сценарий, упомянутый на этой странице, использует оболочку Google для настройки кластера вместо использования пользовательского интерфейса GCP.

В этом и заключается проблема, я выполняю все шаги, описанные выше, и собираюсь создать кластер, используя следующую команду - «Не работает» !!

gcloud dataproc clusters create hive-cluster. \
    --scopes sql-admin \
    --image-version 1.3 \
    --initialization-actions gs://dataproc-initialization-actions/cloud-sql-proxy/cloud-sql-proxy.sh \
    --properties hive:hive.metastore.warehouse.dir=gs://$PROJECT-warehouse/datasets \
    --metadata "hive-metastore-instance=$PROJECT:$REGION:hive-metastore"

Я получаю ошибку «Недостаточно квоты CPUS. Запрошено 12.0, доступно 8.0».

Теперь вот в чем проблема. Если бы я использовал GCP UI - dataproc для создания кластера, я бы смог настроить CPU. Но у этого варианта есть свои ограничения по отношению к Hive.

Пришлось запустить кластер программно через оболочку. Теперь я не знаю, как это исправить, если только я физически не открою каждый сценарий оболочки, доступный в ведре Google, и не найду, где были установлены эти значения.

Кому-нибудь помочь? Может, мне стоит посмотреть на это по-другому ...

Если ваша проблема связана только с проблемой квоты, у нее есть простое решение, просто запросите увеличение квоты ЦП.

  1. Перейти к вашей Страница квот в Google Cloud Console.

  2. На странице квот выберите квоты, которые вы хотите изменить.

  3. Нажмите кнопку «Изменить квоты» вверху страницы.

  4. Поставьте галочку напротив сервиса, который хотите редактировать, в этом случае "Compute Engine API" и метрика "ЦПУ".

  5. Введите свое имя, адрес электронной почты и номер телефона и нажмите «Далее».

  6. Введите запрос на увеличение квоты и нажмите Далее.

  7. Отправьте свой запрос.

  8. Вы получите ответ от команды Compute Engine в течение 24–48 часов с момента вашего запроса.