apache-spark – список вопросов по тегу – страница №2

Я использую Apache Spark, приложение Java, для создания кластера машин. Запущенные процессы пытаются взаимодействовать друг с другом через рандомизированные порты. Есть ли...

У меня есть кластер EMR с тремя экземплярами, работающий на AWS, и он отвечает очень сейчас медленно. При проверке панели мониторинга Hadoop на порту 8088 в моем браузере я...

(Надеюсь, этот вопрос подходит для ServerFault, если нет, прокомментируйте, и я удалю его) Я пытаюсь создать образ докера, в котором Cassandra и Spark будут установлены и...

Я установил кластер Spark 2.3.1, однако у меня возникли проблемы с отправкой ему образца задания SparkPi: Running Spark using the REST application submission protocol...

Я использую Solr со Spark в Java для индексации документов. (Ubuntu 16.0.4) Я установил Zookeeper на порт 2181, и в моем тесте коллекции есть два осколка Когда я запускаю свой...

мы хотим найти значения для следующих параметров искры в соответствии с входными данными, такими как память на машине узла данных, ЯДРО ЦП на машине узла данных, номера машины...

В логах Spark получаем следующее: java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes:...

У меня есть база данных mongodb. Мне нужно передавать или отправлять данные из mongodb в Amazon redshift по мере поступления данных в mongodb. Есть какое-то решение для этого...

Пробую установить искровой коннектор cosmosdb (https://docs.microsoft.com/en-us/azure/cosmos-db/spark-connector) в лазурных блоках данных в кластере в сценарии инициализации...

Из-за того, как мы проектируем наш конвейер, приветственное сообщение Spark-Shell распечатывается в наших журналах Airflow, что мы хотели бы предотвратить. Как нам удалить как...