apache-spark – список вопросов по тегу – страница №1

Я написал программу example.jar который использует контекст искры. Как я могу запустить это в кластере, который использует Slurm? Это связано с...

У нас довольно мало проблем с нашим сервером Spark Thrift. Это новый кластер Ambari, и в настоящее время не выполняется никаких заданий Spark. В журнале мы видим сообщение об...

Я ищу решение для улучшения производительности кластера Spark, я читал http://spark.apache.org/docs/latest/hardware-provisioning.html: Мы рекомендуем иметь 4-8 дисков на...

spark-submit похоже, для выполнения заданий требуется двусторонняя связь с удаленным кластером Spark. Это легко настроить между машинами (с 10.xxx до 10.xxx и обратно), но...

Подобно тому, что описано в этой статье [0], компания, в которой я работаю, использует бастионную учетную запись AWS для хранения пользователей IAM и другие учетные записи AWS...

Я установил кластер Spark 2.3.1 на кубернетах, однако у меня возникли проблемы с отправкой ему образца задания SparkPi: Скрипт отправки, который я использую: bin/spark-submit \...

Я уже некоторое время пытаюсь разобраться в проблеме с памятью и просто не могу понять, в чем проблема. Любая помощь приветствуется. Ошибка: [![OpenJDK 64-Bit Server VM...

Узлы в моем кластере Spark имеют по два сетевых интерфейса, один открытый и один частный. Используя SPARK_MASTER_IP переменная среды, я могу настроить Spark для прослушивания...

Вопрос Как Spark определяет количество разделов? Нужно ли где-то явно указывать количество доступных ядер ЦП, чтобы количество разделов было одинаковым (например, аргумент...

Я пытаюсь настроить планировщик емкости в Amazon EMR с двумя очередями в дополнение к очереди по умолчанию. Я успешно создал очереди user1 и user2, однако, когда я использую...