Назад | Перейти на главную страницу

Удалить приветственное сообщение и баннер из Spark-Shell

Из-за того, как мы проектируем наш конвейер, приветственное сообщение Spark-Shell распечатывается в наших журналах Airflow, что мы хотели бы предотвратить. Как нам удалить как можно больше текста ниже при запуске Spark-Shell?

Для ведения журнала мы уже установили уровень журнала log4j.properties на «ERROR» (вместо «WARN» или «INFO», но мы хотим еще больше минимизировать этот приветственный текст.

$ /opt/spark/bin/spark-shell
Setting default log level to "ERROR".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://vm123.biztest.com:4040
Spark context available as 'sc' (master = local[*], app id = local-1583536064157).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.5
      /_/

Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_202)
Type in expressions to have them evaluated.
Type :help for more information.

apache-spark