• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

带集群模式的Spark 2.1忽略extraJavaOptions

apache-spark 来源:Y.K. 5次浏览

我们正在运行HortonWorks Spark Distribution 2.1。我们注意到,当我们使用yarn-cluster作为master运行Spark时,我们作为executors.extraJavaOptions传递的任何内容都被完全忽略,并且作业在执行程序中维护默认值(如通过Spark UI所示)。带集群模式的Spark 2.1忽略extraJavaOptions

我想知道是否有人注意到任何类似的东西,并有一些智慧分享。我很乐意提供所需的更多细节。

更新:这是命令执行,与选项一起,如要求:

spark-submit --name streaming-driver --num-executors 40 
    --conf spark.metrics.conf=streaming.metrics.properties 
    --files kafka_client_jaas.conf#kafka_client_jaas.conf, 
      appconf.conf#appconf.conf, 
      streaming.metrics.properties#streaming.metrics.properties, 
      kafka.conf#kafka.conf,log4j.properties#log4j.properties 
    --conf "spark.executor.extraJavaOptions= 
       -Dcom.sun.management.jmxremote 
       -Dcom.sun.management.jmxremote.port=0 
       -Dcom.sun.management.jmxremote.rmi.port=0 
       -Dcom.sun.management.jmxremote.authenticate=false 
       -Dcom.sun.management.jmxremote.ssl=false 
       -Dcom.sun.management.jmxremote.local.only=false 
       -Djava.security.auth.login.config=./kafka_client_jaas.conf 
       -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode" 
    --conf spark.metrics.conf=streaming.metrics.properties 
    --conf spark.hadoop.yarn.timeline-service.enabled=false 
    --driver-java-options=" 
      -Dhdp.version=2.5.3.0-37 -Dconfig.file=appconf.conf 
      -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode 
      -Dlog4j.configuration=log4j.properties 
      -Djava.security.auth.login.config=./kafka_client_jaas.conf 
      -Dcom.sun.management.jmxremote 
      -Dcom.sun.management.jmxremote.port=0 
      -Dcom.sun.management.jmxremote.rmi.port=0 
      -Dcom.sun.management.jmxremote.authenticate=false 
      -Dcom.sun.management.jmxremote.ssl=false 
      -Dcom.sun.management.jmxremote.local.only=false" 
    --master yarn-cluster 
    --driver-memory "6g" 
    --properties-file spark.conf --class < class> application.jar 

注意这是稍微因为像keytabs等一些其他安全参数不存在换行符为好,把这里的修改只有这样它才更具可读性。


===========解决方案如下:

看起来你正在环绕spark.executor.extraJavaOptions proery也在双倒排引号内。我认为只有值应该在这样的引号里面:

--conf spark.executor.extraJavaOptions=" 
        -Dcom.sun.management.jmxremote 
        -Dcom.sun.management.jmxremote.port=0 
        -Dcom.sun.management.jmxremote.rmi.port=0 
        -Dcom.sun.management.jmxremote.authenticate=false 
        -Dcom.sun.management.jmxremote.ssl=false 
        -Dcom.sun.management.jmxremote.local.only=false 
        -Djava.security.auth.login.config=./kafka_client_jaas.conf 
        -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode" 

版权声明:本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系管理员进行删除。
喜欢 (0)