• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

如何将自定义描述添加到Spark作业以在Spark Web UI中显示

apache-spark 来源:Sheel 6次浏览

当我们向Spark提交应用程序并执行任何操作后,Spark Web UI显示作业和阶段,如count at MyJob.scala:15。但在我的应用程序中有多个countsave操作在那里。所以了解用户界面非常困难。我们可以添加自定义描述来给作业提供更详细的信息,而不是count at MyJob.scala:15。如何将自定义描述添加到Spark作业以在Spark Web UI中显示

虽然谷歌搜索发现https://issues.apache.org/jira/browse/SPARK-3468和https://github.com/apache/spark/pull/2342,作者附带image,详细说明如’计数’,’缓存和计数’,’有延迟的工作’。那么我们可以做到这一点吗我正在使用Spark 2.0.0。

===========解决方案如下:

使用sc.setJobGroup

实例:
蟒:

In [28]: sc.setJobGroup("my job group id", "job description goes here") 
In [29]: lines = sc.parallelize([1,2,3,4]) 
In [30]: lines.count() 
Out[30]: 4 

的Scala:

scala> sc.setJobGroup("my job group id", "job description goes here") 
scala> val lines = sc.parallelize(List(1,2,3,4)) 
scala> lines.count() 
res3: Long = 4 

SparkUI:

job description screen shot

我希望这是你在找什么。


版权声明:本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系管理员进行删除。
喜欢 (0)