• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

标签:apache-spark

apache-spark

如何使用IntelliJ中的相对路径引用外部库中的jar文件?

如何使用IntelliJ中的相对路径引用外部库中的jar文件?
在我的“外部库”目录中,可以找到我的jar,例如hppc-0.8.1.jar(任意选择)。 External Library jars我想引用此jar以便将其提供给配置中的SparkSession。但是,我只能使用绝对路径来引用它,这是一个问题,因为我的队友和我共享一个回购协议(protocol)。我如何引用这个jar,这样就不必每次使用时都使用绝对路径并避……继续阅读 »

apache-spark

将JavaPairRDD转换为JavaRDD

将JavaPairRDD转换为JavaRDD
我正在使用ElasticSearch-Hadoop库从ElsticSearch提取数据。 JavaPairRDD<String, Map<String, Object>> esRDD = JavaEsSpark.esRDD(sc); 现在我有JavaPairRDD。我想在此RDD上使用来自MLLib的随机森林。 所以我将其转换为Ja……继续阅读 »

apache-spark

无法运行Java Spark Hive示例

无法运行Java Spark Hive示例
我有以下Java Spark Hive Example,可以在官方apache / spark Github上找到。我花了很多时间来理解如何在Hortonworks Hadoop沙盒中运行示例,但没有成功。 目前,我正在执行以下操作: 在我的Maven项目中导入apache/spark examples,这工作正常,并且我没有遇到任何问题,所以我猜这里没有问……继续阅读 »

apache-spark

错误yarn.ApplicationMaster:用户类引发异常:java.lang.NoClassDefFoundError:scala / Function0 $ class

错误yarn.ApplicationMaster:用户类引发异常:java.lang.NoClassDefFoundError:scala / Function0 $ class
我正在尝试通过Apache Livy将spark作业提交给hadoop-yarn集群。使用指定的here步骤设置集群。 Java代码正在Windows本地计算机上通过IntelliJ运行。 spark and hadoop群集位于linux服务器上。其他应用程序(不带Livy)通过hdfs上的操作和spark计算可以完美运行。 我正在尝试运行在群集的应用程序……继续阅读 »