• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

标签:apache-spark-mllib

apache-spark

将JavaPairRDD转换为JavaRDD

将JavaPairRDD转换为JavaRDD
我正在使用ElasticSearch-Hadoop库从ElsticSearch提取数据。 JavaPairRDD<String, Map<String, Object>> esRDD = JavaEsSpark.esRDD(sc); 现在我有JavaPairRDD。我想在此RDD上使用来自MLLib的随机森林。 所以我将其转换为Ja……继续阅读 »

apache-spark

Spark告诉我功能列错误

Spark告诉我功能列错误
什么可能导致此错误。我有点迷路了。我发现的所有内容都无济于事。 堆栈跟踪: Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Column features must be of type struct<type:tinyint,siz……继续阅读 »

apache-spark

将JavaPairRDD转换为JavaRDD

将JavaPairRDD转换为JavaRDD
我正在使用ElasticSearch-Hadoop库从ElsticSearch提取数据。 JavaPairRDD<String, Map<String, Object>> esRDD = JavaEsSpark.esRDD(sc); 现在我有JavaPairRDD。我想在此RDD上使用来自MLLib的随机森林。 所以我将其转换为Ja……继续阅读 »

apache-spark

在具有许多功能的JavaRDD中使用选择性功能

在具有许多功能的JavaRDD中使用选择性功能
我在大数据分析应用程序之一中将Spark Mllib与Hadoop一起使用。我有41个功能和一个标签的功能集。现在,在培训期间,我想混合使用我的功能以与功能工程师配合使用,并找到最适合我的场景的最小功能集。 为此,我想在训练时选择在训练和测试模型准确性时要使用的功能。 我正在做这个 JavaRDD<LabeledPoint>[] splits =……继续阅读 »

apache-spark

JavaLDAExample不起作用

JavaLDAExample不起作用
我是Spark的新手,正在使用spark-2.1.0-bin-hadoop2.7。 我已经检查了它的WordsCount示例,并且工作正常,但是JavaLDAExample却没有。 我检查了他们的源代码here。 WordsCount需要一个url作为其数据的参数,并且我已经在hadoop上通过hdfs创建了数据,因此我发送了类似hdfs://master:……继续阅读 »