- 如果您觉得本站非常有看点，那么赶紧使用Ctrl+D 收藏吧
在Apache Beam步骤中，我的PCollection为KV<String, Iterable<KV<Long, GenericRecord>>>>。我想将可迭代的所有记录写到同一个Parquet文件中。我的代码段如下
p.apply(ParDo.of(new MapWithAvroSchemaAndConver……继续阅读 »
假设我有一个KV<String, Integer>类型的有界PCollection p。假定p无法容纳在内存中，因此不能是DoFn的侧面输入。
示例p：
("foo", 0)
("bar", 1)
("baz", 2)
我该如何取p及其自身的笛卡尔积？
例如，
p x p可能如下所示：
("foo+foo", [("foo", 0), ("……继续阅读 »
