• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

标签:apache-arrow

apache-arrow

是否可以在apache-arrow中使用Java API在单独的线程中创建 vector 的一部分?

是否可以在apache-arrow中使用Java API在单独的线程中创建 vector 的一部分?
在apache箭头中可以并行创建向量(不同线程)吗?我假设由于writer中的setPosition(…)调用,向量中条目的创建顺序无关紧要。但是,当我尝试在并行线程中执行此操作时,我遇到了错误。当我按顺序执行时,它工作正常。我正在为每个字段使用带有子编写器的ComplexWriterImpl。 实际错误是: java.lang.IllegalS……继续阅读 »

apache-arrow

使用Java API编写apache箭头格式时,是否存在大小限制/问题

使用Java API编写apache箭头格式时,是否存在大小限制/问题
我的箭头编写器从CSV文件中读取数据对于小于1 GB的数据可以很好地工作,但是卡在这个限制附近(编写代码似乎阻塞了)。我为进程(-Xmx12g)分配了足够的内存,数据大小约为1.2GB。具有较少行和约0.4 GB的类似结构文件,使用相同代码即可正常工作。 我只是想知道,如果apache箭头当前对创建的矢量有某些限制,还是对行数有限制。 解决方案如下: ……继续阅读 »