• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

标签:batch-processing

batch-processing

HBase阅读:为了提高性能,如何使用hbase java REST api对get请求进行批处理

HBase阅读:为了提高性能,如何使用hbase java REST api对get请求进行批处理
我是HBase REST API的新手,正在尝试寻找一种方法,可以使用get命令为一组Id获得一组结果。因为批处理将有助于提高我的代码的性能,而不是对表的每个id进行get请求。 一些示例Hbase java rest api代码将很有帮助。 提前致谢。 解决方案如下: 您应该能够使用扫描仪(HBase搜索API)实现它。低于例如 Scan scan……继续阅读 »

batch-processing

逐步冻结。当文件很大时,PoiItemreader不会读取excel文件。有什么建议吗?

逐步冻结。当文件很大时,PoiItemreader不会读取excel文件。有什么建议吗?
我试图在Spring Batch中使用PoiItemreader处理excel文件。当excel文件较小或大小正常时,程序将成功运行。但是,当我尝试处理更大的文件(大于12MB)时。根本没有读取该文件。 我有以下问题: 使用PoiItemreader的文件大小限制是多少?使用MultiResourcePartioner可以解决此问题吗? 非常感谢你。 这是我……继续阅读 »

batch-processing

batchUpdate如何锁定表/行

batchUpdate如何锁定表/行
任何人都可以帮助我解决这个问题:如果我执行JDBC batchUpdate,它会更新几个表并且没有包装到任何事务中,它将锁定任何表或行吗? 我的代码执行了一堆UPDATE语句,它们全部如下所示 String sql = "UPDATE contacts SET ref_counter = ? where uid = ?"; jdbcTempl……继续阅读 »

batch-processing

cassandra pelops在服务器上的性能比本地弱

cassandra pelops在服务器上的性能比本地弱
m使用pelops与cassandra交谈,并且想知道在尝试插入1 GB数据时服务器上的性能比本地性能慢。我正在尝试批量插入,即在mutator.writecolumn中创建大约2000列的批处理,使用mutator.execute-插入.1 GB的数据处理需要25分钟以上。我想知道是否有解决方案,或者这是cassandra的正常表现? 创建了3个节点的集群……继续阅读 »

batch-processing

具有批处理功能的Java 8 Stream

具有批处理功能的Java 8 Stream
我有一个包含项目列表的大文件。 我想创建一批项目,并用这一批发出一个HTTP请求(所有项目都需要作为HTTP请求中的参数)。我可以使用for循环很容易地做到这一点,但是作为Java 8爱好者,我想尝试使用Java 8的Stream框架编写此代码(并获得延迟处理的好处)。 例: List<String> batch = new ArrayList&……继续阅读 »

batch-processing

JDBC的最大批处理大小是多少?

JDBC的最大批处理大小是多少?
我有一个 list ,这个 list 在不断增加。我正在根据列表大小添加批处理。我忘了在指定的大小中放入对executeBatch的限制。 程序工作了几个小时。我现在不想停止,修复并重新开始。 我的问题是,什么决定添加批次的大小?一次执行executeBatch()的批处理的最大容量是多少?不使用addBatch可以使用executeBatch()多少次? ……继续阅读 »