- 如果您觉得本站非常有看点，那么赶紧使用Ctrl+D 收藏吧
我正在实现SimHash算法[1]，以使用MapReduce对数据集进行重复数据删除。
例如，如果我有3个文档Doc1，Doc2，Doc3，Doc4。假设Doc1与Doc3相似，汉明距离小于3。然后，在执行重复数据删除后，输出“唯一”数据集应为Doc1，Doc2和Doc4。
我的实现包括将每个文档哈希转换为64位字符串，然后将该位字符串划分为频段以进行进一步……继续阅读 »
我有大约200万条记录，其中有大约4个字符串字段，每个字段都需要检查是否重复。更具体地说，我将姓名，电话，地址和父亲姓名作为字段，并且必须使用所有这些带有其余数据的字段检查重复数据删除。需要将产生的唯一记录记入db。
我已经能够实现mapreduce，所有记录的迭代。任务速率设置为100 / s，存储桶大小设置为100。已启用计费。
当前，一切正常，但是性能……继续阅读 »
我已经开始处理以JSON格式到达的大型数据集。不幸的是，提供数据提要的服务提供了不小的重复记录数量。从正面看，每个记录都有一个唯一的ID号，该ID号存储为64位正整数(Java long )。
数据每周到达一次，每次交付约有1000万条记录。我需要从当前交付中排除重复项，以及以前批次中的记录。
应对重复数据删除问题的蛮力方法是将Id编号推送到Java 设置……继续阅读 »
