• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

标签:data-processing

business-intelligence

寻找业务智能数据处理的最佳实践

寻找业务智能数据处理的最佳实践
我正在一个管理人力资源的系统中工作,它具有BI(业务智能)部分,用于从主系统收集和处理数据,然后将处理后的数据可视化为图表,表格等。 例如,我们要查看人的年龄[在18-38范围内](在轴1中)和他们的月薪(在轴2中)[在完整工资范围内]之间的关系。聚合值正在亲自计数。还有一个名为“过滤器”的附加步骤,用于仅在组织A中过滤结果。 预期的结果是这样的: ……继续阅读 »

data-processing

使用Java进行数据处理的工具

使用Java进行数据处理的工具
我有一个旧系统,该系统使用SAS从数据库中提取原始数据,对其进行清理和合并,然后对输出的文档进行评分。 我想转向Java或类似的面向对象的解决方案,所以我可以实现单元测试,否则将实现更好的代码控制。 (我不是在谈论对整个系统进行大修,而是在可能的地方注入(inject)Java)。 就数据大小而言,我们正在谈论的是大约1 TB的数据被提取和创建。在扩展方面,……继续阅读 »

data-processing

Sybase IQ上结果集中的最佳更新

Sybase IQ上结果集中的最佳更新
我正在寻找重写代码来更新Sybase IQ数据库v14上的表的功能,该功能执行以下操作: 选择表中的所有记录并提取一些数据到文件更新表中每个记录的提取到文件标志 当前,一旦将记录写入文件,其提取标志就会更新。当前,表中有4万条记录,该进程使用40GB的数据库临时空间。有问题的表中的每个记录包含60个字段,最多一列包含120个字符。 数据库服务器是否正在为表中……继续阅读 »

data-processing

向工作人员分配工作量的最佳策略

向工作人员分配工作量的最佳策略
我有大量数据,必须处理,并且我想使用多线程方法。假设我有1_000_000个对象必须处理,并且我的线程池大小为4(8、16)。 分配此工作负载的最佳策略是什么?我可以想到两件事: 每个对象= 1个执行程序服务任务。即使与在1个线程中处理所有内容相比,这似乎也是最糟糕的决定。将对象总数除以工人人数。例如。如果有4个工人,每个工人将处理25万个对象。这非常简单,……继续阅读 »

data-processing

Sybase IQ上结果集中的最佳更新

Sybase IQ上结果集中的最佳更新
我正在寻找重写代码来更新Sybase IQ数据库v14上的表的功能,该功能执行以下操作: 选择表中的所有记录并提取一些数据到文件更新表中每个记录的提取到文件标志 当前,一旦将记录写入文件,其提取标志就会更新。当前,表中有4万条记录,该进程使用40GB的数据库临时空间。有问题的表中的每个记录包含60个字段,最多一列包含120个字符。 数据库服务器是否正在为表中……继续阅读 »