• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

标签:bigdata

大数据

redis基本概念和原理

redis基本概念和原理
Redis简介 REmote DIctionary Server(Redis) 是一个由SalvatoreSanfilippo写的key-value存储系统。 Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。 它通常被称为数据结构服务器,因为值……继续阅读 »

elasticsearch

使用sincedb删除带有Logstash的已传输日志,或使用其他解决方案

使用sincedb删除带有Logstash的已传输日志,或使用其他解决方案
我想使用elasticsearch将日志文件从本地目录移动到logstash客户端。 我想删除传输的日志(或更改其名称),为了保持合理的日志目录大小。 我已经知道logstash中没有内置功能,并且我想知道是否可以使用sincedb文件来了解该文件是否已完全处理和传输,因为我还可以考虑编写可以处理该文件的代码。 如果不可能,我也可以使用完全不同的解决方案,而……继续阅读 »

hadoop

使用Java在HBase中检索第N个限定词

使用Java在HBase中检索第N个限定词
这个问题是开箱即用的,但是我需要它。 在list(collection)中,我们可以通过list.get(i);检索列表中的第n个元素。 同样,在hbase中,是否有使用Java API的任何方法,在给定行ID和ColumnFamily名称的情况下,我都可以获得第n个限定符。 注意:我在columnFamily的单行中有百万个限定符。 解决方案如下: ……继续阅读 »

architecture

如何使用微服务架构处理共享数据源

如何使用微服务架构处理共享数据源
我的微服务架构中有几个服务。 服务中的两个(服务A,服务B)具有不同的api,并提供了不同的域逻辑。但是,它们确实共享一些应返回的逻辑-Redis的用户状态。 当用户状态更改时,Iam从第三项服务发布到所有我的微服务 解决方案: 我可以创建另一个服务,该服务负责“用户状态”,并将所有用户数据保存在Redis上。缺点:我的客户将在每个api请求上进行其他调……继续阅读 »

apache-crunch

Apache Crunch管道如何生成 map 减少工作?

Apache Crunch管道如何生成 map 减少工作?
我是像Crunch / Cascading这样的hadoop管道框架的新手。我想知道在这些框架的底部,它们是否像原始MapReduce程序那样生成原始的mapper和reducer类?在Crunch源代码中,我没有找到将管道转换为原始MapReduce类的代码。 解决方案如下: 您可以使用代码中的以下几行来可视化已创建的MapReduce计划紧缩。将……继续阅读 »

hadoop

Oozie触发MapReduce主类

Oozie触发MapReduce主类
我希望o调用我的ExampleDecision.java,而不是在oozie工作流xml中设置作业驱动程序配置(例如Inputformat映射器类等)。 ExampleDecision主要方法将负责作业设置和配置。怎么做 ? OOZIE_COOK_BOOK中的 II Java-Main Action决策节点是否为插图等于java ExampleDecisio……继续阅读 »

hadoop

通过Java程序传递Hadoop程序命令

通过Java程序传递Hadoop程序命令
任何人都可以让我知道是否有任何方式可以从Java程序将hadoop命令传递给hdfs(例如:创建删除目录和文件“hadoop fs -mkdir / test”)?我正在尝试通过java程序在hdfs中创建和删除目录和文件。 也有任何方法可以通过java程序检查hdfs中文件/目录的大小。我正在尝试检查hdfs中目录的大小,如果大小为0,那么我想删除该文件。……继续阅读 »