• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

redis基本概念和原理

redis基本概念和原理
Redis简介 REmote DIctionary Server(Redis) 是一个由SalvatoreSanfilippo写的key-value存储系统。 Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。 它通常被称为数据结构服务器,因为值……继续阅读 »

使用sincedb删除带有Logstash的已传输日志,或使用其他解决方案

使用sincedb删除带有Logstash的已传输日志,或使用其他解决方案
我想使用elasticsearch将日志文件从本地目录移动到logstash客户端。 我想删除传输的日志(或更改其名称),为了保持合理的日志目录大小。 我已经知道logstash中没有内置功能,并且我想知道是否可以使用sincedb文件来了解该文件是否已完全处理和传输,因为我还可以考虑编写可以处理该文件的代码。 如果不可能,我也可以使用完全不同的解决方案,而……继续阅读 »

消息队列的消费幂等性如何保证

消息队列的消费幂等性如何保证
什么是幂等? 任意多次执行所产生的影响均与一次执行的影响相同就可以称为幂等 什么是消息幂等? 当出现消费者对某条消息重复消费的情况时,重复消费的结果与消费一次的结果是相同的,并且多次消费并未对业务系统产生任何负面影响 为什么我们要保证幂等性,不保证幂等性,会不会有问题? 这个问题其实没法准确回答。回答这个问题的根源得从业务场景上进行分析。比如正常业务情况下,……继续阅读 »

HiveQL – String在hiveql UDF中包含等价物吗?

HiveQL – String在hiveql UDF中包含等价物吗?
我想用hiveql UDF来检查字符串是否包含任何特定的字符?HiveQL – String在hiveql UDF中包含等价物吗? 我遇到了下面的一个。 find_in_set(str, strlist) 这是正确的UDF使用? 例如: 下面列包含 “1” 的值。 column1 = "test1String" 我需要编写一个HiveQL……继续阅读 »

Pentaho组件集成

Pentaho组件集成
我对Pentaho很新。 我想要做的是将Hive查询提交给Hadoop集群,并通过创建关联或计算趋势来分析结果。我设法通过Pentaho数据集成提交Hive查询allready。但我不知道如何分析它。我已经看到,许多其他Pentaho组件都是Weka。如何将数据集成与Weka和可视化工具集成?有没有包含所有这些组件的东西?Pentaho组件集成 =====……继续阅读 »

构建基于LBS的大数据应用

构建基于LBS的大数据应用
移动互联网时代,“大数据”是关键词之一。作为推送技术服务行业的先行者,个推不断进行技术革新引领推送革命。通过挖掘用户使用场景,结合地理位置信息精确命中不同用户的各类需求。在服务大客户的过程中通过自身平台积累的海量数据发展了大数据。 目前,3.0产品最重要的技术——电子围栏技术:电子围栏是精确捕捉用户场景,实时给用户推送有价值消息的手机推送解决方案。客户根据业……继续阅读 »

阿里云上Kubernetes集群联邦

阿里云上Kubernetes集群联邦
摘要: kubernetes集群让您能够方便的部署管理运维容器化的应用。但是实际情况中经常遇到的一些问题,就是单个集群通常无法跨单个云厂商的多个Region,更不用说支持跨跨域不同的云厂商。这样会给企业带来一些担忧,如何应对可用区级别的Fail,以及容灾备份?是否会造成厂商锁定,增加迁移成本?如何应对线上线下突发流量?如何统一管理调度容器资源?单个集群规模的……继续阅读 »

得到错误而执行蜂巢合并

得到错误而执行蜂巢合并
我运行下面的查询:得到错误而执行蜂巢合并 MERGE INTO college_for_mrg AS T USING college AS S ON clg_name = clg_name WHEN MATCHED AND clg_id > 5 THEN UPDATE SET clg_loc = "ind" WHEN NOT MATCHED T……继续阅读 »

HiveHbase集成如何在Hive shell中添加Jar文件

HiveHbase集成如何在Hive shell中添加Jar文件
我正在使用CDH 5.11.1版本。如果我直接去蜂巢外壳并键入HiveHbase集成如何在Hive shell中添加Jar文件 hive> add jar /path/protobuf-java-2.4.1 我得到的查询返回: 非零代码:1,原因:路径不存在。 在Hive shell中安装所有jar文件的正确过程是什么? 如何识别与CDH版本兼……继续阅读 »