• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

Hadoop Pig加入来自Hbase的数据

Hadoop Pig加入来自Hbase的数据
我试图从文本文件中加入来自hbase的数据,但失败。Hadoop Pig加入来自Hbase的数据 这是我使用的数据。 C:(XXX1,06820,7) (XXX2,07442,9) G1:(XXX1,53) (XXX2,54) G2:(XXX1,53) (XXX1,53) G1从文本文件加载,G2从HBase加载。 G1:{SN:字节组,国家:char……继续阅读 »

Phoenix+Hbase二级索引

Phoenix+Hbase二级索引
使用的软件版本,注意软件版本很重要,很重要 apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz hadoop-2.9.2.tar.gz hbase-2.0.5-bin.tar.gz Hbase中通过非rowkey查询数据查询速度会很慢 为什么需要二级索引 在Hbase中要想精确查询一条数据所以必须使用rowkey……继续阅读 »

Hbase+Phoenix+Mybatis+Springboot整合查询数据

Hbase+Phoenix+Mybatis+Springboot整合查询数据
Phoenix Query Server提供了一种与Phoenix和HBase交互的替代方法。很快,这将允许从JVM以外的环境进行访问。 在4.x和5.0版本中,查询服务器及其JDBC客户端是标准Phoenix发行版的一部分。它们不需要其他依赖项。 在5.0版本之后,查询服务器已被捆绑到phoenix-queryserver存储库中,并且其版本号已……继续阅读 »

HBase安装phoenix实战shell操作

HBase安装phoenix实战shell操作
Hbase安装参考https://rumenz.com/rumenbiji/… 由于我们安装的是 hbase-2.3.1-bin.tar.gz ,所以需要下载 phoenix5.0以上 下载列表:http://archive.apache.org/dis… 下载链接:http://archive.apach……继续阅读 »

HBase-Compaction

HBase-Compaction
HBase Compaction 1.Compaction作用 合并小文件,减少文件数,稳定随机读延迟 提高数据的本地化率 清除无效数据,减少数据存储量 HFile越多,查询需要的IO操作也会变多,读延迟越来越大。Compaction稳定HFile文件个数,减少IO操作。 本地化率越高,hdfs上访问数据时延迟就越小,本地化率低,访问数据就需要通过……继续阅读 »

HBase内置过滤器java api的总结

HBase内置过滤器java api的总结
1、RowFilter:筛选出匹配的所有的行(使用过) //rowkey 等于 test|id9 Filter filter=new RowFilter(CompareOperator.EQUAL,new BinaryComparator(Bytes.toBytes("test|id9"))); 2、PrefixFilter:筛选出具有特定前缀的行健的数据 ……继续阅读 »

Hbase备份与恢复(快照技术)

Hbase备份与恢复(快照技术)
什么是快照 快照就是一份元信息的合集,允许管理员恢复到表的先前状态。快照不是表的复制而是一个文件名称列表,因而不会复制数据。 快照的作用 HBase中存在的备份或克隆表的方法就是使用复制/导出表或者在关闭表之后拷贝HDFS中的所有HFile。 复制或导出是通过一系列工具调用MapReduce来扫描并复制表,这样会对RegionServer有直……继续阅读 »

基于docker-compose, 搭建本地hbase测试环境

基于docker-compose, 搭建本地hbase测试环境
之前在本地测试环境, 搭了一整套hadoop, 才能正常运行hbase, 运行中经常闪退, 于是找寻docker搭建方案. 站在巨人肩膀上 github有基于docker-compose搭建hbase的项目, 十分完整, 按照说明直接up, 便能在镜像中进行hbase shell等相关操作, 但是从外部连接hbase(指通过zk)有一些问题, 之后通……继续阅读 »

Hbase架构入门

Hbase架构入门
Hbase结构图 Hbase本身包含三部分,Zookeeper,HMaster,HRegionServer Zookeeper: 1.保证任何时候只有一个活跃的Master2.存储所有的Region的地址,知道哪个Region存储在哪台机器上3.时刻监控RegionServer的状态,将RegionServer的上下线信息,RegionServer不直接……继续阅读 »