• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

标签:hadoop

java

Centos Linux添加环境变量到PATH的方法

Centos Linux添加环境变量到PATH的方法
在 Linux CentOS 系统上安装完 Hadoop 后,为了使用方便,需要将 Hadoop 命令加到系统命令中,如果在没有添加到环境变量之前,执行“hadoop fs”命令时,则会提示命令不存在的错误,如下所示: [root@localhost13 logs]# hadoop fs -mkdir /temp -bash: hadoop: 未找到命令 ……继续阅读 »

java

SpringBoot多数据源配置(hive/mysql)

SpringBoot多数据源配置(hive/mysql)
简介 在项目实践中,同一个项目可能需要整合多种数据源,把分散到各个数据库、数据表的数据都查询统计出来; SpringBoot有默认的数据源配置,本篇博客将整合SpringBoot多数据源配置,包括mysql、hive等,通过jdbctemplate或mybatis进行使用; 版本配置(版本可自行选择,这里是博主的测试版本):jdk1.8,springboo……继续阅读 »

java

Zookeeper原理架构

Zookeeper原理架构
本文纯属个人笔记,通俗易懂,转载请附上原文链接!部分资料摘自网络,如有雷同,纯属巧合! 更多资料见个人博客 https://www.rabbitai.cn Zookeeper到底是什么!? 学一个东西,不搞明白他是什么东西,哪还有心情学啊!! 首先,Zookeeper是Apache的一个java项目,属于Hadoop系统,扮演管理员的角色。 然后看到官网那些……继续阅读 »

java

SpringBoot多数据源配置(hive/mysql)

SpringBoot多数据源配置(hive/mysql)
简介 在项目实践中,同一个项目可能需要整合多种数据源,把分散到各个数据库、数据表的数据都查询统计出来; SpringBoot有默认的数据源配置,本篇博客将整合SpringBoot多数据源配置,包括mysql、hive等,通过jdbctemplate或mybatis进行使用; 版本配置(版本可自行选择,这里是博主的测试版本):jdk1.8,springboo……继续阅读 »

java

搭建集群常遇到的问题及解决办法

搭建集群常遇到的问题及解决办法
1.web端无法查看HDFS文件系统(导致这个问题的原因有许多,需要自己找原因所在) 原因1是否关闭linux系统的防火墙 解决方法 永久关闭防火墙 (1)查看防火墙开机启动状态 chkconfig iptables –list (2)关闭防火墙 chkconfig iptables off 临时关闭防火墙 (1)查看防火墙状态 sudo s……继续阅读 »

java

spring boot\spring data与hadoop如何整合,以及解决tomcat冲突的问题

spring boot\spring data与hadoop如何整合,以及解决tomcat冲突的问题
初衷: 为将hadoop集成到Spring项目当中。一开始尝试直接导入hadoop依赖包,也是因为对依赖冲突不够了解,导致了tomcat中的若干依赖于hadoop中的依赖相互冲突。 问题: 在导入依赖包的时候,以及写代码的时候没有过多的感觉,但是在运行的时候会疯狂的报jar包不存在的问题,一开始是怀疑maven没有导全jar包的原因,后来了解到该问题很可能是……继续阅读 »

hadoop

HMaster在启动后立即停止

HMaster在启动后立即停止
我已经阅读了许多类似的问题,并尝试解决但尚未成功。我有一个hadoop 2.6.0集群(x.x.x.55上有一个namenode,x.x.x.54,56,57上有3个datanode)。然后我在群集上安装了hbase-0.98.12-hadoop2。在hbase-env.sh中,我取消注释HBASE_MANAGES_ZK = true,并设置Java主路径。……继续阅读 »