查看: 5741|回复: 89

中国移动数据集成项目-HIVE 安装部署、参数设置、备份、恢复、监控规范

  [复制链接]

122

主题

260

帖子

1999

积分

分区版主

Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

贡献
0
技术
0
活跃
29
在线时间
12 小时
擅长技术
思科华为
发表于 2015-1-27 20:32:47 | 显示全部楼层 |阅读模式
1 概述.................................................................................................................................................................. 4
1.1 背景..................................................................................................................................................4
1.2 目的..................................................................................................................................................5
1.3 范围..................................................................................................................................................5
2 硬件准备.......................................................................................................................................................... 6
3 实施.................................................................................................................................................................. 6
3.1 软件准备..........................................................................................................................................6
3.1.1 公共服务软件安装..........................................................................................................................6
3.1.1.1 CENTOS6.2 系统安装........................................................................................6
3.1.2 云平台部署......................................................................................................................................7
3.1.2.1 集群规划........................................................................................................... 7
3.1.2.1.1 功能规划................................................................................................... 7
3.1.2.1.2 架构图....................................................................................................... 8
3.1.2.2 系统安全........................................................................................................... 8
3.1.2.3 系统参数配置................................................................................................... 8
3.1.2.3.1 公共设置................................................................................................... 8
3.1.2.3.2 SSH 登录免认证配置..............................................................................10
3.1.2.3.3 JAVA 环境配置及JDK 安装....................................................................11
3.1.2.3.4 NTP 时钟同步配置..................................................................................12
3.2 HIVE 安装部署...............................................................................................................................13
3.3 HIVE 参数配置...............................................................................................................................14
3.3.1 配置HIVE_HOME 及PATH 环境变量.............................................................................................14
3.3.2 配置HIVE 配置文件......................................................................................................................14
3.4 HIVE 备份恢复...............................................................................................................................15
3.4.1 HIVE 的元数据备份方案...............................................................................................................15
3.4.2 HIVE 的Secondary NameNode 方案.............................................................................................16
3.4.3 HIVE 的Checkpoint Node 方案...................................................................................................16
3.4.4 HIVE 的Backup Node 方案...........................................................................................................16
3.4.5 DRDB 方案.......................................................................................................................................17
3.4.6 FaceBook 的AvatarNode 方案.....................................................................................................17
3.4.7 方案优缺点比较............................................................................................................................17
3.4.8 总结................................................................................................................................................18
3.5 HIVE 云平台监控...........................................................................................................................19
3.5.1 HIVE 云平台监控模块说明...........................................................................................................19
3.5.2 云平台节点存储情况(dfsadmin_rpt.sh)..................................................................................19
3.5.2.1 程序部署......................................................................................................... 19
3.5.2.2 程序................................................................................................................. 19
3.5.2.3 程序执行......................................................................................................... 19
3.5.2.4 命令详解......................................................................................................... 19
3.5.2.5 注意事项......................................................................................................... 20
3.5.3 作业运行监控--作业列表(job_list.sh)..................................................................................20
3.5.3.1 程序部署......................................................................................................... 20
3.5.3.2 程序................................................................................................................. 20
3.5.3.3 程序执行......................................................................................................... 20
3.5.3.4 命令详解......................................................................................................... 21
3.5.3.5 注意事项......................................................................................................... 21
3.5.4 作业运行监控--作业状态(job_status.sh)..............................................................................21
3.5.4.1 程序部署......................................................................................................... 21
3.5.4.2 程序................................................................................................................. 21
3.5.4.3 程序执行......................................................................................................... 21
3.5.4.4 命令详解......................................................................................................... 22
3.5.5 作业运行监控--语句执行情况(job_parameter.sh)................................................................22
3.5.5.1 程序部署......................................................................................................... 22
3.5.5.2 程序................................................................................................................. 22
3.5.5.3 程序执行......................................................................................................... 23
3.5.6 作业运行监控--分析MR 程序详细情况(job_detail.sh)........................................................23
3.5.6.1 程序部署......................................................................................................... 23
3.5.6.2 程序................................................................................................................. 23
3.5.6.3 程序执行......................................................................................................... 23
3.5.6.4 命令详解......................................................................................................... 23
3.5.7 HIVE 自有WEB 监控功能说明.......................................................................................................24
3.5.7.1 JOB 作业监控.................................................................................................. 24
3.5.7.2 HDFS 文件系统监控........................................................................................24
3.5.8 GANGLIA 工具监控HIVE 集群.......................................................................................................25
购买主题 已有 6 人购买  本主题需向作者支付 4 金币 才能浏览

8

主题

3578

帖子

2万

积分

Cib

Rank: 13Rank: 13Rank: 13Rank: 13

贡献
53
技术
17
活跃
2115
在线时间
1041 小时
擅长技术
数据库
QQ

我爱三通推广先锋有钱银!

发表于 2015-1-28 08:40:29 | 显示全部楼层
努力、努力,加油、加油

0

主题

1088

帖子

7707

积分

Yib

Rank: 10Rank: 10Rank: 10

贡献
0
技术
0
活跃
1827
在线时间
87 小时
擅长技术
数据库
发表于 2015-1-28 09:56:28 | 显示全部楼层
坚持学习,成就技术之王

5

主题

2244

帖子

1万

积分

Cib

Rank: 13Rank: 13Rank: 13Rank: 13

贡献
0
技术
0
活跃
3750
在线时间
147 小时
发表于 2015-4-6 00:42:08 | 显示全部楼层
学习没有止无病呻吟

0

主题

72

帖子

385

积分

Kib

Rank: 3Rank: 3

贡献
0
技术
0
活跃
113
在线时间
4 小时
发表于 2015-4-14 18:56:52 | 显示全部楼层
好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好好

0

主题

1123

帖子

7889

积分

Yib

Rank: 10Rank: 10Rank: 10

贡献
0
技术
0
活跃
1719
在线时间
111 小时
发表于 2015-4-15 12:44:57 | 显示全部楼层
下载学习一下,辛苦了,谢谢

0

主题

22

帖子

115

积分

Kib

Rank: 3Rank: 3

贡献
0
技术
0
活跃
29
在线时间
1 小时
发表于 2015-4-16 13:36:21 | 显示全部楼层
哈哈哈哈哈哈
使用 高级模式(可批量传图、插入视频等)
您需要登录后才可以回帖 登录 | 立即注册

快速回复 返回顶部 返回列表