5741| 89
|
中国移动数据集成项目-HIVE 安装部署、参数设置、备份、恢复、监控规范 |
1 概述.................................................................................................................................................................. 4
1.1 背景..................................................................................................................................................4 1.2 目的..................................................................................................................................................5 1.3 范围..................................................................................................................................................5 2 硬件准备.......................................................................................................................................................... 6 3 实施.................................................................................................................................................................. 6 3.1 软件准备..........................................................................................................................................6 3.1.1 公共服务软件安装..........................................................................................................................6 3.1.1.1 CENTOS6.2 系统安装........................................................................................6 3.1.2 云平台部署......................................................................................................................................7 3.1.2.1 集群规划........................................................................................................... 7 3.1.2.1.1 功能规划................................................................................................... 7 3.1.2.1.2 架构图....................................................................................................... 8 3.1.2.2 系统安全........................................................................................................... 8 3.1.2.3 系统参数配置................................................................................................... 8 3.1.2.3.1 公共设置................................................................................................... 8 3.1.2.3.2 SSH 登录免认证配置..............................................................................10 3.1.2.3.3 JAVA 环境配置及JDK 安装....................................................................11 3.1.2.3.4 NTP 时钟同步配置..................................................................................12 3.2 HIVE 安装部署...............................................................................................................................13 3.3 HIVE 参数配置...............................................................................................................................14 3.3.1 配置HIVE_HOME 及PATH 环境变量.............................................................................................14 3.3.2 配置HIVE 配置文件......................................................................................................................14 3.4 HIVE 备份恢复...............................................................................................................................15 3.4.1 HIVE 的元数据备份方案...............................................................................................................15 3.4.2 HIVE 的Secondary NameNode 方案.............................................................................................16 3.4.3 HIVE 的Checkpoint Node 方案...................................................................................................16 3.4.4 HIVE 的Backup Node 方案...........................................................................................................16 3.4.5 DRDB 方案.......................................................................................................................................17 3.4.6 FaceBook 的AvatarNode 方案.....................................................................................................17 3.4.7 方案优缺点比较............................................................................................................................17 3.4.8 总结................................................................................................................................................18 3.5 HIVE 云平台监控...........................................................................................................................19 3.5.1 HIVE 云平台监控模块说明...........................................................................................................19 3.5.2 云平台节点存储情况(dfsadmin_rpt.sh)..................................................................................19 3.5.2.1 程序部署......................................................................................................... 19 3.5.2.2 程序................................................................................................................. 19 3.5.2.3 程序执行......................................................................................................... 19 3.5.2.4 命令详解......................................................................................................... 19 3.5.2.5 注意事项......................................................................................................... 20 3.5.3 作业运行监控--作业列表(job_list.sh)..................................................................................20 3.5.3.1 程序部署......................................................................................................... 20 3.5.3.2 程序................................................................................................................. 20 3.5.3.3 程序执行......................................................................................................... 20 3.5.3.4 命令详解......................................................................................................... 21 3.5.3.5 注意事项......................................................................................................... 21 3.5.4 作业运行监控--作业状态(job_status.sh)..............................................................................21 3.5.4.1 程序部署......................................................................................................... 21 3.5.4.2 程序................................................................................................................. 21 3.5.4.3 程序执行......................................................................................................... 21 3.5.4.4 命令详解......................................................................................................... 22 3.5.5 作业运行监控--语句执行情况(job_parameter.sh)................................................................22 3.5.5.1 程序部署......................................................................................................... 22 3.5.5.2 程序................................................................................................................. 22 3.5.5.3 程序执行......................................................................................................... 23 3.5.6 作业运行监控--分析MR 程序详细情况(job_detail.sh)........................................................23 3.5.6.1 程序部署......................................................................................................... 23 3.5.6.2 程序................................................................................................................. 23 3.5.6.3 程序执行......................................................................................................... 23 3.5.6.4 命令详解......................................................................................................... 23 3.5.7 HIVE 自有WEB 监控功能说明.......................................................................................................24 3.5.7.1 JOB 作业监控.................................................................................................. 24 3.5.7.2 HDFS 文件系统监控........................................................................................24 3.5.8 GANGLIA 工具监控HIVE 集群.......................................................................................................25
购买主题
已有 6 人购买
本主题需向作者支付 4 金币 才能浏览
| |
发表于 2015-1-28 08:40:29
|
显示全部楼层
| ||
发表于 2015-1-28 09:56:28
|
显示全部楼层
| ||
发表于 2015-4-6 00:42:08
|
显示全部楼层
| ||
发表于 2015-4-14 18:56:52
|
显示全部楼层
| ||
发表于 2015-4-15 12:44:57
|
显示全部楼层
| ||
发表于 2015-4-16 13:36:21
|
显示全部楼层
| ||