精华推荐
kubernetes内核解锁
云端运维大师自动化
Redis大厂性能提升 
41小时全新华为HCIA
千峰达摩院-夯实Ora
不只是抓包这么简单
|
3189| 38
|
中国移动数据集成项目-HBASE 安装部署、参数设置、备份、恢复、监控规范
[复制链接]
|
|
1 概述.................................................................................................................................................................. 3
1.1 背景..................................................................................................................................................3 1.2 目的..................................................................................................................................................4 1.3 范围..................................................................................................................................................4 2 硬件准备.......................................................................................................................................................... 5 3 实施.................................................................................................................................................................. 5 3.1 软件准备..........................................................................................................................................5 3.2 HBASE 服务器规划...........................................................................................................................5 3.3 HBASE 安装部署...............................................................................................................................5 3.4 HBASE 参数配置...............................................................................................................................9 3.5 HBASE 备份恢复.............................................................................................................................10 3.5.1 常用的在线备份方案及其比较....................................................................................................10 3.5.2 原理................................................................................................................................................12 3.5.2.1 Replication 总体结构.............................................................................................12 3.5.2.2 Replication 工作流程.............................................................................................13 3.5.2.3 Replication Class 简介...........................................................................................14 3.5.2.4 Replication Zookeeper 上的结构........................................................................... 15 3.5.2.5 Replication Failover................................................................................................ 16 3.5.3 部署................................................................................................................................................18 3.5.3.1 Master 集群配置文件............................................................................................18 3.5.3.2 Slave 集群配置文件.............................................................................................. 20 3.5.3.3 Master 集群配置....................................................................................................20 3.5.3.4 Slave 集群配置....................................................................................................... 20 3.6 HBASE 监控.....................................................................................................................................20 3.6.1 hbase 的监控配置说明.................................................................................................................21 3.6.2 hadoop 基于ganglia 的监控框架...............................................................................................21 3.6.3 hbase regionserver 中RPC metric 的计算采集.....................................................................22 3.6.4 hbase 中JVM 监控数据的计算采集.............................................................................................23 3.6.5 hbase 中regionserver 进程相关metric 的计算采集.............................................................24 3.6.5.1 region 的metric 采集..............................................................................................25 3.6.5.2 blockcache 相关的metric 采集..............................................................................26 3.6.5.3 读写请求的metric 采集.........................................................................................26 3.6.5.4 dfs 操作的metric 采集...........................................................................................27 3.6.5.5 compact 与split 的操作数据采集......................................................................... 28 3.6.5.6 handler 的metric 采集............................................................................................29 背景 随着OSS 域各个系统的建设，系统间数据共享的需求也越来越多。目前，贵州移动的网管系统在总部规范指导下，按需逐年建设而成的。这些系统实现对通信网络和业务平台的管理，支撑配置管理、故障监控、指标分析、网络优化、例行维护、指挥调度等工作。但是，面向网元和网络的分专业网管，难以支持以客户感知为核心、面向端到端业务实现的运维管理新要求。越来越多的跨系统应用需要同时来自多个生产系统的数据进行支撑，实际生产分析场景需要将多类型、多专业的性能、质量等数据的进行集中管理，并建立模型关联，准实时、非实时分析需求并存。CMOSS2.0 明确提出了数据集成和共享平台的技术架构要求。包括服务总线和数据总线。 数据集成和共享平台作为所有系统的交互桥梁，能够实现全面支持CMOSS 规范中的所有共享模式，提升系统稳定性及业务吞吐量；提供基于标准模型的数据共享服务，以解决数据开放共享问题。建设效果直接影响到中国移动的IT 业务能力和IT 功能支撑能力。
购买主题
已有 1 人购买
本主题需向作者支付 5 金币 才能浏览
| |
发表于 2015-1-27 14:41:43
| ||
发表于 2015-4-14 19:56:56
| ||
| ||
| ||
| ||
| ||
| ||
| ||