精华推荐
网络工程师最佳实践
打造专业硬件工程师
169集全新MySQL课程
生成对抗网络+增强
开启高薪职业之路 
103G容量-Go语言运
|
13811| 112
|
北京某公司 Flume-ng+Kafka+Storm+HDFS 实时系统 21页内部培训PPT
[复制链接]
|
|
[free]
1）.数据采集 负责从各节点上实时采集数据，选用cloudera的flume来实现 2）.数据接入 由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲，选用apache的kafka 3）.流式计算 对采集到的数据进行实时分析，选用apache的storm 4）.数据输出 对分析后的结果持久化，暂定用mysql 模块化思想设计原因 1.模块化使功能划分更加清晰，从“数据采集--数据接入--流失计算--数据输出/存储” 2.模块化之后，加入当Storm挂掉了之后，数据采集和数据接入还是继续在跑着，数据不会丢失，storm起来之后可以继续进行流式计算
购买主题
已有 4 人购买
本主题需向作者支付 4 金币 才能浏览
| |
发表于 2015-2-3 17:04:33
| ||
发表于 2015-2-9 23:14:54
| ||
| ||
| ||
| ||
| ||
| ||
| ||