查看: 6308|回复: 113

北京某公司 Flume-ng+Kafka+Storm+HDFS 实时系统 21页内部培训PPT

  [复制链接]

3132

主题

4680

帖子

7万

积分

管理团队

人民公仆

Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20

贡献
565
技术
339
活跃
944
在线时间
6149 小时

我爱三通

发表于 2015-2-3 17:04:33 | 显示全部楼层 |阅读模式
[free] 1.jpg


1).数据采集
负责从各节点上实时采集数据,选用cloudera的flume来实现
2).数据接入
由于采集数据的速度和数据处理的速度不一定同步,因此添加一个消息中间件来作为缓冲,选用apache的kafka
3).流式计算
对采集到的数据进行实时分析,选用apache的storm
4).数据输出
对分析后的结果持久化,暂定用mysql

模块化思想设计原因

1.模块化使功能划分更加清晰,从“数据采集--数据接入--流失计算--数据输出/存储”

2.模块化之后,加入当Storm挂掉了之后,数据采集和数据接入还是继续在跑着,数据不会丢失,storm起来之后可以继续进行流式计算

购买主题 已有 4 人购买  本主题需向作者支付 4 金币 才能浏览

0

主题

7

帖子

35

积分

Byte

Rank: 2

贡献
0
技术
0
活跃
8
在线时间
0 小时
发表于 2015-2-9 23:14:54 | 显示全部楼层
来了,好东西要收藏

0

主题

5

帖子

25

积分

Byte

Rank: 2

贡献
0
技术
0
活跃
6
在线时间
0 小时
发表于 2015-3-15 01:08:44 | 显示全部楼层
来了,好东西要收藏

0

主题

1

帖子

5

积分

Byte

Rank: 2

贡献
0
技术
0
活跃
2
在线时间
0 小时
发表于 2015-3-18 11:53:13 | 显示全部楼层
谢谢谢谢谢谢谢谢谢谢谢谢谢谢

0

主题

7

帖子

35

积分

Byte

Rank: 2

贡献
0
技术
0
活跃
9
在线时间
0 小时
发表于 2015-3-30 20:25:36 | 显示全部楼层
赞,至少要十个字

0

主题

17

帖子

90

积分

Byte

Rank: 2

贡献
0
技术
0
活跃
48
在线时间
1 小时
发表于 2015-4-3 10:50:50 | 显示全部楼层
that's very good
thanks very much.

0

主题

265

帖子

1495

积分

Mib

Rank: 4

贡献
0
技术
0
活跃
125
在线时间
10 小时
发表于 2015-5-5 20:53:27 | 显示全部楼层
谢谢谢谢谢谢

0

主题

174

帖子

980

积分

Kib

Rank: 3Rank: 3

贡献
0
技术
0
活跃
430
在线时间
21 小时
发表于 2015-5-11 11:01:31 | 显示全部楼层
非常不错的资料

0

主题

4

帖子

20

积分

Byte

Rank: 2

贡献
0
技术
0
活跃
10
在线时间
0 小时
发表于 2015-5-11 15:36:46 | 显示全部楼层
感谢分享,单元能下载
使用 高级模式(可批量传图、插入视频等)
您需要登录后才可以回帖 登录 | 立即注册

快速回复 返回顶部 返回列表