楼主: 失之东隅

Flume+kafka+storm搭建详解 实时日志分析系统架构简介

  [复制链接]

2

主题

899

帖子

6911

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
-100
技术
0
活跃
1496
在线时间
164 小时
发表于 2017-12-17 14:23:57 | 显示全部楼层
实时日志分析系统架构简介

0

主题

59

帖子

430

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
100
在线时间
7 小时
发表于 2018-1-25 22:36:47 | 显示全部楼层
DDDDDDDDDDDDDDDDDDDD

2

主题

3895

帖子

2万

积分

Cib

Rank: 13Rank: 13Rank: 13Rank: 13

贡献
0
技术
0
活跃
5972
在线时间
210 小时
发表于 2018-1-26 08:09:25 | 显示全部楼层
Thanks for your share!

0

主题

1万

帖子

7万

积分

Cib

Rank: 13Rank: 13Rank: 13Rank: 13

贡献
0
技术
0
活跃
16094
在线时间
564 小时
发表于 2018-1-26 08:50:05 | 显示全部楼层
谁知盘中餐,发帖真辛苦!

1

主题

690

帖子

4698

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
733
在线时间
91 小时
发表于 2018-2-25 14:55:47 | 显示全部楼层
实时日志分析系统架构简介
系统主要分为四部分:

1).数据采集
负责从各节点上实时采集数据,选用cloudera 的flume 来实现
2).数据接入
由于采集数据的速度和数据处理的速度不一定同步,因此添加一个消息中间件来作为缓冲,选用
apache 的kafka
3).流式计算
对采集到的数据进行实时分析,选用apache 的storm
4).数据输出
对分析后的结果持久化,暂定用mysql

2

主题

571

帖子

3750

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
590
在线时间
56 小时
发表于 2018-2-26 21:19:21 | 显示全部楼层
不错,研究研究。

8

主题

2785

帖子

1万

积分

Dib

Rank: 12Rank: 12Rank: 12

贡献
0
技术
0
活跃
986
在线时间
473 小时
擅长技术
IT运维
发表于 2018-2-26 21:35:14 | 显示全部楼层
来了解一下,感谢分享

0

主题

155

帖子

1124

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
219
在线时间
27 小时
发表于 2018-2-28 22:37:55 | 显示全部楼层
不错,研究研究。
使用 高级模式(可批量传图、插入视频等)
您需要登录后才可以回帖 登录 | 立即注册

快速回复 返回顶部 返回列表