楼主: 失之东隅

Flume+kafka+storm搭建详解 实时日志分析系统架构简介

  [复制链接]

1

主题

712

帖子

6301

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
1046
在线时间
339 小时
发表于 2020-2-24 09:38:54 | 显示全部楼层
1111111111111111111111

2

主题

4596

帖子

3万

积分

Cib

Rank: 13Rank: 13Rank: 13Rank: 13

贡献
0
技术
0
活跃
6584
在线时间
594 小时
发表于 2020-3-10 17:34:14 | 显示全部楼层
感谢楼主分享!

0

主题

154

帖子

1083

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
208
在线时间
21 小时
发表于 2020-4-27 20:45:33 | 显示全部楼层
9999999999999999999999

0

主题

513

帖子

4236

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
791
在线时间
156 小时
发表于 2020-8-27 18:45:34 | 显示全部楼层
感谢楼主分享

0

主题

148

帖子

993

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
158
在线时间
20 小时
发表于 2020-9-2 14:21:40 | 显示全部楼层
感谢分享,谢谢

1

主题

213

帖子

1485

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
260
在线时间
32 小时
发表于 2020-11-12 23:43:57 | 显示全部楼层
时日志分析系统架构简介
系统主要分为四部分:

1).数据采集
负责从各节点上实时采集数据,选用cloudera 的flume 来实现
2).数据接入
由于采集数据的速度和数据处理的速度不一定同步,因此添加一个消息中间件来作为缓冲,选用
apache 的kafka
3).流式计算
对采集到的数据进行实时分析,选用apache 的storm
4).数据输出
对分析后的结果持久化,暂定用mysql

2

主题

4596

帖子

3万

积分

Cib

Rank: 13Rank: 13Rank: 13Rank: 13

贡献
0
技术
0
活跃
6584
在线时间
594 小时
发表于 2021-1-27 16:14:36 | 显示全部楼层
感谢楼主分享!

0

主题

157

帖子

1037

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
182
在线时间
15 小时
发表于 2021-4-3 08:45:34 | 显示全部楼层
Flume+kafka+storm搭建详解 实时日志分析系统架构简介

0

主题

215

帖子

1628

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
258
在线时间
60 小时
发表于 2021-4-13 10:04:22 | 显示全部楼层
Flume+kafka+storm搭建详解
使用 高级模式(可批量传图、插入视频等)
您需要登录后才可以回帖 登录 | 立即注册

快速回复 返回顶部 返回列表