Flume+kafka+storm搭建详解实时日志分析系统架构简介

失之东隅 · 发表于 2015-2-4 18:05:50

实时日志分析系统架构简介
系统主要分为四部分：

1）.数据采集
负责从各节点上实时采集数据，选用cloudera 的flume 来实现
2）.数据接入
由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲，选用
apache 的kafka
3）.流式计算
对采集到的数据进行实时分析，选用apache 的storm
4）.数据输出
对分析后的结果持久化，暂定用mysql

购买主题 已有 10 人购买 本主题需向作者支付 1 金币 才能浏览

llto521 · 发表于 2015-2-5 09:47:23

Flume 不知道如何用啊

remzhang · 发表于 2015-2-9 23:16:46

不错，研究研究。

笨笨 · 发表于 2015-3-31 22:43:34

kaqiluo · 发表于 2015-4-27 22:06:00

三通学院，中国IT的黄埔军校

lq_witness · 发表于 2015-5-5 13:59:55

看看能不能下载

359126613 · 发表于 2015-5-19 08:43:55

Flume 不知道如何用啊

hwhone · 发表于 2015-5-29 07:59:36

想看看Storm怎么运转的

z397435052 · 发表于 2015-5-29 09:49:29

感谢楼主的分享。。。。。。

弘毅2015 · 发表于 2015-6-10 17:16:32

谢谢分享！！

三通IT学院

Flume+kafka+storm搭建详解实时日志分析系统架构简介

售前咨询

售后服务

三通IT学院

Flume+kafka+storm搭建详解 实时日志分析系统架构简介

售前咨询

售后服务

Flume+kafka+storm搭建详解实时日志分析系统架构简介