精华推荐
Redis大厂性能提升 
240+G疯狂架构师 Al
全新升级HCIP课程+H
高级Linux企业级运
MySQL DBA从入门到
Pytest全栈自动化测
|
10218| 102
|
开源日志系统比较：scribe、chukwa、kafka、flume
[复制链接]
|
|
1. 背景介绍
许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； （2） 支持近实时的在线分析系统和类似于Hadoop 之类的离线分析系统； （3） 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。 本文从设计架构，负载均衡，可扩展性和容错性等方面对比了当今开源的日志系统，包括facebook 的scribe，apache 的chukwa，linkedin 的kafka 和cloudera的flume 等。
购买主题
已有 4 人购买
本主题需向作者支付 2 金币 才能浏览
| |
发表于 2015-2-8 18:08:55
| ||
发表于 2015-2-8 18:56:09
| ||
| ||
| ||
| ||
| ||
| ||
| ||