查看: 3903|回复: 164

[Hadoop] 2015小象学院—Hadoop进阶视频教程 Hadoop高级进阶视频教程 Hadoop精华视频教程

  [复制链接]

27

主题

43

帖子

470

积分

Kib

Rank: 3Rank: 3

贡献
54
技术
275
活跃
39
在线时间
6 小时
发表于 2016-3-1 20:44:04 | 显示全部楼层 |阅读模式
2015小象学院—Hadoop进阶视频教程 Hadoop高级进阶视频教程 Hadoop精华视频教程

无标题.jpg

66.jpg
878888.jpg


课程名称及简介

《Hadoop进阶》:本课程面向Hadoop高阶学习者,具有一定Hadoop系统使用经验,结合大规模使用Hadoop的实践经验,了解和掌握HDFS构建、Hadoop工具使用、调试优化,问题分析,通过分析示例掌握大量实际使用的经验,很多实战内容的示例是很少在网络上找到文档支持。

时间:共六周
培训方式:
视频学习 + 在线答疑 + 每周作业 + 结业考试

课程大纲:

授课对象:Hadoop高级、具有一定Hadoop系统使用经验

适用Hadoop版本:兼顾所有Hadoop版本,包括Apache、Hortonworks和CDH发行版

第一部分. MapReduce

Mapreduce工作流程及基本架构回顾

运维相关

参数调优
benchmark
reuse jvm
错误感知及speculative执行
task日志分析
可容忍错误百分比设置及跳过坏记录
选择fairescheduler等其他调度器优化性能
开发相关

数据类型选择
实现自定义writable数据类型、自定义key
一个mapper中输出不同类型value
InputFormat/OutputFormat,原理及定制
Mapper/Reducer/Combiner,Combiner的使用及其对mapreduce框架优化的作用
Partitioner定制
排序策略GroupingComparator/SortComparator
任务调度原理及修改方法(案例,map/reduce共享slot,按标识精准map/reduce调度)
Streaming
DistributedCache
mapreduce任务间依赖
counter
JobChild参数设置
性能优化

第二部分. hdfs

HDFS API

fuse(C API)

压缩

HDFS benchmark

Datanode添加及删除

多盘支持,磁盘错误感知

hdfs raid

HDFS block size设置相关问题

文件备份数设置

HDFS中合并文件

第三部分. Hadoop工具

dfsadmin/mradmin/balancer/distcp/fsck/fs/job

监控及报警

hadoop配置管理

第四部分. Hadoop调试

Log

本地模式调试map/reduce任务

远程调试

第五部分. 问题分析

Java GC介绍及java进程常用的分析工具jstat、jhat、jmap

top/iostat/netstat/lsof等

Jstack/kill -3

Strace

nload/tcpdump

第六部分.分析示例

MapReduce简单分析

用MapReduce实现Group-by

用MapReduce实现倒排索引

MapReduce实现直方图

MapReduce实现Join

主讲人: 冼茂源

Apache Hama project PMC。

具有在朗讯、Sun Microsystems、搜狗等通信、传统IT以及互联网企业的工作经历。

针对互联网具体业务的特殊需求,对hadoop调度机制、安全管理、存储优化、监控及管理系统等进行深度修改。

同时,在将HBase与具体查询业务相结合,在实际项目中进行系统问题排查及调优方面有丰富经验
购买主题 已有 2 人购买  本主题需向作者支付 600 金币 才能浏览

6

主题

1778

帖子

1万

积分

Cib

Rank: 13Rank: 13Rank: 13Rank: 13

贡献
3
技术
15
活跃
2648
在线时间
390 小时
发表于 2016-3-1 21:00:58 | 显示全部楼层
2015小象学院—Hadoop进阶视频教程

1

主题

220

帖子

1350

积分

Mib

Rank: 4

贡献
0
技术
0
活跃
291
在线时间
49 小时
发表于 2016-3-1 21:08:34 | 显示全部楼层

2015小象学院—Hadoop进阶视频教程

0

主题

1180

帖子

6560

积分

Cib

Rank: 13Rank: 13Rank: 13Rank: 13

贡献
0
技术
0
活跃
1391
在线时间
133 小时
擅长技术
思科华为
发表于 2016-3-1 21:15:35 | 显示全部楼层
2015小象学院—Hadoop进阶视频教程

2

主题

1000

帖子

5860

积分

Dib

Rank: 12Rank: 12Rank: 12

贡献
3
技术
16
活跃
1269
在线时间
169 小时
擅长技术
LINUX
发表于 2016-3-1 21:48:03 | 显示全部楼层
好动东西 谢谢分享哦好动东西 谢谢分享哦好动东西 谢谢分享哦好动东西 谢谢分享哦好动东西 谢谢分享哦好动东西 谢谢分享哦

1

主题

512

帖子

524

积分

Mib

Rank: 4

贡献
0
技术
0
活跃
1053
在线时间
42 小时
发表于 2016-3-1 22:01:07 | 显示全部楼层
15小象学院—Hadoop进阶视频教程 Hadoop高级进阶视频教程 Hadoop精华视频教程 [

0

主题

381

帖子

2265

积分

论坛VIP特惠-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
369
在线时间
72 小时
发表于 2016-3-1 22:03:39 | 显示全部楼层
好资源看看

20

主题

524

帖子

2960

积分

Pib

Rank: 8Rank: 8

贡献
18
技术
91
活跃
400
在线时间
43 小时
发表于 2016-3-1 22:52:29 | 显示全部楼层
好好学习,天天向上

0

主题

466

帖子

2615

积分

论坛VIP特惠-永久权限

Rank: 8Rank: 8

贡献
0
技术
-1
活跃
406
在线时间
57 小时
发表于 2016-3-1 23:23:32 | 显示全部楼层
2015小象学院—Hadoop进阶视频教程 Hadoop高级进阶视频教程 Hadoop精华视频教程 [2015小象学院—Hadoop进阶视频教程 Hadoop高级进阶视频教程 Hadoop精华视频教程 [2015小象学院—Hadoop进阶视频教程 Hadoop高级进阶视频教程 Hadoop精华视频教程 [2015小象学院—Hadoop进阶视频教程 Hadoop高级进阶视频教程 Hadoop精华视频教程 [
使用 高级模式(可批量传图、插入视频等)
您需要登录后才可以回帖 登录 | 立即注册

快速回复 返回顶部 返回列表