查看: 8293|回复: 263

[Spark/Scala] 大数据Spark实战项目 大数据实战之精准广告推送实战 完全实战化学习大数据开发

  [复制链接]

2

主题

2

帖子

70

积分

Byte

Rank: 2

贡献
0
技术
0
活跃
0
在线时间
9 小时
发表于 2018-2-21 10:24:05 | 显示全部楼层 |阅读模式
大数据Spark实战项目 大数据实战之精准广告推送实战  完全实战化学习大数据开发


1.jpg

103023diqir6u3rt3pqqr5.png


2.jpg


技术简介
1.传统的广告投放方式无法实现广告跟踪和效果评估,也给广告主带来了不必要的资金浪费;互联网技术的兴起,让传统的广告的投放方式从线下搬到了线上,大数据技术兴起,让不原本无法实现的广告跟踪和效果评估变成了现实;
2.精准广告推送数据分析平台是目前互联网广告投放的核心;
3.精准广告推送数据分析平台旨在利用大数据技术分析用户数据特征,根据用户特征进行精心的广告推送服务,如AnglelaBaby喜欢的口红,那么就给她推送口红的广告;
4.精准广告推送数据分析项目主要是Spark Transformations、Action、Broadcast、Spark Streaming、MLLib的技术点的综合案例实战,通过该项目实战让你的面试、就业不在是黄粱一梦。


课程大纲
项目
模块
具体内容
涉及技术
大数据Spark实战项目:
精准广告推送系统
DMP平台
广告行业现状
广告行业现状分析
传统广告和互联网广告投放优劣PK
广告行业知识介绍
互联网广告的程序化采买概念
DSP业务需求详解
SSP详解
AD Exchange详解
RTB实时竞价详解
DSP平台详解
DMP平台详解
项目背景
项目背景介绍
DMP平台建设的必要性分析
项目业务流程梳理
DMP业务流程详解
项目技术架构分析
DMP技术架构设计分析
日志采集
日志采集方案设计分析
日志格式
日志格式详解
项目数据采集
Flume自定义插件详解
Flume自定义插件开发流程详解及实际场景应用;
source、channel、sink的使用详解及实战经验;
Flume HDFS sink深入剖析及实战经验;
数据存储目录结构设计;
Flume组件使用详解
Flume采集日志到HDFS
日志存储目录设计
数据存储技术选型
parquet选型
Paruqet存储原理详解
Parquet优势分析
Parquet存储优点详解
Parquet实战
日志文件转Parquet文件实战
离线业务
日志数据量分布统计
Spark SQL实战
广告投放效果地域分析
Spark Transformations各算子在各业务模型中的实战应用;
Spark Action的实战应用最佳实践经验;
Spark SQL在项目数据分析业务场景中的各类复杂应用,如
如参与竞价数、竞价成功数、竞价成功率、ECPC、ECPM等。
广告投放效果渠道分析
广告投放效果终端分析
广告投放效果媒体分析
实时业务
广告日志到Kafka
使用Spark Streaming结合Kafka对业务指标进行实时统计分析,并将计算的结果数据存储到Redis中
Kafka分区调优应用;
Kafka整合Spark Streaming的数据可靠性优化实战;
Kafka整合Spark Streaming的吞吐量协调优化实战;
Spark Streaming在复杂业务模型下的逻辑开发实战;
Spark Streaming线上环境各类复杂异常处理经验;
Spark Streaming线上环境各类监控、JVM优化经验
媒体数据实时分析
渠道数据实时分析
用户画像
标签体系建设
定制一套标签体系
用户上下文标签
使用Spark Transformations、Action、Broadcast及外部爬虫抓到的网络数据进行处理分析将数据标签化
统一用户识别
使用Spark GraphX算法,对数据进行分析处理,识别出同一用户跨多个设备的问题
基于地理位置的广告投放
使用GEOHASH算法结合HBASE解决用户的地理位置识别问题
用户数据标签聚合
使用Spark Transformations、Action将上下文标签数据和统一用户数据进行合并
HBase存储用户标签
将合并的用户标签数据存储到Hbase中,并根据日志动态扩列
用户标签数据衰减
将Hbase中的标签数据按照日期自动衰减,形成当天最新的标签
数据可视化
ElasticSearch
使用Echarts、ELK将Hbase中的数据做可视化的web平台;
Echarts实际应用实战技能;
ELK实际应用实战技能;

Echarts
标签可视化平台建设



===============课程目录===============

1.大数据实战之精准广告推送实战---广告形式介绍.avi
2.大数据实战之精准广告推送实战---几个思考.avi
3.大数据实战之精准广告推送实战---互联网广告概念及表现形式.avi
4.大数据实战之精准广告推送实战---广告名词概念.avi
5.大数据实战之精准广告推送实战---DSP原理.avi
6.大数据实战之精准广告推送实战---DSP流程.avi
7.大数据实战之精准广告推送实战---DMP项目背景.avi
8.大数据实战之精准广告推送实战---DMP数据处理技术架构.avi
9.大数据实战之精准广告推送实战---DMP业务流程.avi
10.大数据实战之精准广告推送实战---指标说明.avi
11.大数据实战之精准广告推送实战---日志字段属性说明.avi
12.大数据实战之精准广告推送实战---项目Maven工程构建.avi
13.大数据实战之精准广告推送实战---将日志转换成Parquet格式.avi
14.大数据实战之精准广告推送实战---Parquet文件分区操作.avi
15.大数据实战之精准广告推送实战---Spark SQL操作Parquet--地域数据量分布统计.avi
16.大数据实战之精准广告推送实战---Spark Core算子操作原始日志--地域数据量分布统计.avi


小牛学堂,十年沉淀,国内首家上市大数据教育机构   只为品质教育



购买主题 已有 7 人购买  本主题需向作者支付 190 金币 才能浏览

0

主题

6355

帖子

4万

积分

Cib

Rank: 13Rank: 13Rank: 13Rank: 13

贡献
0
技术
0
活跃
9818
在线时间
347 小时
发表于 2018-2-21 10:36:09 | 显示全部楼层
谢谢分享,和三通IT一起成长。

9

主题

2901

帖子

2万

积分

Dib

Rank: 12Rank: 12Rank: 12

贡献
10
技术
0
活跃
3324
在线时间
555 小时
发表于 2018-2-21 11:09:56 | 显示全部楼层
谢谢分享,和三通IT一起成长。

9

主题

2901

帖子

2万

积分

Dib

Rank: 12Rank: 12Rank: 12

贡献
10
技术
0
活跃
3324
在线时间
555 小时
发表于 2018-2-21 11:10:12 | 显示全部楼层
谢谢分享,和三通IT一起成长。
匿名  发表于 1970-1-1 08:00:00
post_deleted

0

主题

576

帖子

3704

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
594
在线时间
46 小时
发表于 2018-2-21 12:08:14 | 显示全部楼层
正在寻找这方面的资料, 非常感谢分享, 下载学习中。

点评

你好 能分享下么  发表于 2018-4-20 17:00

0

主题

674

帖子

5100

积分

论坛贵宾VIP-永久权限

Rank: 8Rank: 8

贡献
0
技术
0
活跃
990
在线时间
148 小时
发表于 2018-2-21 13:05:11 | 显示全部楼层
感谢分享,有你真精彩。
使用 高级模式(可批量传图、插入视频等)
您需要登录后才可以回帖 登录 | 立即注册

快速回复 返回顶部 返回列表