大数据免费讲座
Hadoop企业项目实战讲解
报名参加
大数据学习能力测评
7道题测试你的能力!
测试自己
7月北京班开课
小班授课,学员层次高!
14

光环国际大数据始创立

15

成功上市登陆创新层

16

成为华为集团培训供应商

17

成为阿里云大数据合作商

多年开发经验 为什么要转型大数据?

转型大数据,解决你的七大烦恼

大数据人才缺口严重!主要集中在以下岗位

只要你有开发经验,通过光环国际大数据课程学习,足以胜任!

6位海外 17位国内顶级专家联合打造
不讲基础 只讲企业应用的精英课程!

课程体系·专为资深IT人转型而设

面向转型 ● 全程实战 ● 阿里云认证课程体系
大数据、分布式数据收集系统Sqoop与Flume
理论:
大数据概论、六层架构技术体系、Hadoop历程与生态系统;结构化数据收集Sqoop背景、架构、原理及使用;非结构化(日志)数据收集系统Flume:背景、架构、原理及使用。
实战:
利用Flume从指定目录中收集数据到HDFS;
利用Sqoop将MySQL表中数据写HDFS;
掌握Sqoop和Flume构建企业级大数据收集系统。
Hadoop生态:Sqoop与Flume
分布式消息队列Kafka、分布式存储系统HDFS
理论:
kafka架构及原理、应用场景及经典架构组合;HDFS优缺点、架构主节点NameNode、从节点DataNode、journal node解析、核心设计、安全模式、负载均衡、机架感应、HDFS操作命令行接口、Java接口。
实战:
搭建Kafka集群;Producer将数据写入Kafka;
Consumer从Kafka中读取数据;搭建HDFS集群;
使用NameNode Web UI、使用HDFS Shell;
Java编写程序从HDFS读取、写入、删除数据和文件等。
Hadoop生态:Kafka与HDFS
分布式存储系统:分布式数据库HBase
理论:
HBase简介、优缺点、系统架构、HBase API使用、读写 HBase中存储的数据等。
实战:
搭建Hbase集群、使用Hbase Web UI及HBase Shell、 利用Java在hbase中创建表、写入和读取数据 用户画像系统项目实战、网络爬虫项目实战
Hadoop生态:HBase
分布式分析引擎:Hive基础
理论:
Hive背景、架构、 HQL的DML和DDL语法等、掌握HQL编写方式、能够使用Hive构建大数据仓库系统
实战:
Hive环境搭建、利用Hive创建表并进行查询、 Hive创建ORC与Parquet表并查询
Hadoop生态:Hive
分布式分析引擎:Hive进阶
理论:
Hive内部原理,多计算引擎(Tez与Spark),Hive创建ORC/Parquet表,Hive调优
实战:
程序方式访问Hive、Hive调优演示
Hadoop生态:Hive进阶
交互式查询引擎Presto
理论:
Presto基本架构,Presto与Hive对比,Presto基本使用
实战:
Presto集群搭建、Presto使用方式、Presto与Hive性能对比
Hadoop生态:Presto
Spark 基础
理论:
Java Lambda语法简介 、Spark基础原理与运行架构、Spark部署方式
实战:
Spark开发环境搭建、使用Spark Web UI、将Spark程序运行到YARN上
Spark生态:Spark基础
Spark 程序设计
理论:
Spark编程模型、内存弹性分布式数据集的工作原理和机制、Spark RDD transform、 持久化、 checkpoint、容错与性能优化,掌握常见的Spark API,熟练使用Spark开发大数据分析程序。
实战:
利用intellij idea开发一个spark程序并运行到集群中、利用spark设计电影受众分析程序
Spark生态:Spark程序设计
Spark SQL
理论:
基础原理、DataFrame与Dataset,Spark SQL主要函数介绍及API、熟练使用Spark SQL、DataFrame开发大数据分析程序。
实战:
DataFrame与Dataset开发wordcount程序;
DataFrame与Dataset设计电影受众分析程序
Spark生态:Spark SQL
Spark Streaming 基础
理论:
流式计算、spark streaming 、API-map,filter、flatMap、foreachRDD、saveAsTextFile等;高级API-window、 transform、mapWithState;Redis。
实战:
Spark Streaming读取HDFS数据,统计后写入HDFS、Redis和HBase;
利用mapWithState实现wordcount。
Spark生态:Spark Streaming
十一
Spark Streaming进阶
理论:
保存kafka offset并恢复、spark streaming容错机制、spark streaming调优方法、structured streaming原理及关键API
实战:
利用Spark Streaming+kafka+redis实现“用户手机app行为分析系统“;实现streuctured streaming版本的wordcount
Spark生态:Spark Streaming进阶
十二
Spark MLlib数据分析挖掘程序
理论:
数据挖掘与机器学习、机器学习案例、Spark MLib分类、聚类、推荐等算法,用户画像系统设计。
实战:
回归预测和局部加权线性回归预测算法、最近邻 KNN 预测分析的算法、协同过滤算法的Spark实现技术应用、决策树、逻辑回归、贝叶斯分类分析挖掘算法等,互联网用户性别预测小案例。
Spark生态:Spark MLlib
十三
深度学习课程体系
理论:
人工智能发展史、常见应用(自动驾驶、机器翻译、人脸识别等)、常见python机器学习库、人工智能算法及开源库tensorflow介绍;人工智能技术体系、人工智能技术的数学与python基础、神经网络(DNN,RNN及CNN等)和开源框架tensorflow及pytorch等
实战:
1、电影评论文本情感分析(监督学习,可应用在:各种评论文本的正负情感分类,新闻的正负情感分类)
2、电信客户流失预测(监督学习,可应用在:股价预测、流量预测,房价预测等方面中)
3、基于深度学习的手写字体识别
人工智能:深度学习
十四
spark应用:用户行为实时分析系统
实战:
项目背景、开发需求、 项目架构、核心点讲解;项目架构、核心点讲解;数据展示、共性问题答疑 、项目总结。
讲解主要架构:Kafka+Spark Streaming+Mysql
目标:
掌握大数据流式系统基本架构;
学会使用kafka和spark streaming构建流式计算系统;
熟练掌握使用spark streaming编写鲁棒的流式处理程序;
Spark项目:用户行为分析系统
十五
spark应用:信用卡欺诈分析系统
实战:
项目背景、开发需求、 项目架构、核心点讲解、数据展示、共性问题答疑 、项目总结。
讲解主要架构:HDFS + Spark Core + mllib
目标:
回归熟悉机器学习应用;
熟悉如何使用HDFS和Spark解决实际问题。
Spark项目:信用卡欺诈分析系统
十六
Hadoop:“双十一”大数据日志分析系统
实战:
项目背景、开发需求、 项目架构、核心点讲解;项目架构、核心点讲解;数据展示、共性问题答疑 、项目总结。 讲解主要架构:hadoop+kafka+spark+presto/hive+echart/D3
目标:
了解日志分析系统的基本架构、
熟练掌握hadoop和spark解决大数据分析问题、
使用常见的开源可视化工具对分析结果可视化。
Hadoop项目:大数据日志分析系统
十七
hadoop应用:用户画像系统
实战:
项目背景、开发需求、 项目架构、核心点讲解、数据展示、共性问题答疑 、项目总结。用户画像系统常见场景简介。
讲解主要架构:flume+hbase+spark+redis+mllib
目标:
掌握用户画像系统基本架构、
熟练使用HBase存储海量结构化和半结构化数据、
熟练使用mllib求解机器学习问题
Hadoop项目:用户画像系统
十八
综合应用:电子商务推荐系统
实战:
项目背景、开发需求、 项目架构、核心点讲解;项目架构、核心点讲解;数据展示、共性问题答疑 、项目总结。
讲解主要架构:HDFS + HBase + Spark SQL + Spark Streaming
目标:
掌握大数据设计架构lambda architecture学会Hadoop和Spark技术解决复杂大数据问题
综合项目:电子商务推荐系统
十九
综合应用:商务智能报表系统
实战:
项目背景、开发需求、 项目架构、核心点讲解;项目架构、核心点讲解;数据展示、共性问题答疑 、项目总结。
讲解主要架构:Hadoop + Hive + Presto + superset/tableau
目标:
掌握大数据报表系统基本架构设计方法学会使用Hadoop和Spark技术解决复杂大数据报表分析及可视化问题
综合项目:商务智能报表系统
课程目标
公司大数据岗位核心技能需求。了解所需知识和技能,以及主流大数据工具和框架的使用方法。
讲解大数据开发工程师岗位面试的常见笔试题,涵盖主流的互联网公司的面试题目,深入浅出,结合实际场景分析。
讲解常大数据研发面试问题,开放式问题和系统设计问题,融汇贯通整个课程知识点。
*本课程仅针对3年以上开发经验,零基础学员,请进入 大数据就业班

全部案例均针对有开发经验去转型学员精心设置
  • 项目一:用户画像系统
    用户画像系统flume+hbase+spark+redis+mllib架构,使用HBase存储海量结构化和半结构化数据,学会mllib求解机器学习等。
  • 项目二:电子商务推荐系统
    通过电子商务推荐系统,掌握大数据设计架构lambda architecture,学会使用Hadoop和Spark技术解决复杂大数据问题。
  • 项目三:商务智能报表系统
    掌握大数据报表系统基本架构设计方法,学会使用Hadoop和Spark技术解决复杂大数据报表分析及可视化问题。
  • 项目四:信用卡欺诈分析系统
    采用HDFS + Spark Core + mllib架构,熟悉机器学习应用,熟悉使用HDFS和Spark解决实际问题。
  • 项目五:用户行为实时分析系统
    掌握大数据流式系统基本架构,学会使用kafka和spark streaming构建流式计算系统,熟练掌握使用spark streaming编写鲁棒的流式处理程序。
  • 项目六:双十一大数据日志分析系统
    了解日志分析系统的基本架构,熟练掌握如何采用hadoop和spark解决大数据分析问题,使用常见的开源可视化工具对分析结果可视化。
  • 项目七:用户手机APP行为分析系统
    利用Spark Streaming+kafka+redis实现,掌握Spark Streaming调优方法和高级编程技巧,能够使用高级API编写更加鲁棒的分布式流式计算程序。
  • 项目八:基于深度学习的手写字体识别
    掌握人工智能技术基础,包括数学与python技术,了解神经网络技术及开源框架tensorfow、pytorch等,基于深度学习的手写字体识别。
  • 项目九:电信客户流失预测分析实战
    掌握人工智能技术基础,使用神经网络监督学习,预测电信客户流失曲线,监督学习技术可同样应用于股价预测、流量预测,房价预测等方面中。
  • 项目十:电影受众实时分析系统
    掌握 DataFrame与Dataset开发一个wordcount程序、设计电影受众分析程序,熟悉Spark SQL原理及API、Spark SQL、DataFrame开发分析程序。
  • 项目十一:电影评论文本情感分析系统
    采用神经网络(DNN,RNN及CNN)和开源框架tensorflow及pytorch等,监督学习,完成电影评论文本情感分析,可应用于新闻正负情感分类。
  • 项目十二:数据挖掘与机器学习实战
    掌握数据挖掘与机器学习基础知识算法,熟练使用Spark MLib分类、聚类、推荐等算法,完成用户画像系统设计,深刻了解机器学习。
  • 张**  已领取《光环国际大数据课程全部案例》  1分钟前
  • 崔*   已领取《光环国际大数据课程全部案例》  1分钟前
  • 班**  已领取《光环国际大数据课程全部案例》  2分钟前
  • 左**  已领取《光环国际大数据课程全部案例》  1分钟前
  • 刘*   已领取《光环国际大数据课程全部案例》  4分钟前
  • 王**  已领取《光环国际大数据课程全部案例》  1分钟前
  • 高**  已领取《光环国际大数据课程全部案例》  14秒前
  • 张*   已领取《光环国际大数据课程全部案例》  16秒前
  • 刘**  已领取《光环国际大数据课程全部案例》  1分钟前
  • 赵**  已领取《光环国际大数据课程全部案例》  2分钟前
  • 李**  已领取《光环国际大数据课程全部案例》  3分钟前
  • 崔*   已领取《光环国际大数据课程全部案例》  1分钟前
  • 刘*   已领取《光环国际大数据课程全部案例》  1分钟前
  • 刘*   已领取《光环国际大数据课程全部案例》  1分钟前
  • 赫**  已领取《光环国际大数据课程全部案例》  1分钟前
  • 王**  已领取《光环国际大数据课程全部案例》  2分钟前
  • 刘**  已领取《光环国际大数据课程全部案例》  3分钟前
  • 郜*   已领取《光环国际大数据课程全部案例》  18秒前
  • 谢*   已领取《光环国际大数据课程全部案例》  1分钟前
  • 赵**  已领取《光环国际大数据课程全部案例》  2分钟前
  • 杜**  已领取《光环国际大数据课程全部案例》  5分钟前
  • 孙**  已领取《光环国际大数据课程全部案例》  7分钟前
  • 任*   已领取《光环国际大数据课程全部案例》  12分钟前
  • 肖**  已领取《光环国际大数据课程全部案例》  6分钟前
  • 付**  已领取《光环国际大数据课程全部案例》  13分钟前
  • 胡**  已领取《光环国际大数据课程全部案例》  12秒前
  • 刘*   已领取《光环国际大数据课程全部案例》  1分钟前
  • 刘*   已领取《光环国际大数据课程全部案例》  1分钟前
  • 赫**  已领取《光环国际大数据课程全部案例》  1分钟前
  • 王**  已领取《光环国际大数据课程全部案例》  2分钟前
  • 刘**  已领取《光环国际大数据课程全部案例》  3分钟前
  • 郜*   已领取《光环国际大数据课程全部案例》  18秒前
  • 谢*   已领取《光环国际大数据课程全部案例》  1分钟前
  • 赵**  已领取《光环国际大数据课程全部案例》  2分钟前
  • 杜**  已领取《光环国际大数据课程全部案例》  5分钟前
  • 孙**  已领取《光环国际大数据课程全部案例》  7分钟前
  • 任*   已领取《光环国际大数据课程全部案例》  12分钟前
  • 肖**  已领取《光环国际大数据课程全部案例》  6分钟前
  • 付**  已领取《光环国际大数据课程全部案例》  13分钟前
获取完整企业案例
张**  已领取《光环国际大数据课程全部案例》  1分钟前 崔*   已领取《光环国际大数据课程全部案例》  1分钟前 左**  已领取《光环国际大数据课程全部案例》  1分钟前 刘*   已领取《光环国际大数据课程全部案例》  4分钟前 王**  已领取《光环国际大数据课程全部案例》  1分钟前 高**  已领取《光环国际大数据课程全部案例》   14秒前 张*   已领取《光环国际大数据课程全部案例》  16秒前 刘**  已领取《光环国际大数据课程全部案例》  1分钟前 赵**  已领取《光环国际大数据课程全部案例》  2分钟前 李**  已领取《光环国际大数据课程全部案例》  3分钟前 崔*   已领取《光环国际大数据课程全部案例》  1分钟前 刘*   已领取《光环国际大数据课程全部案例》  1分钟前 刘*   已领取《光环国际大数据课程全部案例》  1分钟前 赫**  已领取《光环国际大数据课程全部案例》  1分钟前 王**  已领取《光环国际大数据课程全部案例》  2分钟前 刘**  已领取《光环国际大数据课程全部案例》  3分钟前 郜*   已领取《光环国际大数据课程全部案例》  18秒前 谢*   已领取《光环国际大数据课程全部案例》   1分钟前 赵**  已领取《光环国际大数据课程全部案例》  2分钟前 杜**  已领取《光环国际大数据课程全部案例》  5分钟前 孙**  已领取《光环国际大数据课程全部案例》  7分钟前 任*   已领取《光环国际大数据课程全部案例》  12分钟前 肖**  已领取《光环国际大数据课程全部案例》  6分钟前 付**  已领取《光环国际大数据课程全部案例》   13分钟前 胡**  已领取《光环国际大数据课程全部案例》   12秒前 刘*   已领取《光环国际大数据课程全部案例》  1分钟前 刘*   已领取《光环国际大数据课程全部案例》  1分钟前 赫**  已领取《光环国际大数据课程全部案例》  1分钟前 王**  已领取《光环国际大数据课程全部案例》  2分钟前 刘**  已领取《光环国际大数据课程全部案例》  3分钟前 郜*   已领取《光环国际大数据课程全部案例》  18秒前 谢*   已领取《光环国际大数据课程全部案例》  1分钟前 赵**  已领取《光环国际大数据课程全部案例》  2分钟前 杜**  已领取《光环国际大数据课程全部案例》  5分钟前 孙**  已领取《光环国际大数据课程全部案例》  7分钟前 任*   已领取《光环国际大数据课程全部案例》  12分钟前 肖**  已领取《光环国际大数据课程全部案例》  6分钟前 付**  已领取《光环国际大数据课程全部案例》  13分钟前

测试结果会在3-5分钟发送给你

只针对资深IT人的业内名师

北京首席讲师

谭老师

北京大学计算机硕士

◆ 北京大学计算机硕士
◆ 7年+大数据研发经验
◆ 曾任新浪微博平台大数据架构师

曾就职于新浪微博平台研发部与Hulu北京研发中心,曾参与微博核心Feed系统的改造,主导多机房数据同步和容灾部署,Spark内核级优化和企业推广,Hadoop集群升级与优化,Hive On Tez优化以及推广等工作。曾在某在线视频公司及新浪等大型企业大数据培训担任讲师。

北京首席讲师

谭老师

北京大学计算机硕士

  • ◆ 北京大学计算机硕士
  • ◆ 7年+大数据研发经验
  • ◆ 曾任新浪微博平台大数据架构师

北京首席讲师

董老师

美国hulu大数据架构师

  • ◆ 中科院计算所硕士
  • ◆ 大数据畅销书籍作者
  • ◆ 曾担任多项国家级大数据内训讲师

北京首席讲师

张老师

中科院硕士

  • ◆ 中科院计算所硕士
  • ◆ Hbase资深Contributor
  • ◆ 拥有多年大数据研发经验

上海首席讲师

黄老师

曾任百度大数据负责人

  • ◆ 10年经验大数据研发专家
  • ◆ 曾任百度数据仓库技术负责人
  • ◆ 百PB量级数据治理项目经验

上海首席讲师

李老师

毕业于上海交大

  • ◆ 上海交大计算机专业出身
  • ◆ 7年+研发经验,先后就职于百度、腾讯
  • ◆ 目前专注于大数据与AI结合方向

上海首席讲师

王老师

1号店大数据架构师

  • ◆ 曾任百度大数据部高级工程师
  • ◆ 1号店搜索与精准化部门架构师
  • ◆ 5年+大数据研发经验,实时计算经验丰富

深圳首席讲师

屈老师

资深大数据研发专家

  • ◆ 5年+大数据高级研发专家
  • ◆ 曾参与国内早期移动通信大数据信令研发及建设
  • ◆ 现就职于某知名移动互联网公司,负责大数据安全项目

深圳首席讲师

旷老师

中南大学计算机硕士

  • ◆ 中南大学人工智能与识别硕士
  • ◆ 9年大数据研发与AI海量数据挖掘经验
  • ◆ 现任知名移动互联网公司大数据团队负责人

课堂实景·你身边的都是资深IT人

与资深IT人同行,你将得到知识、人脉、以及更高的视野

为什么光环大数据做的如此成功?

牛逼的课程,极致的服务,这些只有光环能做到
  • 服务一:真实物理集群
  • 服务二:在线云课堂
  • 服务三:助教答疑服务
  • 服务四:私人定制学习规划
  • 服务五:名企就业直推
  • 服务六:免费重听机制
  • 服务七:学友会终生服务
  • 服务八:终生高端人脉圈
更多疑问
阿里云大数据认证指定培训课程
阿里云认证承认度高 可优先进入阿里系企业

名企直推、阿里云认证指定课程

阿里云ACA认证直通资格

2017年,光环国际与阿里云达成大数据认证合作协议,光环国际大数据课程高度匹配阿里云大数据认证知识体系,学完光环国际大数据课程,可直通阿里云认证考试,对光环学员,600元认证考试费用全免。

申请阿里云认证直通 申请0元阿里云认证

华为内训及人才服务合作机构

光环国际与华为达成企业内训及人才服务合作协议,为华为提供员工培训以及人才直推,许多光环学员已入职名企,深扎华为。

华为内训及人才服务合作机构

中关村软件园指定人才提供企业,工信部认证,真实可查,为企业和学员建立人才直推快车道。

光环持续举办行业论坛、技术峰会等

光环国际将为学员提供持续学习、工作推荐等机会
17年口碑品牌,实力有目共睹

价值2000元大数据学习资料免费下载

免费领取

FREE COLLECTION

点击免费领取资料

大数据入门基础之Linux基础夯实.zip
大数据入门之Java必备自学基础.zip
hadoop生态体系知识点精讲.zip
kafka架构及应用实战讲解.zip
HBase分布式数据库进阶.zip
Spark生态体系32节视频.zip
机器学习实战案例24课时.zip

×
姓名
电话
×