大數據培訓班_企業級大數據開發實戰項目培訓機構-傳智教育

關于大數據

站在云端操控萬千數據

為什么要學習大數據？

大數據主導未來
各行業應用廣泛
市場需求熱度高

隨著大數據在各行各業融合應用的不斷深化，預計2020年中國大數據市場市值將突破10000億元。數據來源于第三方網站

大數據賦能產業，改變人與場景的交互方式
未來發展，大數據應用范圍越加廣泛

高級軟件工程師課程

推出高級軟件工程師課程，知識量和技術深度增加50%，以業務為核心驅動項目，打造業務+技術并重的復合型人才

大數據培訓課程標準為什么要培訓成為高級軟件工程師？

大數據課程大綱

基礎班階段一
就業班階段一
就業班階段二
就業班階段三
就業班階段四
就業班階段五
就業班階段六
就業班階段七
就業班階段八

查看詳細課程大綱>零基礎數據倉庫課程新課時：8天VS舊課時：15天

升級說明

基礎課程優化，使學員可以由淺入深的了解大數據業務開發的真實場景，推出大數據0基礎體驗課

主要內容

?操作系統基礎?關系型數據庫?可視化ETL平臺?BI可視化開發?電商數據倉庫實戰

可解決的現實問題

?具備傳統數據倉庫開發能力

可掌握的核心能力

?掌握企業級ETL平臺的kettle ?掌握BI的可視化平臺Superset ?掌握Kettle ETL處理設計思想 ?掌握大數據企業開發中最常見的linux的操作 ?掌握一款主流數據庫客戶端工具DataGrip ?掌握企業MySQL的調優方案 ?掌握大數據分析中數據全量及增量同步解決方案 ?掌握生產環境中數據分析程序的部署解決方案

查看詳細課程大綱>Java語言編程新課時：19天VS舊課時：40天

升級說明

Java語言編程優化，增加熱門技術，提升大數據課程內容的占比

主要內容

?面向對象 ?常用類 ?集合操作 ?IO操作 ?Java基礎增強 ?JDBCMaven ?爬蟲案例

可解決的現實問題

?基礎語法是學習任何編程語言的第一課，學好基礎語法，才能更好的學習后面的課程知識點

可掌握的核心能力

?掌握Java程序基礎數據類型 ?掌握開發中常用類如集合、IO流、常用類等操作 ?掌握Java異常處理機制 ?掌握反射、網絡編程、多線程開發 ?掌握Jsoup的網絡爬蟲開發 ?掌握JDBC操作 ?掌握ETL數據處理和BI報表開發

查看詳細課程大綱>Hadoop技術棧新課時：13天VS舊課時：10天

升級說明

簡化大數據組件安裝，優化Hadoop生態圈組件，采用全新的CentOs7平臺完成大數據環境搭建，滿足企業需求

主要內容

?Linux操作系統高級 ?大數據基礎和硬件介紹 ?Zookeeper

可解決的現實問題

?具備Hadoop開發能力、離線數據倉庫開發能力

可掌握的核心能力

?掌握shell編程 ?掌握ZooKeeper原理并應用 ?掌握HDFS的使用和MapReduce編程 ?理解MapReduce原理和調優 ?掌握Yarn的原理和調優 ?掌握Hive的使用和調優

查看詳細課程大綱>項目一（在線教育）新課時：10天VS舊課時：無

升級說明

新增教育項目，對教育行業大數據數倉構建場景還原，建立企業數據倉庫，分析項目多達40個模塊150個技術點，緊密貼合企業級大數據實戰

主要內容

?HDFS ?MapReduce ?YARN ?Hive

可解決的現實問題

?具備企業級離線數據倉庫開發能力，深入教育行業需求，提升行業的核心競爭力

可掌握的核心能力

?掌握從需求、設計、研發、測試到落地上線的完整項目流程 ?掌握大量教育行業的真實業務邏輯，涉及20多個主題，100多個指標 ?掌握海量數據如何調優、使用拉鏈表、增量數據處理，以及Hive函數的具體應用等 ?掌握基于CM的大數據環境部署和管理 ?掌握數據倉庫的核心概念和應用 ?掌握常用離線大數據技術：Oozie、Sqoop、Hive等 ?掌握FineReport可視化

查看詳細課程大綱>數據微服務接口開發新課時：5天VS舊課時：無

升級說明

新增SparkBoot+SpringCloud企業級微服務開發技術棧

主要內容

?建立企業數據倉庫，統一企業數據中心，把分散的業務數據集中存儲和處理

可解決的現實問題

?具備后端數據微服務接口開發，可勝任通過Spring技術架構完成微服務搭建 ?可完成企業級數據微服務接口開發

可掌握的核心能力

?掌握SpringBoot整合SpringMVC開發 ?掌握SpringBoot整合MyBatis開發 ?掌握Eureka搭建 ?掌握Feign的使用

查看詳細課程大綱>實時生態圈新課時：18天VS舊課時：6天

升級說明

優化實時組件技術，采用企業級案例數據講解，Flink采用原生Java并使用最新的1.10版本，新增FlinkCep等多種實時計算技術

主要內容

?項目從需求調研、設計、版本控制、研發、測試到落地上線，涵蓋了項目的完整工序

可解決的現實問題

?具備使用Hbase和Redis開發調優能力、ELK海量數據處理能力、具備Kafka消息隊列開發和調優能力、Flink流式和批量數據開發能力

可掌握的核心能力

?掌握Redis原理及架構 ?掌握Redis命令操作、及數據結構 ?掌握Hbase原理及架構 ?掌握HBase命令操作、MapReduce編程 ?掌握Phoneix二級索引優化查詢 ?掌握ELK開發掌握Kafka原理及架構掌握KafkaStreams開發掌握基于Flink進行實時和離線數據處理、分析掌握基于Flink的多流并行處理技術掌握千萬級高速實時采集技術

查看詳細課程大綱>項目二（證券、物聯網任選其一）新課時：12天VS舊課時：無

升級說明

新增金融項目，項目還原金融證券大數據業務場景，實時監控證券市場的每日業務交易，實現對證券市場交易數據的統計分析，搭建監察預警體系，包括：預警規則管理，實時預警，歷史預警，監察歷史數據分析

主要內容

?挖掘分析海量用戶行為數據，定制多維數據集合，形成數據集市，供各個場景主題使用

可解決的現實問題

?具備TB級規模下毫秒級Flink實時計算程序開發、架設能力，并具備不同應用場景下多種存儲引擎的技術引擎優化能力。以及項目上線部署、運維監控能力

可掌握的核心能力

?掌握基于FTP、Flume + Kafka的實時數據采集開發 ?掌握TB級海量規模下Flink實時處理開發，保證實時計算高容錯 ?掌握三種不同時間維指標的存儲、計算方案（Druid、MySQL、HBase），例如：毫秒級\秒級\分時等時間維 ?掌握基于Kylin的即席快速OLAP開發 ?掌握基于Flink CEP的實時預警監控開發 ?掌握基于Spring Boot的數據服務接口開發

查看詳細課程大綱>Spark技術棧新課時：10天VS舊課時：8天

升級說明

升級Spark版本為2.4.5，新增DMP場景Spark案例，優化了StructuredStreaming結構化流的應用分析

主要內容

?Scala語言 ?Spark core ?Spark sql ?Spark Streaming ?Structured Streaming

可解決的現實問題

?具備Spark全棧開發能力，滿足大數據行業多場景統一技術棧的數據開發，提供就業核心競爭力

可掌握的核心能力

?掌握Scala語言基礎、數據結構 ?掌握Scala語言高階語法特性 ?掌握Spark的RDD、DAG、CheckPoint等設計思想 ?掌握SparkSQL結構化數據處理，Spark On Hive整合 ?掌握Spark Streaming整合Kafka完成實時數據處理 ?掌握Spark Streaming偏移量管理及Checkpoint ?掌握Structured Streaming整合多數據源完成實時數據處理

查看詳細課程大綱>項目三（物流、電信任選其一）新課時：10天VS舊課時：無

升級說明

新增物流項目，還原大型物流公司研發的智慧物流大數據平臺，針對日訂單上千萬業務場景，圍繞訂單、運輸、倉儲、搬運裝卸等全物流環節中涉及的數據信息進行處理，并針對提高運輸以及配送效問題，提出解決方案

主要內容

?基于一家大型物流公司研發的智慧物流大數據平臺，日訂單上千萬

可解決的現實問題

?具備基于Docker搭建不同數據源、實時采集開發能力，并具備構建高性能數據存儲處理大數據平臺開發能力

可掌握的核心能力

?掌握Docker環境部署、管理操作 ?掌握基于Oracle + MySQL異構數據源數據處理技術 ?掌握基于Oracle Golden Gate以及Canal的實時采集技術 ?掌握Kudu + Spark的快速離線數據處理、分析技術 ?掌握Kudu + Impala即席數據分析技術 ?掌握基于ClickHouse高性能存儲、計算引擎技術 ?掌握基于ELK的全文檢索技術 ?掌握Kudu、Spark的調優能力 ?掌握基于Spring Cloud的數據微服務接口開發技術

適合人群

應屆大學畢業生

缺乏工作經驗和技能，
對未來沒有明確的規劃，
期望通過學習大數據
躋身IT行業的人員
計劃轉行人員

目前工作待遇不理想，
上升空間有限或已進入
職業瓶頸期，
想要突破轉行的人員
有基礎尋求提升者

具有一定的大數據技術理論基礎，
需要了解大數據技術
在實際業務中如何使用的人員
大數據技術愛好者

有較強的思維邏輯能力，
應對復雜業務場景處理，
對大數據技術感興趣的人員

大數據工程師職業發展路徑

初級開發工程師
（0-1年）

中級開發工程師
（1-2年）

高級開發工程師
（2-4年）

資深開發工程師
（4-6年）

架構師
（6-8年）

技術總監
（8-10年）

CTO
（10年以上）

項目經理
（4-6年）

項目總監
（6-10年）

CIO
（10年以上）

真項目

與帆軟、北京大數據研究院等深度合作，推出多行業、多領域、企業級的大數據項目課程，制定大數據項目標準，并在業內建立免費體驗的在線“項目庫”

高標準"億元級"研發投入
大廠項目標準
全行業11+熱門行業
覆蓋領跑行業
高性能PB級數據處理
秒級數據響應
真場景數據結構真實
業務模型完整
快更新熱門項目"月"更新
前沿技術"周"更新
嚴保障12項評審流程
4項驗收標準

真實、豐富業務場景
業務指標>40個
業務主題>56個

技術方案完整落地
項目課程天數≥8天

大規模數據處理架構
項目架構支撐TB級
數據存儲、處理

大數據項目全流程落地
涵蓋采集、數倉、分析
調度、部署、BI等全流程

離線、實時架構全面覆蓋
項目包含真實場景離線
和實時處理
傳智教育與亞馬遜AWS聯手千億級大規模數據處理
“真正”經過海量數據驗證的真項目

數據采集多渠道采集
峰值100萬條/秒

流計算引擎低延遲性
吞吐量百萬筆/秒

安全性高容錯性
高可用性

ETL加工TB級離線數據處理

應用查詢億級數據關聯查詢
秒級數據響應

業務分析

業務模型

業務目標

大屏實時監控
預警監控

業務大類

個股行情
指數行情
板塊行情

業務明細

分時行情
秒級行情
歷史行情

關鍵業務

漲跌幅行情
成交量對比行情
國內指數
板塊指數
K線行情
分時列表行情
個股漲跌行情

指標性能

采集效率快
計算性能強
存儲空間大
查詢響應快
易擴展
容錯性高
信息庫

應用市場調研+大數據分析
獲取前沿發展方向

課題研究庫

提出前沿熱門課題
完成深入原理剖析+技術攻堅
保障課程前瞻性

研發人才庫

來自華為、IBM等百人大牛團
每年耗資億元
研發行業標桿優質課程

解決方案庫

基于市場主流技術
研發解決方案
應對職場常見技術難題

項目庫

基于熱門行業領域
聯合大牛顧問團
研發“大廠級”深度項目

傳智教育研究院研發團隊以“五庫模式”為基礎，建立了企業級項目研發體系
從產品、開發，到測試上線，每一環都配備專業團隊，搭建成熟課研閉環，高效研發項目
大數據項目12項評審流程

大數據項目4項驗收標準

項目開發驗收27項考核指標

功能實現

業務流程

UI/UE實現

代碼質量

接口/性能

……

課程質量驗收15項考核指標

技術應用合理性

技術前沿性

技術深度

課程銜接合理性

引導式教學應用程度

……

研發效率驗收3項考核指標

進度

成本

變更頻率

……

用戶驗收17項考核指標

課程導入吸引度

授課語言感染力

課程趣味性

教學結果

課程吸收度

……

大數據項目體驗

更多>>

教研團隊

年薪80萬持續引入大廠技術大牛，建立大數據專職課研團隊及專職教學團隊，制定嚴格師資篩選培訓體系，不斷提高行業課程標準及教學質量

專職課研團隊

專職教學團隊

16級標準嚴選專職課研老師，嚴控課程研發質量

人才篩選
4項標準

標準化研發人才畫像
大廠背景，技術深度、廣度，
大型項目經驗
多維面試（五面）
背景調查，技術360°鑒定，
新課題設計，課程隨機演繹，
職業定位、發展規劃
研究院小組診斷測評
教育情懷、價值觀，進
取精神、培養潛力
全鏈路面試流程監控
CEO審核，信息存檔

人才考核
8大環節

課研人員素質考核視頻錄制考核

課程設計考核課堂試煉考核

大綱設計考核產品全方位審評

講義撰寫考核考核答辯

人才培訓及
發展規劃

平臺、組件
技術開源歷練

技術私享會

大牛技術沙龍

企業對對碰
技術共享

優中選優，教學老師錄取率<3%，從源頭嚴控師資及授課質量

人才篩選
4項標準

標準化講師畫像
業務技能、性格
特色、溝通能力
初試技術深度
框架能力、底層原理、性能與
安全、算法與數據結構
復試授課質量
課程設計、授課邏輯互動與
交互、代碼規范
終試價值觀
抗壓能力、學習動力、
專業程度、培養潛力

人才考核
8大環節

定制個性化考核方案教育心理考核

講師素質考核教學方法考核

排課、備課產出物考核課堂試講考核

視頻錄制考核正式授課答辯

人才培訓及
發展規劃

每日授課
學員滿意度打分

階段課程實施
評審組審核

傳智培訓院
多維培養計劃

講師專屬
晉升通道

用愛成就每一位學生

學員作品

打造企業級開發環境，引導學員以業務場景進行開發，完成企業級項目實訓，積累業務開發落地能力

盤析點擊流分析項目深圳大數據12期-3組

簡介：采用的是Hadoop技術棧完成數據開發，構建基于HIve的ODS-DW-APP層數倉平臺，增加實現地域分析及人均訪問頻次、分組、流量統計分析等模塊。
千人千面用戶行為分析項目上海大數據17期-6組

簡介：基于垂直電商平臺構建用戶畫像，完整抽取用戶的信息全貌，實現基于 Spark 進行用戶指標分析，并通過Spark MLLib建立數據挖掘模型。
反爬項目北京大數據33期-5組

簡介：采用Spark全棧大數據技術完成開發，實現了Lua收集的數據打入Kafka，通過在數據庫中讀取程序、計算離線數據、通過SparkStreaming完成用戶數據識別和分析。
千億級數倉實時大屏項目北京大數據36期-5組

簡介：基于用戶全面分析體系，從多維度建立用戶的運營體系，實時分析用戶訪問流量、訂單、店鋪等運營指標，采用HBase + Phoenix數據實時查詢方案。

大數據實戰標準及流程將企業實際項目帶進課堂，完成企業級項目開發

項目需求講解及技術方案分析
以業務驅動技術選型，篩選最
優技術方案，解決場景問題
服務器與框架集成后，
調優性能，實現最佳執行效率
模擬真實項目上線流程，
完成項目服務器部署

確立項目目標

項目介紹

技術選型

邏輯架構

數據流轉

服務器規劃

環境搭建
業務開發

業務背景

業務拆分

業務開發

代碼測試

可視化大屏
性能調優

性能測試

性能優化

原理分析
上線部署

部署上線

更多>>

免費資源

適合大數據工程師自學的視頻教程免費分享，推出2020年大數據高級軟件工程師學習路線圖

原創教材

傳智教育出版了4本大數據原創書籍，被1900余所高校選作授課教材，惠及200余萬名大學生

NoSQL數據庫技術與應用清華大學出版社
SBN：978-7-302-56351-8
2020-10-01

大數據項目實戰清華大學出版社
SBN：978-7-302-55093-8
2020-03-01

數據清洗清華大學出版社
SBN：978-7-302-55087-7
2020-02-01

Spark大數據分析與實戰清華大學出版社
SBN：978-7-302-53432-7
2019-09-30

Hadoop大數據技術原理與應用清華大學出版社
SBN：978-7-302-52440-3
2019-05-01

Tlias全方位AI教輔系統

數據驅動教學，貫通教/學/練/測/評，為每一位學員私人定制學習計劃和就業服務

學員入學
課堂教學
課后指導
專項練習

入學多維測評
定制專屬學習計劃
目標導向式學習
精準定靶不脫節
隨堂診斷糾錯
掃清理解盲點

循序漸進式練習
從理論到應用
階段效果測評
消除知識薄弱點
智能指引式建議
分層教學，因材施教

隨時有問必答
攻克技術難點
學員薄弱知識可視化
精準查漏補缺
BI報表數據呈現
精準把控教學質量

精準定靶學習目標，讓學員對每天的學習進程了如指掌。課上一講多練的教學模式更便于學員反思評估當天學習目標的掌握程度，教師提供針對性的學習指導，保障學習效果。
TLIAS系統為學員提供了充足的實操訓練機會，并構建了一條科學的練習路徑，多級練習提示使各類學員都能獲得充分指引，最終獨立解決問題，提升知識技能水平。
TLIAS系統的診斷測評工具，使學員能夠對每天所學知識進行檢測，將薄弱知識可視化，精準查漏補缺，對問題知識點給予重點消化吸收，復習更高效、更聚焦，效果更明顯。
為充分激活學員間互動能量，將學員個人單線的學習擴展為立體互動性較強的探索式共享學習，TLIAS系統搭建了學習問答社區。熱帖瀏覽高達到2.5w人次。
TLIAS系統的就業中心從實際就業需求出發，為學員們準備了非常豐富的就業資源，5大課程門類，2000余節課程視頻，能夠滿足不同學員的實際需求。
為提升學員的面試實戰經驗，TLIAS系統的模擬面試平臺高度還原學員目標崗位的面試環境和流程，并打造求職利器“面試寶典”，幫助學員熟悉面試流程，提高面試成功率。
TLIAS系統的BI數據平臺能夠全方位采集、實時監測各關鍵環節數據，形成一套成熟且執行有效的數據驅動模式，問題及時解決，風險提前預防，保障教學質量持續穩定的輸出。
為老師的教學打分，對校區的服務評價，TLIAS系統會做出定性和定量分析，在精準的教學質量監控下，師資質量精益求精、學習效果穩步提升，學習體驗與滿意度口碑雙提升。

學習目標體系
作業試題庫
個人專屬測評
學習問答社區
就業指導資源
模擬面試平臺
多數據采集
教學質量監控

傳智匯-打造你的IT職業生態圈

老學員畢業后可加入傳智匯IT精英社區，持續幫助學員終身成長，一次學習，永久服務

行業沙龍

每年百場行業交流
每年24場免費交流
高端人脈

行業大牛講座
技術大牛分享
攻克研發難關
緊跟科技前沿
職場資源

二千余家企業
高管精準指導
助力職場晉升
突破發展瓶頸
技術研習

服務中高端IT人才
持續跟蹤量身定做

更多>>大數據常見問題

※頁面數據來源，除特殊標注外，皆來自公司內部統計

基礎班高手班

大數據零基礎體驗課基礎班 1

課時:8天技術點:65項測驗:1次學習方式:線下面授

學習目標

1.掌握企業級ETL平臺的kettle|2.掌握BI的可視化平臺Superset|3.掌握kettle流式數據ETL處理設計思想|4.掌握大數據企業開發中最常見的linux操作|5.掌握一款主流數據庫管理工具DataGrip|6.掌握企業MySQL的調優方案|7.掌握大數據分析中數據全量及增量同步解決方案|8.掌握生產環境中數據分析程序的部署解決方案

主講內容1操作系統基礎

Linux是一個基于POSIX和Unix的多用戶、多任務、支持多線程和多CPU的操作系統

計算機基礎知識、Linux環境搭建、遠程連接工具、文件操作命令、壓縮解壓縮命令、文件查找命令、系統管理命令、權限管理、網絡服務管理命令、VI等

主講內容2關系型數據庫

數據庫就是存儲數據的倉庫，其本質是一個文件系統，數據按照特定的格式將數據存儲起來，用戶可以對數據庫中的數據進行增加，修改，刪除及查詢操作

數據庫環境搭建、SQL語言（DDL、DML、DQL）、多表查詢、索引等

主講內容3可視化ETL平臺

對于企業或行業應用來說，經常會遇到各種數據的處理，轉換，遷移，掌握一種etl工具的使用，必不可少，這里要學習的ETL工具是——Kettle，現在已經更名為PDI

數據倉庫與ETL、Kettle安裝部署、數據抽取與裝載、表輸入、表輸出、插入/更新、switch/case等組件使用、Kettle作業等

主講內容4BI可視化開發

Superset是一款開源的現代化企業級BI。它是目前開源的數據分析和可視化工具中比較好用的，功能簡單但可以滿足我們對數據的基本需求，支持多種數據源，圖表類型多，易維護，易進行二次開發

Superset部署、開發，涵蓋Charts開發、Dashboard開發

主講內容5電商數據倉庫實戰

本案例圍繞某個互聯網小型電商的訂單業務來開發

電商業務背景、案例架構、數據倉庫增量同步、ETL開發、指標SQL開發、Kettle作業調度、Superset可視化展示等
Java語言編程高手班 1

課時:19天技術點:115項測驗:1次學習方式:線下面授

學習目標

1.掌握Java程序基礎數據類型|2.掌握開發中集合、IO流、常用類等操作|3.掌握Java異常處理機制|4.掌握反射、網絡編程、多線程開發|5.掌握Jsoup的網絡爬蟲開發|6.掌握JDBC數據庫連接操作|7.掌握ETL數據處理和BI報表開發|8.具備JavaSE開發能力

主講內容1編程基礎

基礎語法是編程語言的第一課，打好基礎才能更好的學習后面課程，幫學員從小白到入門，包含了以下技術點：

1.Java語言概述2.Java開發環境搭建3.IDEA的安裝和配置4.HelloWorld案例5.注釋.6.關鍵字7.常量8.變量9.數據類型轉換10.運算符11.Scanner12.選擇結構13.for循環14.while循環15.循環嵌套16.控制跳轉語句break和continue17.Math類-獲取隨機數18.數組的概述和創建19.數組的內存圖解20.數組的常見操作.21.方法的概述和定義22.方法重載.23.方法形參類型24.方法練習

主講內容2面向對象

逐步建立起面向對象編程思想，從會使用對象，到內存分析，再到真正理解為什么封裝對象，包含了以下技術點：?

1.面向對象介紹 2.類和對象講解 3.對象的內存圖 4.成員變量和局部變量的區別 5.private關鍵字 6.封裝 7.this關鍵字 8.構造方法 9.繼承 10.super關鍵字 11.方法重寫 12.多態 13.final 14.static 15.抽象類 16.接口 17.包（package）

主講內容3常用類API

培養使用java語言解決實際問題，需掌握常見的java對象與工具類，包含了以下技術點：

1.API解釋2.Object類講解3.String類講4.StringBuilder類講解5.冒泡排序6.Arrays工具類7.包裝類8.自動拆裝箱9.Date類講解10.SimpleDateFormat類講解

主講內容4集合操作

建立使用集合解決不同數據類型操作的思想，包含了以下技術點：

1.Lambda表達式2.集合類3.Collection4.ArrayList5.列表迭代器6.增強for7.數據結構8.Set集合之HashSet9.Map集合之HashMap10.集合嵌套案例

主講內容5IO操作

解決了數據序列化和反序列化操作，包含了以下技術點：

1.File類 2.字節流 3.序列化流 4.字符流

主講內容6Java基礎增強

從數據傳輸角度增強對java語言的掌握程度，包含了以下技術點：

1.軟件結構 2.網絡協議 3.網編3要素 4.TCP通信. 5.Junit單元測試 6.反射介紹 7.Class類相關方法介紹 8.反射案例:代理設計模式 9.注解解釋. 10.常用注解介紹. 11.xml概述 12.xml的組成元素 13.xml約束

主講內容7爬蟲案例

以企業爬蟲為業務，實現此階段知識點的綜合場景化應用，包含了以下技術點：

Jsoup、MySQL高級、JDBC、ETL、BI
Hadoop技術棧高手班 2

課時:13天技術點:153項測驗:1次學習方式:線下面授

學習目標

1.掌握Shell命令|2.掌握zookeeper原理并應用|3.掌握HDFS的使用和MapReduce編程|4.理解MapReduce原理和調優|5.掌握Yarn原理和調優|6.掌握Hive的使用和調優|7.具備Hadoop開發能力、離線數據倉庫開發能力

主講內容1Linux操作系統高級

介紹大數據服務器基本操作，是入門大數據開發的基石，包含了幾下技術點：

Linux shell編程、awk、sed、cut、ssh、scp、expect、yum、nestat、top 、iostat等高級命令使用

主講內容2大數據基礎和硬件介紹

進一步闡述大數據特點與分布式思想，知識點由淺入深，包含了以下技術點：

大數據的特點、分布式存儲概念、分布式計算的概念、服務器種類介紹、機架、交換機、網絡拓撲、Raid、IDC數據中心

主講內容3Zookeeper

分布式軟件管家，實現了集群管理與leader選舉，包含了以下技術點：

Zookeeper的應用場景、架構和原理、存儲模型、選舉機制、客戶端操作

主講內容4HDFS

分布式文件系統，解決了海量數據存儲與容錯，包含了以下技術點：

HDFS設計的特點、Master-Slave架構、Block塊存儲、RF拷貝因子、機架感知、Block拷貝策略、讀寫流程、HDFS Federation、HDFS Snapshots、NameNode HA架構和原理、HDFS管理員常用操作、HDFS權限控制

主講內容5MapReduce

分布式計算系統，解決海量數據的計算，包含了以下技術點：

MapReduce架構和原理、Split機制、MapReduce并行度、Combiner機制、Partition機制、自定義Partition、MapReduce序列化、自定義排序、數據壓縮

主講內容6YARN

分布式資源調度管理器，管理服務器軟件資源，包含了以下技術點：

Yarn原理和架構、Yarn高可用、Container資源的封裝（CPU、內存和IO）、資源調度策略（FIFO、Fair和Capacity）

主講內容7Hive

分布式離線計算Nosql數據庫，數倉伴侶，包含了以下技術點:

Hive原理和架構、HQL操作、數據類型、分區、分桶、臨時表、Meta Store服務、HiveServer內置函數、自定義UDF和UDAF、數據壓縮、存儲格式、自動化腳本、常見性能優化、explain執行計劃詳解
【在線教育】知行教育高手班 3

課時:10天技術點:120項測驗:0次學習方式: 線下面授或者線上學習（可選）

學習目標

1.掌握離線數倉的分層與建模，從需求、設計、研發、測試到落地上線的完整項目流程|2.大量教育大數據的真實業務邏輯，共涉及20多個主題，100多個指標，提升學員在教育行業中的核心競爭力|3.包括海量數據場景下如何優化配置|4.拉鏈表的具體應用|5.新增數據和更新數據的抽取和分析|6.hive函數的具體應用|7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能

知行教育是以建立集團數據倉庫，統一集團數據中心，把分散的業務數據集中存儲和處理項目從需求調研、設計、版本控制、研發、測試到落地上線，涵蓋了項目的完整工序挖掘分析海量用戶行為數據，定制多維數據集合，形成數據集市，供各個場景主題使用的在線教育大數據項目
進入項目體驗

主講解決方案

1.大數據部署運維：Cloudera Manager 2.分析決策需求：數據倉庫 3.數據采集：sqoop 4.數據分析：hive 5.歷史數據快照：拉鏈表 6.數據更新后的統計分析：拉鏈表 7.數據調度：oozie+shell 8.OLAP系統存儲：mysql 9：數據展現：帆軟BI

主講知識點

1.掌握離線數倉的分層與建模，從需求、設計、研發、測試到落地上線的完整項目流程|2.大量教育大數據的真實業務邏輯，共涉及20多個主題，100多個指標，提升學員在教育行業中的核心競爭力|3.包括海量數據場景下如何優化配置|4.拉鏈表的具體應用|5.新增數據和更新數據的抽取和分析|6.hive函數的具體應用|7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能
后臺數據服務高手班 4

課時:5天技術點:68項測驗:1次學習方式:線下面授

學習目標

1.掌握SpringBoot整合SpringMVC開發|2.掌握SpringBoot整合MyBatis開發|3.掌握Eureka搭建|4.掌握Feign的使用|5.掌握后端數據微服務接口開發|6.掌握通過Spring技術架構|7.掌握微服務搭建|8.掌握企業級數據微服務接口開發

主講內容1Spring

Spring是分層的服務器端應用full-stack輕量級開源框架，Java程序員必會的開源框架。包含了以下技術點：

1.IOC控制反轉|2.AOP面向切面編程|3.對象容器化管理|4.springmvc核心編程|5.mvc編程模型

主講內容2Spring Boot

SpringBoot提供了一種快速使用Spring的方式，基于約定優于配置的思想。包含了以下技術點：

1.Spring Boot整合Spring MVC|2.使用Spring Boot整合MyBatis開發

主講內容3Spring Cloud

Spring Cloud 是一系列框架的有序集合，Spring Cloud 并沒有重復制造輪子，目前各家公司開發服務框架組合起來。包含了以下技術點：

1.搭建Eureka注冊中心、Feign|2.使用Spring Cloud Gateway搭建微服務網關
實時生態圈高手班 5

課時:18天技術點:170項測驗:1次學習方式:線下面授

學習目標

1.掌握Redis原理及架構|2.掌握Redis命令操作、及數據結構|3.掌握Hbase原理及架構|4.掌握HBase命令操作、MapReduce編程|5.掌握Phoneix二級索引優化查詢|6.掌握ELK開發掌握Kafka原理及架構|7.掌握KafkaStreams開發|8.掌握基于Flink進行實時和離線數據處理、分析|9.掌握基于Flink的多流并行處理技術|10.掌握千萬級高速實時采集技術

主講內容1分布式緩存系統

存儲效率高，適合作為中間緩存數據庫使用，包含以下技術點：

Redis原理及架構、Redis Cluster原理及架構、Redis常用操作

主講內容2萬億級NoSQL海量數據存儲

存儲海量數據的列式數據庫，內部高效設計解決了海量數據存儲，包含了以下技術點：

HBase原理及架構、預分區、LSM結構、Bloom Filter、co-processor、結合Phoneix進行優化查詢

主講內容3分布式流處理平臺

分布消息隊列存儲數據，應用于低延時實時場景，包含了以下技術點:

Kafka原理及架構分析、分布式實時計算架構和思想

主講內容4Elastic Stack

涵蓋數據采集、數據存儲、數據可視化的完整的實時搜索解決方案，包含以下技術點：

ElasticSearch開發、Logstash數據采集、Kibana數據可視化

主講內容5Flink Stream

構成了flink解決實時數據處理部分，是掌握實時數據處理必備技能，包含了以下技術點：

Flink DataStream的使用、Kafka + Flink

主講內容6Flink DataSet

離線數據處理數據集，是掌握離線數據處理必備技能，包含了以下技術點：

Flink 性能監控、Flink調優、Flink SQL執行計劃

主講內容7Flink Runtime

是對flink任務進行調優，必須掌握的內容，包含了以下技術點：

Watermark、Checkpoint、任務調度與負載均衡、狀態管理

主講內容8Flink SQL

解決flink中的sql化開發，Flink-Sql開發必備技能，包含了以下技術點：

Flink SQL開發、Hive + Flink SQL

主講內容9Flink實戰

踐行場景式教學，運用了flink階段知識點，解決實時數據分析的應用，包含了以下技術點：

Flume+Kafka+Flink+Hbase+Sqoop+Canal+MySQL實戰
【證券】今日指數高手班 6

課時:10天技術點:130項測驗:0次學習方式: 線下面授或者線上學習（可選）

學習目標

1.掌握證券相關業務|2.掌握大數據批處理、流處理以及web接口開發|3.掌握深市滬市數據采集|3.掌握Flume自定義source|4.掌握Flume攔截器的開發|5.了解模型和SQL開發規范|6.掌握Oozie定時調度|7.使用hive進行數據開發|8.掌握秒級、分時行情開發，涵蓋個股、指數、K線|9.掌握基于Flink CEP的實時股票漲跌幅、振幅、交易量監控預警|10.掌握基于Kylin的離線預警開發|11.掌握基于Spring Boot的數據服務接口開發

實時監控證券市場的市場每日的業務交易，實現對證券市場交易數據的統計分析；搭建監察預警體系，包括：預警規則管理，實時預警，歷史預警，監察歷史數據分析等；股市行情交易數據實時采集、實時數據分析、多維分析，即席查詢，實時大屏監控展示?
進入項目體驗

主講解決方案

1.離線批處理數據分析：hive 2.數據源接收平臺：ftp 3.數據采集：flume 4.消息隊列：kafka 5.實時流處理：flink 6.秒級行情數據存儲：Hbase 7.分時行情數據存儲：Apache Druid 8.K線數據存儲：Mysql 9.分時行情歷史數據存儲：HDFS(Hive) 10:實時監控預警：Flink CEP 11:離線數據預警：Kylin 12：BI報表：Superset 13:前端應用接口：微服務（SpringBoot） 14：前端UI展示：Vue

主講知識點

項目采用流處理計算引擎Flink，實時處理100萬筆/s的交易數據基于企業主流的流處理技術框架：Flume、Kafka、Flink、Hbase等基于Hive和Kylin的批數據處理，可進行海量多維分析 Hbase5日內秒級行情億級規模，MySQL5日內分時行情千萬級規模 T-5日內實時行情毫秒響應，T-5日外的歷史行情秒級響應數據存儲以HDFS、Hive、Hbase應對PB級規模數據項目涵蓋主流離線數倉的技術和OLAP分析引擎 OLAP分析引擎以Kylin和Druid實現離線和實時的指標分析隊列服務以低延遲、高吞吐-百萬筆/秒的Kafka保障數據接收緩存服務基于Redis的高速緩存，實現數據快速交換 TB級別的實時日處理數據、存儲PB級歷史數據主備雙大數據平臺保障。
Spark技術棧高手班 7

課時:10天技術點:91項測驗:1次學習方式:線下面授

學習目標

1.掌握Scala語言基礎、數據結構|2.掌握Scala語言高階語法特性|3.掌握Spark的RDD、DAG、CheckPoint等設計思想|4.掌握SparkSQL結構化數據處理，Spark On Hive|5.掌握SparkStreaming整合Kafka完成實時數據處理|6.掌握SparkStreaming偏移量管理及Checkpoint|7.掌握Structured Streaming整合多數據源完成實時數據處理|8.具備Spark全棧開發能力，滿足大數據行業多場景統一技術棧的數據開發，提供就業核心競爭力

主講內容1Scala語言

函數式編程基礎語言，通過學習scala可掌握spark、flink中使用函數式編程方式實現分析程序，包含了以下技術點：

Scala基礎、變量聲明、數據類型、條件表達式、塊表達式、循環、方法和函數、數組、元組、集合、Iterator、構造器、伴生對象、Akka編程

主講內容2Spark core

整個spark框架核心部分，掌握框架內部設計思想，數據流轉步驟，是學習spark的基礎模塊，包含了以下技術點：

Spark架構和原理（運行機制、Driver和Executor、spark任務提交流程）、RDD開發和原理（Partition、Task、RDD的依賴關系、RDD的容錯機制、RDD的存儲級別、RDD的緩存機制）、廣播變量、DAG原理（DAG思想、DAG的生成、DAG的處理過程）

主講內容3Spark sql

學習spark框架的sql操作，spark與hive、hbase等外部數據源的整合操作，包含了以下技術點：

Spark SQL架構和原理、DataFrame、DataSet DSL和SQL開發、Spark多數據源整合（txt、CSV、Json、parquet、JDBC、Hive）、Spark SQL執行計劃原理、Spark SQL性能調優

主講內容4Spark Streaming

流式數據分析處理模塊，以微批方式處理海量數據，基于數據處理時間，包含了以下技術點：

Spark Streaming流式開發、DStream API、整合多數據源、偏移量管理

主講內容5Structured Streaming

流式數據分析處理模塊，基于事件時間處理海量數據，更符合業務場景，包含了以下技術點：

Structured Streaming開發（input、output、window、watermark、過期數據操作、去重等）、Structured Streaming多數據源整合（socket、Kafka）、 Flume+kafka+Structured Streaming案例實戰
【物流】客快物流高手班 8

課時:12天技術點:130項測驗:0次學習方式: 線下面授或者線上學習（可選）

學習目標

1.掌握離線業務、實時業務解決方案|2.ClickHouse實時存儲、計算引擎|3.Kudu + Impala準實時分析系統|4.基于Docker搭建異構數據源|5.掌握企業級應用場景以企業主流的Spark生態圈為核心技術(Spark、Spark SQL、Structure Streaming)

基于一家大型物流公司研發的智慧物流大數據平臺，日訂單上千萬；圍繞訂單、運輸、倉儲、搬運裝卸、包裝以及流通加工等物流環節中涉及的數據信息等；提高運輸以及配送效率、減少物流成本、更有效地滿足客戶服務要求，并針對數據分析結果，提出具有中觀指導意義的解決方案
進入項目體驗

主講解決方案

數據源：oracle、mysql 實時增量同步軟件（數據采集）：ogg、canal 虛擬化資源管理：docker 實時數據分析：spark Structure Streaming 消息隊列：kafka 離線數據存儲介質：kudu 實時OLAP分析：clickhouse 實時訂單查詢存儲介質：elastic search 即席數據分析工具：impala 大數據分析交互平臺：hue 前端應用接口：微服務（springboot）前端ui展示：vue、echats

主講知識點

1.基于大型物流公司研發的智慧物流大數據平臺，日訂單上千萬|2.圍繞訂單、運輸、倉儲、搬運裝卸、包裝以及流通加工等物流環節中涉及的數據信息等|3.提高運輸以及配送效率、減少物流成本、更有效地滿足客戶服務要求|4.針對數據分析結果，提出具有中觀指導意義的解決方案|5.涵蓋離線業務、實時業務|6.ClickHouse實時存儲、計算引擎|7.Kudu + Impala準實時分析系統|8.基于Docker搭建異構數據源，還原企業真實應用場景|9.以企業主流的Spark生態圈為核心技術
【物聯網】星途車聯網高手班 9

課時:12天技術點:130項測驗:0次學習方式: 線下面授或者線上學習（可選）

學習目標

1.掌握基于Flink全棧進行快速OLAP分析|2.掌握基于Springboot+SwaggerUI快速構建數據服務接口|3.掌握實時高性能海量數據分析與存儲|5.掌握針對Hbase調優實現Hbase存儲調優|6.掌握數據報表分析|7.掌握業務數據實時大屏場景實現

涵蓋完整車聯網業務場景，包含駕駛行程、電子圍欄、遠程診斷等真實業務；通過QBOX車輛終端數據收集，并解析為QSP數據、QCS數據、充電數據、HU數據;提供實時計算服務與離線計算服務，并通過API接口以報表和大屏展示分析結果數據
進入項目體驗

主講解決方案

1.離線數據分析：flink batch、hive 2.實時在線分析：flink、hbase 3.消息隊列：kafka 4.駕駛行程分析：flink、hbase 5.實時在線故障分析:mongodb 6.車型指標分析：hive、shell 7.實時指標查詢：phoenix 8.后臺數據服務接口：springboot、swagger-ui、echarts 9.多數據源加載:flink jdbc 10.車輛告警規則分析：flink、zeppelin 11.離線任務調度：azkaban 12.報表：superset 13.頁面展示：echarts、javascript

主講知識點

海量數據處理，系統15分鐘內收集的新能源車輛的數據超過千萬條基于Hive、HBase、HDFS數據存儲基于Kafka數據傳輸基于Flink全棧數據處理基于Nginx做反向代理、LSV和Keepalived負載均衡和高可用
大數據平臺化開發高手班 10

課時:6天技術點:72項測驗:0次學習方式:線下面授或線上學習（可選）

學習目標

1.掌握大數據組件的常用運維方法解決實際的運維方案|2.具備大數據平臺運維能力|3.掌握基于Python基礎運維；|3.掌握基于CM+CDH集群運維方案。

主講內容1大規模大數據集群部署、大規模集群運維監控

大數據平臺運維與監控部署解決方案，解決大數據運行環境與任務資源占用情況監控，包含了以下技術點：

涵蓋主流的一些大數據平臺，涵蓋CDH、HDP、Apache、云平臺等部署方案，引入各家的最佳實踐。包含基于平臺下的各個組件的運維，包括Prometheus、Zabbix、Grafana、Eagle、CM、Ambari、Ganglia等
大數據數據中臺高手班 11

課時:3天技術點:99項測驗:0次學習方式:線下面授或線上學習（可選）

學習目標

1.掌握數據中臺構建思路及實戰|2.具備企業數據中臺構建能力|3.掌握基于Altlas元數據管理工具進行數據血緣分析；|4.掌握大數據數據體系建設、管理等。

主講內容1大數據數據體系建設、管理

數據中臺的前提在于平臺設計與元數據管理，基于各個業務系統的元數據，抽象出業務共同點，分類目管理，包含了以下技術點：

基于Altlas元數據管理工具進行數據血緣分析、構建數據地圖，構建統一存儲計算平臺，建立數據類目體系、標簽類目體系、數據資產管理，并基于數據中臺構建數據應用服務
大廠解決方案實戰高手班 12

課時:5天技術點:60項測驗:0次學習方式:線下面授或線上學習（可選）

學習目標

1.掌握大型門戶可視化任務提交解決方案；|2.具備大型旅游出行服務平臺統一性能監控平臺解決方案；|3.具備B2B2C電商集中實時采集消息隊列存儲方案、出行平臺實時風控性能調優方案；|4.具備大型電商雙十一千萬級實時處理調優。

主講內容1大廠解決方案實戰

出行、電商、視頻、社交等領域大數據解決方案

大型門戶可視化任務提交解決方案、大型旅游出行服務平臺統一性能監控平臺解決方案、B2B2C電商集中實時采集消息隊列存儲方案、出行平臺實時風控性能調優方案、大型電商雙十一千萬級實時處理調優、視頻網站海量用戶行為數據計算調優
大數據常見架構與設計高手班 13

課時:5天技術點:46項測驗:0次學習方式:線下面授或線上學習（可選）

學習目標

1.掌握基于美團點評實時數倉架構；|2.掌握基于拼多多離線數倉架構；|3.掌握基于小米快速OLAP分析架構；|4.掌握抖音小視頻實時推薦架構。

主講內容1一線大廠技術架構

具備主流的大數據架構設計、選型能力，能夠根據不同的場景、不同的性能要求，選擇不同的技術架構，并具備獨立選型組件組織成大數據架構能力

美團點評實時數倉架構、拼多多離線數倉架構、小米快速OLAP分析架構、抖音小視頻實時推薦架構
【新零售】新零售項目實戰高手班 14

課時:10天技術點:63項測驗:0次學習方式:線下面授或線上學習（可選）

學習目標

1.掌握基于高性能方案構建離線數倉、以及實時數倉構建方案；|2.具備項目采用Hive+Presto架構構建高性能的離線處理方案；|3.具備基于ClickHouse的實時數倉，實現秒級OLAP分析；|4.具備使用ClickHouse、Druid進行實時AD Hock，以大數據為驅動，打通線上線下體驗與物流融合的新零售項目。

本項目基于國內大型新零售巨頭開發的大數據平臺，基于高性能方案構建離線數倉、以及實時數倉。該項目涵蓋完整的業務，包括銷售、屢單、會員、促銷、商品、客戶等主題，每個主題涵蓋大量真實的業務場景，項目手把手帶著學生開發基于新零售場景下的離線、實時業務。本項目采用Hive+Presto架構構建高性能的離線處理方案，并采用基于ClickHouse的實時數倉，實現秒級OLAP分析。

主講解決方案

1. 基于Sqoop和HDFS的批量離線數據采集解決方案 2. 基Hive+Presto的高性能離線數倉解決方案3. 基于Canal+Kafka的零副作用實時數據采集解決方案4. 基于ClickHouse的實時數倉解決方案

主講知識點

1. 掌握使用Kafka高吞吐消息隊列作為臨時數據存儲2. 掌握使用Sqoop進行T+1數據導入到分布式存儲3. 掌握基于Canal實時采集MySQL中的數據4. 掌握基于HDFS存儲大規模數據5. 掌握Hive+Presto搭建高性能離線數倉6. 掌握基于ClickHouse搭建大規模實時數倉
【工業】工業大數據項目實戰高手班 15

課時:10天技術點:66項測驗:0次學習方式:線下面授或線上學習（可選）

學習目標

1.完成基于國內大型的設備制造商大數據項目開發；|2..掌握基于spark分析原材料消耗、設備使用情況、多維度產品銷售分析，以大數據推動工業4.0；|4.具備基于HDP平臺，連接工業設備，收集數據資源，實現產業監測分析。

本項目基于國內大型的設備制造商大數據項目開發。該企業在全球范圍內銷售設備，設備涵蓋加油站相關的所有，例如：加油機、油罐建設、加氣機、自助設備等設備生產制造、設計、銷售，并提供全球性的服務。在國內重點客戶為：中國石油、中國石化、以及各個地域的大型企業。在國內，業務覆蓋的油站約8W座，設備數量50W臺。拿加油機設備來說，一臺設備包含了眾多的配件，每個配件的維護，設備信息的上報，服務工作人員的調度、GPS跟蹤定位等，企業經過多年的經營，積累了海量的數據。集群公司為了能夠確保企業精細化運營，決定進行數字化轉型，依托于大數據技術，以客戶、生產、服務、運營為核心，打造一個全方位的數字化平臺。

主講解決方案

1. 基于HDP快速搭建大數據平臺2. 基于Hive+Spark SQL搭建離線數據倉庫3. 基于Structured Streaming構建高吞吐實時處理4. 基于ECharts實現可視化

主講知識點

使用主流的Hive+Spark構建離線數倉使用Structure Streaming構建實時異常告警系統基于完整的工業業務背景實現的離線和實時大數據業務豐富地地圖展示可視化開發學會使用Spark SQL處理復雜業務完整的離線采集 + 實時采集方案掌握如何使用調度平臺調度T+1批處理任務Spark離線任務和實時任務整合，統一由YARN做資源管理
大數據數據挖掘高手班 16

課時:20天技術點:52項測驗:0次學習方式:線下面授或線上學習（可選）

學習目標

1.掌握大數據數據挖掘常見的算法及應用場景|2.具備大數據數據挖掘、機器學習模型開發、調優能力|3.掌握PySpark、PyFlink等Python大數據生態技術；|4.掌握Python數據挖掘技術與案例；|5.掌握SparkMl&SparkMllib機器學習庫使用經驗。

主講內容1企業級大數據數據挖掘解決方案

主要包含機器學習與python機器學習內容，學習此階段能掌握企業級數據挖掘、建模、算法，實現自動化復雜場景應用。包含了以下技術點：

機器學習基礎、SparkMl&SparkMllib基礎實戰、Python核心基礎、Python數據科學庫基礎(Numpy、Pandas、Matplotlib、Seaborn、Imblearn-Learn、Scikit-Learn)、Python數據挖掘案例、PyHdfs、PyHive、PyHbase、Kafka-Python、PySpark、PyFLink案例實戰
BAT直通車高手班 17

課時:8天技術點:300項測驗:0次學習方式:線下面授或線上學習（可選）

學習目標

1.掌握大型互聯網公司常見面試題|2.具備大廠多領域場景剖析能力;|3.具備核心底層源碼剖析能力，如：HDFS、MapReduce、Hive、Flume、Sqoop等；|4.具備Spark、Spark Streaming等面試題及核心源碼、Flink面試題及核心源碼；|5.掌握底層數據結構面試題。

主講內容1BAT直通車

互聯網公司常見面試題及應用場景剖析

BAT大數據常見的面試精選題、一線大廠多領域場景剖析、HDFS、MapReduce、Hive、Flume、Sqoop等面試題精講、Spark、Spark Streaming等面試題精講、Flink面試題精講、底層數據結構面試題精講

“周”更新日志

課程大版本更新

課程更新日志按周更新熱點/前沿技術

新增2021-04-17

· 新增Flink內存管理 · 新增Flink VS Spark、多角度對比 · 新增Flume1.9數據采集方式 · 新增Hbase2.x新特性 · 新增從數據采集、數據分析、數據展示完整案例
新增2021-04-10

· 新增Flume采集MoMo數據集場景 · 新增實時和離線與即席查詢方式處理數據場景 · 新增HBASE與HIVE集成 · 新增實時生態圈從數據采集，數據分析，數據展示完成案例
升級2021-04-03

· 升級docker虛擬網橋與網卡 · 升級宿主機與docker容器 · 升級創建大數據組件容器
升級2021-03-27

· 升級核心業務流程 · 升級sparksql分析引擎 · 升級數倉六層模型 · 升級實時生態圈案例
升級2021-03-20

· 升級Spark版本到3.0.1 · 升級SparkStreaming和SparkSQL課程章節 · 升級Spark3.0整合Hive版本兼容問題 · 升級Flink版本為1.12
升級2021-03-13

· 升級數據庫，包含完整的訂單、商品、用戶、配送及支付、退款等數據； · 升級提取訂單相關的指標和維度 · 升級SparkStreaming · 升級實時生態圈案例
優化2021-02-27

· 優化Hbase基礎課程 · 優化SparkStreaming整合Kafka章節 · 優化Rate數據源-文件數據源 · 優化過期API · 優化Hbase基礎課程
新增2021-02-13

· SparkMlLib-決策樹算法案例和原理 · Spark性能調優九項原則、N多配置參數、數據傾斜、shuffle優化 · StructedStream雙流Join知識點
新增2021-02-06

· JDBC知識點和案例 · Maven聚合工程 · SparkMlLib-線性回歸算法案例和原理
新增2021-01-29

· Properties集合類和案例 · F序列化流知識點和案例 · 消費者設計模式案例
新增2021-01-24

· 雙流Join知識點和案例 · FlinkSink新特性 · API部分Math, System類知識點和案例
新增2021-01-17

· impala基礎知識點講義及課程內容 · FlinkSQL&Table理論部分比重 · FlinkSQL整合Kafka案例
新增2021-01-12

· Spark多語言開發-JavaSpark和PySpark · SparkMlLib-ALS推薦算法案例和原理 · SparkWebUI功能解釋 · Flink多語言開發
升級2021-01-04

· Java版本 · 數組內存圖講解 · 內部類講解, 強化接口, 多態案例
更新2020-12-28

· 在線教育場景離線計算 · 實時計算案例
新增2020-12-21

· sparkml課程推薦模塊 · sparksql執行過程分 · spark內存模型分析內容
升級2020-12-17

· 深市數據采集客戶端-造數程序
升級2020-12-09

· 深市數據采集服務端-造數程序 · 交易日歷表數據
升級2020-12-02

· 學生出勤看板進行SQL進行優化 · 將報名用戶看板模塊升級為項目實戰
升級2020-11-25

· 駕駛行程分析代碼優化 · 實時故障分析代碼優化· 自定告警分析任務代碼重構
升級2020-11-18

· 任務調度案例優化 · 車輛明細ETL· 任務調度優化
新增2020-11-11

· 充電樁業務模型 · 物聯網IOT場景應用· 充電樁app需求
新增2020-11-04

· Docker的阿里云倉庫搭建 · 離線指標計算模塊· 代碼抽取封裝基類，每個應用程序繼承自該類
新增2020-10-28

· ES translog講解 · ES segmen解析· ES SQL scroll page實現· Kafka事務實現
新增2020-10-21

· ES shard寫入策略解析 · ES refresh過程解析 · ES flush過程解析
升級2020-10-14

· 任務調度選型細節 · 車聯網任務部署內容調整 · 車聯網代碼重構
升級2020-10-07

· 物聯網行業與車聯網行業的關系 · 車聯網大數據分析流程
新增2020-09-28

· 車聯網項目復習總結指導文檔 · 車聯網項目面試題與參考答案
新增2020-09-21

· 梳理數據采集流程圖 · flink版本升級情況匯總 · mongo面試題與答案
新增2020-09-14

· Hyperloglog · Redis事務應用 · 紅黑樹結構解析
升級2020-09-7

· 過期策略解析 · HBase 2.x In memory compaction解析 · 基于Phoenix二級索引快速查詢
新增2020-09-02

· 行式存儲和列式存儲

升級

· 多任務任務部署與監控 · 擴展充電樁場景分析· 擴展充電樁業務分析
新增2020-08-26

· sqoop詳細教程 · mysql到HDFS、Hive的導入導出

升級

· 車聯網平臺數據可視化頁面優化· 前后臺交互場景優化· 后臺數據服務接口性能優化
升級2020-08-19

· 實時告警統計數據模型 · 自定義告警規則數據模型 · mongo內部原理
升級2020-08-12

· 車輛歷史信息查詢 · 車輛速度趨勢分析 · 車輛電量百分比趨勢· 行程樣本分析t檢驗和f檢驗
升級2020-08-05

· 自定義數據源原理剖析 · 自定義數據輸出原理剖析 · 實現地理位置檢索查詢· json轉對象通用方法· 車輛明細數據ETL
新增2020-07-28

· kylin離線指標成交數據top10統計分析 · 新增證券指標最值統計分析 · 原始數據明細數據ETL 、駕駛行程業務中間表模型圖、電子圍欄中間表模型圖

升級

· 自定義數據源、數據輸出原理剖析
更新2020-07-20

· Swappiness優化 · 內存頁透明化 · 最大文件句柄· 最大派生進程數
更新2020-07-13

· TCP Socket端口數 · 縮減Socket閑置時間 · 提高IO性能· Hive優化器與CBO引擎
升級2020-07-06

· Review學生出勤看板 · 代碼review 文件資料整理業務圖解 · ETL批處理作業 Oozie調度作業 · Hive建表腳本· ue前端頁面原型(分時圖)
新增2020-06-29

· Kylin工作原理 cube優化 · Kylin碎片管理 Kylin增量構建 · Kylin日換手率 · flink數據模擬數據采集
更新2020-06-22

· Spark SQL調度腳本開發 · 異構IO實時維度拉寬優化 · 實時數倉分層 · 統一使用Apache Druid實現指標計算 · Flink CEP實現秒殺風控業務
更新2020-06-15

· 點擊流數據離線處理 · Kylin剪枝調優、衍生維度調優 · 增量構建、碎片管理 · 點擊流數據傾斜解決方案實戰
新增2020-06-08

· 緩慢變化維SCD解決方案實戰 · Phoenix二級索引性能調優 · Kettle維度數據生成 · 離線數倉用戶畫像分析主題
新增2020-06-1

· 周數據匯總實時指標統計 · Canal高可用（服務器端、客戶端）實戰、原理 · Kettle可視化數據處理、調度 · PowerDesigner建模實戰
新增5月25日

· 三范式建模、與維度建模方法 · Kylin聚合維度、聯合維度、層級維度優化 · 拉鏈表實戰 · 城市維度實時指標統計

prev next

2020-07-11 升級版本8.1

課程名稱

大數據

課程推出時間

2020-07-11

課程版本號

8.1

主要針對系統

Windows、Linux、MacOS

主要針對版本

Hadoop3.2.1、Hive3.1.2、Zookeeper3.6.0、Flink1.10、Spark2.4.5、ClickHouse20.1.7.38、Kylin3.0.1、ElasticSearch7.6.1、Logstash7.6.1、Kibana7.6.1 Oozie5.2，Impala3.3.0，Azkaban3.81.0，Kudu1.11.1

主要使用開發工具

DataGrip、IDEA

課程介紹

以周為單位進行課程更新升級，新增Elastic Stack、多領域大數據解決方案、一線大廠技術架構等課程。

新增Elastic Stack、出行、電商、視頻、社交等領域大數據解決方案、一線大廠技術架構、新零售大數據項目實戰，離線實時全覆蓋。

更新分布式緩存系統，萬億級NoSQL海量數據存儲，分布式流處理平臺。

友情提示更多學習視頻+資料+源碼，請加QQ：2632311208。

2020-06-01 升級版本8.0

課程名稱

大數據

課程推出時間

2020-06-01

課程版本號

8.0

主要針對系統

Windows、Linux、MacOS

主要針對版本

主要使用開發工具

DataGrip、IDEA

課程介紹

根據大量的行業調研分析，本次課程更新以大數據開發為主線，在7.0基礎上再次縮減Java課程占比，弱化各類組件安裝。并針對大數據技術深度和廣度進行升級，例如新增Spark內存管理、Flink性能優化及反壓、背壓原理等同時為提高學員的就業薪資，推出多行業項目解決方案，例如證券、物流等。

新增新數據倉庫、ETL、BI開發

新增Oracle及PLSQL編程

新增數據微服務開發

新增Spark的內存管理、avro序列化數據源

新增continuous processing、偏移量管理機制

新增KafkaStreams編程

新增Kafka的exactly-once、Kafka事務

新增Kafka的metrics監控

新增Hbase的協處理器和phoneix的二級索引實現

新增Hbase布隆過濾器、LSM樹、StoreFiles結構剖析

新增FLink性能優化及反壓、背壓指標計算原理

新增FlinkSQL On Hive

新增Flink HistoryServer

新增Flink的UDF、UDAF、UDTF的實現

新增在線教育行業項目

新增物流行業項目

新增物聯網行業項目

新增證券行業項目

更新電商行業項目

刪減JavaWeb

2019.07.22 升級版本7.0

課程名稱

大數據實戰班課程

課程推出時間

2019.07.22

課程版本號

7.0

主要針對版本

CDH5.14、Spark2.2.0、Flink1.8、Kafka0.11.0.2、ELK6.0

主要使用開發工具

IntelliJ IDEAA

課程介紹

大數據技術目前在企業里面使用的越來越廣泛，對大數據人才的需求越來越多，大數據的整個課程體系是由來自大型互聯網、外企等具有5年以上的一線大數據高級工程師、架構師和高級機器學習工程師設計出來的，內容含金量非常高。課程體系涉及的技術以企業需求為導向，課程涉及的項目也是企業里面真實的項目，通過理論、實踐和真實的項目相結合，讓學員能夠快速、深刻的掌握大數據常用的核心技術和開發應用，同時可以滿足企業對中、高端大數據人才的需求。大數據課程體系除了包含常用的Hadoop、Hive、Hbase、ELK、Sqoop、Flume、Kafka、Spark等技術和項目，還新增了目前互聯網比較流行的Flink、Druid、Kylin等技術和項目，同時引入了機器學習和深度學習Spark Mllib和Tensorflow等技術和項目實戰。

新增Impala即席查詢組件

新增Kudu列存儲服務

新增Structured Streaming結構化數據流處理

新增spark MLlib數據挖掘

新增spark graphX圖計算

新增加強Flink的基礎課程和案例實戰

新增增加了Flink高級特性CEP

新增Kylin數據OLAP分析

新增Druid時序數據實時分析

新增Kettle數據ETL工具

新增深度學習框架Tensorflow

新增用戶畫像大企業實戰型項目

新增數據倉庫項目大型企業實戰項目

新增多行業、高質量的大數據實戰項目

2018.09.10 升級版本6.0

課程名稱

大數據實戰班課程

課程推出時間

2018.09.10

課程版本號

6.0

主要針對版本

JDK1.8\CDH2.7.4\Storm1.1.1\Spark 2.1

主要使用開發工具

IntelliJ IDEA

課程介紹

本課程是基于V5.0的一次重大更新，匯總并收集了大數據學科一年以來15個零基礎班級的授課信息、學習信息、就業信息。重新調整了課程的分布情況，新增了大數據綜合項目，新增了第四代大數據處理框架FLink，新增了數據庫優化，新增了JVM基礎及原理，新增了Spark性能調優等內容。課程升級方面，主要對機器學習課程進行了升級，推薦系統項目后置變成7天的豐富課程，提升學員進入機器學習的競爭力，從而更好的從事人工智能領域相關的工作。
整體而言，課程在培養中高級大數據工程師的方向上又前進了一大步。

新增Hadoop 2.7.2\Storm1.1.1\Spark 2.1

新增Java virtual machine原理分析

新增Java高并發核心知識

新增數據庫優化及調優

新增第四代大數據處理框架Apache Flink

新增互聯網反欺詐項目實戰

新增Spark原理深入剖析及生產調優

新增廣告系統業務模型及CTR預估

優化用戶畫像概述/數據/建模/算法實戰

優化推薦系統協同過濾算法實戰

優化基于內容的推薦系統實戰

優化基于關聯規則推薦系統實戰

優化混合推薦與CTR點擊預估

優化全面升級Hadoop版本為CDH

2017.07.01 升級版本5.0

課程名稱

大數據實戰班課程

課程推出時間

2017.07.01

課程版本號

5.0

主要針對版本

JDK1.8\Hadoop 2.7.2\Storm1.1.1\Spark 2.1

主要使用開發工具

Eclipse、IDEA

課程介紹

新增Java基礎、JavaWeb核心編程、JavaWeb三大框架、網絡爬蟲、分布式電商網站開發等課程模塊。培養學生編程能力，讓零基礎學員能夠更好的學習大數據項目。大數據方面方面，新增點擊流日志收集系統、用戶日志分析報表系統、用戶畫像系統等案例。讓學員不僅僅學習到大數據技術點，能夠使用大數據解決實際問題。擴充機器學習課程為10天。該課程歷時一年研發，深入淺出，能夠讓學員更好的入門機器學習，成為人工智能開發的初級工程師。

更新Hadoop 2.7.2\Storm1.1.1\Spark 2.1

新增品優購電商項目

新增網絡爬蟲開發

新增三大框架開發

新增JavaWeb核心

新增Java語言基礎

2016.03.01 升級版本4.0

課程名稱

大數據實戰班課程

課程推出時間

2016.03.01

課程版本號

4.0

主要針對版本

JDK7.x

主要使用開發工具

Eclipse、IDEA

課程介紹

IVE3.0課程對比原有課程做了重大更新
具體更新內容如下

簡介

將大數據的核心技術hadoop及其生態圈技術完美的融入到了課程中，課程分階段的進行案例實戰和項目實戰，在大數據方面知識體系更加完整，課程更加深度有深度，更加貼近實戰。分階段的進行大數據生態圈的學習，將生態圈分為離線處理，實時流計算和實現最火熱的spark內存計算，完美的將生態圈進行了抽離和歸類，讓學習變得更便捷。

更新Spark1.6版本；

新增Linux操作系統和shell腳本學習；

新增JVM內存模型分析；

新增NIO、Netty、自定義RPC框架；

新增電商點擊流日志分析；

新增電商實時日志告警平臺、交易風控風控平臺、流量日志分析分析；

新增Spark游戲日志分析項目；

刪除KVM虛擬化技術；

刪除網絡基礎和OpenvSwitch技術；

刪除Ceph存儲技術；

刪除CloudStack云管理平臺；

刪除混合云管理平臺項目。

2015.05.15 升級版本3.0

課程名稱

大數據實戰班課程

課程推出時間

2015.05.15

課程版本號

3.0

主要針對版本

JDK7.x

主要使用開發工具

Eclipse、IDEA

課程介紹

IVE2.0課程對比原有課程做了重大更新
具體更新內容如下

簡介

將大數據和虛擬化這兩大熱門技術加入到課程體系中，在大數據方面知識體系更加完整，課程更加深度有深度，更加貼近實戰。在虛擬化方面，選擇了在云計算領域常用的虛擬化、網絡、存儲等技術，并通過Apache CloudStack技術整合，在此基礎上開發混合云管理平臺。

更新Hadoop2.0版本、Hive優化課程

新增電信流量運營分析項目

新增Scala函數式編程

新增Spark內存計算

新增KVM虛擬化技術

新增網絡基礎和OpenvSwitch技術

新增Ceph存儲技術

新增CloudStack云管理平臺

新增混合云管理平臺項目

2014.02.15 升級版本 2.0

課程名稱

大數據實戰班課程

課程推出時間

2014.02.15

課程版本號

2.0

主要針對版本

JDK6.x

主要使用開發工具

Eclipse

課程介紹

隨著近年來云計算大數據的大力發展，市場對相關人才需求急增，所以本版課程在原有的云計算課程進行了顛覆性的改革，把原來只有1天的課程擴展為7天，加入了Hadoop生態圈的相關技術。

更新云計算課程：把原來只有1天的云計算課程增加到7天，Hadoop集群部署、優化HDSF、MapReduce案例

新增Hadoop生態圈相關技術：Zookeeper、Hive、Hbase、Sqoop、Flume

新增Storm實時計算技術和案例

新增黑馬論壇日志分析項目

2012.02.15 升級版本 1.0

課程名稱

大數據實戰班課程

課程推出時間

2012.02.15

課程版本號

1.0

主要針對版本

JDK6.0

主要使用開發工具

Eclipse

課程介紹

近期云計算概念火爆異常，傳智教育敏銳的嗅探到大數據技術的悄然興起，并預測大數據技術將會像雨后春筍一樣快速發展，所以傳智教育與時俱進在課程中引入了1天的云計算課程，讓學員可以掌握最新的技術，拓寬學員的就業方向，增強就業競爭力。

新增云計算課程：云計算和大數據相關概念

新增Hadoop 1.0偽分布式環境部署

新增HDFS、MapReduce應用案例

對教育懷揣敬畏之心，堅守“用愛成就每一位學生”的理念

10余年來，傳智的老師始終秉承著“為中華民族偉大復興而講課，
為千萬學生少走彎路而著書”的使命，已經向IT產業培養了30余萬名IT高精尖人才

傳智教育廣納互聯網技術精英，構建實力強大的技術大牛團隊

大數據專職課研團隊人才篩選標準

16級標準嚴選專職課研老師，嚴控課程研發質量

人才篩選
4項標準

標準化研發人才畫像
大廠背景，技術深度、廣度，
大型項目經驗
多維面試（五面）
背景調查，技術360°鑒定，
新課題設計，課程隨機演繹，
職業定位、發展規劃
研究院小組診斷測評
教育情懷、價值觀，進
取精神、培養潛力
全鏈路面試流程監控
CEO審核，信息存檔

人才考核
8大環節

課研人員素質考核視頻錄制考核

課程設計考核課堂試煉考核

大綱設計考核產品全方位審評

講義撰寫考核考核答辯

人才培訓及
發展規劃

平臺、組件
技術開源歷練

技術私享會

大牛技術沙龍

企業對對碰
技術共享

大數據專職課研團隊課程研發體系標準

以“五庫模式”為基礎，打造真實企業級研發體系

信息庫

應用市場調研+大數據分析
獲取前沿發展方向
課題研究庫

提出前沿熱門課題
完成深入原理剖析+技術攻堅
保障課程前瞻性
研發人才庫

來自華為、IBM等百人大牛團
每年耗資億元
研發行業標桿優質課程
解決方案庫

基于市場主流技術
研發解決方案
應對職場常見技術難題
項目庫

基于熱門行業領域
聯合大牛顧問團
研發“大廠級”深度項目

大數據專職課研團隊研發老師履歷

源源不斷引進大廠技術大牛，課程與企業需求實時接軌

優中選優，教學老師錄取率<3%，從源頭嚴控師資及授課質量

專職教學團隊講師篩選標準

人才篩選
4項標準

標準化講師畫像
業務技能、性格
特色、溝通能力
初試技術深度
框架能力、底層原理、性能與
安全、算法與數據結構
復試授課質量
課程設計、授課邏輯互動與
交互、代碼規范
終試價值觀
抗壓能力、學習動力、
專業程度、培養潛力

人才考核
8大環節

定制個性化考核方案教育心理考核

講師素質考核教學方法考核

排課、備課產出物考核課堂試講考核

視頻錄制考核正式授課答辯

人才培訓及
發展規劃

每日授課
學員滿意度打分

階段課程實施
評審組審核

傳智培訓院
多維培養計劃

講師專屬
晉升通道

教學團隊獨創三大教學法，講透技術重難點

專職教學團隊三大教法標準

情景式教學法
場景式授課
Open教學法

情景式教學

情景式教學是指教研人員根據人對知識的理解和消化規律，將教學過程形象化的一種授課方法,集風趣、知識、故事場景于一體，可大大提高學員對知識的理解和吸收主要分為以下三個階段

感知階段培養興趣

引入知識點情景，形成表象，
幽默故事，解讀晦澀難懂概念

理解階段故事代碼雙結合

深入故事場景，故事與代碼結合，
更好理解代碼編寫規律。讓代碼不再陌生，
不知不覺掌握每個知識點

深化階段深入知識延展

繼續深入知識點的其他使用或底層原理，
保障知識點牢固掌握

對比傳統教學方法的優勢

技術定義純羅列，理解困難

引入故事場景，好理解

復雜概念記不住，難以吸收

代碼結合劇情，易吸收

抽象概念不理解，無法應用

深入原理講解，牢掌握

掃描二維碼，深度體驗教學法

以網絡編程UDP為例
場景式教學

整合優質教學資源，系統化提煉數十個企業真實開發環境中的業務場景，獨創了場景式教學法。該教學法通過分析場景特點、梳理場景流程、呈現給定場景下技術的實現3個步驟，向學員清晰的展現了開發的全流程。

場景式教學法的優勢

場景多樣學員工作后的各類業務場景
基本覆蓋

場景真實真實還原企業Java開發中的
業務場景

內容生動場景與技術緊密結合
將枯燥的知識點活化

強化吸收根據人的認知規律進行課程設計
學員吸收度大大提升

場景式教學案例

更多案例

今日頭條場景旅游類場景游戲類型場景云存儲場景信息資訊類場景電商秒殺類場景電商會員類場景大數據管理平臺場景分布式搜索場景 OA信息管理類場景
OPEN教學法

OPEN 教學法是由傳智教育培訓院首創的一套教學方法論，旨在「用更短的時間講明白一個知識點」，只有老師用更短的時間把課講清楚，學生才能有更多的時間做刻意練習，從而達到教練結合融會貫通。

OPEN 教學法四大核心要素

Objective（目標）具體要交付給學生的能力，學生可以用來解決具體的問題

Path（路徑）基于學生既有知識儲備，設計學習線路

Expeirence（體驗）按照路徑順序授課，主線清晰，保證學習體驗

Note（落地結論）交付給學生經過提煉的知識干貨，降低復習難度，提高學習效率

OPEN教學法的作用

1. 規避常見授課問題
2. 授課結構好、清晰度高
3. 授課標準化、可量化、可衡量
4.用更短的時間授課，給學生更多的時間練習
5. 縮短老師培養周期，提升授課質量
6. 提供風格統一的教學視頻，學生吸收更迅速

OPEN 教學法授課中的話術舉例