信息庫
應用市場調研+大數據分析
獲取前沿發展方向
課題研究庫
提出前沿熱門課題
完成深入原理剖析+技術攻堅
保障課程前瞻性
研發人才庫
來自華為、IBM等百人大牛團
每年耗資億元
研發行業標桿優質課程
解決方案庫
基于市場主流技術
研發解決方案
應對職場常見技術難題
項目庫
基于熱門行業領域
聯合大牛顧問團
研發“大廠級”深度項目
大數據
高級軟件工程師課程
推出9個月高級軟件工程師課程，知識量和技術深度增加50%，以業務為核心驅動項目，打造業務+技術并重的復合型人才
大數據培訓課程標準 為什么要培訓9個月成為高級軟件工程師？
大數據課程大綱
基礎班階段一
就業班階段一
就業班階段二
就業班階段三
就業班階段四
就業班階段五
就業班階段六
就業班階段七
就業班階段八
查看詳細課程大綱>零基礎數據倉庫課程新課時：8天VS舊課時：15天
升級說明
基礎課程優化，使學員可以由淺入深的了解大數據業務開發的真實場景，推出大數據0基礎體驗課
主要內容
?操作系統基礎?關系型數據庫?可視化ETL平臺?BI可視化開發?電商數據倉庫實戰
可解決的現實問題
?具備傳統數據倉庫開發能力
可掌握的核心能力
?掌握企業級ETL平臺的kettle ?掌握BI的可視化平臺Superset ?掌握Kettle ETL處理設計思想 ?掌握大數據企業開發中最常見的linux的操作 ?掌握一款主流數據庫客戶端工具DataGrip ?掌握企業MySQL的調優方案 ?掌握大數據分析中數據全量及增量同步解決方案 ?掌握生產環境中數據分析程序的部署解決方案
查看詳細課程大綱>Java語言編程新課時：19天VS舊課時：40天
升級說明
Java語言編程優化，增加熱門技術，提升大數據課程內容的占比
主要內容
?面向對象 ?常用類 ?集合操作 ?IO操作 ?Java基礎增強 ?JDBCMaven ?爬蟲案例
可解決的現實問題
?基礎語法是學習任何編程語言的第一課，學好基礎語法，才能更好的學習后面的課程知識點
可掌握的核心能力
?掌握Java程序基礎數據類型 ?掌握開發中常用類如集合、IO流、常用類等操作 ?掌握Java異常處理機制 ?掌握反射、網絡編程、多線程開發 ?掌握Jsoup的網絡爬蟲開發 ?掌握JDBC操作 ?掌握ETL數據處理和BI報表開發
查看詳細課程大綱>Hadoop技術棧新課時：13天VS舊課時：10天
升級說明
簡化大數據組件安裝，優化Hadoop生態圈組件，采用全新的CentOs7平臺完成大數據環境搭建，滿足企業需求
主要內容
?Linux操作系統高級 ?大數據基礎和硬件介紹 ?Zookeeper
可解決的現實問題
?具備Hadoop開發能力、離線數據倉庫開發能力
可掌握的核心能力
?掌握shell編程 ?掌握ZooKeeper原理并應用 ?掌握HDFS的使用和MapReduce編程 ?理解MapReduce原理和調優 ?掌握Yarn的原理和調優 ?掌握Hive的使用和調優
查看詳細課程大綱>項目一（在線教育）新課時：10天VS舊課時：無
升級說明
新增教育項目，對教育行業大數據數倉構建場景還原，建立企業數據倉庫，分析項目多達40個模塊150個技術點，緊密貼合企業級大數據實戰
主要內容
?HDFS ?MapReduce ?YARN ?Hive
可解決的現實問題
?具備企業級離線數據倉庫開發能力，深入教育行業需求，提升行業的核心競爭力
可掌握的核心能力
?掌握從需求、設計、研發、測試到落地上線的完整項目流程 ?掌握大量教育行業的真實業務邏輯，涉及20多個主題，100多個指標 ?掌握海量數據如何調優、使用拉鏈表、增量數據處理，以及Hive函數的具體應用等 ?掌握基于CM的大數據環境部署和管理 ?掌握數據倉庫的核心概念和應用 ?掌握常用離線大數據技術：Oozie、Sqoop、Hive等 ?掌握FineReport可視化
查看詳細課程大綱>數據微服務接口開發新課時：5天VS舊課時：無
升級說明
新增SparkBoot+SpringCloud企業級微服務開發技術棧
主要內容
?建立企業數據倉庫，統一企業數據中心，把分散的業務數據集中存儲和處理
可解決的現實問題
?具備后端數據微服務接口開發，可勝任通過Spring技術架構完成微服務搭建 ?可完成企業級數據微服務接口開發
可掌握的核心能力
?掌握SpringBoot整合SpringMVC開發 ?掌握SpringBoot整合MyBatis開發 ?掌握Eureka搭建 ?掌握Feign的使用
查看詳細課程大綱>實時生態圈新課時：18天VS舊課時：6天
升級說明
優化實時組件技術，采用企業級案例數據講解，Flink采用原生Java并使用最新的1.10版本，新增FlinkCep等多種實時計算技術
主要內容
?項目從需求調研、設計、版本控制、研發、測試到落地上線，涵蓋了項目的完整工序
可解決的現實問題
?具備使用Hbase和Redis開發調優能力、ELK海量數據處理能力、具備Kafka消息隊列開發和調優能力、Flink流式和批量數據開發能力
可掌握的核心能力
?掌握Redis原理及架構 ?掌握Redis命令操作、及數據結構 ?掌握Hbase原理及架構 ?掌握HBase命令操作、MapReduce編程 ?掌握Phoneix二級索引優化查詢 ?掌握ELK開發掌握Kafka原理及架構 掌握KafkaStreams開發 掌握基于Flink進行實時和離線數據處理、分析 掌握基于Flink的多流并行處理技術 掌握千萬級高速實時采集技術
查看詳細課程大綱>項目二（證券、物聯網任選其一）新課時：12天VS舊課時：無
升級說明
新增金融項目，項目還原金融證券大數據業務場景，實時監控證券市場的每日業務交易，實現對證券市場交易數據的統計分析，搭建監察預警體系，包括：預警規則管理，實時預警，歷史預警，監察歷史數據分析
主要內容
?挖掘分析海量用戶行為數據，定制多維數據集合，形成數據集市，供各個場景主題使用
可解決的現實問題
?具備TB級規模下毫秒級Flink實時計算程序開發、架設能力，并具備不同應用場景下多種存儲引擎的技術引擎優化能力。以及項目上線部署、運維監控能力
可掌握的核心能力
?掌握基于FTP、Flume + Kafka的實時數據采集開發 ?掌握TB級海量規模下Flink實時處理開發，保證實時計算高容錯 ?掌握三種不同時間維指標的存儲、計算方案（Druid、MySQL、HBase），例如：毫秒級\秒級\分時等時間維 ?掌握基于Kylin的即席快速OLAP開發 ?掌握基于Flink CEP的實時預警監控開發 ?掌握基于Spring Boot的數據服務接口開發
查看詳細課程大綱>Spark技術棧新課時：10天VS舊課時：8天
升級說明
升級Spark版本為2.4.5，新增DMP場景Spark案例，優化了StructuredStreaming結構化流的應用分析
主要內容
?Scala語言 ?Spark core ?Spark sql ?Spark Streaming ?Structured Streaming
可解決的現實問題
?具備Spark全棧開發能力，滿足大數據行業多場景統一技術棧的數據開發，提供就業核心競爭力
可掌握的核心能力
?掌握Scala語言基礎、數據結構 ?掌握Scala語言高階語法特性 ?掌握Spark的RDD、DAG、CheckPoint等設計思想 ?掌握SparkSQL結構化數據處理，Spark On Hive整合 ?掌握Spark Streaming整合Kafka完成實時數據處理 ?掌握Spark Streaming偏移量管理及Checkpoint ?掌握Structured Streaming整合多數據源完成實時數據處理
查看詳細課程大綱>項目三（物流、電信任選其一）新課時：10天VS舊課時：無
升級說明
新增物流項目，還原大型物流公司研發的智慧物流大數據平臺，針對日訂單上千萬業務場景，圍繞訂單、運輸、倉儲、搬運裝卸等全物流環節中涉及的數據信息進行處理，并針對提高運輸以及配送效問題，提出解決方案
主要內容
?基于一家大型物流公司研發的智慧物流大數據平臺，日訂單上千萬
可解決的現實問題
?具備基于Docker搭建不同數據源、實時采集開發能力，并具備構建高性能數據存儲處理大數據平臺開發能力
可掌握的核心能力
?掌握Docker環境部署、管理操作 ?掌握基于Oracle + MySQL異構數據源數據處理技術 ?掌握基于Oracle Golden Gate以及Canal的實時采集技術 ?掌握Kudu + Spark的快速離線數據處理、分析技術 ?掌握Kudu + Impala即席數據分析技術 ?掌握基于ClickHouse高性能存儲、計算引擎技術 ?掌握基于ELK的全文檢索技術 ?掌握Kudu、Spark的調優能力 ?掌握基于Spring Cloud的數據微服務接口開發技術
適合人群
-
應屆大學畢業生
缺乏工作經驗和技能，
對未來沒有明確的規劃，
期望通過學習大數據
躋身IT行業的人員 -
計劃轉行人員
目前工作待遇不理想，
上升空間有限或已進入
職業瓶頸期，
想要突破轉行的人員 -
有基礎尋求提升者
具有一定的大數據技術理論基礎，
需要了解大數據技術
在實際業務中如何使用的人員 -
大數據技術愛好者
有較強的思維邏輯能力，
應對復雜業務場景處理，
對大數據技術感興趣的人員
大數據工程師職業發展路徑
初級開發工程師
（0-1年）
中級開發工程師
（1-2年）
高級開發工程師
（2-4年）
資深開發工程師
（4-6年）
架構師
（6-8年 ）
技術總監
（8-10年 ）
CTO
（10年以上）
項目經理
（4-6年）
項目總監
（6-10年 ）
CIO
（10年以上）
真項目
與帆軟、北京大數據研究院等深度合作，推出多行業、多領域、企業級的大數據項目課程，制定大數據項目標準，并在業內建立免費體驗的在線“項目庫”-
高標準"億元級"研發投入
大廠項目標準 -
全行業11+熱門行業
覆蓋領跑行業 -
高性能PB級數據處理
秒級數據響應 -
真場景數據結構真實
業務模型完整 -
快更新熱門項目"月"更新
前沿技術"周"更新 -
嚴保障12項評審流程
4項驗收標準
-
真實、豐富業務場景
業務指標>40個
業務主題>56個
技術方案完整落地
項目課程天數≥8天
大規模數據處理架構
項目架構支撐TB級
數據存儲、處理
大數據項目全流程落地
涵蓋采集、數倉、分析
調度、部署、BI等全流程
離線、實時架構全面覆蓋
項目包含真實場景離線
和實時處理 -
-
傳智教育與亞馬遜AWS聯手千億級大規模數據處理
“真正”經過海量數據驗證的真項目數據采集多渠道采集
峰值100萬條/秒流計算引擎低延遲性
吞吐量百萬筆/秒安全性高容錯性
高可用性ETL加工TB級離線數據處理
應用查詢億級數據關聯查詢
秒級數據響應 -
業務分析
業務模型
業務目標
大屏實時監控
預警監控業務大類
個股行情
指數行情
板塊行情業務明細
分時行情
秒級行情
歷史行情關鍵業務
漲跌幅行情
成交量對比行情
國內指數
板塊指數
K線行情
分時列表行情
個股漲跌行情指標性能
采集效率快
計算性能強
存儲空間大
查詢響應快
易擴展
容錯性高
-
傳智教育研究院研發團隊以“五庫模式”為基礎，建立了企業級項目研發體系
從產品、開發，到測試上線，每一環都配備專業團隊，搭建成熟課研閉環，高效研發項目 -
大數據項目12項評審流程
大數據項目4項驗收標準
項目開發驗收27項考核指標
功能實現
業務流程
UI/UE實現
代碼質量
接口/性能
……
課程質量驗收15項考核指標
技術應用合理性
技術前沿性
技術深度
課程銜接合理性
引導式教學應用程度
……
研發效率驗收3項考核指標
進度
成本
變更頻率
……
用戶驗收17項考核指標
課程導入吸引度
授課語言感染力
課程趣味性
教學結果
課程吸收度
……
大數據項目體驗
專職課研團隊
專職教學團隊
16級標準嚴選專職課研老師，嚴控課程研發質量
人才篩選
4項標準
- 標準化研發人才畫像
大廠背景，技術深度、廣度，
大型項目經驗
- 多維面試（五面）
背景調查，技術360°鑒定 ，
新課題設計 ，課程隨機演繹 ，
職業定位、發展規劃 - 研究院小組診斷測評
教育情懷、價值觀，進
取精神、培養潛力 - 全鏈路面試流程監控
CEO審核，信息存檔
人才考核
8大環節
課研人員素質考核視頻錄制考核
課程設計考核課堂試煉考核
大綱設計考核產品全方位審評
講義撰寫考核考核答辯
人才培訓及
發展規劃
平臺、組件
技術開源歷練
技術私享會
大牛技術沙龍
企業對對碰
技術共享
優中選優，教學老師錄取率<3%，從源頭嚴控師資及授課質量
人才篩選
4項標準
- 標準化講師畫像
業務技能、性格
特色、溝通能力
- 初試技術深度
框架能力、底層原理、性能與
安全、算法與數據結構 - 復試授課質量
課程設計、授課邏輯互動與
交互、代碼規范 - 終試價值觀
抗壓能力、學習動力、
專業程度、培養潛力
人才考核
8大環節
定制個性化考核方案教育心理考核
講師素質考核教學方法考核
排課、備課產出物考核課堂試講考核
視頻錄制考核正式授課答辯
人才培訓及
發展規劃
每日授課
學員滿意度打分
階段課程實施
評審組審核
傳智培訓院
多維培養計劃
講師專屬
晉升通道
學員作品
打造企業級開發環境，引導學員以業務場景進行開發，完成企業級項目實訓，積累業務開發落地能力
盤析點擊流分析項目深圳大數據12期-3組
簡介：采用的是Hadoop技術棧完成數據開發，構建基于HIve的ODS-DW-APP層數倉平臺，增加實現地域分析及人均訪問頻次、分組、流量統計分析等模塊。
千人千面用戶行為分析項目上海大數據17期-6組
簡介：基于垂直電商平臺構建用戶畫像，完整抽取用戶的信息全貌，實現基于 Spark 進行用戶指標分析，并通過Spark MLLib建立數據挖掘模型。
反爬項目北京大數據33期-5組
簡介：采用Spark全棧大數據技術完成開發，實現了Lua收集的數據打入Kafka，通過在數據庫中讀取程序、計算離線數據、通過SparkStreaming完成用戶數據識別和分析。
千億級數倉實時大屏項目北京大數據36期-5組
簡介：基于用戶全面分析體系，從多維度建立用戶的運營體系，實時分析用戶訪問流量、訂單、店鋪等運營指標，采用HBase + Phoenix數據實時查詢方案。
大數據實戰標準及流程將企業實際項目帶進課堂，完成企業級項目開發
- 項目需求講解及技術方案分析
- 以業務驅動技術選型，篩選最
優技術方案，解決場景問題 - 服務器與框架集成后，
調優性能，實現最佳執行效率 - 模擬真實項目上線流程，
完成項目服務器部署
-
確立項目目標
項目介紹
技術選型
邏輯架構
數據流轉
服務器規劃
環境搭建
-
業務開發
業務背景
業務拆分
業務開發
代碼測試
可視化大屏
-
性能調優
性能測試
性能優化
原理分析
-
上線部署
部署上線
原創教材
傳智教育出版了4本大數據原創書籍，被1900余所高校選作授課教材，惠及200余萬名大學生
Tlias全方位AI教輔系統
數據驅動教學，貫通教/學/練/測/評，為每一位學員私人定制學習計劃和就業服務
- 學員入學
- 課堂教學
- 課后指導
- 專項練習
- 入學多維測評
定制專屬學習計劃 - 目標導向式學習
精準定靶不脫節 - 隨堂診斷糾錯
掃清理解盲點
- 循序漸進式練習
從理論到應用 - 階段效果測評
消除知識薄弱點 - 智能指引式建議
分層教學，因材施教
- 隨時有問必答
攻克技術難點 - 學員薄弱知識可視化
精準查漏補缺 - BI報表數據呈現
精準把控教學質量
-
精準定靶學習目標，讓學員對每天的學習進程了如指掌。課上一講多練的教學模式更便于學員反思評估當天學習目標的掌握程度，教師提供針對性的學習指導，保障學習效果。
-
TLIAS系統為學員提供了充足的實操訓練機會，并構建了一條科學的練習路徑，多級練習提示使各類學員都能獲得充分指引，最終獨立解決問題，提升知識技能水平。
-
TLIAS系統的診斷測評工具，使學員能夠對每天所學知識進行檢測，將薄弱知識可視化，精準查漏補缺，對問題知識點給予重點消化吸收，復習更高效、更聚焦，效果更明顯。
-
為充分激活學員間互動能量，將學員個人單線的學習擴展為立體互動性較強的探索式共享學習，TLIAS系統搭建了學習問答社區。熱帖瀏覽高達到2.5w人次。
-
TLIAS系統的就業中心從實際就業需求出發，為學員們準備了非常豐富的就業資源，5大課程門類，2000余節課程視頻，能夠滿足不同學員的實際需求。
-
為提升學員的面試實戰經驗，TLIAS系統的模擬面試平臺高度還原學員目標崗位的面試環境和流程，并打造求職利器“面試寶典”，幫助學員熟悉面試流程，提高面試成功率。
-
TLIAS系統的BI數據平臺能夠全方位采集、實時監測各關鍵環節數據，形成一套成熟且執行有效的數據驅動模式，問題及時解決，風險提前預防，保障教學質量持續穩定的輸出。
-
為老師的教學打分，對校區的服務評價，TLIAS系統會做出定性和定量分析，在精準的教學質量監控下，師資質量精益求精、學習效果穩步提升，學習體驗與滿意度口碑雙提升。
-
學習目標體系
-
作業試題庫
-
個人專屬測評
-
學習問答社區
-
就業指導資源
-
模擬面試平臺
-
多數據采集
-
教學質量監控
更多Tlias就業服務
就業流程
全信息化處理
學員能力
雷達圖分析
定制個性化
就業服務
技術面試題
講解
就業指導課
面試項目分析
HR面試攻略
模擬企業
真實面試
專業簡歷指導
面試復盤輔導
風險預警
企業黑名單提醒
傳智匯-打造你的IT職業生態圈
老學員畢業后可加入傳智匯IT精英社區，持續幫助學員終身成長，一次學習，永久服務-
行業沙龍
每年百場行業交流
每年24場免費交流 -
高端人脈
行業大牛講座
技術大牛分享
攻克研發難關
緊跟科技前沿 -
職場資源
二千余家企業
高管精準指導
助力職場晉升
突破發展瓶頸 -
技術研習
服務中高端IT人才
持續跟蹤量身定做
-
大數據零基礎體驗課基礎班 1
課時:8天技術點:65項測驗:1次學習方式:線下面授
學習目標
1.掌握企業級ETL平臺的kettle|2.掌握BI的可視化平臺Superset|3.掌握kettle流式數據ETL處理設計思想|4.掌握大數據企業開發中最常見的linux操作|5.掌握一款主流數據庫管理工具DataGrip|6.掌握企業MySQL的調優方案|7.掌握大數據分析中數據全量及增量同步解決方案|8.掌握生產環境中數據分析程序的部署解決方案
主講內容1操作系統基礎
Linux是一個基于POSIX和Unix的多用戶、多任務、支持多線程和多CPU的操作系統
計算機基礎知識、Linux環境搭建、遠程連接工具、文件操作命令、壓縮解壓縮命令、文件查找命令、系統管理命令、權限管理、網絡服務管理命令、VI等主講內容2關系型數據庫
數據庫就是存儲數據的倉庫，其本質是一個文件系統，數據按照特定的格式將數據存儲起來，用戶可以對數據庫中的數據進行增加，修改，刪除及查詢操作
數據庫環境搭建、SQL語言（DDL、DML、DQL）、多表查詢、索引等主講內容3可視化ETL平臺
對于企業或行業應用來說，經常會遇到各種數據的處理，轉換，遷移，掌握一種etl工具的使用，必不可少，這里要學習的ETL工具是——Kettle，現在已經更名為PDI
數據倉庫與ETL、Kettle安裝部署、數據抽取與裝載、表輸入、表輸出、插入/更新、switch/case等組件使用、Kettle作業等主講內容4BI可視化開發
Superset是一款開源的現代化企業級BI。它是目前開源的數據分析和可視化工具中比較好用的，功能簡單但可以滿足我們對數據的基本需求，支持多種數據源，圖表類型多，易維護，易進行二次開發
Superset部署、開發，涵蓋Charts開發、Dashboard開發主講內容5電商數據倉庫實戰
本案例圍繞某個互聯網小型電商的訂單業務來開發
電商業務背景、案例架構、數據倉庫增量同步、ETL開發、指標SQL開發、Kettle作業調度、Superset可視化展示等 -
Java語言編程就業班 1
課時:19天技術點:115項測驗:1次學習方式:線下面授
學習目標
1.掌握Java程序基礎數據類型|2.掌握開發中集合、IO流、常用類等操作|3.掌握Java異常處理機制|4.掌握反射、網絡編程、多線程開發|5.掌握Jsoup的網絡爬蟲開發|6.掌握JDBC數據庫連接操作|7.掌握ETL數據處理和BI報表開發|8.具備JavaSE開發能力
主講內容1編程基礎
基礎語法是編程語言的第一課，打好基礎才能更好的學習后面課程，幫學員從小白到入門，包含了以下技術點：
1.Java語言概述2.Java開發環境搭建3.IDEA的安裝和配置4.HelloWorld案例5.注釋.6.關鍵字7.常量8.變量9.數據類型轉換10.運算符11.Scanner12.選擇結構13.for循環14.while循環15.循環嵌套16.控制跳轉語句break和continue17.Math類-獲取隨機數18.數組的概述和創建19.數組的內存圖解20.數組的常見操作.21.方法的概述和定義22.方法重載.23.方法形參類型24.方法練習主講內容2面向對象
逐步建立起面向對象編程思想，從會使用對象，到內存分析，再到真正理解為什么封裝對象，包含了以下技術點：?
1.面向對象介紹 2.類和對象講解 3.對象的內存圖 4.成員變量和局部變量的區別 5.private關鍵字 6.封裝 7.this關鍵字 8.構造方法 9.繼承 10.super關鍵字 11.方法重寫 12.多態 13.final 14.static 15.抽象類 16.接口 17.包（package）主講內容3常用類API
培養使用java語言解決實際問題，需掌握常見的java對象與工具類，包含了以下技術點：
1.API解釋2.Object類講解3.String類講4.StringBuilder類講解5.冒泡排序6.Arrays工具類7.包裝類8.自動拆裝箱9.Date類講解10.SimpleDateFormat類講解主講內容4集合操作
建立使用集合解決不同數據類型操作的思想，包含了以下技術點：
1.Lambda表達式2.集合類3.Collection4.ArrayList5.列表迭代器6.增強for7.數據結構8.Set集合之HashSet9.Map集合之HashMap10.集合嵌套案例主講內容5IO操作
解決了數據序列化和反序列化操作，包含了以下技術點：
1.File類 2.字節流 3.序列化流 4.字符流主講內容6Java基礎增強
從數據傳輸角度增強對java語言的掌握程度，包含了以下技術點：
1.軟件結構 2.網絡協議 3.網編3要素 4.TCP通信. 5.Junit單元測試 6.反射介紹 7.Class類相關方法介紹 8.反射案例:代理設計模式 9.注解解釋. 10.常用注解介紹. 11.xml概述 12.xml的組成元素 13.xml約束主講內容7爬蟲案例
以企業爬蟲為業務，實現此階段知識點的綜合場景化應用，包含了以下技術點：
Jsoup、MySQL高級、JDBC、ETL、BI -
Hadoop技術棧就業班 2
課時:13天技術點:153項測驗:1次學習方式:線下面授
學習目標
1.掌握Shell命令|2.掌握zookeeper原理并應用|3.掌握HDFS的使用和MapReduce編程|4.理解MapReduce原理和調優|5.掌握Yarn原理和調優|6.掌握Hive的使用和調優|7.具備Hadoop開發能力、離線數據倉庫開發能力
主講內容1Linux操作系統高級
介紹大數據服務器基本操作，是入門大數據開發的基石，包含了幾下技術點：
Linux shell編程、awk、sed、cut、ssh、scp、expect、yum、nestat、top 、iostat等高級命令使用主講內容2大數據基礎和硬件介紹
進一步闡述大數據特點與分布式思想，知識點由淺入深，包含了以下技術點：
大數據的特點、分布式存儲概念、分布式計算的概念、服務器種類介紹、機架、交換機、網絡拓撲、Raid、IDC數據中心主講內容3Zookeeper
分布式軟件管家，實現了集群管理與leader選舉，包含了以下技術點：
Zookeeper的應用場景、架構和原理、存儲模型、選舉機制、客戶端操作主講內容4HDFS
分布式文件系統，解決了海量數據存儲與容錯，包含了以下技術點：
HDFS設計的特點、Master-Slave架構、Block塊存儲、RF拷貝因子、機架感知、Block拷貝策略、讀寫流程、HDFS Federation、HDFS Snapshots、NameNode HA架構和原理、HDFS管理員常用操作、HDFS權限控制主講內容5MapReduce
分布式計算系統，解決海量數據的計算，包含了以下技術點：
MapReduce架構和原理、Split機制、MapReduce并行度、Combiner機制、Partition機制、自定義Partition、MapReduce序列化、自定義排序、數據壓縮主講內容6YARN
分布式資源調度管理器，管理服務器軟件資源，包含了以下技術點：
Yarn原理和架構、Yarn高可用、Container資源的封裝（CPU、內存和IO）、資源調度策略（FIFO、Fair和Capacity）主講內容7Hive
分布式離線計算Nosql數據庫，數倉伴侶，包含了以下技術點:
Hive原理和架構、HQL操作、數據類型、分區、分桶、臨時表、Meta Store服務、HiveServer內置函數、自定義UDF和UDAF、數據壓縮、存儲格式、自動化腳本、常見性能優化、explain執行計劃詳解 -
【在線教育】知行教育就業班 3
課時:10天技術點:120項測驗:0次學習方式: 線下面授或者線上學習（可選）
學習目標
1.掌握離線數倉的分層與建模，從需求、設計、研發、測試到落地上線的完整項目流程|2.大量教育大數據的真實業務邏輯，共涉及20多個主題，100多個指標，提升學員在教育行業中的核心競爭力|3.包括海量數據場景下如何優化配置|4.拉鏈表的具體應用|5.新增數據和更新數據的抽取和分析|6.hive函數的具體應用|7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能
知行教育是以建立集團數據倉庫，統一集團數據中心，把分散的業務數據集中存儲和處理項目從需求調研、設計、版本控制、研發、測試到落地上線，涵蓋了項目的完整工序挖掘分析海量用戶行為數據，定制多維數據集合，形成數據集市，供各個場景主題使用的在線教育大數據項目
進入項目體驗主講解決方案
1.大數據部署運維：Cloudera Manager 2.分析決策需求：數據倉庫 3.數據采集：sqoop 4.數據分析：hive 5.歷史數據快照：拉鏈表 6.數據更新后的統計分析：拉鏈表 7.數據調度：oozie+shell 8.OLAP系統存儲：mysql 9：數據展現：帆軟BI主講知識點
1.掌握離線數倉的分層與建模，從需求、設計、研發、測試到落地上線的完整項目流程|2.大量教育大數據的真實業務邏輯，共涉及20多個主題，100多個指標，提升學員在教育行業中的核心競爭力|3.包括海量數據場景下如何優化配置|4.拉鏈表的具體應用|5.新增數據和更新數據的抽取和分析|6.hive函數的具體應用|7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能 -
后臺數據服務就業班 4
課時:5天技術點:68項測驗:1次學習方式:線下面授
學習目標
1.掌握SpringBoot整合SpringMVC開發|2.掌握SpringBoot整合MyBatis開發|3.掌握Eureka搭建|4.掌握Feign的使用|5.掌握后端數據微服務接口開發|6.掌握通過Spring技術架構|7.掌握微服務搭建|8.掌握企業級數據微服務接口開發
主講內容1Spring
Spring是分層的服務器端應用full-stack輕量級開源框架，Java程序員必會的開源框架。包含了以下技術點：
1.IOC控制反轉|2.AOP面向切面編程|3.對象容器化管理|4.springmvc核心編程|5.mvc編程模型主講內容2Spring Boot
SpringBoot提供了一種快速使用Spring的方式，基于約定優于配置的思想。包含了以下技術點：
1.Spring Boot整合Spring MVC|2.使用Spring Boot整合MyBatis開發主講內容3Spring Cloud
Spring Cloud 是一系列框架的有序集合，Spring Cloud 并沒有重復制造輪子，目前各家公司開發服務框架組合起來。包含了以下技術點：
1.搭建Eureka注冊中心、Feign|2.使用Spring Cloud Gateway搭建微服務網關 -
實時生態圈就業班 5
課時:18天技術點:170項測驗:1次學習方式:線下面授
學習目標
1.掌握Redis原理及架構|2.掌握Redis命令操作、及數據結構|3.掌握Hbase原理及架構|4.掌握HBase命令操作、MapReduce編程|5.掌握Phoneix二級索引優化查詢|6.掌握ELK開發掌握Kafka原理及架構|7.掌握KafkaStreams開發|8.掌握基于Flink進行實時和離線數據處理、分析|9.掌握基于Flink的多流并行處理技術|10.掌握千萬級高速實時采集技術
主講內容1分布式緩存系統
存儲效率高，適合作為中間緩存數據庫使用，包含以下技術點：
Redis原理及架構、Redis Cluster原理及架構、Redis常用操作主講內容2萬億級NoSQL海量數據存儲
存儲海量數據的列式數據庫，內部高效設計解決了海量數據存儲，包含了以下技術點：
HBase原理及架構、預分區、LSM結構、Bloom Filter、co-processor、結合Phoneix進行優化查詢主講內容3分布式流處理平臺
分布消息隊列存儲數據，應用于低延時實時場景，包含了以下技術點:
Kafka原理及架構分析、分布式實時計算架構和思想主講內容4Elastic Stack
涵蓋數據采集、數據存儲、數據可視化的完整的實時搜索解決方案，包含以下技術點：
ElasticSearch開發、Logstash數據采集、Kibana數據可視化主講內容5Flink Stream
構成了flink解決實時數據處理部分，是掌握實時數據處理必備技能，包含了以下技術點：
Flink DataStream的使用、Kafka + Flink主講內容6Flink DataSet
離線數據處理數據集，是掌握離線數據處理必備技能，包含了以下技術點：
Flink 性能監控、Flink調優、Flink SQL執行計劃主講內容7Flink Runtime
是對flink任務進行調優，必須掌握的內容，包含了以下技術點：
Watermark、Checkpoint、任務調度與負載均衡、狀態管理主講內容8Flink SQL
解決flink中的sql化開發，Flink-Sql開發必備技能，包含了以下技術點：
Flink SQL開發、Hive + Flink SQL主講內容9Flink實戰
踐行場景式教學，運用了flink階段知識點，解決實時數據分析的應用，包含了以下技術點：
Flume+Kafka+Flink+Hbase+Sqoop+Canal+MySQL實戰 -
【證券】今日指數就業班 6
課時:10天技術點:130項測驗:0次學習方式: 線下面授或者線上學習（可選）
學習目標
1.掌握證券相關業務|2.掌握大數據批處理、流處理以及web接口開發|3.掌握深市滬市數據采集|3.掌握Flume自定義source|4.掌握Flume攔截器的開發|5.了解模型和SQL開發規范|6.掌握Oozie定時調度|7.使用hive進行數據開發|8.掌握秒級、分時行情開發，涵蓋個股、指數、K線|9.掌握基于Flink CEP的實時股票漲跌幅、振幅、交易量監控預警|10.掌握基于Kylin的離線預警開發|11.掌握基于Spring Boot的數據服務接口開發
實時監控證券市場的市場每日的業務交易，實現對證券市場交易數據的統計分析；搭建監察預警體系，包括：預警規則管理，實時預警，歷史預警，監察歷史數據分析等；股市行情交易數據實時采集、實時數據分析、多維分析，即席查詢，實時大屏監控展示?
進入項目體驗主講解決方案
1.離線批處理數據分析：hive 2.數據源接收平臺：ftp 3.數據采集：flume 4.消息隊列：kafka 5.實時流處理：flink 6.秒級行情數據存儲：Hbase 7.分時行情數據存儲：Apache Druid 8.K線數據存儲：Mysql 9.分時行情歷史數據存儲：HDFS(Hive) 10:實時監控預警：Flink CEP 11:離線數據預警：Kylin 12：BI報表：Superset 13:前端應用接口：微服務（SpringBoot） 14：前端UI展示：Vue主講知識點
項目采用流處理計算引擎Flink，實時處理100萬筆/s的交易數據 基于企業主流的流處理技術框架：Flume、Kafka、Flink、Hbase等 基于Hive和Kylin的批數據處理，可進行海量多維分析 Hbase5日內秒級行情億級規模，MySQL5日內分時行情千萬級規模 T-5日內實時行情毫秒響應，T-5日外的歷史行情秒級響應 數據存儲以HDFS、Hive、Hbase應對PB級規模數據 項目涵蓋主流離線數倉的技術和OLAP分析引擎 OLAP分析引擎以Kylin和Druid實現離線和實時的指標分析 隊列服務以低延遲、高吞吐-百萬筆/秒的Kafka保障數據接收 緩存服務基于Redis的高速緩存，實現數據快速交換 TB級別的實時日處理數據、存儲PB級歷史數據 主備雙大數據平臺保障。 -
Spark技術棧就業班 7
課時:10天技術點:91項測驗:1次學習方式:線下面授
學習目標
1.掌握Scala語言基礎、數據結構|2.掌握Scala語言高階語法特性|3.掌握Spark的RDD、DAG、CheckPoint等設計思想|4.掌握SparkSQL結構化數據處理，Spark On Hive|5.掌握SparkStreaming整合Kafka完成實時數據處理|6.掌握SparkStreaming偏移量管理及Checkpoint|7.掌握Structured Streaming整合多數據源完成實時數據處理|8.具備Spark全棧開發能力，滿足大數據行業多場景統一技術棧的數據開發，提供就業核心競爭力
主講內容1Scala語言
函數式編程基礎語言，通過學習scala可掌握spark、flink中使用函數式編程方式實現分析程序，包含了以下技術點：
Scala基礎、變量聲明、數據類型、條件表達式、塊表達式、循環、方法和函數、數組、元組、集合、Iterator、構造器、伴生對象、Akka編程主講內容2Spark core
整個spark框架核心部分，掌握框架內部設計思想，數據流轉步驟，是學習spark的基礎模塊，包含了以下技術點：
Spark架構和原理（運行機制、Driver和Executor、spark任務提交流程）、RDD開發和原理（Partition、Task、RDD的依賴關系、RDD的容錯機制、RDD的存儲級別、RDD的緩存機制）、廣播變量 、DAG原理（DAG思想、DAG的生成、DAG的處理過程）主講內容3Spark sql
學習spark框架的sql操作，spark與hive、hbase等外部數據源的整合操作，包含了以下技術點：
Spark SQL架構和原理、DataFrame、DataSet DSL和SQL開發、Spark多數據源整合（txt、CSV、Json、parquet、JDBC、Hive）、Spark SQL執行計劃原理、Spark SQL性能調優主講內容4Spark Streaming
流式數據分析處理模塊，以微批方式處理海量數據，基于數據處理時間，包含了以下技術點：
Spark Streaming流式開發、DStream API、整合多數據源、偏移量管理主講內容5Structured Streaming
流式數據分析處理模塊，基于事件時間處理海量數據，更符合業務場景，包含了以下技術點：
Structured Streaming開發（input、output、window、watermark、過期數據操作、去重等）、Structured Streaming多數據源整合（socket、Kafka）、 Flume+kafka+Structured Streaming案例實戰 -
【物流】客快物流就業班 8
課時:12天技術點:130項測驗:0次學習方式: 線下面授或者線上學習（可選）
學習目標
1.掌握離線業務、實時業務解決方案|2.ClickHouse實時存儲、計算引擎|3.Kudu + Impala準實時分析系統|4.基于Docker搭建異構數據源|5.掌握企業級應用場景以企業主流的Spark生態圈為核心技術(Spark、Spark SQL、Structure Streaming)
基于一家大型物流公司研發的智慧物流大數據平臺，日訂單上千萬；圍繞訂單、運輸、倉儲、搬運裝卸、包裝以及流通加工等物流環節中涉及的數據信息等；提高運輸以及配送效率、減少物流成本、更有效地滿足客戶服務要求，并針對數據分析結果，提出具有中觀指導意義的解決方案
進入項目體驗主講解決方案
數據源：oracle、mysql 實時增量同步軟件（數據采集）：ogg、canal 虛擬化資源管理：docker 實時數據分析：spark Structure Streaming 消息隊列：kafka 離線數據存儲介質：kudu 實時OLAP分析：clickhouse 實時訂單查詢存儲介質：elastic search 即席數據分析工具：impala 大數據分析交互平臺：hue 前端應用接口：微服務（springboot） 前端ui展示：vue、echats主講知識點
1.基于大型物流公司研發的智慧物流大數據平臺，日訂單上千萬|2.圍繞訂單、運輸、倉儲、搬運裝卸、包裝以及流通加工等物流環節中涉及的數據信息等|3.提高運輸以及配送效率、減少物流成本、更有效地滿足客戶服務要求|4.針對數據分析結果，提出具有中觀指導意義的解決方案|5.涵蓋離線業務、實時業務|6.ClickHouse實時存儲、計算引擎|7.Kudu + Impala準實時分析系統|8.基于Docker搭建異構數據源，還原企業真實應用場景|9.以企業主流的Spark生態圈為核心技術 -
【物聯網】星途車聯網就業班 9
課時:12天技術點:130項測驗:0次學習方式: 線下面授或者線上學習（可選）
學習目標
1.掌握基于Flink全棧進行快速OLAP分析|2.掌握基于Springboot+SwaggerUI快速構建數據服務接口|3.掌握實時高性能海量數據分析與存儲|5.掌握針對Hbase調優實現Hbase存儲調優|6.掌握數據報表分析|7.掌握業務數據實時大屏場景實現
涵蓋完整車聯網業務場景，包含駕駛行程、電子圍欄、遠程診斷等真實業務；通過QBOX車輛終端數據收集，并解析為QSP數據、QCS數據、充電數據、HU數據;提供實時計算服務與離線計算服務，并通過API接口以報表和大屏展示分析結果數據
進入項目體驗主講解決方案
1.離線數據分析：flink batch、hive 2.實時在線分析：flink、hbase 3.消息隊列：kafka 4.駕駛行程分析：flink、hbase 5.實時在線故障分析:mongodb 6.車型指標分析：hive、shell 7.實時指標查詢：phoenix 8.后臺數據服務接口：springboot、swagger-ui、echarts 9.多數據源加載:flink jdbc 10.車輛告警規則分析：flink、zeppelin 11.離線任務調度：azkaban 12.報表：superset 13.頁面展示：echarts、javascript主講知識點
海量數據處理，系統15分鐘內收集的新能源車輛的數據超過千萬條 基于Hive、HBase、HDFS數據存儲 基于Kafka數據傳輸 基于Flink全棧數據處理 基于Nginx做反向代理、LSV和Keepalived負載均衡和高可用 -
大數據平臺化開發就業班 10
課時:6天技術點:72項測驗:0次學習方式:線下面授或線上學習（可選）
學習目標
1.掌握大數據組件的常用運維方法解決實際的運維方案|2.具備大數據平臺運維能力|3.掌握基于Python基礎運維；|3.掌握基于CM+CDH集群運維方案。
主講內容1大規模大數據集群部署、大規模集群運維監控
大數據平臺運維與監控部署解決方案，解決大數據運行環境與任務資源占用情況監控，包含了以下技術點：
涵蓋主流的一些大數據平臺，涵蓋CDH、HDP、Apache、云平臺等部署方案，引入各家的最佳實踐。包含基于平臺下的各個組件的運維，包括Prometheus、Zabbix、Grafana、Eagle、CM、Ambari、Ganglia等 -
大數據數據中臺就業班 11
課時:3天技術點:99項測驗:0次學習方式:線下面授或線上學習（可選）
學習目標
1.掌握數據中臺構建思路及實戰|2.具備企業數據中臺構建能力|3.掌握基于Altlas元數據管理工具進行數據血緣分析；|4.掌握大數據數據體系建設、管理等。
主講內容1大數據數據體系建設、管理
數據中臺的前提在于平臺設計與元數據管理，基于各個業務系統的元數據，抽象出業務共同點，分類目管理，包含了以下技術點：
基于Altlas元數據管理工具進行數據血緣分析、構建數據地圖，構建統一存儲計算平臺，建立數據類目體系、標簽類目體系、數據資產管理，并基于數據中臺構建數據應用服務 -
大廠解決方案實戰就業班 12
課時:5天技術點:60項測驗:0次學習方式:線下面授或線上學習（可選）
學習目標
1.掌握大型門戶可視化任務提交解決方案；|2.具備大型旅游出行服務平臺統一性能監控平臺解決方案；|3.具備B2B2C電商集中實時采集消息隊列存儲方案、出行平臺實時風控性能調優方案；|4.具備大型電商雙十一千萬級實時處理調優。
主講內容1大廠解決方案實戰
出行、電商、視頻、社交等領域大數據解決方案
大型門戶可視化任務提交解決方案、大型旅游出行服務平臺統一性能監控平臺解決方案、B2B2C電商集中實時采集消息隊列存儲方案、出行平臺實時風控性能調優方案、大型電商雙十一千萬級實時處理調優、視頻網站海量用戶行為數據計算調優 -
大數據常見架構與設計就業班 13
課時:5天技術點:46項測驗:0次學習方式:線下面授或線上學習（可選）
學習目標
1.掌握基于美團點評實時數倉架構；|2.掌握基于拼多多離線數倉架構；|3.掌握基于小米快速OLAP分析架構；|4.掌握抖音小視頻實時推薦架構。
主講內容1一線大廠技術架構
具備主流的大數據架構設計、選型能力，能夠根據不同的場景、不同的性能要求，選擇不同的技術架構，并具備獨立選型組件組織成大數據架構能力
美團點評實時數倉架構、拼多多離線數倉架構、小米快速OLAP分析架構、抖音小視頻實時推薦架構 -
【新零售】新零售項目實戰就業班 14
課時:10天技術點:63項測驗:0次學習方式:線下面授或線上學習（可選）
學習目標
1.掌握基于高性能方案構建離線數倉、以及實時數倉構建方案；|2.具備項目采用Hive+Presto架構構建高性能的離線處理方案；|3.具備基于ClickHouse的實時數倉，實現秒級OLAP分析；|4.具備使用ClickHouse、Druid進行實時AD Hock，以大數據為驅動，打通線上線下體驗與物流融合的新零售項目。
本項目基于國內大型新零售巨頭開發的大數據平臺，基于高性能方案構建離線數倉、以及實時數倉。該項目涵蓋完整的業務，包括銷售、屢單、會員、促銷、商品、客戶等主題，每個主題涵蓋大量真實的業務場景，項目手把手帶著學生開發基于新零售場景下的離線、實時業務。本項目采用Hive+Presto架構構建高性能的離線處理方案，并采用基于ClickHouse的實時數倉，實現秒級OLAP分析。
主講解決方案
1. 基于Sqoop和HDFS的批量離線數據采集解決方案 2. 基Hive+Presto的高性能離線數倉解決方案3. 基于Canal+Kafka的零副作用實時數據采集解決方案4. 基于ClickHouse的實時數倉解決方案主講知識點
1. 掌握使用Kafka高吞吐消息隊列作為臨時數據存儲2. 掌握使用Sqoop進行T+1數據導入到分布式存儲3. 掌握基于Canal實時采集MySQL中的數據4. 掌握基于HDFS存儲大規模數據5. 掌握Hive+Presto搭建高性能離線數倉6. 掌握基于ClickHouse搭建大規模實時數倉 -
【工業】工業大數據項目實戰就業班 15
課時:10天技術點:66項測驗:0次學習方式:線下面授或線上學習（可選）
學習目標
1.完成基于國內大型的設備制造商大數據項目開發；|2..掌握基于spark分析原材料消耗、設備使用情況、多維度產品銷售分析，以大數據推動工業4.0；|4.具備基于HDP平臺，連接工業設備，收集數據資源，實現產業監測分析。
本項目基于國內大型的設備制造商大數據項目開發。該企業在全球范圍內銷售設備，設備涵蓋加油站相關的所有，例如：加油機、油罐建設、加氣機、自助設備等設備生產制造、設計、銷售，并提供全球性的服務。在國內重點客戶為：中國石油、中國石化、以及各個地域的大型企業。在國內，業務覆蓋的油站約8W座，設備數量50W臺。拿加油機設備來說，一臺設備包含了眾多的配件，每個配件的維護，設備信息的上報，服務工作人員的調度、GPS跟蹤定位等，企業經過多年的經營，積累了海量的數據。集群公司為了能夠確保企業精細化運營，決定進行數字化轉型，依托于大數據技術，以客戶、生產、服務、運營為核心，打造一個全方位的數字化平臺。
主講解決方案
1. 基于HDP快速搭建大數據平臺2. 基于Hive+Spark SQL搭建離線數據倉庫3. 基于Structured Streaming構建高吞吐實時處理4. 基于ECharts實現可視化主講知識點
使用主流的Hive+Spark構建離線數倉使用Structure Streaming構建實時異常告警系統基于完整的工業業務背景實現的離線和實時大數據業務豐富地地圖展示可視化開發學會使用Spark SQL處理復雜業務完整的離線采集 + 實時采集方案掌握如何使用調度平臺調度T+1批處理任務Spark離線任務和實時任務整合，統一由YARN做資源管理 -
大數據數據挖掘就業班 16
課時:20天技術點:52項測驗:0次學習方式:線下面授或線上學習（可選）
學習目標
1.掌握大數據數據挖掘常見的算法及應用場景|2.具備大數據數據挖掘、機器學習模型開發、調優能力|3.掌握PySpark、PyFlink等Python大數據生態技術；|4.掌握Python數據挖掘技術與案例；|5.掌握SparkMl&SparkMllib機器學習庫使用經驗。
主講內容1企業級大數據數據挖掘解決方案
主要包含機器學習與python機器學習內容，學習此階段能掌握企業級數據挖掘、建模、算法，實現自動化復雜場景應用。包含了以下技術點：
機器學習基礎、SparkMl&SparkMllib基礎實戰、Python核心基礎、Python數據科學庫基礎(Numpy、Pandas、Matplotlib、Seaborn、Imblearn-Learn、Scikit-Learn)、Python數據挖掘案例、PyHdfs、PyHive、PyHbase、Kafka-Python、PySpark、PyFLink案例實戰 -
BAT直通車就業班 17
課時:8天技術點:300項測驗:0次學習方式:線下面授或線上學習（可選）
學習目標
1.掌握大型互聯網公司常見面試題|2.具備大廠多領域場景剖析能力;|3.具備核心底層源碼剖析能力，如：HDFS、MapReduce、Hive、Flume、Sqoop等；|4.具備Spark、Spark Streaming等面試題及核心源碼、Flink面試題及核心源碼；|5.掌握底層數據結構面試題 。
主講內容1BAT直通車
互聯網公司常見面試題及應用場景剖析
BAT大數據常見的面試精選題、一線大廠多領域場景剖析、HDFS、MapReduce、Hive、Flume、Sqoop等面試題精講、Spark、Spark Streaming等面試題精講、Flink面試題精講、底層數據結構面試題精講
“周”更新日志
課程大版本更新
課程更新日志按周更新熱點/前沿技術
2020-07-11 升級版本8.1
課程名稱
大數據
課程推出時間
2020-07-11
課程版本號
8.1
主要針對系統
Windows、Linux、MacOS
主要針對版本
Hadoop3.2.1、Hive3.1.2、Zookeeper3.6.0、Flink1.10、Spark2.4.5、ClickHouse20.1.7.38、Kylin3.0.1、ElasticSearch7.6.1、Logstash7.6.1、Kibana7.6.1 Oozie5.2，Impala3.3.0，Azkaban3.81.0，Kudu1.11.1
主要使用開發工具
DataGrip、IDEA
課程介紹
以周為單位進行課程更新升級，新增Elastic Stack、多領域大數據解決方案、一線大廠技術架構等課程。
1
新增Elastic Stack、 出行、電商、視頻、社交等領域大數據解決方案、 一線大廠技術架構、 新零售大數據項目實戰，離線實時全覆蓋。
1
更新分布式緩存系統， 萬億級NoSQL海量數據存儲， 分布式流處理平臺。
1
友情提示更多學習視頻+資料+源碼，請加QQ：2632311208。
2020-06-01 升級版本8.0
課程名稱
大數據
課程推出時間
2020-06-01
課程版本號
8.0
主要針對系統
Windows、Linux、MacOS
主要針對版本
Hadoop3.2.1、Hive3.1.2、Zookeeper3.6.0、Flink1.10、Spark2.4.5、ClickHouse20.1.7.38、Kylin3.0.1、ElasticSearch7.6.1、Logstash7.6.1、Kibana7.6.1 Oozie5.2，Impala3.3.0，Azkaban3.81.0，Kudu1.11.1
主要使用開發工具
DataGrip、IDEA
課程介紹
根據大量的行業調研分析，本次課程更新以大數據開發為主線，在7.0基礎上再次縮減Java課程占比，弱化各類組件安裝。并針對大數據技術深度和廣度進行升級，例如新增Spark內存管理、Flink性能優化及反壓、背壓原理等同時為提高學員的就業薪資，推出多行業項目解決方案，例如證券、物流等。
1
新增新數據倉庫、ETL、BI開發
1
新增Oracle及PLSQL編程
1
新增數據微服務開發
1
新增Spark的內存管理、avro序列化數據源
1
新增continuous processing、偏移量管理機制
1
新增KafkaStreams編程
1
新增Kafka的exactly-once、Kafka事務
1
新增Kafka的metrics監控
1
新增Hbase的協處理器和phoneix的二級索引實現
1
新增Hbase布隆過濾器、LSM樹、StoreFiles結構剖析
1
新增FLink性能優化及反壓、背壓指標計算原理
1
新增FlinkSQL On Hive
1
新增Flink HistoryServer
1
新增Flink的UDF、UDAF、UDTF的實現
1
新增在線教育行業項目
1
新增物流行業項目
1
新增物聯網行業項目
1
新增證券行業項目
1
更新電商行業項目
1
刪減JavaWeb
2019.07.22 升級版本7.0
課程名稱
大數據實戰班課程
課程推出時間
2019.07.22
課程版本號
7.0
主要針對版本
CDH5.14、Spark2.2.0、Flink1.8、Kafka0.11.0.2、ELK6.0
主要使用開發工具
IntelliJ IDEAA
課程介紹
大數據技術目前在企業里面使用的越來越廣泛，對大數據人才的需求越來越多，大數據的整個課程體系是由來自大型互聯網、外企等具有5年以上的一線大數據高級工程師、架構師和高級機器學習工程師設計出來的，內容含金量非常高。 課程體系涉及的技術以企業需求為導向，課程涉及的項目也是企業里面真實的項目，通過理論、實踐和真實的項目相結合，讓學員能夠快速、深刻的掌握大數據常用的核心技術和開發應用，同時可以滿足企業對中、高端大數據人才的需求。大數據課程體系除了包含常用的Hadoop、Hive、Hbase、ELK、Sqoop、Flume、Kafka、Spark等技術和項目，還新增了目前互聯網比較流行的Flink、Druid、Kylin等技術和項目，同時引入了機器學習和深度學習Spark Mllib和Tensorflow等技術和項目實戰。
1
新增Impala即席查詢組件
1
新增Kudu列存儲服務
1
新增Structured Streaming結構化數據流處理
1
新增spark MLlib數據挖掘
1
新增spark graphX圖計算
1
新增加強Flink的基礎課程和案例實戰
1
新增增加了Flink高級特性CEP
1
新增Kylin數據OLAP分析
1
新增Druid時序數據實時分析
1
新增Kettle數據ETL工具
1
新增深度學習框架Tensorflow
1
新增用戶畫像大企業實戰型項目
1
新增數據倉庫項目大型企業實戰項目
1
新增多行業、高質量的大數據實戰項目
2018.09.10 升級版本6.0
課程名稱
大數據實戰班課程
課程推出時間
2018.09.10
課程版本號
6.0
主要針對版本
JDK1.8\CDH2.7.4\Storm1.1.1\Spark 2.1
主要使用開發工具
IntelliJ IDEA
課程介紹
本課程是基于V5.0的一次重大更新，匯總并收集了大數據學科一年以來15個零基礎班級的授課信息、學習信息、就業信息。重新調整了課程的分布情況，新增了大數據綜合項目，新增了第四代大數據處理框架FLink，新增了數據庫優化，新增了JVM基礎及原理，新增了Spark性能調優等內容。課程升級方面，主要對機器學習課程進行了升級，推薦系統項目后置變成7天的豐富課程，提升學員進入機器學習的競爭力，從而更好的從事人工智能領域相關的工作。
整體而言，課程在培養中高級大數據工程師的方向上又前進了一大步。
1
新增Hadoop 2.7.2\Storm1.1.1\Spark 2.1
1
新增Java virtual machine原理分析
1
新增Java高并發核心知識
1
新增數據庫優化及調優
1
新增第四代大數據處理框架Apache Flink
1
新增互聯網反欺詐項目實戰
1
新增Spark原理深入剖析及生產調優
1
新增廣告系統業務模型及CTR預估
1
優化用戶畫像概述/數據/建模/算法實戰
1
優化推薦系統協同過濾算法實戰
1
優化基于內容的推薦系統實戰
1
優化基于關聯規則推薦系統實戰
1
優化混合推薦與CTR點擊預估
1
優化全面升級Hadoop版本為CDH
2017.07.01 升級版本5.0
課程名稱
大數據實戰班課程
課程推出時間
2017.07.01
課程版本號
5.0
主要針對版本
JDK1.8\Hadoop 2.7.2\Storm1.1.1\Spark 2.1
主要使用開發工具
Eclipse、IDEA
課程介紹
新增Java基礎、JavaWeb核心編程、JavaWeb三大框架、網絡爬蟲、分布式電商網站開發等課程模塊。培養學生編程能力，讓零基礎學員能夠更好的學習大數據項目。 大數據方面方面，新增點擊流日志收集系統、用戶日志分析報表系統、用戶畫像系統等案例。讓學員不僅僅學習到大數據技術點，能夠使用大數據解決實際問題。 擴充機器學習課程為10天。該課程歷時一年研發，深入淺出，能夠讓學員更好的入門機器學習，成為人工智能開發的初級工程師。
1
更新Hadoop 2.7.2\Storm1.1.1\Spark 2.1
1
新增品優購電商項目
1
新增網絡爬蟲開發
1
新增三大框架開發
1
新增JavaWeb核心
1
新增Java語言基礎
2016.03.01 升級版本4.0
課程名稱
大數據實戰班課程
課程推出時間
2016.03.01
課程版本號
4.0
主要針對版本
JDK7.x
主要使用開發工具
Eclipse、IDEA
課程介紹
IVE3.0課程對比原有課程做了重大更新
具體更新內容如下
簡介
將大數據的核心技術hadoop及其生態圈技術完美的融入到了課程中，課程分階段的進行案例實戰和項目實戰，在大數據方面知識體系更加完整，課程更加深度有深度，更加貼近實戰。分階段的進行大數據生態圈的學習，將生態圈分為離線處理，實時流計算和實現最火熱的spark內存計算，完美的將生態圈進行了抽離和歸類，讓學習變得更便捷。
1
更新Spark1.6版本；
1
新增Linux操作系統和shell腳本學習；
1
新增JVM內存模型分析；
1
新增NIO、Netty、自定義RPC框架；
1
新增電商點擊流日志分析；
1
新增電商實時日志告警平臺、交易風控風控平臺、流量日志分析分析；
1
新增Spark游戲日志分析項目；
1
刪除KVM虛擬化技術；
1
刪除網絡基礎和OpenvSwitch技術；
1
刪除Ceph存儲技術；
1
刪除CloudStack云管理平臺；
1
刪除混合云管理平臺項目。
2015.05.15 升級版本3.0
課程名稱
大數據實戰班課程
課程推出時間
2015.05.15
課程版本號
3.0
主要針對版本
JDK7.x
主要使用開發工具
Eclipse、IDEA
課程介紹
IVE2.0課程對比原有課程做了重大更新
具體更新內容如下
簡介
將大數據和虛擬化這兩大熱門技術加入到課程體系中，在大數據方面知識體系更加完整，課程更加深度有深度，更加貼近實戰。在虛擬化方面，選擇了在云計算領域常用的虛擬化、網絡、存儲等技術，并通過Apache CloudStack技術整合，在此基礎上開發混合云管理平臺。
<
1
更新Hadoop2.0版本、Hive優化課程
1
新增電信流量運營分析項目
1
新增Scala函數式編程
1
新增Spark內存計算
1
新增KVM虛擬化技術
1
新增網絡基礎和OpenvSwitch技術
1
新增Ceph存儲技術
1
新增CloudStack云管理平臺
1
新增混合云管理平臺項目
2014.02.15 升級版本 2.0
課程名稱
大數據實戰班課程
課程推出時間
2014.02.15
課程版本號
2.0
主要針對版本
JDK6.x
主要使用開發工具
Eclipse
課程介紹
隨著近年來云計算大數據的大力發展，市場對相關人才需求急增，所以本版課程在原有的云計算課程進行了顛覆性的改革，把原來只有1天的課程擴展為7天，加入了Hadoop生態圈的相關技術。
1
更新云計算課程：把原來只有1天的云計算課程增加到7天，Hadoop集群部署、優化HDSF、MapReduce案例
<
1
新增Hadoop生態圈相關技術：Zookeeper、Hive、Hbase、Sqoop、Flume
<
1
新增Storm實時計算技術和案例
1
新增黑馬論壇日志分析項目
2012.02.15 升級版本 1.0
課程名稱
大數據實戰班課程
課程推出時間
2012.02.15
課程版本號
1.0
主要針對版本
JDK6.0
主要使用開發工具
Eclipse
課程介紹
近期云計算概念火爆異常，傳智教育敏銳的嗅探到大數據技術的悄然興起，并預測大數據技術將會像雨后春筍一樣快速發展，所以傳智教育與時俱進在課程中引入了1天的云計算課程，讓學員可以掌握最新的技術，拓寬學員的就業方向，增強就業競爭力。
1
新增云計算課程：云計算和大數據相關概念
1
新增Hadoop 1.0偽分布式環境部署
1
新增HDFS、MapReduce應用案例
2020年
●傳智播客聯合大數據研究院、易觀智庫、帆軟等企業推出“真大數據”課程
●7.11舉行課程發布會，首推9個月高級軟件工程師課程
-
2019年
●推出10天的大型用戶畫像項目，涵蓋完整的畫像系統流程，引入Spark MLLib開發挖掘模型
-
2018年
●率先引入Flink課程，更加貼合市場需求
-
2016年
●率先推出零基礎大數據課程
-
2015年
●引入基于內存計算的Spark框架，接軌大數據的第三個階段：數據計算引擎階段
-
2014年
●率先推出Storm課程，對標京東，開啟實時計算
-
2012年
●傳智播客首次推出大數據培訓課程
