
信息庫
應用市場調研+大數據分析
獲取前沿發展方向

課題研究庫
提出前沿熱門課題
完成深入原理剖析+技術攻堅
保障課程前瞻性

研發人才庫
來自華為、IBM等百人大牛團
每年耗資億元
研發行業標桿優質課程

解決方案庫
基于市場主流技術
研發解決方案
應對職場常見技術難題

項目庫
基于熱門行業領域
聯合大牛顧問團
研發“大廠級”深度項目
基礎班階段一
就業班階段一
就業班階段二
就業班階段三
就業班階段四
就業班階段五
就業班階段六
就業班階段七
就業班階段八
升級說明
基礎課程優化,使學員可以由淺入深的了解大數據業務開發的真實場景,推出大數據0基礎體驗課
主要內容
?操作系統基礎?關系型數據庫?可視化ETL平臺?BI可視化開發?電商數據倉庫實戰
可解決的現實問題
?具備傳統數據倉庫開發能力
可掌握的核心能力
?掌握企業級ETL平臺的kettle ?掌握BI的可視化平臺Superset ?掌握Kettle ETL處理設計思想 ?掌握大數據企業開發中最常見的linux的操作 ?掌握一款主流數據庫客戶端工具DataGrip ?掌握企業MySQL的調優方案 ?掌握大數據分析中數據全量及增量同步解決方案 ?掌握生產環境中數據分析程序的部署解決方案
升級說明
Java語言編程優化,增加熱門技術,提升大數據課程內容的占比
主要內容
?面向對象 ?常用類 ?集合操作 ?IO操作 ?Java基礎增強 ?JDBCMaven ?爬蟲案例
可解決的現實問題
?基礎語法是學習任何編程語言的第一課,學好基礎語法,才能更好的學習后面的課程知識點
可掌握的核心能力
?掌握Java程序基礎數據類型 ?掌握開發中常用類如集合、IO流、常用類等操作 ?掌握Java異常處理機制 ?掌握反射、網絡編程、多線程開發 ?掌握Jsoup的網絡爬蟲開發 ?掌握JDBC操作 ?掌握ETL數據處理和BI報表開發
升級說明
簡化大數據組件安裝,優化Hadoop生態圈組件,采用全新的CentOs7平臺完成大數據環境搭建,滿足企業需求
主要內容
?Linux操作系統高級 ?大數據基礎和硬件介紹 ?Zookeeper
可解決的現實問題
?具備Hadoop開發能力、離線數據倉庫開發能力
可掌握的核心能力
?掌握shell編程 ?掌握ZooKeeper原理并應用 ?掌握HDFS的使用和MapReduce編程 ?理解MapReduce原理和調優 ?掌握Yarn的原理和調優 ?掌握Hive的使用和調優
升級說明
新增教育項目,對教育行業大數據數倉構建場景還原,建立企業數據倉庫,分析項目多達40個模塊150個技術點,緊密貼合企業級大數據實戰
主要內容
?HDFS ?MapReduce ?YARN ?Hive
可解決的現實問題
?具備企業級離線數據倉庫開發能力,深入教育行業需求,提升行業的核心競爭力
可掌握的核心能力
?掌握從需求、設計、研發、測試到落地上線的完整項目流程 ?掌握大量教育行業的真實業務邏輯,涉及20多個主題,100多個指標 ?掌握海量數據如何調優、使用拉鏈表、增量數據處理,以及Hive函數的具體應用等 ?掌握基于CM的大數據環境部署和管理 ?掌握數據倉庫的核心概念和應用 ?掌握常用離線大數據技術:Oozie、Sqoop、Hive等 ?掌握FineReport可視化
升級說明
新增SparkBoot+SpringCloud企業級微服務開發技術棧
主要內容
?建立企業數據倉庫,統一企業數據中心,把分散的業務數據集中存儲和處理
可解決的現實問題
?具備后端數據微服務接口開發,可勝任通過Spring技術架構完成微服務搭建 ?可完成企業級數據微服務接口開發
可掌握的核心能力
?掌握SpringBoot整合SpringMVC開發 ?掌握SpringBoot整合MyBatis開發 ?掌握Eureka搭建 ?掌握Feign的使用
升級說明
優化實時組件技術,采用企業級案例數據講解,Flink采用原生Java并使用最新的1.10版本,新增FlinkCep等多種實時計算技術
主要內容
?項目從需求調研、設計、版本控制、研發、測試到落地上線,涵蓋了項目的完整工序
可解決的現實問題
?具備使用Hbase和Redis開發調優能力、ELK海量數據處理能力、具備Kafka消息隊列開發和調優能力、Flink流式和批量數據開發能力
可掌握的核心能力
?掌握Redis原理及架構 ?掌握Redis命令操作、及數據結構 ?掌握Hbase原理及架構 ?掌握HBase命令操作、MapReduce編程 ?掌握Phoneix二級索引優化查詢 ?掌握ELK開發掌握Kafka原理及架構 掌握KafkaStreams開發 掌握基于Flink進行實時和離線數據處理、分析 掌握基于Flink的多流并行處理技術 掌握千萬級高速實時采集技術
升級說明
新增金融項目,項目還原金融證券大數據業務場景,實時監控證券市場的每日業務交易,實現對證券市場交易數據的統計分析,搭建監察預警體系,包括:預警規則管理,實時預警,歷史預警,監察歷史數據分析
主要內容
?挖掘分析海量用戶行為數據,定制多維數據集合,形成數據集市,供各個場景主題使用
可解決的現實問題
?具備TB級規模下毫秒級Flink實時計算程序開發、架設能力,并具備不同應用場景下多種存儲引擎的技術引擎優化能力。以及項目上線部署、運維監控能力
可掌握的核心能力
?掌握基于FTP、Flume + Kafka的實時數據采集開發 ?掌握TB級海量規模下Flink實時處理開發,保證實時計算高容錯 ?掌握三種不同時間維指標的存儲、計算方案(Druid、MySQL、HBase),例如:毫秒級\秒級\分時等時間維 ?掌握基于Kylin的即席快速OLAP開發 ?掌握基于Flink CEP的實時預警監控開發 ?掌握基于Spring Boot的數據服務接口開發
升級說明
升級Spark版本為2.4.5,新增DMP場景Spark案例,優化了StructuredStreaming結構化流的應用分析
主要內容
?Scala語言 ?Spark core ?Spark sql ?Spark Streaming ?Structured Streaming
可解決的現實問題
?具備Spark全棧開發能力,滿足大數據行業多場景統一技術棧的數據開發,提供就業核心競爭力
可掌握的核心能力
?掌握Scala語言基礎、數據結構 ?掌握Scala語言高階語法特性 ?掌握Spark的RDD、DAG、CheckPoint等設計思想 ?掌握SparkSQL結構化數據處理,Spark On Hive整合 ?掌握Spark Streaming整合Kafka完成實時數據處理 ?掌握Spark Streaming偏移量管理及Checkpoint ?掌握Structured Streaming整合多數據源完成實時數據處理
升級說明
新增物流項目,還原大型物流公司研發的智慧物流大數據平臺,針對日訂單上千萬業務場景,圍繞訂單、運輸、倉儲、搬運裝卸等全物流環節中涉及的數據信息進行處理,并針對提高運輸以及配送效問題,提出解決方案
主要內容
?基于一家大型物流公司研發的智慧物流大數據平臺,日訂單上千萬
可解決的現實問題
?具備基于Docker搭建不同數據源、實時采集開發能力,并具備構建高性能數據存儲處理大數據平臺開發能力
可掌握的核心能力
?掌握Docker環境部署、管理操作 ?掌握基于Oracle + MySQL異構數據源數據處理技術 ?掌握基于Oracle Golden Gate以及Canal的實時采集技術 ?掌握Kudu + Spark的快速離線數據處理、分析技術 ?掌握Kudu + Impala即席數據分析技術 ?掌握基于ClickHouse高性能存儲、計算引擎技術 ?掌握基于ELK的全文檢索技術 ?掌握Kudu、Spark的調優能力 ?掌握基于Spring Cloud的數據微服務接口開發技術
缺乏工作經驗和技能,
對未來沒有明確的規劃,
期望通過學習大數據
躋身IT行業的人員
目前工作待遇不理想,
上升空間有限或已進入
職業瓶頸期,
想要突破轉行的人員
具有一定的大數據技術理論基礎,
需要了解大數據技術
在實際業務中如何使用的人員
有較強的思維邏輯能力,
應對復雜業務場景處理,
對大數據技術感興趣的人員
初級開發工程師
(0-1年)
中級開發工程師
(1-2年)
高級開發工程師
(2-4年)
資深開發工程師
(4-6年)
架構師
(6-8年 )
技術總監
(8-10年 )
CTO
(10年以上)
項目經理
(4-6年)
項目總監
(6-10年 )
CIO
(10年以上)
業務指標>40個
業務主題>56個
項目課程天數≥8天
項目架構支撐TB級
數據存儲、處理
涵蓋采集、數倉、分析
調度、部署、BI等全流程
項目包含真實場景離線
和實時處理
大屏實時監控
預警監控
個股行情
指數行情
板塊行情
分時行情
秒級行情
歷史行情
漲跌幅行情
成交量對比行情
國內指數
板塊指數
K線行情
分時列表行情
個股漲跌行情
采集效率快
計算性能強
存儲空間大
查詢響應快
易擴展
容錯性高
應用市場調研+大數據分析
獲取前沿發展方向
提出前沿熱門課題
完成深入原理剖析+技術攻堅
保障課程前瞻性
來自華為、IBM等百人大牛團
每年耗資億元
研發行業標桿優質課程
基于市場主流技術
研發解決方案
應對職場常見技術難題
基于熱門行業領域
聯合大牛顧問團
研發“大廠級”深度項目
傳智教育研究院研發團隊以“五庫模式”為基礎,建立了企業級項目研發體系
從產品、開發,到測試上線,每一環都配備專業團隊,搭建成熟課研閉環,高效研發項目
功能實現
業務流程
UI/UE實現
代碼質量
接口/性能
……
技術應用合理性
技術前沿性
技術深度
課程銜接合理性
引導式教學應用程度
……
進度
成本
變更頻率
……
課程導入吸引度
授課語言感染力
課程趣味性
教學結果
課程吸收度
……
專職課研團隊
專職教學團隊
大廠背景,技術深度、廣度,
大型項目經驗
背景調查,技術360°鑒定 ,
新課題設計 ,課程隨機演繹 ,
職業定位、發展規劃
教育情懷、價值觀,進
取精神、培養潛力
CEO審核,信息存檔
課研人員素質考核視頻錄制考核
課程設計考核課堂試煉考核
大綱設計考核產品全方位審評
講義撰寫考核考核答辯
平臺、組件
技術開源歷練
技術私享會
大牛技術沙龍
企業對對碰
技術共享
業務技能、性格
特色、溝通能力
框架能力、底層原理、性能與
安全、算法與數據結構
課程設計、授課邏輯互動與
交互、代碼規范
抗壓能力、學習動力、
專業程度、培養潛力
定制個性化考核方案教育心理考核
講師素質考核教學方法考核
排課、備課產出物考核課堂試講考核
視頻錄制考核正式授課答辯
每日授課
學員滿意度打分
階段課程實施
評審組審核
傳智培訓院
多維培養計劃
講師專屬
晉升通道
簡介:采用的是Hadoop技術棧完成數據開發,構建基于HIve的ODS-DW-APP層數倉平臺,增加實現地域分析及人均訪問頻次、分組、流量統計分析等模塊。
簡介:基于垂直電商平臺構建用戶畫像,完整抽取用戶的信息全貌,實現基于 Spark 進行用戶指標分析,并通過Spark MLLib建立數據挖掘模型。
簡介:采用Spark全棧大數據技術完成開發,實現了Lua收集的數據打入Kafka,通過在數據庫中讀取程序、計算離線數據、通過SparkStreaming完成用戶數據識別和分析。
簡介:基于用戶全面分析體系,從多維度建立用戶的運營體系,實時分析用戶訪問流量、訂單、店鋪等運營指標,采用HBase + Phoenix數據實時查詢方案。
項目介紹
技術選型
邏輯架構
數據流轉
服務器規劃
環境搭建
業務背景
業務拆分
業務開發
代碼測試
可視化大屏
性能測試
性能優化
原理分析
部署上線
精準定靶學習目標,讓學員對每天的學習進程了如指掌。課上一講多練的教學模式更便于學員反思評估當天學習目標的掌握程度,教師提供針對性的學習指導,保障學習效果。
TLIAS系統為學員提供了充足的實操訓練機會,并構建了一條科學的練習路徑,多級練習提示使各類學員都能獲得充分指引,最終獨立解決問題,提升知識技能水平。
TLIAS系統的診斷測評工具,使學員能夠對每天所學知識進行檢測,將薄弱知識可視化,精準查漏補缺,對問題知識點給予重點消化吸收,復習更高效、更聚焦,效果更明顯。
為充分激活學員間互動能量,將學員個人單線的學習擴展為立體互動性較強的探索式共享學習,TLIAS系統搭建了學習問答社區。熱帖瀏覽高達到2.5w人次。
TLIAS系統的就業中心從實際就業需求出發,為學員們準備了非常豐富的就業資源,5大課程門類,2000余節課程視頻,能夠滿足不同學員的實際需求。
為提升學員的面試實戰經驗,TLIAS系統的模擬面試平臺高度還原學員目標崗位的面試環境和流程,并打造求職利器“面試寶典”,幫助學員熟悉面試流程,提高面試成功率。
TLIAS系統的BI數據平臺能夠全方位采集、實時監測各關鍵環節數據,形成一套成熟且執行有效的數據驅動模式,問題及時解決,風險提前預防,保障教學質量持續穩定的輸出。
為老師的教學打分,對校區的服務評價,TLIAS系統會做出定性和定量分析,在精準的教學質量監控下,師資質量精益求精、學習效果穩步提升,學習體驗與滿意度口碑雙提升。
學習目標體系
作業試題庫
個人專屬測評
學習問答社區
就業指導資源
模擬面試平臺
多數據采集
教學質量監控
就業流程
全信息化處理
學員能力
雷達圖分析
定制個性化
就業服務
技術面試題
講解
就業指導課
面試項目分析
HR面試攻略
模擬企業
真實面試
專業簡歷指導
面試復盤輔導
風險預警
企業黑名單提醒
每年百場行業交流
每年24場免費交流
行業大牛講座
技術大牛分享
攻克研發難關
緊跟科技前沿
二千余家企業
高管精準指導
助力職場晉升
突破發展瓶頸
服務中高端IT人才
持續跟蹤量身定做
課時:8天技術點:65項測驗:1次學習方式:線下面授
1.掌握企業級ETL平臺的kettle|2.掌握BI的可視化平臺Superset|3.掌握kettle流式數據ETL處理設計思想|4.掌握大數據企業開發中最常見的linux操作|5.掌握一款主流數據庫管理工具DataGrip|6.掌握企業MySQL的調優方案|7.掌握大數據分析中數據全量及增量同步解決方案|8.掌握生產環境中數據分析程序的部署解決方案
Linux是一個基于POSIX和Unix的多用戶、多任務、支持多線程和多CPU的操作系統
數據庫就是存儲數據的倉庫,其本質是一個文件系統,數據按照特定的格式將數據存儲起來,用戶可以對數據庫中的數據進行增加,修改,刪除及查詢操作
對于企業或行業應用來說,經常會遇到各種數據的處理,轉換,遷移,掌握一種etl工具的使用,必不可少,這里要學習的ETL工具是——Kettle,現在已經更名為PDI
Superset是一款開源的現代化企業級BI。它是目前開源的數據分析和可視化工具中比較好用的,功能簡單但可以滿足我們對數據的基本需求,支持多種數據源,圖表類型多,易維護,易進行二次開發
本案例圍繞某個互聯網小型電商的訂單業務來開發
課時:19天技術點:115項測驗:1次學習方式:線下面授
1.掌握Java程序基礎數據類型|2.掌握開發中集合、IO流、常用類等操作|3.掌握Java異常處理機制|4.掌握反射、網絡編程、多線程開發|5.掌握Jsoup的網絡爬蟲開發|6.掌握JDBC數據庫連接操作|7.掌握ETL數據處理和BI報表開發|8.具備JavaSE開發能力
基礎語法是編程語言的第一課,打好基礎才能更好的學習后面課程,幫學員從小白到入門,包含了以下技術點:
逐步建立起面向對象編程思想,從會使用對象,到內存分析,再到真正理解為什么封裝對象,包含了以下技術點:?
培養使用java語言解決實際問題,需掌握常見的java對象與工具類,包含了以下技術點:
建立使用集合解決不同數據類型操作的思想,包含了以下技術點:
解決了數據序列化和反序列化操作,包含了以下技術點:
從數據傳輸角度增強對java語言的掌握程度,包含了以下技術點:
以企業爬蟲為業務,實現此階段知識點的綜合場景化應用,包含了以下技術點:
課時:13天技術點:153項測驗:1次學習方式:線下面授
1.掌握Shell命令|2.掌握zookeeper原理并應用|3.掌握HDFS的使用和MapReduce編程|4.理解MapReduce原理和調優|5.掌握Yarn原理和調優|6.掌握Hive的使用和調優|7.具備Hadoop開發能力、離線數據倉庫開發能力
介紹大數據服務器基本操作,是入門大數據開發的基石,包含了幾下技術點:
進一步闡述大數據特點與分布式思想,知識點由淺入深,包含了以下技術點:
分布式軟件管家,實現了集群管理與leader選舉,包含了以下技術點:
分布式文件系統,解決了海量數據存儲與容錯,包含了以下技術點:
分布式計算系統,解決海量數據的計算,包含了以下技術點:
分布式資源調度管理器,管理服務器軟件資源,包含了以下技術點:
分布式離線計算Nosql數據庫,數倉伴侶,包含了以下技術點:
課時:10天技術點:120項測驗:0次學習方式: 線下面授或者線上學習(可選)
1.掌握離線數倉的分層與建模,從需求、設計、研發、測試到落地上線的完整項目流程|2.大量教育大數據的真實業務邏輯,共涉及20多個主題,100多個指標,提升學員在教育行業中的核心競爭力|3.包括海量數據場景下如何優化配置|4.拉鏈表的具體應用|5.新增數據和更新數據的抽取和分析|6.hive函數的具體應用|7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能
知行教育是以建立集團數據倉庫,統一集團數據中心,把分散的業務數據集中存儲和處理項目從需求調研、設計、版本控制、研發、測試到落地上線,涵蓋了項目的完整工序挖掘分析海量用戶行為數據,定制多維數據集合,形成數據集市,供各個場景主題使用的在線教育大數據項目
進入項目體驗課時:5天技術點:68項測驗:1次學習方式:線下面授
1.掌握SpringBoot整合SpringMVC開發|2.掌握SpringBoot整合MyBatis開發|3.掌握Eureka搭建|4.掌握Feign的使用|5.掌握后端數據微服務接口開發|6.掌握通過Spring技術架構|7.掌握微服務搭建|8.掌握企業級數據微服務接口開發
Spring是分層的服務器端應用full-stack輕量級開源框架,Java程序員必會的開源框架。包含了以下技術點:
SpringBoot提供了一種快速使用Spring的方式,基于約定優于配置的思想。包含了以下技術點:
Spring Cloud 是一系列框架的有序集合,Spring Cloud 并沒有重復制造輪子,目前各家公司開發服務框架組合起來。包含了以下技術點:
課時:18天技術點:170項測驗:1次學習方式:線下面授
1.掌握Redis原理及架構|2.掌握Redis命令操作、及數據結構|3.掌握Hbase原理及架構|4.掌握HBase命令操作、MapReduce編程|5.掌握Phoneix二級索引優化查詢|6.掌握ELK開發掌握Kafka原理及架構|7.掌握KafkaStreams開發|8.掌握基于Flink進行實時和離線數據處理、分析|9.掌握基于Flink的多流并行處理技術|10.掌握千萬級高速實時采集技術
存儲效率高,適合作為中間緩存數據庫使用,包含以下技術點:
存儲海量數據的列式數據庫,內部高效設計解決了海量數據存儲,包含了以下技術點:
分布消息隊列存儲數據,應用于低延時實時場景,包含了以下技術點:
涵蓋數據采集、數據存儲、數據可視化的完整的實時搜索解決方案,包含以下技術點:
構成了flink解決實時數據處理部分,是掌握實時數據處理必備技能,包含了以下技術點:
離線數據處理數據集,是掌握離線數據處理必備技能,包含了以下技術點:
是對flink任務進行調優,必須掌握的內容,包含了以下技術點:
解決flink中的sql化開發,Flink-Sql開發必備技能,包含了以下技術點:
踐行場景式教學,運用了flink階段知識點,解決實時數據分析的應用,包含了以下技術點:
課時:10天技術點:130項測驗:0次學習方式: 線下面授或者線上學習(可選)
1.掌握證券相關業務|2.掌握大數據批處理、流處理以及web接口開發|3.掌握深市滬市數據采集|3.掌握Flume自定義source|4.掌握Flume攔截器的開發|5.了解模型和SQL開發規范|6.掌握Oozie定時調度|7.使用hive進行數據開發|8.掌握秒級、分時行情開發,涵蓋個股、指數、K線|9.掌握基于Flink CEP的實時股票漲跌幅、振幅、交易量監控預警|10.掌握基于Kylin的離線預警開發|11.掌握基于Spring Boot的數據服務接口開發
實時監控證券市場的市場每日的業務交易,實現對證券市場交易數據的統計分析;搭建監察預警體系,包括:預警規則管理,實時預警,歷史預警,監察歷史數據分析等;股市行情交易數據實時采集、實時數據分析、多維分析,即席查詢,實時大屏監控展示?
進入項目體驗課時:10天技術點:91項測驗:1次學習方式:線下面授
1.掌握Scala語言基礎、數據結構|2.掌握Scala語言高階語法特性|3.掌握Spark的RDD、DAG、CheckPoint等設計思想|4.掌握SparkSQL結構化數據處理,Spark On Hive|5.掌握SparkStreaming整合Kafka完成實時數據處理|6.掌握SparkStreaming偏移量管理及Checkpoint|7.掌握Structured Streaming整合多數據源完成實時數據處理|8.具備Spark全棧開發能力,滿足大數據行業多場景統一技術棧的數據開發,提供就業核心競爭力
函數式編程基礎語言,通過學習scala可掌握spark、flink中使用函數式編程方式實現分析程序,包含了以下技術點:
整個spark框架核心部分,掌握框架內部設計思想,數據流轉步驟,是學習spark的基礎模塊,包含了以下技術點:
學習spark框架的sql操作,spark與hive、hbase等外部數據源的整合操作,包含了以下技術點:
流式數據分析處理模塊,以微批方式處理海量數據,基于數據處理時間,包含了以下技術點:
流式數據分析處理模塊,基于事件時間處理海量數據,更符合業務場景,包含了以下技術點:
課時:12天技術點:130項測驗:0次學習方式: 線下面授或者線上學習(可選)
1.掌握離線業務、實時業務解決方案|2.ClickHouse實時存儲、計算引擎|3.Kudu + Impala準實時分析系統|4.基于Docker搭建異構數據源|5.掌握企業級應用場景以企業主流的Spark生態圈為核心技術(Spark、Spark SQL、Structure Streaming)
基于一家大型物流公司研發的智慧物流大數據平臺,日訂單上千萬;圍繞訂單、運輸、倉儲、搬運裝卸、包裝以及流通加工等物流環節中涉及的數據信息等;提高運輸以及配送效率、減少物流成本、更有效地滿足客戶服務要求,并針對數據分析結果,提出具有中觀指導意義的解決方案
進入項目體驗課時:12天技術點:130項測驗:0次學習方式: 線下面授或者線上學習(可選)
1.掌握基于Flink全棧進行快速OLAP分析|2.掌握基于Springboot+SwaggerUI快速構建數據服務接口|3.掌握實時高性能海量數據分析與存儲|5.掌握針對Hbase調優實現Hbase存儲調優|6.掌握數據報表分析|7.掌握業務數據實時大屏場景實現
涵蓋完整車聯網業務場景,包含駕駛行程、電子圍欄、遠程診斷等真實業務;通過QBOX車輛終端數據收集,并解析為QSP數據、QCS數據、充電數據、HU數據;提供實時計算服務與離線計算服務,并通過API接口以報表和大屏展示分析結果數據
進入項目體驗課時:6天技術點:72項測驗:0次學習方式:線下面授或線上學習(可選)
1.掌握大數據組件的常用運維方法解決實際的運維方案|2.具備大數據平臺運維能力|3.掌握基于Python基礎運維;|3.掌握基于CM+CDH集群運維方案。
大數據平臺運維與監控部署解決方案,解決大數據運行環境與任務資源占用情況監控,包含了以下技術點:
課時:3天技術點:99項測驗:0次學習方式:線下面授或線上學習(可選)
1.掌握數據中臺構建思路及實戰|2.具備企業數據中臺構建能力|3.掌握基于Altlas元數據管理工具進行數據血緣分析;|4.掌握大數據數據體系建設、管理等。
數據中臺的前提在于平臺設計與元數據管理,基于各個業務系統的元數據,抽象出業務共同點,分類目管理,包含了以下技術點:
課時:5天技術點:60項測驗:0次學習方式:線下面授或線上學習(可選)
1.掌握大型門戶可視化任務提交解決方案;|2.具備大型旅游出行服務平臺統一性能監控平臺解決方案;|3.具備B2B2C電商集中實時采集消息隊列存儲方案、出行平臺實時風控性能調優方案;|4.具備大型電商雙十一千萬級實時處理調優。
出行、電商、視頻、社交等領域大數據解決方案
課時:5天技術點:46項測驗:0次學習方式:線下面授或線上學習(可選)
1.掌握基于美團點評實時數倉架構;|2.掌握基于拼多多離線數倉架構;|3.掌握基于小米快速OLAP分析架構;|4.掌握抖音小視頻實時推薦架構。
具備主流的大數據架構設計、選型能力,能夠根據不同的場景、不同的性能要求,選擇不同的技術架構,并具備獨立選型組件組織成大數據架構能力
課時:10天技術點:63項測驗:0次學習方式:線下面授或線上學習(可選)
1.掌握基于高性能方案構建離線數倉、以及實時數倉構建方案;|2.具備項目采用Hive+Presto架構構建高性能的離線處理方案;|3.具備基于ClickHouse的實時數倉,實現秒級OLAP分析;|4.具備使用ClickHouse、Druid進行實時AD Hock,以大數據為驅動,打通線上線下體驗與物流融合的新零售項目。
本項目基于國內大型新零售巨頭開發的大數據平臺,基于高性能方案構建離線數倉、以及實時數倉。該項目涵蓋完整的業務,包括銷售、屢單、會員、促銷、商品、客戶等主題,每個主題涵蓋大量真實的業務場景,項目手把手帶著學生開發基于新零售場景下的離線、實時業務。本項目采用Hive+Presto架構構建高性能的離線處理方案,并采用基于ClickHouse的實時數倉,實現秒級OLAP分析。
課時:10天技術點:66項測驗:0次學習方式:線下面授或線上學習(可選)
1.完成基于國內大型的設備制造商大數據項目開發;|2..掌握基于spark分析原材料消耗、設備使用情況、多維度產品銷售分析,以大數據推動工業4.0;|4.具備基于HDP平臺,連接工業設備,收集數據資源,實現產業監測分析。
本項目基于國內大型的設備制造商大數據項目開發。該企業在全球范圍內銷售設備,設備涵蓋加油站相關的所有,例如:加油機、油罐建設、加氣機、自助設備等設備生產制造、設計、銷售,并提供全球性的服務。在國內重點客戶為:中國石油、中國石化、以及各個地域的大型企業。在國內,業務覆蓋的油站約8W座,設備數量50W臺。拿加油機設備來說,一臺設備包含了眾多的配件,每個配件的維護,設備信息的上報,服務工作人員的調度、GPS跟蹤定位等,企業經過多年的經營,積累了海量的數據。集群公司為了能夠確保企業精細化運營,決定進行數字化轉型,依托于大數據技術,以客戶、生產、服務、運營為核心,打造一個全方位的數字化平臺。
課時:20天技術點:52項測驗:0次學習方式:線下面授或線上學習(可選)
1.掌握大數據數據挖掘常見的算法及應用場景|2.具備大數據數據挖掘、機器學習模型開發、調優能力|3.掌握PySpark、PyFlink等Python大數據生態技術;|4.掌握Python數據挖掘技術與案例;|5.掌握SparkMl&SparkMllib機器學習庫使用經驗。
主要包含機器學習與python機器學習內容,學習此階段能掌握企業級數據挖掘、建模、算法,實現自動化復雜場景應用。包含了以下技術點:
課時:8天技術點:300項測驗:0次學習方式:線下面授或線上學習(可選)
1.掌握大型互聯網公司常見面試題|2.具備大廠多領域場景剖析能力;|3.具備核心底層源碼剖析能力,如:HDFS、MapReduce、Hive、Flume、Sqoop等;|4.具備Spark、Spark Streaming等面試題及核心源碼、Flink面試題及核心源碼;|5.掌握底層數據結構面試題 。
互聯網公司常見面試題及應用場景剖析
課程名稱
大數據
課程推出時間
2020-07-11
課程版本號
8.1
主要針對系統
Windows、Linux、MacOS
主要針對版本
Hadoop3.2.1、Hive3.1.2、Zookeeper3.6.0、Flink1.10、Spark2.4.5、ClickHouse20.1.7.38、Kylin3.0.1、ElasticSearch7.6.1、Logstash7.6.1、Kibana7.6.1 Oozie5.2,Impala3.3.0,Azkaban3.81.0,Kudu1.11.1
主要使用開發工具
DataGrip、IDEA
課程介紹
以周為單位進行課程更新升級,新增Elastic Stack、多領域大數據解決方案、一線大廠技術架構等課程。
1
新增Elastic Stack、 出行、電商、視頻、社交等領域大數據解決方案、 一線大廠技術架構、 新零售大數據項目實戰,離線實時全覆蓋。
1
更新分布式緩存系統, 萬億級NoSQL海量數據存儲, 分布式流處理平臺。
1
友情提示更多學習視頻+資料+源碼,請加QQ:2632311208。
課程名稱
大數據
課程推出時間
2020-06-01
課程版本號
8.0
主要針對系統
Windows、Linux、MacOS
主要針對版本
Hadoop3.2.1、Hive3.1.2、Zookeeper3.6.0、Flink1.10、Spark2.4.5、ClickHouse20.1.7.38、Kylin3.0.1、ElasticSearch7.6.1、Logstash7.6.1、Kibana7.6.1 Oozie5.2,Impala3.3.0,Azkaban3.81.0,Kudu1.11.1
主要使用開發工具
DataGrip、IDEA
課程介紹
根據大量的行業調研分析,本次課程更新以大數據開發為主線,在7.0基礎上再次縮減Java課程占比,弱化各類組件安裝。并針對大數據技術深度和廣度進行升級,例如新增Spark內存管理、Flink性能優化及反壓、背壓原理等同時為提高學員的就業薪資,推出多行業項目解決方案,例如證券、物流等。
1
新增新數據倉庫、ETL、BI開發
1
新增Oracle及PLSQL編程
1
新增數據微服務開發
1
新增Spark的內存管理、avro序列化數據源
1
新增continuous processing、偏移量管理機制
1
新增KafkaStreams編程
1
新增Kafka的exactly-once、Kafka事務
1
新增Kafka的metrics監控
1
新增Hbase的協處理器和phoneix的二級索引實現
1
新增Hbase布隆過濾器、LSM樹、StoreFiles結構剖析
1
新增FLink性能優化及反壓、背壓指標計算原理
1
新增FlinkSQL On Hive
1
新增Flink HistoryServer
1
新增Flink的UDF、UDAF、UDTF的實現
1
新增在線教育行業項目
1
新增物流行業項目
1
新增物聯網行業項目
1
新增證券行業項目
1
更新電商行業項目
1
刪減JavaWeb
課程名稱
大數據實戰班課程
課程推出時間
2019.07.22
課程版本號
7.0
主要針對版本
CDH5.14、Spark2.2.0、Flink1.8、Kafka0.11.0.2、ELK6.0
主要使用開發工具
IntelliJ IDEAA
課程介紹
大數據技術目前在企業里面使用的越來越廣泛,對大數據人才的需求越來越多,大數據的整個課程體系是由來自大型互聯網、外企等具有5年以上的一線大數據高級工程師、架構師和高級機器學習工程師設計出來的,內容含金量非常高。 課程體系涉及的技術以企業需求為導向,課程涉及的項目也是企業里面真實的項目,通過理論、實踐和真實的項目相結合,讓學員能夠快速、深刻的掌握大數據常用的核心技術和開發應用,同時可以滿足企業對中、高端大數據人才的需求。大數據課程體系除了包含常用的Hadoop、Hive、Hbase、ELK、Sqoop、Flume、Kafka、Spark等技術和項目,還新增了目前互聯網比較流行的Flink、Druid、Kylin等技術和項目,同時引入了機器學習和深度學習Spark Mllib和Tensorflow等技術和項目實戰。
1
新增Impala即席查詢組件
1
新增Kudu列存儲服務
1
新增Structured Streaming結構化數據流處理
1
新增spark MLlib數據挖掘
1
新增spark graphX圖計算
1
新增加強Flink的基礎課程和案例實戰
1
新增增加了Flink高級特性CEP
1
新增Kylin數據OLAP分析
1
新增Druid時序數據實時分析
1
新增Kettle數據ETL工具
1
新增深度學習框架Tensorflow
1
新增用戶畫像大企業實戰型項目
1
新增數據倉庫項目大型企業實戰項目
1
新增多行業、高質量的大數據實戰項目
課程名稱
大數據實戰班課程
課程推出時間
2018.09.10
課程版本號
6.0
主要針對版本
JDK1.8\CDH2.7.4\Storm1.1.1\Spark 2.1
主要使用開發工具
IntelliJ IDEA
課程介紹
本課程是基于V5.0的一次重大更新,匯總并收集了大數據學科一年以來15個零基礎班級的授課信息、學習信息、就業信息。重新調整了課程的分布情況,新增了大數據綜合項目,新增了第四代大數據處理框架FLink,新增了數據庫優化,新增了JVM基礎及原理,新增了Spark性能調優等內容。課程升級方面,主要對機器學習課程進行了升級,推薦系統項目后置變成7天的豐富課程,提升學員進入機器學習的競爭力,從而更好的從事人工智能領域相關的工作。
整體而言,課程在培養中高級大數據工程師的方向上又前進了一大步。
1
新增Hadoop 2.7.2\Storm1.1.1\Spark 2.1
1
新增Java virtual machine原理分析
1
新增Java高并發核心知識
1
新增數據庫優化及調優
1
新增第四代大數據處理框架Apache Flink
1
新增互聯網反欺詐項目實戰
1
新增Spark原理深入剖析及生產調優
1
新增廣告系統業務模型及CTR預估
1
優化用戶畫像概述/數據/建模/算法實戰
1
優化推薦系統協同過濾算法實戰
1
優化基于內容的推薦系統實戰
1
優化基于關聯規則推薦系統實戰
1
優化混合推薦與CTR點擊預估
1
優化全面升級Hadoop版本為CDH
課程名稱
大數據實戰班課程
課程推出時間
2017.07.01
課程版本號
5.0
主要針對版本
JDK1.8\Hadoop 2.7.2\Storm1.1.1\Spark 2.1
主要使用開發工具
Eclipse、IDEA
課程介紹
新增Java基礎、JavaWeb核心編程、JavaWeb三大框架、網絡爬蟲、分布式電商網站開發等課程模塊。培養學生編程能力,讓零基礎學員能夠更好的學習大數據項目。 大數據方面方面,新增點擊流日志收集系統、用戶日志分析報表系統、用戶畫像系統等案例。讓學員不僅僅學習到大數據技術點,能夠使用大數據解決實際問題。 擴充機器學習課程為10天。該課程歷時一年研發,深入淺出,能夠讓學員更好的入門機器學習,成為人工智能開發的初級工程師。
1
更新Hadoop 2.7.2\Storm1.1.1\Spark 2.1
1
新增品優購電商項目
1
新增網絡爬蟲開發
1
新增三大框架開發
1
新增JavaWeb核心
1
新增Java語言基礎
課程名稱
大數據實戰班課程
課程推出時間
2016.03.01
課程版本號
4.0
主要針對版本
JDK7.x
主要使用開發工具
Eclipse、IDEA
課程介紹
IVE3.0課程對比原有課程做了重大更新
具體更新內容如下
簡介
將大數據的核心技術hadoop及其生態圈技術完美的融入到了課程中,課程分階段的進行案例實戰和項目實戰,在大數據方面知識體系更加完整,課程更加深度有深度,更加貼近實戰。分階段的進行大數據生態圈的學習,將生態圈分為離線處理,實時流計算和實現最火熱的spark內存計算,完美的將生態圈進行了抽離和歸類,讓學習變得更便捷。
1
更新Spark1.6版本;
1
新增Linux操作系統和shell腳本學習;
1
新增JVM內存模型分析;
1
新增NIO、Netty、自定義RPC框架;
1
新增電商點擊流日志分析;
1
新增電商實時日志告警平臺、交易風控風控平臺、流量日志分析分析;
1
新增Spark游戲日志分析項目;
1
刪除KVM虛擬化技術;
1
刪除網絡基礎和OpenvSwitch技術;
1
刪除Ceph存儲技術;
1
刪除CloudStack云管理平臺;
1
刪除混合云管理平臺項目。
課程名稱
大數據實戰班課程
課程推出時間
2015.05.15
課程版本號
3.0
主要針對版本
JDK7.x
主要使用開發工具
Eclipse、IDEA
課程介紹
IVE2.0課程對比原有課程做了重大更新
具體更新內容如下
簡介
將大數據和虛擬化這兩大熱門技術加入到課程體系中,在大數據方面知識體系更加完整,課程更加深度有深度,更加貼近實戰。在虛擬化方面,選擇了在云計算領域常用的虛擬化、網絡、存儲等技術,并通過Apache CloudStack技術整合,在此基礎上開發混合云管理平臺。
1
更新Hadoop2.0版本、Hive優化課程
1
新增電信流量運營分析項目
1
新增Scala函數式編程
1
新增Spark內存計算
1
新增KVM虛擬化技術
1
新增網絡基礎和OpenvSwitch技術
1
新增Ceph存儲技術
1
新增CloudStack云管理平臺
1
新增混合云管理平臺項目
課程名稱
大數據實戰班課程
課程推出時間
2014.02.15
課程版本號
2.0
主要針對版本
JDK6.x
主要使用開發工具
Eclipse
課程介紹
隨著近年來云計算大數據的大力發展,市場對相關人才需求急增,所以本版課程在原有的云計算課程進行了顛覆性的改革,把原來只有1天的課程擴展為7天,加入了Hadoop生態圈的相關技術。
1
更新云計算課程:把原來只有1天的云計算課程增加到7天,Hadoop集群部署、優化HDSF、MapReduce案例
1
新增Hadoop生態圈相關技術:Zookeeper、Hive、Hbase、Sqoop、Flume
1
新增Storm實時計算技術和案例
1
新增黑馬論壇日志分析項目
課程名稱
大數據實戰班課程
課程推出時間
2012.02.15
課程版本號
1.0
主要針對版本
JDK6.0
主要使用開發工具
Eclipse
課程介紹
近期云計算概念火爆異常,傳智教育敏銳的嗅探到大數據技術的悄然興起,并預測大數據技術將會像雨后春筍一樣快速發展,所以傳智教育與時俱進在課程中引入了1天的云計算課程,讓學員可以掌握最新的技術,拓寬學員的就業方向,增強就業競爭力。
1
新增云計算課程:云計算和大數據相關概念
1
新增Hadoop 1.0偽分布式環境部署
1
新增HDFS、MapReduce應用案例
●傳智播客聯合大數據研究院、易觀智庫、帆軟等企業推出“真大數據”課程
●7.11舉行課程發布會,首推9個月高級軟件工程師課程
●推出10天的大型用戶畫像項目,涵蓋完整的畫像系統流程,引入Spark MLLib開發挖掘模型
●率先引入Flink課程,更加貼合市場需求
●率先推出零基礎大數據課程
●引入基于內存計算的Spark框架,接軌大數據的第三個階段:數據計算引擎階段
●率先推出Storm課程,對標京東,開啟實時計算
●傳智播客首次推出大數據培訓課程