當前位置:国际米兰vs切尔西 > 公開課 > 項目管理 > Hadoop與Spark大數據開發與案例分析高級工程師實戰培訓班

切尔西靴男真皮:Hadoop與Spark大數據開發與案例分析高級工程師實戰培訓班

關注度:500   編號:235256
舉辦時間:
  • 蘇州 2019-10-22
  • 珠海 2019-11-20
Hadoop與Spark大數據開發與案例分析高級工程師實戰培訓班
點擊報名 添加到購物車
Hadoop與Spark大數據開發與案例分析高級工程師培訓,旨在使學員深入理解Hadoop與Spark技術架構,對Hadoop與Spark運作機制有清晰全面的認識,掌握Hadoop與Spark基本運維思路和方法,全面掌握Hadoop與Spark的架構原理和使用場景,并通過貫穿課程的項目進行實戰鍛煉。
HadoopSpark大數據開發高級工程師

Hadoop與Spark大數據開發與案例分析高級工程師實...課程特色與背景

    課程目標
    1、了解Hadoop
相關內容導讀“Hadoop”
Hadoop與Spark大數據開發與案例分析高級工程師實戰培訓班  其他 2018/4/18(5天)

国际米兰vs切尔西 www.ogzqlx.com.cn Hadoop與Spark大數據開發與案例分析高級工程師培訓,旨在使學員深入理解Hadoop與Spark技術架構,對Hadoop與Spark運作機制有清晰全面的認識,掌握Hadoop與Spark基本運維思路和方法,全面掌握Hadoop與Spark的架構原理和使用場景,并通過貫穿課程的項目進行實戰鍛煉。

Spark
相關內容導讀“Spark”
Hadoop與Spark大數據開發與案例分析高級工程師實戰培訓班  其他 2018/4/18(5天)

Hadoop與Spark大數據開發與案例分析高級工程師培訓,旨在使學員深入理解Hadoop與Spark技術架構,對Hadoop與Spark運作機制有清晰全面的認識,掌握Hadoop與Spark基本運維思路和方法,全面掌握Hadoop與Spark的架構原理和使用場景,并通過貫穿課程的項目進行實戰鍛煉。

大數據實時處理-基于Spark的大數據實時處理及應用技術培訓  北京 2018/5/9(3天)

Spark生態系統(BDAS項目)已經發展成一個,包含多個子項目的集合,包括Spark SQL、Spark Streaming、GraphX、MLlib等,基于Spark的大數據實時處理及應用技術課程從大數據實時處理技術以及Spark實戰的角度,結合理論和實踐,全方位地介紹Spark大數據實時處理工具的原理和內核,包括Spark大數據計算框架、運行架構、設計模型和數據管理策略,及Spark在業界的應用。

基于Python的Spark大數據挖掘技術  北京 2018/6/12(3天)

基于Python的Spark大數據挖掘技術課程,旨在幫助學員學習Python和Spark的相關基礎知識,學習Python和Spark的核心技術方法及應用,了解Python和Spark在數據分析中的使用等。

的歷史及目前發展的現狀、以及Hadoop與Spark的技術特點,從而把握分布式計算框架及未來發展方向,在大數據時代能為企業的技術選型及架構設計提供決策參考。
    2、全面掌握Hadoop與Spark的架構原理和使用場景,并通過貫穿課程的項目進行實戰鍛煉,從而熟練使用Hadoop進行MapReduce程序開發??緯袒購橇朔植際郊撲懔煊虻某S盟惴ń檣?,幫助學員為企業在利用大數據方面體現自身價值。
    3、深入理解Hadoop與Spark技術架構,對Hadoop與Spark運作機制有清晰全面的認識,可以獨立規劃及部署生產環境的Hadoop與Spark集群,掌握Hadoop與Spark基本運維思路和方法,對Hadoop與Spark集群進行管理和優化。

課程大綱

培訓內容(4天課程)
HADOOP???div class="spctrl">
??橐籋adoop在云計算技術的作用和地位
傳統大規模系統存在的問題 
Hadoop概述 
Hadoop分布式文件系統   
MapReduce工作原理     
Hadoop集群剖析      
Hadoop生態系統對一種新的解決方案的需求
Hadoop的行業應用案例分析
Hadoop在云計算和大數據的位置和關系
??槎﨟adoop生態系統介紹和演示
Hadoop HDFS 和 MapReduce 
Hadoop數據庫之HBase 
Hadoop數據倉庫之Hive
Hadoop數據處理腳本Pig 
Hadoop數據接口Sqoop和Flume,Scribe DataX 
Hadoop工作流引擎 Oozie
??槿鼿adoop組件詳解
Hadoop HDFS 基本結構
Hadoop HDFS 副本存放策略
Hadoop NameNode 詳解
HadoopSecondaryNameNode 詳解 
Hadoop DataNode 詳解
Hadoop JobTracker 詳解 
Hadoop TaskTracker 詳解
??樗腍adoop安裝和部署
Hadoop系統??樽榧攀?div class="spctrl">
Hadoop試驗集群的部署結構
Hadoop 安裝依賴關系
Hadoop 生產環境的部署結構
Hadoop集群部署
Hadoop 高可用配置方法
Hadoop 集群簡單測試方法 
Hadoop 集群異常Debug方法
??槲錒adoop集群規劃
Hadoop 集群內存要求
Hadoop集群磁盤分區
集群和網絡拓撲要求
集群軟件的端口配置
??榱鵐apReduce 算法原理
Hadoop MapReduce 算法的原理和優化思想
靈活運用MapReduce 實現算法
??櫧弒嘈碝apReduce高級程序
使用 Hadoop MapReduce Streaming 編程
MapReduce流程     
剖析一個MapReduce程序 
基本MapReduceAPI概念 
驅動代碼 Mapper、Reducer
Hadoop流 
API 使用Eclipse進行快速開發        
新MapReduce API 
MapReduce的優化
MapReduce的任務調度
MapReduce編程實戰
如何利用其他Hadoop相關技術,包括Apache Hive, Apache Pig,Sqoop和Oozie等 
滿足解決實際數據分析問題的高級Hadoop API 
??榘思蒆adoop到現有工作流 
及Hadoop API深入探討存儲系統 
利用Sqoop從關系型數據庫系統中導入數據到Hadoop 
利用Flume導入實時數據到Hadoop 
ToolRunner介紹、使用MRUnit進行測試 
使用Configure和Close方法來進行Map/Reduce設置和關閉 
??榫攀褂肏ive和Pig開發及技巧
Hive和Pig基礎       
Hive的作用和原理說明
Hadoop倉庫和傳統數據倉庫的協作關系
Hadoop/Hive倉庫數據數據流
Hive 部署和安裝
Hive Cli 的基本用法
HQL基本語法
運用Pig 過濾用戶數據 
??槭瓾base安裝和使用
Hbase 安裝部署      
Hbase原理和結構
Hbase 運維和管理
??槭籋adoop2.0 集群探索
Hadoop2.0 HDFS 原理
Hadoop2.0 Yarn 原理
Hadoop2.0 生態系統
??槭﨟adoop企業級別案例解析
Hadoop 結構化數據案例
Hadoop 非結構化案例
Hbase 數據庫案例
Hadoop 視頻分析案例
Spark???div class="spctrl">
??橐籗park生態介紹? 
Mapreduce、storm和spark模型的比較和使用場景介紹? 
Spark產生背景? 
Spark(內存計算框架)? 
SparkSteaming(流式計算框架)? 
Spark SQL(ad-hoc)? 
Mllib(MachineLearning)? 
GraphX(bagel將被代)? 
DlinkDB介紹? 
SparkR介紹
??槎park安裝部署? 
Spark安裝簡介? 
Spark的源碼編譯? 
Spark Standalone安裝? 
Spark應用程序部署工具spark-submit? 
Spark的高可用性部署
??槿齋park運行架構和解析? 
Spark的運行架構
? 基本術語
? 運行架構
? Spark on Standalone運行過程
? Spark on YARN 運行過程?
Spark運行實例解析
? Spark on Standalone實例解析
? Spark on YARN實例解析
? 比較 Standalone與YARN模式下的優缺點
??樗腟parkscala編程
? Scala基本語法與高階語法
? Scala基本語法
? Scala開發環境搭建
? Scala開發Spark應用程序
? 使用java編程
? 使用scala編程
? 使用python編程
??槲錝park編程模型和解析?
Spark的編程模型
? Spark編程模型解析
? RDD的特點、操作、依賴關系
? Spark應用程序的配置
Spark的架構
spark的容錯機制
數據的本地性
緩存策略介紹
寬依賴與窄依賴
??榱鵖park 數據挖掘? 
Mllib的介紹? 
graphX核心原理? 
table operator和graph operator區別? 
vertices、edges和triplets介紹? 
構建一個graph? 
SparkR原理? 
SparkR實戰
??櫧逽park Streaming原理和實踐? 
Spark Streaming與Strom的區別? 
Kafka的部署? 
Kafka與Spark Streaming的整合? 
Spark Streaming原理
? Spark流式處理架構
? DStream的特點
? Dstream的操作和RDD的區別
? 帶狀態的transformation與無狀態transformation
? Spark Streaming的優化? 
Spark Streaming實例
Streaming的容錯機制
streaming在yarn模式下的注意事項
對于需結合第三方存儲機制的與流式處理方案
? 文本實例
? 網絡數據處理
? Kafka+Spark Streaming實現日志的實時分析案例
??榘薙park的優化? 
序列化優化——Kryo? 
Spark參數優化實戰? 
Spark 任務的均勻分布策略? 
Partition key傾斜的解決方案? 
Spark任務的監控? 
GC的優化? 
Spark Streaming吞吐量優化? 
Spark RDD使用內存的優化策略? 
Spark在使用中的感想分享
??榫臩park的數據源? 
Spark與HDFS的整合? 
HDFS RDD原理和實現? 
Spark與Hbase的整合? 
Spark與Cassendera整合? 
Hbase RDD的分區讀取? 
Hbase RDD的原理和實現? 
Spark parallelism RDD的工作機制
??槭甋park Streaming應用及案例分析? 
Spark Streaming產生動機? 
Spark Streaming程序設計
(1)創建DStream
(2)基于DStream進行流式處理? 
Spark Streaming容錯與性能優化
(1)Spark Streaming容錯機制
(2)如何對spark Streaming進行優化? 
Spark Streaming案例分析
基于Spark Streaming的用戶標簽系統,內容包括項目背景,項目架構以及實施方法
??槭壞湫拖钅堪咐嫡? 
基于spark日志分析? 
個性化推薦系統:帶你揭開其神秘面紗? 
在線投放引擎? 
揭開淘寶點擊推薦系統的神秘面紗? 
淘寶數據服務架構—實時計算平臺

課程主講

    張老師:
    阿里大數據高級專家,國內資深的Spark、Hadoop技術專家、虛擬化專家,對HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態系統中的技術進行了多年的深入的研究,更主要的是這些技術在大量的實際項目中得到廣泛的應用,因此在Hadoop開發和運維方面積累了豐富的項目實施經驗。近年主要典型的項目有:某電信集團網絡優化、中國移動某省移動公司請賬單系統和某省移動詳單實時查詢系統、中國銀聯大數據數據票據詳單平臺、某大型銀行大數據記錄系統、某大型通信運營商全國用戶上網記錄、某省交通部門違章系統、某區域醫療大數據應用項目、互聯網公共數據大云(DAAS)和構建游戲云(Web Game Daas)平臺項目等。

課程對象

各地政府,院校云計算物聯網產業相關負責人,各類 IT/軟件企業和研發機構的軟件架構師、軟件設計師、程序員、技術總監、數據挖掘負責人、數據挖掘開發工程師等
備  注
課程費用:6800元/人(含教材、培訓費、考證費以及學習用具等費用) 食宿統一安排,費用自理。
收藏本課程會員也收藏了大數據分析應用培訓專題

上一篇:人力資源轉型:HRBP賦能與實踐
下一篇:大數據建模與分析挖掘應用培訓課程
推薦課程
項目管理相關課程
相關專題推薦
相關文檔下載
相關文章
課程主題:
Hadoop與Spark大數據開發與案例分析高級工程師實戰培訓班
課程編號:235256 
*開課計劃:
  • 蘇州 2019-10-22
  • 珠海 2019-11-20
*姓  名:
*性  別:  
*職務:
*部門:
*電話:
*手機:
傳真:
*E-Mail:
*參加人數:
其他人員:
   
   
   
   
   
   
   
*單位名稱:
通信地址:
備注:
(如多人報名、需代訂酒店等補充信息請填寫到備注欄)
*驗證碼:
  看不清?點一下驗證碼換一組
 
(* 為必填項)
   
暫無評論,快來添加一條!
點擊這里提交你的留言