北京哪里有大數(shù)據(jù)就業(yè)班培訓
**階段linux 搜索 hadoop體系
Linux基礎(chǔ)→ shell編程→ 高并發(fā)架構(gòu)→ hadoop體系→ HDFS→ mapreduce→ hbase→ zookeeper→ hive→ lucene搜索→solr/solrcloud→ elasticsearch分布式搜索→ CM CDH集群管理→ impala→ oozie→ flume→ sqoop→ 項目實戰(zhàn)一
第二階段機器學習
R語言→ mahout→ 項目實戰(zhàn)二
第三階段storm流式計算
kafka→ storm→ redis→ 項目實戰(zhàn)三
第四階段spark內(nèi)存計算
scala編程→ spark core→ spark sql→ spark streaming→ spark mllib→ spark graphx→ 項目實戰(zhàn)四→ python機器學習→spark python編程→ 項目實戰(zhàn)五→ 項目實戰(zhàn)六
第五階段云計算平臺
docker→ kvm→ openstack云計算→ 就業(yè)指導
| **階段：linux 搜索 hadoop體系 | |
| Linux大綱 | 這章是基礎(chǔ)課程，幫大家進入大數(shù)據(jù)領(lǐng)域打好Linux基礎(chǔ)，以便更好地學習Hadoop，hbase,NoSQL，Spark，Storm，docker,kvm,openstack等眾多課程。因為企業(yè)中無一例外的是使用Linux來搭建或部署項目。 |
|
1) Linux的介紹，Linux的安裝：VMware Workstation虛擬軟件安裝過程、CentOS虛擬機安裝過程 2) 了解機架服務(wù)器，采用真實機架服務(wù)器部署linux 3) Linux的常用命令：常用命令的介紹、常用命令的使用和練習 4) Linux系統(tǒng)進程管理基本原理及相關(guān)管理工具如ps、pkill、top、htop等的使用； 5) Linux啟動流程，運行級別詳解，chkconfig詳解 6) VI、VIM編輯器：VI、VIM編輯器的介紹、VI、VIM扥使用和常用快捷鍵 7) Linux用戶和組賬戶管理：用戶的管理、組管理 8) Linux磁盤管理，lvm邏輯卷，nfs詳解 9) Linux系統(tǒng)文件權(quán)限管理：文件權(quán)限介紹、文件權(quán)限的操作 10) Linux的RPM軟件包管理：RPM包的介紹、RPM安裝、卸載等操作 11) yum命令，yum源搭建 12) Linux網(wǎng)絡(luò)：Linux網(wǎng)絡(luò)的介紹、Linux網(wǎng)絡(luò)的配置和維護 13) Shell編程：Shell的介紹、Shell腳本的編寫 14) Linux上常見軟件的安裝：安裝JDK、安裝Tomcat、安裝mysql,web項目部署 |
|
|
大型網(wǎng)站 高并發(fā)處理 |
**本章的學習大家將會了解大數(shù)據(jù)的源頭，數(shù)據(jù)從何而來，繼而更好的了解大數(shù)據(jù)。并且**學習何果處理大型網(wǎng)站高并發(fā)問題反向更深入的學習了Linux，同時站在了更高的角度去觸探了架構(gòu)。 |
|
1) 第四層負載均衡 a) Lvs負載均衡 i. 負載算法，NAT模式，直接路由模式（DR），隧道模式（TUN） b) F5負載均衡器介紹 2) 第七層負載均衡 a) Nginx b) Apache 3) Tomcat、jvm優(yōu)化提高并發(fā)量 4) 緩存優(yōu)化 a) Java緩存框架 i. Oscache，ehcache b) 緩存數(shù)據(jù)庫 i. Redis，Memcached 5) Lvs nginx tomcat redis|memcache構(gòu)建二層負載均衡千萬并發(fā)處理 6) Haproxy 7) Fastdfs小文件獨立存儲管理 8) Redis緩存系統(tǒng) a) Redis基本使用 b) Redis sentinel高可用 c) Redis好友推薦算法 |
|
| Lucene課程 | 在大數(shù)據(jù)里面文本數(shù)據(jù)的搜索是很重要的一塊，特別是里面的分詞技術(shù)，是后面機器學習里面文本挖掘的基石，我們需要深入學習java領(lǐng)域里面的搜索核心技術(shù)lucene，同時也可以了解到百度 google這樣的搜索系統(tǒng)是怎么架構(gòu)實現(xiàn)的。 |
|
1) Lucene介紹
2) Lucene 倒排索引原理
>
3) 建索引 IndexWriter
4) 搜索 IndexSearcher
5) Query
6) Sort和 過濾 （filter）
7) 索引優(yōu)化和高亮
|
|
| Solr課程 | 接著前面lucene技術(shù)搜索，如果把lucene技術(shù)比如為發(fā)動機，那solr就是一兩成型的汽車了。學習完solr可以幫助你在企業(yè)里面快速的架構(gòu)搜索系統(tǒng)。首先Solr是基于Lucene做的，Lucene是一套信息檢索工具包，但并不包含搜索引擎系統(tǒng)，它包含了索引結(jié)構(gòu)、讀寫索引工具、相關(guān)性工具、排序等功能，因此在使用Lucene時你仍需要關(guān)注搜索引擎系統(tǒng)，例如數(shù)據(jù)獲取、解析、分詞等方面的東西。而Solr的目標是打造一款企業(yè)級的搜索引擎系統(tǒng)，因此它更接近于我們認識到的搜索引擎系統(tǒng)，它是一個搜索引擎服務(wù)，**各種API可以讓你的應(yīng)用使用搜索服務(wù)，而不需要將搜索邏輯耦合在應(yīng)用中。而且Solr可以根據(jù)配置文件定義數(shù)據(jù)解析的方式，更像是一個搜索框架，它也支持主從、熱換庫等操作。還添加了飄紅、facet等搜索引擎常見功能的支持。 |
|
1) 什么是solr
2) 為什么工程中要使用solr
3) Solr的原理
4) 如何在tomcat中運行solr
5) 如何利用solr進行索引與搜索
6) solr的各種查詢
7) solr的Filter
8) solr的排序
9) solr的高亮
10) solr的某個域統(tǒng)計
11) solr的范圍統(tǒng)計
12) solrcloud集群搭建
|
|
|
Hadoop 離線計算大綱 |
一、初識hadoop 聽過大數(shù)據(jù)，必聽過hadoop，此部分帶領(lǐng)大家了解hadoop的用途，在大數(shù)據(jù)中的用途，以及快速搭建一個hadoop的實驗環(huán)境，在本過程中不僅將用到前面的Linux知識，而且會對hadoop的架構(gòu)有深入的理解，并為你以后架構(gòu)大數(shù)據(jù)項目打下堅實基礎(chǔ)。
|
|
1) Hadoop生態(tài)環(huán)境介紹
2) Hadoop云計算中的位置和關(guān)系
3) 國內(nèi)外Hadoop應(yīng)用案例介紹
4) Hadoop 概念、版本、歷史
5) Hadoop 核心組成介紹及hdfs、mapreduce 體系結(jié)構(gòu)
6) Hadoop 的集群結(jié)構(gòu)
7) Hadoop 偽分布的詳細安裝步驟
8) **命令行和瀏覽器觀察hadoop
|
|
| 二、 HDFS體系結(jié)構(gòu)和shell以及java操作 詳細剖析HDFS，從知曉原理到開發(fā)網(wǎng)盤的項目讓大家打好學習大數(shù)據(jù)的基礎(chǔ)，大數(shù)據(jù)之于分布式，分布式學習從學習分布式文件系統(tǒng)（HDFS）開始。 | |
|
1) HDFS底層工作原理
2) HDFS datanode,namenode詳解
3) Hdfs shell
4) Hdfs java api
|
|
| 三、 詳細講解Mapreduce Mapreduce可以說是任何一家大數(shù)據(jù)公司都會用到的計算框架，也是每個大數(shù)據(jù)工程師應(yīng)該熟練掌握的，此處的學習除了老師詳細的講解理論外，會**大量的案例讓大家徹底掌握。 | |
|
1) Mapreduce四個階段介紹
2) Writable
3) InputSplit和OutputSplit
4) Maptask
5) Shuffle：Sort，Partitioner，Group,Combiner
6) Reducer
|
|
| 四、 Mapreduce案例案例 | |
|
1) 二次排序
2) 倒排序索引
3) **優(yōu)路徑
4) 電信數(shù)據(jù)挖掘之-----移動軌跡預測分析（中國棱鏡計劃）
5) 社交好友推薦算法
6) 互聯(lián)網(wǎng)精準廣告推送 算法
7) 阿里巴巴天池大數(shù)據(jù)競賽 《天貓推薦算法》案例
8) Mapreduce實戰(zhàn)pagerank算法
|
|
| 五、 Hadoop2.x集群搭建 前面帶領(lǐng)大家開發(fā)了大量的MapReduce程序，此部分將帶來大家讓開發(fā)的程序運行在分布式集群中，并且運行在健壯高可用的集群中。 | |
|
1) Hadoop2.x集群結(jié)構(gòu)體系介紹
2) Hadoop2.x集群搭建
3) NameNode的高可用性（HA）
4) HDFS Federation
5) ResourceManager 的高可用性（HA）
6) Hadoop集群常見問題和解決方法
7) Hadoop集群管理
|
|
|
分布式數(shù)據(jù)庫 Hbase |
大數(shù)據(jù)中使用Hbase的案例多的舉不勝舉，也可凸顯大家學習的必要性。即使工作多年的大數(shù)據(jù)工程師Hbase的優(yōu)化也是需要好好學習的重點。 |
|
1) HBase定義
2) HBase與RDBMS的對比
3) 數(shù)據(jù)模型
4) 系統(tǒng)架構(gòu)
5) HBase上的MapReduce
6) 表的設(shè)計
7) 集群的搭建過程講解
8) 集群的監(jiān)控
9) 集群的管理
10) HBase Shell以及演示
11) Hbase 樹形表設(shè)計
12) Hbase 一對多 和 多對多 表設(shè)計
13) Hbase 微博 案例
14) Hbase 訂單案例
15) Hbase表級優(yōu)化
16) Hbase 寫數(shù)據(jù)優(yōu)化
17) Hbase 讀數(shù)據(jù)優(yōu)化
|
|
| 數(shù)據(jù)倉庫Hive | Hive是使用sql進行計算的hadoop框架，工作中**常用到的部分，也是面試的重點，此部分大家將從方方面面來學習Hive的應(yīng)用，任何細節(jié)都將給大家涉及到。 |
|
1) 數(shù)據(jù)倉庫基礎(chǔ)知識
2) Hive定義
3) Hive體系結(jié)構(gòu)簡介
4) Hive集群
5) 客戶端簡介
6) HiveQL定義
7) HiveQL與SQL的比較
8) 數(shù)據(jù)類型
9) 外部表和分區(qū)表
10) ddl與CLI客戶端演示
11) dml與CLI客戶端演示
12) select與CLI客戶端演示
13) Operators 和 functions與CLI客戶端演示
14) Hive server2 與jdbc
15) 用戶自定義函數(shù)（UDF 和 UDAF）的開發(fā)與演示
16) Hive 優(yōu)化
|
|
| 數(shù)據(jù)遷移工具Sqoop | sqoop適用于關(guān)系型數(shù)據(jù)庫和HDFS分布式數(shù)據(jù)系統(tǒng)之間進行數(shù)據(jù)轉(zhuǎn)換，在企業(yè)中，是構(gòu)建數(shù)據(jù)倉庫的一大工具。 |
|
1) 介紹 和 配置Sqoop 2) Sqoop shell使用 3) Sqoop-import a) DBMS-hdfs b) DBMS-hive c) DBMS-hbase 4) Sqoop-export |
|
|
Flume分布式 日志框架 |
Flume**早是Cloudera提供的日志收集系統(tǒng)，目前是Apache下的一個孵化項目，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)。大家學習完此節(jié)后不但可以掌握Flume的使用，而且可以進行對于Flume的開發(fā)。 |
|
1) flume簡介-基礎(chǔ)知識
2) flume安裝與測試
3) flume部署方式
4) flume source相關(guān)配置及測試
5) flume sink相關(guān)配置及測試
6) flume selector 相關(guān)配置與案例分析
7) flume Sink Processors相關(guān)配置和案例分析
8) flume Interceptors相關(guān)配置和案例分析
9) flume AVRO Client開發(fā)
10) flume 和kafka 的整合
|
|
|
Zookeeper 開發(fā) |
Zookeeper在分布式集群（Hadoop生態(tài)圈）中的地位越來越突出，對分布式應(yīng)用的開發(fā)也提供了極大便利，這也是這里我們帶領(lǐng)大家深入學習 Zookeeper的原因。本課程主要內(nèi)容包括Zookeeper深入、客戶端開發(fā)（Java編程，案例開發(fā)）、日常運維、Web界面監(jiān)控。大家這里學好Zookeeper，對后面學習其他技術(shù)至關(guān)重要。 |
|
1) Zookeeper java api開發(fā)
2) Zookeeper rmi高可用分布式集群開發(fā)
3) Zookeeper redis高可用監(jiān)控實現(xiàn)
4) Netty 異步io通信框架
5) Zookeeper實現(xiàn)netty分布式架構(gòu)的高可用
|
|
| 項目實戰(zhàn) | 某大型電商日志分析和訂單管理 在實戰(zhàn)中學習，技術(shù)點非常多，怎么樣實際運用這些點是我們在自學過程中體驗不到的。電商日志分析包括：pv、uv，跳出率，二跳率、廣告轉(zhuǎn)化率、搜索引擎優(yōu)化等，訂單模塊有：產(chǎn)品推薦，商家排名，歷史訂單查詢，訂單報表統(tǒng)計等。 |
|
項目技術(shù)架構(gòu)體系：
a) Web項目和云計算項目的整合
b) Flume**avro實時收集web項目中的日志
c) 數(shù)據(jù)的ETL
d) Hive 批量 sql執(zhí)行
e) Hive 自定義函數(shù)
f) Hive和hbase整合。
g) Hbase 數(shù)據(jù)支持 sql查詢分析
h) Mapreduce數(shù)據(jù)挖掘
i) Hbase dao處理
j) Sqoop 在項目中的使用。
k) Mapreduce 定時調(diào)用和監(jiān)控
|
|
| 第二階段：機器學習 | |
|
R語言 機器學習 |
R本身是一款十分優(yōu)秀的數(shù)據(jù)分析和數(shù)據(jù)可視化軟件，同時作為**代機器學習的工具，其中包括大量用于機器學習的添加包。此部分帶領(lǐng)大家學習R語言更是帶領(lǐng)大家進入機器學習的領(lǐng)域，機器學習算法為主線的同時，**案例學習將會讓大家對內(nèi)容脈絡(luò)掌握的更加清晰。 |
|
1) R語言介紹，基本函數(shù)，數(shù)據(jù)類型
2) 線性回歸
3) 樸素貝葉斯聚類
4) 決策樹分類
5) k均值聚類 a) 離群點檢測
6) 關(guān)聯(lián)規(guī)則探索
7) 神經(jīng)網(wǎng)絡(luò)
|
|
|
Mahout 機器學習 |
Mahout提供一些可擴展的機器學習領(lǐng)域經(jīng)典算法的實現(xiàn)，很多公司會使用Mahout方便快捷地創(chuàng)建智能應(yīng)用程序。Mahout包含許多實現(xiàn)，包括聚類、分類、推薦過濾、頻繁子項挖掘。Mahout**使用 Apache Hadoop，可以有效地擴展到云中。被業(yè)界奉為第二代機器學習工具。此部分過后大家不僅會學習到mahout的組件而且會有項目讓大家真正把它應(yīng)用到工作中。 |
|
1) 介紹為什么使用它,它的前景 a) 簡單介紹Mahout b) 簡單介紹機器學習 c) 實例演示Mahout單機推薦程序 2) 配置安裝（hadoop2.x版本的）編譯安裝步驟說明 a) 命令行中測試運行協(xié)同過濾概念 3) 推薦 a) 講解基于用戶的協(xié)同過濾 b) 講解基于物品的協(xié)同過濾 4) 分類 a) 分類概念 b) 分類的應(yīng)用及Mahout分類優(yōu)勢 c) 分類和聚類、推薦的區(qū)別 d) 分類工作原理 e) 分類中概念術(shù)語 f) 分類項目工作流 g) 如何定義預測變量 h) 線性分類器的介紹，及貝葉斯分類器 i) 決策樹分類器的介紹，及隨機森林分類器 j) 如何使用貝葉斯分類器和隨機森林分類器的代碼展示 5) 聚類 a) 聚類概念 b) 聚類步驟流程 c) 聚類中的距離測度 d) 講解K-means聚類 e) K-means聚類算法展示 f) 聚類其他算法 g) 介紹TF-IDF h) 歸一化 i) 微博聚類案例 |
|
| 項目實戰(zhàn) | 微博營銷數(shù)據(jù)挖掘項目 使用數(shù)據(jù)來自微博平臺，項目目標**機器學習所學知識挖掘目標客戶群體，找到代言人進行微博營銷廣告投放。 |
|
項目技術(shù)架構(gòu)體系：
a) 分布式平臺 Hadoop，MapReduce
b) 數(shù)據(jù)采集 Flume
c) 數(shù)據(jù)清洗 ETL
d) 數(shù)據(jù)庫 Hbase，Redis
e) 機器學習 Mahout
|
|
| 第三階段：storm流式計算 | |
|
redis緩存 系統(tǒng)課程大綱 |
|
|
1) redis特點、與其他數(shù)據(jù)庫的比較
2) 如何安裝redis
3) 如何使用命令行客戶端
4) redis的字符串類型
5) redis的散列類型
6) redis的列表類型
7) redis的集合類型
8) 如何使用java訪問redis【a.python訪問redis,scala訪問redis】
9) redis的事務(wù)(transaction)
10) redis的管道(pipeline)
11) redis持久化(AOF RDB)
12) redis優(yōu)化
13) redis的主從復制
14) redis的sentinel高可用
15) twemproxy,codis實戰(zhàn)
16) redis3.x集群安裝配置
|
|
| Kafka課程 | Kafka是當下流行的隊列，可以說是從數(shù)據(jù)采集到大數(shù)據(jù)計算承上啟下的重要環(huán)節(jié)，大家在此部分將會詳細學習它的架構(gòu)，kafka在大家大數(shù)據(jù)的項目中幾乎都會涉及到。 |
|
1) kafka是什么
2) kafka體系結(jié)構(gòu)
3) kafka配置詳解
4) kafka的安裝
5) kafka的存儲策略
6) kafka分區(qū)特點
7) kafka的發(fā)布與訂閱
8) zookeeper協(xié)調(diào)管理
9) java編程操作kafka
10) scala編程操作kafka
11) flume 和kafka 的整合
12) Kafka 和storm 的整合
|
|
|
Storm 實時數(shù)據(jù)處理 |
本部分學習過后，大家將全面掌握Storm內(nèi)部機制和原理，**大量項目實戰(zhàn)，讓大家擁有完整項目開發(fā)思路和架構(gòu)設(shè)計，掌握從數(shù)據(jù)采集到實時計算到數(shù)據(jù)存儲再到前臺展示，所有工作一個人搞定！譬如可以一個人搞定淘寶雙11大屏幕項目！不光從項目的開發(fā)的層次去實現(xiàn)，并可以從架構(gòu)的層次站在架構(gòu)師的角度去完成一個項目。 |
|
項目技術(shù)架構(gòu)體系：
1) Storm的基本概念
2) Storm的應(yīng)用場景
3) Storm和Hadoop的對比
4) Storm集群的安裝的linux環(huán)境準備
5) zookeeper集群搭建
6) Storm集群搭建
7) Storm配置文件配置項講解
8) 集群搭建常見問題解決
9) Storm常用組件和編程API：Topology、 Spout、Bolt
10) Storm分組策略(stream groupings)
11) 使用Strom開發(fā)一個WordCount例子
12) Storm程序本地模式debug、Storm程序遠程debug
13) Storm事物處理
14) Storm消息可靠性及容錯原理
15) Storm結(jié)合消息隊列Kafka：消息隊列基本概念(Producer、Consumer、Topic、Broker等)、消息隊列Kafka使用場景、Storm結(jié)合Kafka編程API
16) Storm Trident概念
17) Trident state 原理
18) Trident開發(fā)實例
19) Storm DRPC(分布式遠程調(diào)用)介紹
20) Storm DRPC實戰(zhàn)講解
21) Storm和Hadoop 2.x的整合：Storm on Yarn
Storm開發(fā)實戰(zhàn)： Kafka Storm Hbase redis項目實戰(zhàn)，以及多個案例
|
|
| 項目實戰(zhàn) | 中國移動基站保障平臺 一個市級移動公司，每天的產(chǎn)生海量話務(wù)數(shù)據(jù)（一線城市更高），**大數(shù)實時分析，監(jiān)控每個基站的掉話率，基站通話總數(shù)，基站掉話總數(shù)，基站告警，3g/4g上網(wǎng)流量實時監(jiān)控。對以上維度進行實時分析以達到對基站工作情況的監(jiān)控。 |
|
項目技術(shù)架構(gòu)體系： Storm hbase kafka flume echarts
a) flume實時采集日志
b) kafka緩沖隊列
c) storm實時處理
d) Hbase dao存儲處理結(jié)果
e) 前端Web實時展示報表
|
|
| 第四階段：spark內(nèi)存計算 | |
| Python課程 | Python語言的部分大家在學習后可以完全掌握Python的精髓，并**這部分的學習給大家打好一個基礎(chǔ)，在其他計算框架中多語言的使用上都會涉及到Python這門流行的語言。同時課程里會**機器學習的案例讓大家學習Python的同時去更好的理解機器學習。 |
|
1) 介紹Python以及特點
2) Python的安裝
3) Python基本操作（注釋、邏輯、字符串使用等）
4) Python數(shù)據(jù)結(jié)構(gòu)（元組、列表、字典）
5) 使用Python進行批量重命名小例子
6) Python常見內(nèi)建函數(shù)
7) 更多Python函數(shù)及使用常見技巧
8) 異常
9) Python函數(shù)的參數(shù)講解
10) Python模塊的導入
11) Python中的類與繼承
12) 網(wǎng)絡(luò)爬蟲案例
13) 數(shù)據(jù)庫連接，以及pip安裝模塊
14) Mongodb基礎(chǔ)入門
15) 講解如何連接mongodb
16) Python的機器學習案例
|
|
| Scala課程 | 在此部分內(nèi)，將更注重scala的各種語言規(guī)則與簡單直接的應(yīng)用，而不在于其是如何具體實現(xiàn)，**學習本課程能具備初步的Scala語言實際編程能力。本部分課程也可以視為大家下面學習Spark課程的鋪墊，供大家掃盲熟悉Scala，提前進行熱身運動。 |
|
1) scala解釋器、變量、常用數(shù)據(jù)類型等
2) scala的條件表達式、輸入輸出、循環(huán)等控制結(jié)構(gòu)
3) scala的函數(shù)、默認參數(shù)、變長參數(shù)等
4) scala的數(shù)組、變長數(shù)組、多維數(shù)組等
5) scala的映射、元組等操作
6) scala的類，包括bean屬性、輔助構(gòu)造器、主構(gòu)造器等
7) scala的對象、單例對象、伴生對象、擴展類、apply方法等
8) scala的包、引入、繼承等概念
9) scala的特質(zhì)
10) scala的操作符
11) scala的高階函數(shù)
12) scala的集合
13) scala數(shù)據(jù)庫連接
|
|
|
Spark 大數(shù)據(jù)處理 |
本部分內(nèi)容全面涵蓋了Spark生態(tài)系統(tǒng)的概述及其編程模型，深入內(nèi)核的研究，Spark on Yarn,Spark Streaming流式計算原理與實踐，Spark SQL,Spark的多語言編程以及SparkR的原理和運行。不僅面向項目開發(fā)人員，甚至對于研究Spark的學員，此部分都是非常有學習指引意義的課程。 |
|
1) Spark介紹
2) Spark應(yīng)用場景
3) Spark和Hadoop MR、Storm的比較和優(yōu)勢
4) RDD
5) Transformation
6) Action
7) Spark計算PageRank
8) Lineage
9) Spark模型簡介
10) Spark緩存策略和容錯處理
11) 寬依賴與窄依賴
12) Spark配置講解
13) Spark集群搭建
14) 集群搭建常見問題解決
15) Spark原理核心組件和常用RDD
16) 數(shù)據(jù)本地性
17) 任務(wù)調(diào)度
18) DAGScheduler
19) TaskScheduler
20) Spark源碼解讀
21) 性能調(diào)優(yōu)
22) Spark和Hadoop2.x整合：Spark on Yarn原理
|
|
|
Spark Streaming 實時計算 |
|
|
1) Spark Streaming：數(shù)據(jù)源和DStream
2) 無狀態(tài)transformation與有狀態(tài)transformation
3) Streaming Window的操作
4) sparksql 編程實戰(zhàn)
5) spark的多語言操作
6) spark**新版本的新特性
|
|
|
Spark MLlib 機器學習 |
前面課程大家已經(jīng)掌握**代機器學習工具R，而后又學習了第二代機器學習工具Mahout，這里大家將會學習第三代機器學習工具MLlib，大家不僅將會了解MLlib的組件及其調(diào)用，而且會**Spark的項目深入了解MLlib的現(xiàn)實使用。**此部分大家也可以看出課程不僅著眼于現(xiàn)在，更是著眼于大家的未來在行業(yè)中的發(fā)展。 |
|
1) 介紹 a) Spark MLlib組件介紹 b) 基本數(shù)據(jù)類型 2) 回歸算法 c) 廣義線性模型 d) 邏輯回歸 3) 分類算法 e) 樸素貝葉斯 f) 決策樹 g) 隨機森林 4) 第四章 推薦系統(tǒng) 5) 第五章 聚類 h) Kmeans i) Sparse kmeans j) Kmeans k) Kmeans II l) Streaming kmeans m) Gaussian Mixture Model |
|
|
Spark GraphX 圖計算 |
|
|
a) 二分圖
b) 概述
c) 構(gòu)造圖
d) 屬性圖
e) PageRank
|
|
| 項目實戰(zhàn) | 智慧城市大數(shù)據(jù)分析項目 城市中每時每刻都會產(chǎn)生海量數(shù)據(jù)，應(yīng)用數(shù)據(jù)挖掘、機器學習和可視化技術(shù)，分析出的數(shù)據(jù)可以改進城市規(guī)劃，緩解交通擁堵，抓捕罪犯。項目會使用真實的數(shù)據(jù)。 涉及到所學知識如下： |
|
項目技術(shù)架構(gòu)體系：
a) 實時流處理 Kafka，Spark Streaming
b) 分布式運算 Hadoop，Spark
c) 數(shù)據(jù)庫 Hbase，Redis
d) 機器學習 Spark Mllib
e) 前臺web展示數(shù)據(jù) Struts2，echart
|
|
| 手機軟件推薦系統(tǒng)項目 使用數(shù)據(jù)來自某互聯(lián)網(wǎng)平臺手機助手，項目目標**機器學習所學知識挖掘平臺手機用戶喜好，給用戶準確推薦手機軟件，類似360手機助手、華為手機助手、百度手機助手推薦功能。 | |
|
項目技術(shù)架構(gòu)體系：
a) 分布式平臺 Hadoop，Spark
b) 數(shù)據(jù)清洗 Hive
c) 數(shù)據(jù)分析 R RStudio
d) 推薦服務(wù) Dubbox
e) 規(guī)則過濾 Drools
f) 機器學習 MLlib
|
|
| 網(wǎng)絡(luò)流量異常檢測項目 項目目標**機器學習所學知識檢測出異常，包括檢測欺詐，網(wǎng)絡(luò)攻擊，服務(wù)器傳感器故障燈（本項目用戶現(xiàn)在熱門的電商網(wǎng)站的流量分析檢測，比如京東，天貓，淘寶等）。項目功能應(yīng)用于各大互聯(lián)網(wǎng)平臺中，各大互聯(lián)網(wǎng)平臺均需要網(wǎng)絡(luò)安全予以重視和預防以及檢測。 | |
|
項目技術(shù)架構(gòu)體系： a) 數(shù)據(jù)存儲 Hadoop
b) 數(shù)據(jù)準備 Spark
c) 數(shù)據(jù)分析 R RStudio
d) 機器學習 MLlib
e) 數(shù)據(jù)評價及調(diào)參
|
|
| 第五階段：云計算平臺 | |
| Docker 課程 | Docker 是一個開源的應(yīng)用容器引擎，讓開發(fā)者可以打包他們的應(yīng)用以及依賴包到一個可移植的容器中，然后發(fā)布到任何流行的 Linux 機器上，也可以實現(xiàn)虛擬化。容器是完全使用沙箱機制，相互之間不會有任何接口（類似 iPhone 的 app）。幾乎沒有性能開銷,可以很容易地在機器和數(shù)據(jù)中心中運行。**重要的是,他們不依賴于任何語言、框架包括系統(tǒng)。 |
|
1) 基本介紹
2) vm docker 對比
3) docker基本架構(gòu)介紹
4) unfs cgroup namespace
5) 進程虛擬化 輕量級虛擬化
6) docker 安裝
7) docker 鏡像制作
8) docker 常用命令
9) docker 鏡像遷移
10) docker pipework【i.openvswitch】
11) docker weave
|
|
| 虛擬化KVM | 云計算平臺，比如openstack，cloudstack 底層采用的技術(shù)都是虛擬化方案，現(xiàn)在以kvm市場占有率**高，我們要深入的去學習這些原生的虛擬化，才能深入了解和架構(gòu)openstack這樣的云計算的平臺，也才更有能力去開發(fā)自己的云計算平臺。 |
|
1) 虛擬化介紹，虛擬化適用場景等等
2) Qemu Libvirt & KVM
3) 安裝KVM, Qemu, Libvirt
4) QEMU-KVM: 安裝**個能上網(wǎng)的虛擬機
5) Kvm虛擬機 nat,網(wǎng)橋基本原理
6) kvm虛擬機克隆
7) kvm虛擬機vnc配置
8) kvm虛擬機擴展磁盤空間
9) Kvm快照
10) Kvm 遷移
11) Java,python,c語言編程控制kvm
12) 構(gòu)建自己的虛擬云平臺
|
|
| 云平臺OpenStack | 在實戰(zhàn)中學習，課程絕不紙上談兵，**搭建和調(diào)試一個真實的openstack平臺，深入淺出， 詳細講解openstack的各個組成模塊：keystone, glance, nova, cinder, neutron, horizen。課程中遇到的各種實際問題，不僅演示了如何解決，更是要教會大家學會去找到解決問題的方法。難點問題全面講解。在云計算的各種技術(shù)當中，網(wǎng)絡(luò)部分是**難，也是**復雜多樣的。課程中針對虛擬網(wǎng)絡(luò)進行了詳細的講解，包括基本原理，以及實際環(huán)境搭建，問題的跟蹤和解決。講師擁有豐富的移動集團工作經(jīng)驗，負責云平臺的各方面工作，講課內(nèi)容完全貼近企業(yè)需求。 |
|
1) openstack介紹和模塊基本原理分析
2) openstack多節(jié)點安裝部署【a.采用centos6.x系統(tǒng)】
3) Keystone基本原理
4) glance
5) Cinder
6) Swift
7) Neutron
8) Openstack api 二次開發(fā)
|
|
咨詢報名電話：010-64707530 金老師
