一階段 基礎(chǔ)課程（301課時）

課程內(nèi)容

課程內(nèi)容詳解

Java基礎(chǔ)課程

(189課時)

java編程語言基礎(chǔ)(35學時)

主要講解java環(huán)境變量搭建，jvm虛擬機運行原理性能參數(shù)調(diào)整，java基本數(shù)據(jù)類型，流程控制，數(shù)組應(yīng)用等。

java面向?qū)ο缶幊?70學時)

主要講解java類和對象的概念，OOP面向?qū)ο缶幊趟枷?，程序設(shè)計，構(gòu)造方法，以及面向?qū)ο笕筇匦裕惻c類之間的關(guān)系，接口、抽象類final,static等關(guān)鍵字，以及多態(tài),異常。

各種常用API（21學時）

主要講解String以及StringBuffer等。

java集合框架(28學時)

主要講解整個集合框架體系內(nèi)容，ArrayList,LinkedList，HashMap等。

I/O流技術(shù)(14學時)

主要講解I/O流基本知識，流操作的基本步驟，字節(jié)流，字符流，文件操作以及文件加密，解密，文件復制，文件拆分合并等相關(guān)知識，序列化和反序列化。

java線程以及鎖(14學時)

主要講解介紹java線程的基本操作和相關(guān)知識；了解鎖和死鎖的概念以及效果，如何建立生產(chǎn)消費者模型。

Socket網(wǎng)絡(luò)編程和分布式基礎(chǔ)原理(7學時)

主要講解介紹java基于網(wǎng)絡(luò)的一些操作和特性，以及各種協(xié)議。

關(guān)系型數(shù)據(jù)庫MySql

(42課時)

Mysql數(shù)據(jù)庫(35學時)

主要講解SQL語句相關(guān)方面的知識，數(shù)據(jù)庫的操作的基本流程,以及一些常見的企業(yè)開發(fā)中涉及到的業(yè)務(wù)方面的數(shù)據(jù)設(shè)計知識以及一些數(shù)據(jù)庫設(shè)計工具的使用；基本SQL操作（增，刪，改，查，函數(shù)，條件查詢，排序，遞歸查詢等操作），表和表之間的關(guān)系配置,以及一些常用的企業(yè)開發(fā)數(shù)據(jù)庫設(shè)計技巧,如權(quán)限管理等表結(jié)構(gòu)設(shè)計，視圖，分區(qū)，索引。

JDBC(7學時)

主要講解jdbc相關(guān)的知識，jdbc基本操作，預處理命令，批處理，jdbc緩存技術(shù)，以及jdbc封裝思想和數(shù)據(jù)庫連接池技術(shù)的開發(fā)和應(yīng)用。

Web開發(fā)課程

(35學時)

Jsp/Servlet(35學時)

主要講解一些簡單的jsp和servlet應(yīng)用， 保證學生能夠使用基本的增刪改查。

Linux操作系統(tǒng)

(35課時)

Linux簡介(4學時)

主要了解什么是操作系統(tǒng)、什么是Linux；了解Linux之前，Unix的歷史；了解GNU計劃；Linux的發(fā)展以及Linux的各個發(fā)行版本。

Linux環(huán)境搭建(4學時)

主要講解Linux安裝流程；理解Linux部署；理解Linux基本操作命令。

Linux常用命令(12學時)

主要講解磁盤操作命令；權(quán)限管理命令；文件查找命令；本機幫助命令；壓縮解壓命令；網(wǎng)絡(luò)相關(guān)命令；系統(tǒng)相關(guān)命令；vi命令。

Linux基礎(chǔ)(3學時)

主要講解Linux系統(tǒng)監(jiān)測相關(guān)命令；理解crontable的使用；掌握Linux軟件包的使用。

Linux網(wǎng)絡(luò)管理(2學時)

主要講解Linux的網(wǎng)絡(luò)配置；掌握互聯(lián)網(wǎng)的尋址流程和原理；掌握如何經(jīng)過Window遠程管理Linux服務(wù)器；掌握如何構(gòu)建FTP/SSH服務(wù)應(yīng)用；掌握如何實現(xiàn)不同系統(tǒng)平臺之間的文件共享。

Shell腳本(6學時)

主要講解Shell腳本結(jié)構(gòu)；掌握Shell變量定義；掌握Shell基本語法；掌握Shell調(diào)試。

綜合應(yīng)用實操(4學時)

主要知識點串線。

第二階段 大數(shù)據(jù)基礎(chǔ)課程（105課時）

課程名稱

課程內(nèi)容

課程內(nèi)容詳解

Hadoop課程

(91課時)

大數(shù)據(jù)的概述(7學時)

主要講解大數(shù)據(jù)歷史；大數(shù)據(jù)出現(xiàn)的原因；大數(shù)據(jù)解決的問題；大數(shù)據(jù)目前的發(fā)展狀態(tài)；大數(shù)據(jù)未來的；我們生活中各行業(yè)的大數(shù)據(jù)應(yīng)用；云計算的概念；選擇hadoop的原因；hadoop在云計算中的作用；hadoop依賴的所有技術(shù)和之前課程的聯(lián)系。

hadoop集群的搭建(17.5學時)

主要講解介紹單機版和偽分布式安裝，詳細介紹每個方式的區(qū)別，解決什么問題以及詳細的配置，并對每個配置文件做深入講解。能夠查看hadoop進程；理解hadoop啟動的整個過程。

掌握hadoop集群的搭建、HA安裝（ZK）；介紹并帶領(lǐng)學生使用hadoop的命令，操作hadoop集群文件的上傳、下載、刪除等操作；日志錯誤信息、常見的錯誤處理方式；zookeeper的介紹與安裝。

HDFS基礎(chǔ)概念介紹(7學時)

主要講解塊的概念、塊的好處、冗余備份、塊的切分；元數(shù)據(jù)概念；NameNode工作原理； DataNode工作原理；Secondary NameNode；客戶端含義；HDFS文件操作過程；元數(shù)據(jù)的持久化；什么是EditsLog和FSImage靜像文件；EditsLog和FSImage合并--Checkpoint機制；HDFS命名空間；安全模式；心跳機制；機架感知。

HDFS API案例(7學時)

主要講解案例包括上傳本地文件到HDFS；從HDFS下載文件到本地；創(chuàng)建HDFS文件；創(chuàng)建HDFS目錄；重命名HDFS文件；刪除HDFS文件；刪除HDFS目錄；查看某個文件是否存在；數(shù)據(jù)類型，writeable接口。

YARN資源調(diào)度框架介紹(7學時)

主要講解客戶端程序與ResourceManager交互；客戶端存貯封裝信息；ResourceManager調(diào)用NodeManager；NodeManager劃分資源池；ResourceManager調(diào)用MapReduce程序；執(zhí)行運算；hadoop偽分布式安裝、HA安裝，加入YARN的進程，反推理論；運行MR程序，觀察YARN在程序運行中的處理過程；hadoop1.0到2.0的變化（新加）。

Mapreduce介紹(7學時)

主要講解MapReduce產(chǎn)生背景；MapReduce官方解釋；MapReduce特點；MapReduc計算流程：inputsplit、mapper、combine、shuffle、sort、reducer；MapReduce容錯性；MapReduce推測機制；MapReduce應(yīng)用場合以及MR的整個流程的圖解。

Mapreduce案例(28學時)

主要講解經(jīng)典的MR程序，包括（計數(shù)器、InputFormat輸入格式、OutputFormat輸出格式、單詞計數(shù)程序Combiner優(yōu)化、去重編程、平均程序、數(shù)據(jù)排序、全排序、倒排序、二次排序、單表關(guān)聯(lián)、多表關(guān)聯(lián)、join連接）；排序算法，歸并排序，底層源碼分析，分區(qū)算法；講解job提交作業(yè)的流程；經(jīng)過WebUI查看log日志。

Zookeeper

（14課時）

Zookeeper介紹和安裝(3學時)

主要講解Zookeeper介紹；Zookeeper下載與安裝；Zookeeper配置。

Zookeeper集群搭建(4學時)

主要講解搭建Zookeeper集群；選舉機制及Leader測試；Zookeeper客戶端操作。

Zookeeper API客戶端開發(fā)(7學時)

主要講解Zookeeper客戶端API調(diào)用；Zookeeper類、Stat類介紹；創(chuàng)建和刪除路徑Path；ACL理解；CreateMode：創(chuàng)建模式、VERSION版本；設(shè)置數(shù)據(jù)、獲取children、Watch（觀察者）。

第三階段 分布式數(shù)據(jù)庫課程（95課時）

課程名稱

課程內(nèi)容

課程內(nèi)容詳解

HBase

(35課時)

HBase簡介(2學時)

主要講解HBase概念；掌握HBase舊版本體系結(jié)構(gòu)；掌握HBase工作原理；掌握HBase的組成；掌握HBase的容錯性；理解HBase應(yīng)用場景。

HBase環(huán)境搭建(9學時)

主要講解HBase安裝流程理論；理解HBase安裝模式理論；掌握HBase安裝及驗證理論；理解HBase基本應(yīng)用操作；了解查看HBase表內(nèi)容的幾種方式。

掌握HBase版本選擇的依據(jù)；理解HBase本地模式安裝過程；熟練HBase單機模式安裝的相應(yīng)命令；掌握Eclipse HBase開發(fā)環(huán)境搭建過程。

理解HBase偽分布式安裝流程；掌握HBase分布式安裝過程；掌握Zookeeper安裝過程；初識HBase常用Shell命令；初識HBase API的調(diào)用過程。

HBase開發(fā)入門(7學時)

主要講解HBase Shell常用基本命令；掌握HBase Shell常用表管理命令；掌握HBase Shell常用表操作命令；掌握HBase API常用表數(shù)據(jù)操作開發(fā)過程；掌握HBase API常用表管理操作開發(fā)過程；掌握新舊版本HBase API調(diào)用的差異。

HBase基礎(chǔ)API(6學時)

主要講解HBase基礎(chǔ)API的內(nèi)容及特點；理解HBase基礎(chǔ)API開發(fā)流程；掌握HBase新、舊二個版本下Put與Delete；理解原子性操作概述；理解Get方法相關(guān)理論知識；掌握常規(guī)操作：單行g(shù)et、Result類、get列表（ListCell、RawCell）、錯誤列表、獲取數(shù)據(jù)方法；掌握多版本的寫法。

HBase高級API(5學時)

主要講解Scan方法相關(guān)理論知識；掌握常規(guī)操作：指定行、ResultScanner類、按RowKey范圍取、多版本；掌握新、舊二種版本的寫法；理解過濾器相關(guān)理論知識；掌握常規(guī)操作：行、列、列名、值、分頁過濾器。

綜合應(yīng)用(6學時)

主要講解表設(shè)計相關(guān)理論知識；掌握表中列族的設(shè)計； 掌握表中RowKey設(shè)計；理解翻頁原理。

Hive

(60學時)

hive入門(7學時)

主要講解Hive產(chǎn)生的原因；理解HQL解析成MapReduce原理的工作流程；理解Hive體系結(jié)構(gòu)；理解Hive應(yīng)用場景；初步理解Hive與傳統(tǒng)數(shù)據(jù)倉庫的異同。

掌握Hive啟動過程、表內(nèi)容查看幾種方式；掌握基本Hive命令操作知識；初步理解Java經(jīng)過JDBC調(diào)用Hive的過程。

Hive環(huán)境搭建(4學時)

主要講解Hive安裝前的準備工作；理解Hive內(nèi)嵌、獨立、遠程三種安裝模式；熟練掌握Hive遠程安裝過程。

Hive管理(6學時)

主要講解HiveQL數(shù)據(jù)類型及轉(zhuǎn)換機制；理解Hive文本文件數(shù)據(jù)編碼格式；初步了解表存儲格式；熟練掌握Hive建表操作方法

熟練Java經(jīng)過JDBC調(diào)用Hive過程；了解Hive的幾中服務(wù)：Hive Shell、JDBC/ODBC、Thrift服務(wù)、Web接口。

HiveQL基本語法(3學時)

主要講解存儲格式；掌握創(chuàng)建表的語法；掌握導入數(shù)據(jù)、刪除表、修改表的操作。

HiveQL查詢(10學時)

主要講解使用正則表達式來指定列；掌握列值計算、算數(shù)運算符的使用方法；掌握函數(shù)、Limit語句的使用方法；熟練列別名、嵌套Select句式；熟練CASE-When-Then句式；When語句。

熟練Group By語句用法；熟練內(nèi)連接、左外連接、右外連接、半連接的用法；理解Map連接的用法。

掌握Order By、Sort By、Distribute By、Cluster By用法；掌握Union All語法。

高級應(yīng)用(7學時)

主要講解分區(qū)的原理和用法；掌握分桶的原理和用法；掌握視圖的原理和用法；掌握索引的原理和用法。

Hive函數(shù)(3學時)

主要講解Hive函數(shù)應(yīng)用原因；掌握調(diào)用函數(shù)的應(yīng)用過程；掌握標準函數(shù)的應(yīng)用過程；掌握聚合函數(shù)的應(yīng)用過程；掌握表生成函數(shù)的應(yīng)用過程。

Hive自定義函數(shù)(4學時)

主要講解編寫UDF的基本語法過程；掌握編寫UDAF的基本語法過程。

綜合應(yīng)用(16學時)

主要考核HiveQL基本應(yīng)用；考核分區(qū)、分桶、視圖、索引應(yīng)用；考核函數(shù)，尤其是自定義函數(shù)的應(yīng)用。

第四階段 大數(shù)據(jù)高級進階課程（207課時）

課程名稱

課程內(nèi)容

課程內(nèi)容詳解

Python

(70)學時

簡介及安裝(16學時)

主要講解Python簡介、Python開發(fā)環(huán)境搭建；Python數(shù)據(jù)類型和運算符；Python條件語句

基礎(chǔ)語法(16學時)

主要講解Python for循環(huán)、while循環(huán)；break與continue；字符串的使用、元組的定義及使用。

函數(shù)與面向?qū)ο?16學時)

主要講解Python中列表、元組、字典；函數(shù)的定義及使用；lambda匿名函數(shù)及應(yīng)用；變量的作用域；參數(shù)的傳遞、類的定義、對象創(chuàng)建；面向?qū)ο蟮姆庋b、繼承、多態(tài)。

模塊與IO(16學時)

主要講解模塊概念；模塊用法；導入模塊；IO模塊的使用；日歷模塊的使用；異常的概念及處理。

正則表達式(16學時)

主要講解正則表達式概念及應(yīng)用場景；search和match方法；正則表達式的修飾符；正則表達式的模式；正則表達式的應(yīng)用。

爬蟲之分布式爬蟲(21學時)

主要講解redis簡介；安裝測試；多機測試；scrapy_redis；簡單應(yīng)用測試；多機協(xié)作的redis。

爬蟲之反爬蟲(14學時)

主要講解反爬蟲介紹；問題的分類；順從的藝術(shù)；反爬蟲策略；爬蟲編寫注意事項。

Spark

(102課時)

spark基礎(chǔ)(7學時)

主要講解Spark 概述；Spark 生態(tài)系統(tǒng)；與MapReduce比較；體系結(jié)構(gòu)與工作原理；安裝部署及測試；spark應(yīng)用場景。

RDD (21學時)

主要講解Spark程序模型；Spark彈性數(shù)據(jù)集；RDD與共享式內(nèi)存區(qū)別；Spark算子分類及功能；Spark 核心算子介紹:aggregate、aggregateByKey、cartesian。

Spark核心算子:coalesce, repartition，fullOuterJoin

、cogroup [Pair], groupWith [Pair]、combineByKey[Pair] ，count，countByKey [Pair]、countByValue，distinct，filter，filterWith  (deprecated)、flat Map，flatMapValues，flatMapWith，fold，foldByKey。

Spark核心算子：groupBy、groupByKey [Pair]、intersection、join [Pair]、keys [Pair]、values[Pair]、leftOuterJoin [Pair]、map、mapPartitions、mapPartitionsWithIndex、mapValues [Pair]、max、min、reduce、reduceByKey [Pair]、rightOuterJoin、sample、sortBy、sortByKey、sum 、take、top、zip、zipWithIndex；RDD特性、常見操作、緩存策略；RDD Dependency、Stage。

spark工作機制(7學時)

主要講解Spark應(yīng)用執(zhí)行機制；Spark調(diào)度與任務(wù)分配模塊；容錯機制及共享變量和累加器；Lineage機制；Checkpoint機制；Shuffle機制；集成開發(fā)工具開發(fā)spark程序；web監(jiān)控圖講解。

spark編程實戰(zhàn)(7學時)

主要講解編寫wordcount程序；TopK；中位數(shù)；倒排索引；Countonce；傾斜連接等程序并經(jīng)過web監(jiān)控圖進行查看。

spark SQL(7學時)

主要講解Spark SQL概述；DataFrame及DataSet；SparkSession的使用；編程方式執(zhí)行Spark SQL查詢；sparkSQL 數(shù)據(jù)源之mysql；sparkSQL 數(shù)據(jù)源之hive；sparkSQL 數(shù)據(jù)源之json。

sparkSQL運行原理(7學時)

主要講解Spark SQL組件、架構(gòu)；DataFrame、SparkSQL運行原理；SparkSQL電商日常數(shù)據(jù)分析。

電商數(shù)據(jù)項目(14學時)

主要講解python爬蟲抓取數(shù)據(jù)；解析json數(shù)據(jù)；hive建表，數(shù)據(jù)填充；SparkSQL日常分析；數(shù)據(jù)的可視化展現(xiàn)。

SparkStreaming基礎(chǔ)(7學時)

主要講解Spark Streaming運行原理；DStream；DStream 常用函數(shù)；容錯處理；與flume和kafka的集成。

SparkStreaming案例（百度統(tǒng)計的流式實事監(jiān)控系統(tǒng)）(14學時)

主要講解nginx日志文件，flume采集；kafka的應(yīng)用；SparkStreaming 實時分析；結(jié)果寫入Mysql數(shù)據(jù)庫。

Spark MLlib(7學時)

主要講解機器學習基本認識；分類算法、聚類算法；回歸算法、決策樹和隨機森林；K近鄰算法；貝葉斯決策論；EM算法。

綜合應(yīng)用(4學時)

主要對重要知識點串線。

Flume

(14學時)

實時計算介紹和Flume基礎(chǔ)(1.5學時)

主要介紹實時計算與離線計算區(qū)別；實時技術(shù)應(yīng)用；實時分析三種框架比較；實時分析技術(shù)架構(gòu)。

Flume安裝和相關(guān)概念(2學時)

主要講解Flume安裝，event介紹； Flume Agent內(nèi)部原理； 配置Flume Agent。

source相關(guān)配置及測試 (3.5學時)

主要講解source的生命周期；source的配置；常用的幾種source的介紹以及應(yīng)用；Flume攔截器。

channel相關(guān)配置及測試 (1.5學時)

主要講解channle作用；channle事務(wù)性；channle的種類；channle配置；Channel選擇器。

sink相關(guān)配置及測試(1.5學時)

主要講解sink作用；sink的生命周期；常用的幾個sink介紹；Sink組。

復雜數(shù)據(jù)流的應(yīng)用(4學時)

主要講解多source--單channle（Fan in flow）； 單source--多channle（Fan out flow）；agent—agent。

Kafka

(21學時)

Kafka介紹(2學時)

主要講解數(shù)據(jù)的傳遞方式；消息中間件的優(yōu)勢及作用；常用的消息中間件；kafka的相關(guān)概念。

Kafka安裝(5學時)

主要講解kafka相關(guān)概念：broker、topic、生產(chǎn)者和消費者；kafka集群類型；kafka集群啟動步驟。

Kafka生產(chǎn)者和消費者(7學時)

主要講解kafka分區(qū)機制（Partition）； kafka的副本數(shù)（replication）；Kafka生產(chǎn)者API和Kafka消費者API。

flume與kafka整合(7學時)

主要講解flume與kafka整合：kafka source、Kafka Sink、Kafka Channel。

第五階段 大數(shù)據(jù)綜合實戰(zhàn)項目課程（課時）

項目名稱

項目內(nèi)容詳解

高校學生大數(shù)據(jù)分析項目(學時)

高校學生大數(shù)據(jù)分析系統(tǒng)是依托于高校數(shù)據(jù)管理平臺的高校學生行為分析系統(tǒng)。經(jīng)過對海量學生行為數(shù)據(jù)的計算和分析，建設(shè)高校完整的高校招生、教學、就業(yè)、學生學習、生活、心理的完整數(shù)據(jù)倉庫。經(jīng)過對這些數(shù)據(jù)的分析，提升學校對學生的管理和服務(wù)，教學資源合理分配，招生就業(yè)等各方面的精細化服務(wù)程度，達到學生和教學管理工作的前瞻性、精準性和持續(xù)性要求。

互聯(lián)網(wǎng)精準營銷大數(shù)據(jù)分析項目(學時)

電信預購分析系統(tǒng)是依托于電信用戶上網(wǎng)行為數(shù)據(jù)進行預購分析的系統(tǒng)。經(jīng)過對電信用戶的海量上網(wǎng)行為數(shù)據(jù)的匹配與分析，建立用戶的精準畫像，及購買行為預測。經(jīng)過這些數(shù)據(jù)的分析，提升對用戶的掌握，合理推薦業(yè)務(wù)提高電信業(yè)務(wù)擴展。經(jīng)過預購分析對外提供精準營銷的預測用戶，有效提高營銷成功率。

精準畫像對用戶進行全面的分析，主要方面：用戶狀況，用戶分群，用戶偏好等。經(jīng)過分析掌握用戶狀況對業(yè)務(wù)超包及時提醒升檔，對不同時間段提供閑忙不同業(yè)務(wù)。經(jīng)過分群劃分相同用戶，對不同群組進行差別推薦。經(jīng)過偏好推薦定制服務(wù)（游戲包，閱讀包等）。經(jīng)過更人性化的推薦，進而提升業(yè)務(wù)發(fā)展。

預購分析：對用戶購買欲望、購買偏好等進行數(shù)據(jù)建模分析。經(jīng)過基礎(chǔ)分析及模型算法分析用戶預購類別（購房，購車等），預購類型（購房：大戶型，小戶型，房屋位置等。購車：轎車，SUV，價格區(qū)間等。）。分析用戶購買欲望是否強烈，是近期購買還是先期了解等。

目標，建立良好的用戶畫像綜合體系，準確描繪用戶行為。經(jīng)過數(shù)據(jù)分析對內(nèi)提高公司總體業(yè)績；對外提供優(yōu)質(zhì)服務(wù)。