零基础大数据技术课程介绍

课程背景

随着云计算、大数据迅速发展， 亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企业急需引入hadoop技术人才。由于掌握hadoop技术的开发人员并不多， 直接导致了这几年hadoop技术的薪水远高于JavaEE及Android程序员。

Hadoop入门薪资已经达到了8K 以上， 工作1 年可达到1.2W 以上， 具有2-3年工作经验的hadoop人才年薪可以达到30万—50 万， 一般需要大数据处理的公司基本上都是大公司， 所以学习hadoop技术也是进大公司的捷径！

全球的数据量正在以每18个月翻一倍的惊人速度增长， 世界正在高速数字化， 大数据堪比石油， 如何掘金大数据是所有个人、企业和国家的机遇和挑战。中国是人才大国， 能理解和应用大数据的创新人才更是稀缺资源。大数据分析应用已经渗透到我们生活的方方面面， 大数据人才缺口等你来填！

如果说6年前你错过安卓， 3年前你错过I0S, 今天你还要再错过大数据吗？

课程目标

• 了解Hadoop的历史及目前发展的现状、以及Hadoop的技术特点， 从而把握分布式计算框架及未来发展方向， 在大数据时代能为企业的技术选型及架构设计提供决策参考。

• 让学员对大数据整个生态系统常用的大数据技术有清晰全面的认识， 可以独立规划及部署生产环境的Hadoop集群， 掌握Hadoop基本运维思路和方法， 对Hadoop集群进行管理和优化， 能够利用大数据技术对企业的大数据进行基本数据存储、管理、分析， 最终为企业单位创建价值。

学习方式

三种学习方式， 可根据您自身情况进行灵活选择。

• 在线点播（视频＋直播答疑＋作业＋测试）

• 在线直播（线下面授课程同步直播）

• 线下面授

培训周期

根据学习方式的不同， 培训周期也不同。

• 在线点播：时间不限， 但平台学习时间为1年， 1年后如果课程还未学完， 可根据自身情况申请延期

• 在线直播：学习周期同线下面授

• 线下面授：全日制3个月， 周末班5个月

培训对象

• 在校计算机相关专业的大学生

• 有兴趣从事大数据开发的在职工作人员

  第一阶段  大数据开发基础

课程一 大数据必知必会-JAVA负基础扫盲篇

课程介绍：简要介绍Java历史，学习掌握配置Java 环境变量，熟练掌握Java语言中八大原生数据类型和运算符的使用和注意事项，熟练掌握流程控制语句的使用，熟练掌握数组的使用．

章节1: Java环境及变量、数据类型及运算符

章节2: 选择结构

章节3: 循环结构

章节4: 循环结构进阶

章节5: 数组

课程二 大数据必知必会-Java面向对象编程

课程介绍：深入理解类和对象的概念和各自的作用及使用场景，理解封装和继承的概念，掌握方法重写的使用、访问修饰符的使用、super 、this关键字的使用，理解多态思想，熟练掌握继承和多态的结合使用，理解抽象类和接口， 掌握Java常见类库， 熟练使用Java集合、泛型及泛型集合的使用。

章节1: 类和对象、方法

章节2: 项目案例(1): 人机猜拳

章节3 项目案例(2): DVD管理系统

章节4: 封装、继承、多态

章节5: 多态、接口

章节6 项目案例(3): 劲舞团

课程三 大数据必知必会-MySQL数据库开发

课程介绍：熟悉MYSQL环境搭建及基本的错误处理和配置，掌握MYSQL数据库和表的创建、修改方法，了解数据库和表的基本结构，熟练使用DML语句对表进行CURD操作，熟悉事务的基本概念，掌握使用事务进行业务提交和回滚。能够利用SQL语句进行复杂的业务查询与处理。

章节1: 【MySQL数据库】－初始MySQL

章节2: 【MySQL数据库】- SQL进阶

章节3: 【MySQL数据库】－多表查询及存储过程

课程四 大数据必知必会-JAVA核心编程

课程介绍：掌握集合的使用方法，深入理解集合间的区别作用，理解泛型概念，熟练使用实用类如Math类、时间类解决问题，熟练使用文件类操作文件，熟练使用IO流操作文件内容，熟练使用解析器解析XML文件，通过项目利用JDBC访问数据库操作， 熟练使用多线程、网络编程，能够利用这些技术实现网络聊天系统。

章节1: Java中的异常、日期类、集合、泛型集合

章节2: Java IO流技术&XML操作

章节3: Java中利用JDBC操作数据库

章节4: 项目案例(4): 基于JDBC+MySQL实现图书管理系统

章节5: Java多线程编程基础

章节6: Java多线程高级编程

章节6: Java网络编程

课程五 数据必知必会-JAVA高级特性

课程介绍：了解反射、序列化、反序列化机制，掌握Java8语法新特性，Lambda表达式，函数式编程，Java NIO特性。熟练使用Git进行版本控制，了解如何利用GitHub开源项目，能够熟练利用Maven进行项目管理和自动化构建。

章节1: Java高级特性－反射、序列化

章节2: 项目案例：网络即时聊天系统

章节3: Git版本控制系统、Maven项目管理构建工具

章节4: 项目实战：小型商品进销存管理系统（一）

章节5: 项目实战：小型商品进销存管理系统（二）

章节6: Java8语言特性

章节7: Java8类库新特性

第二阶段  大数据开发技术

课程六 Power BI 数据分析快速上手

课程介绍：因为Hadoop是在Linux环境下开发、部署，所以掌握Linux是大数据开发的基础。本门课程详细介绍了Linux常用命令，对linux文件系统权限、网路连接、Vim编译器、定时任务达到熟练使用、熟练配置。

章节1: Linux环境及基本操作

章节2: Linux常见命令使用

章节3: Linux软件安装及Shell编程

课程七 大数据分布式基础架构- Hadoop详解

课程介绍：通过本课程能够了解大数据目前在企业中的应用场景， Hadoop 2.x是什么， 能够解决什么问题，如何学习Hadoop 2.x生态系统框架及学习的基本储备知识。且详解Hadoop 2.x中几个重组成模块，这是整个大数据平台中最为基础基本也是比较核心的东西。学习完本课程后，可以达到以下目标：

• 能了解大数据目前在企业中的应用场景， Hadoop是什么， 能够解决什么问题

• 能够自主完成Hadoop伪分布式环境搭建部署

• 能够利用分布式文件系统HDFS完成相应大数据文件处理

章节1: Hadoop介绍及伪分布式环境

章节2: MapReduce 编程及运行流程

章节3: 网站案例分析及Hadoop分布式集群环境

章节4: MapReduce Shuffle及Zookeeper框架

章节5: HDFS HA及二次排序

章节6: YARN资源管理及MapReduce Join 

课程八 大数据仓库- HIVE详解

课程介绍： Hive是建立在Hadoop 上的数据仓库基础构架。它提供了一系列的工具， 可以用来进行数据提取转化加载(ETL) , 这是一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制。Hive 定义了简单的类SQL 查询语言，称为HQL, 它允许熟悉SQL 的用户查询数据。同时，这个语言也允许熟悉MapReduce 开发者的开发自定义的mapper 和reducer 来处理内建的mapper 和reducer 无法完成的复杂的分析工作。通过本课程的学习，能够认识数据仓库Hive的优势及Hive具体使用。并通过企业实际需求分析， 讲解HiveQL 中的DDL和DML的使用， 以及常见的性能优化方案。

章节1: Hive基本架构及环境布署

章节2: Hive 常用DML 、UDF及连接方式

章节3: 案例： Sqoop Sqoop及用户行为分析案例

章节4: 案例：电商用户行为复杂分析及优化

章节5: 任务资源调度工具

课程九 大数据分布式开源数据- HBase从入门到精通

课程介绍：面对海量数据的存储及实时查询， 传统的RDBMS已经无法满足，基于HDFS之上的HBase应运而生， 每个表的数据可以达到数百万列和数十亿条， 数据存储在HDFS之上充分利用其存储优势，分布式的架构让其查询数据更加快， 绝大多数电商互联网公司都是用它。学完本课程后能够利用HBase完成海量数据的存储，能够MapReduce结合HBase完成海量数据的查询。

章节1: HBase 设计、环境及基本使用

章节2: Hbase 企业应用及与MapReduce

章节3: 案例： Hbase的设计及企业优化

课程十 大数据可视化技术： Echarts从基础到上手实战

课程介绍： ECharts, 缩写来自Enterprise Charts, 商业级数据图表，一个纯Javascript的图表库，可以流畅的运行在PC和移动设备上， 兼容当前绝大部分浏览器(IE6/7/8/9 /1 0/11,chrome, 介refox, Safari等） ， 底层依赖轻量级的Canvas类库ZRender, 提供直观， 生动，可交互，可高度个性化定制的数据可视化图表。创新的拖拽重计算、数据视图、值域漫游等特性大大增强了用户体验，赋予了用户对数据进行挖掘、整合的能力。支持折线图（区域图）、柱状图（条状图）、散点图（气泡图）、K线图、饼图（环形图） 、雷达图（填充雷达图）、和弦图、力导向布局图、地图、仪表盘、漏斗图、事件河流图等12类图表， 同时提供标题，详情气泡、图例、值域、数据区域、时间轴、工具箱等7个可交互组件， 支持多图表、组件的联动和混搭展现。大数据结合Echarts进行数据展示分析， 现在已成为越来越多大数据企业的第—选择。

章节1: 大数据可视化技术：可视化技术概述与Echarts入门

章节2: 大数据可视化技术： Echarts图表详解

章节3: 大数据可视化技术： Echarts高级与综合案例实战

 课程十一 Hadoop 项目实战

课程介绍：本课程通过—个真实的企业项目完整的演示从企业的最初需求到数据的收集、清洗、存储的全过程， 通过本项目的学习，可以让你完整的掌握大数据相关的Hadoop \Flume \ETL \MapReduce \Hive等多项技术

章节1: 大数据离线项目：企业大数据项目业务及设计

章节2: 大数据离线项目：数据采集框架Flume

章节3: 大数据离线项目： Nginx+Flume实现数据采集

章节4: 大数据离线项目： ETL的业务分析及实现(—)

课程十二 Spark从入门到上手实战

课程介绍： Spark属于新起的基于内存处理海量数据的框架， 由于其快速被众公司所青睐。Spark 生态栈框架，非常的强大， 可以对数据进行批处理、流式处理、SQL交互式处理及机器学习和Graphx图像计笢。目前绝大数公司都使用，主要在于Spark SQL结构化数据的处理， 非常的快速， 高性能。基于Spark Core之上的流式处理和结构化数据查询，已被众多公司青眯， 在企业中使用最广泛， 很多大数据公司都在将以往RDBMS和Hive中的数据处理，迁移使用Spark SQL。本课程从Scala语言开始讲起，详细讲解了Spark及相关生态圈技术。

章节1: SPARK数据分析： SCALA编程（一）

章节2: SPARK数据分析： SCALA编程（二）

章节3: SPARK数据分析： Spark Core( 一）

章节4: SPARK数据分析： Spark Core( 二）

章节5: SPARK数据分析： Spark SQL

章节6: SPARK数据分析： Spark Streaming及Kafka

章节7: SPARK数据分析：基于Java和Python的Spark编程

课程十四 实时流式计算框架- Storm技术详解

课程介绍：大数据Hadoop生态系统， 有很多框架，为了方便安装、配置及管理监控， 一个框架

Cloudera Manager诞生， 非常的方便，提供了各个框架的版本兼容及修复很多BUG, 为企业使用

提供了丰富使用的接口。此外Storm实时计算框架， 真正的实时性， 在毫秒级别处理数据。本课程

详细了介绍了Storm技术安装配置及使用。

章节1: 实时数据分析： Storm架构、环境及使用

章节2: 实时数据分析： Storm Trident使用

章节3: 实时数据分析：电商实时销售统计

第三阶段 基于Hadoop离线大数据分析平台项目实战

课程十五 大数据企业平台应用

课程介绍：本课程主要介绍了大数据企业CM平台及CDH平台， 通过学习这门课程， 可以达到以上目

标： 1、能够独立搭建大数据企业CM的安装、开发环境配置 2、能够完成基干CM的CDH的安装、

配置 3、能够利用企业大数据平台完成相关大数据业务处理。

章节1: 高薪面试：企业大数据平台(—)

章节2: 高薪面试：企业大数据平台（二）

章节3: 高薪面试：大数据面试