课程名称

《大数据技术在企业中的实际应用》

课程简介

    这是一门讲解工业界的大数据处理相关的实际案例干货的课程，课程内容丰富，详细讲解了主流的离线和实时等大数据技术，最后将各项技术融合使用完成一个工业界的真实项目案例。可以帮助你快速系统的掌握前沿实用大数据技术原理、应用场景、使用方法。
      本课程从大数据处理的入门基础讲起，循序渐进，不断进阶，每一个课程都以案例驱动的方式进行，所有案例全部来自于工业界的互联网场景典型案例，让学员通过真实的案例和应用掌握大数据处理技术。所有随课程代码和虚拟机均会提供给学员进行实操。

面向人群

1、高校老师想学习研究大数据技术
  2、想要将大数据应用于实践教学中高校领导及相关讲师
  3、想了解大数据技术及整个行业体系及教学内容的高校领导
  4、想要知道如何把大数据技术如何更好，更系统传达给学员的高校任教讲师

学习收益

1、熟练掌握大数据框架的部署与使用
  2、掌握互联网行业大数据场景的分析思路与处理方法
  3、熟练掌握基于Hadoop生态系统的大数据相关技术框架的原理和实践应用，包括HDFS、Yarn、MapReduce、Zookeeper、Hive、Flune、Kafka、Spark、SparkStreaming、SparkSQL、Scala、数据可视化工具等
  4、通过真实项目实践，能够系统快速的掌握大数据技能

培训方式

面授

课程名称

《人工智能（机器学习/深度学习）应用开发实战》

课程简介

    近年来，机器学习开发工程师岗位的需求非常大，越来越多侧重于应用开发实战需求的岗位应运而生，90%的岗位技能需要掌握机器学习、深度学习一门或两门框架技术，本次培训侧重于机器学习的算法基础了解以及算法的pytihon代码实现和TensorFlow框架的应用。通过对现在主流的TensorFlow框架的学习，从而达到利用Python代码结合框架再结合算法解决实际人工智能/机器学习进行业务分析分析预测的目的。每次课程都会通过实际案例的讲解与演练，让学员轻松掌握机器学习应用开发的常见知识与相关技巧，从而达到快速上手的目的。

面向人群

1、高校老师想学习研究人工智能/机器学习/深度学习应用开发技术。
  2、想要将人工智能相关技术应用于实践教学中高校领导及相关讲师。
  3、想了解人工智能相关技术及整个行业体系及教学内容的高校领导。
  4、想要知道如何把人工智能相关技术如何更好，更系统传达给学员的高校任教讲师

学习收益

1、了解掌握大数据平台的快速部署与使用。
  2、掌握互联网行业人工智能结合大数据场景的分析思路与处理方法。
  3、熟练掌握基于Hadoop生态系统的大数据相关技术框架的原理和实践应用，包括Hadoop、Spark、SparkLib、TensorFlow框架等。
  4、通过真实项目实践，能够系统快速的掌握大数据+人工智能的具体应用技能。

培训方式

面授

日期

模块主题

模块内容

实战案例

day01

大数据概述与Hadoop生态圈

1、大数据时代、概念、应用及行业现状
  2、Hadoop生态圈技术框架介绍
  3、大数据学习方法及学习路线
  4、大数据基础环境准备

实战演示：
  基于VMWare虚拟机安装CentOS6.x的64位Linux操作系统和快速搭建准备环境

Hadoop原理与集群搭建

1、分布式架构、数据存储和计算概念
  2、Hadoop发展历程及企业应用
  3、HDFS设计原理和核心概念详解
  4、HDFS高可用实现原理
  5、Yarn基本框架原理和容错性

实战演示：
  Hadoop集群搭建、HDFS shell常用管理命令操作、运行大数据经典程序WordCount

MapReduce原理与编程实践

1、HDFS文件写入读取流程和数据完整性
  2、YARN作业提交运行过程详解
  3、YARN内置作业调度器详解
  4、MapReduce原理、特性
  5、MapReduce编程模型详解

实战演示：编程环境搭建、编写第一个MapReduce程序

day02

Hive离线数据处理

1、Hive配置、安装、常用操作
  2、Hive支持的数据类型、内置常用函数、文件格式
  3、Hive数据定义与操作
  4、Hive SQL查询
  5、自定义UDF函数
  6、基于某号店用户数据进行分析演练

实战演示：
  针对电商商品推荐、广告点击推广和订单物流追踪进行分析统计，以便推荐分类

基于Fulm和Kafka数据采集系统

1、Sqoop大数据转换框架使用
  2、Flume架构设计与应用场景
  3、Flume内置组建详解
  4、Kafka架构设计与应用场景
  5、企业Kafka使用案例分享

实战演示：
  Flume实时收集日志数据到HDFS,Kafka配置部署及Kafka   Producer API使用

大数据编程语言Scala基础

1、Scala语言介绍、环境搭建
  2、变量、数据类型
  3、函数定义、缩写、高阶函数和匿名函数
  4、Scala集合（List、Map、Array、Tuple）

实战演示：
  函数式编程实例WordCount

Spark程序设计与企业级应用案例

1、Spark运行模式介绍
     Spark运行组件构成，spark运行模式（local、standalone、mesos/yarn等）
  2、Spark开发环境构建
     集成开发环境选择，亲手演示spark程序开发与调试，spark运行
  3、常见transformation与action用法
     介绍常见transformation与action使用方法，以及代码片段剖析
  4、常见控制函数介绍

实战演示：
  电影受众分析系统包括：背景介绍，数据导入，数据分析，常见spark transformation和action用法在线演示

day03

Spark SQL程序设计与企业级应用案例

1、Spark SQL是什么和Spark SQL基本原理
  2、Spark Dataframe与DataSet
  3、Spark SQL程序设计
     a、如何访问MySQL、HDFS等数据源，如何处理parquet格式数据
     b、常用的DSL语法有哪些，如何使用
     c、Spark SQL调优技巧

实战演示：
  阿里天池大赛之口碑商家客流量预测实战分析

Spark Streaming程序设计应用案例

1、Spark Streaming原理及应用场景
  2、Spark Streaming程序设计
  3、Spark优化经验
  4、Spark集成Kafka实时数据统计分析
  5、NoSQL的内存数据库Rdeis介绍使用

实战演示：
  仿天猫双十一实时订单销售额统计分析

Spark Mllib及企业级案例

1、Spark Mllib简介
  2、数据表示方式
  3、Mllib中的聚类、分类和推荐算法
  4、如何使用Mllib的算法
  5、分布式海量NOSQL数据库Hbase使用

实战演示：
  信用卡欺诈检测系统

Spark综合案例：简易电影推荐系统

1、背景介绍
  2、什么是Lambda architecture
  3、利用HDFS+Spark Core+Mllib+Redis构建批处理线
  4、利用Kafka+Spark streaming+Redis构建实时处理线
  5、整合批处理和实时处理线

实战演示：
  简易电影推荐系统

大数据回顾总结

1、大数据框架分类概述
  2、企业大数据平台Cloudera的CDH和Hortonworks的HDP产品介绍说明
  3、企业大数据采集架构演变和技术更替
  4、一线互联网公司如何实现大数据平台架构分享
  5、提问、探讨、总结

日期

模块主题

模块内容

实战案例

day01

算法原来实现篇：机器学习十大经典算法原理与实现

1、决策树算法原理与适用场景
  2、随机森林算法原理与适用场景
  3、逻辑回归算法原理与适用场景
  4、SVM算法原理与适用场景
  5、朴素贝叶斯算法原理与适用场景
  6、K最近邻算法原理与适用场景
  7、K均值算法原理与适用场景
  8、Adaboost算法原理与适用场景
  9、神经网络算法原理与适用场景
  10、马尔可夫算法原理与适用场景

Python+tensonflow演示算法实现

day02

框架篇：tensonflow框架简介经典案例应用

1、编程模型简介和其他深度学习框架的对比
  2、编译及安装
  3、底层API实现
  4、实现线性回归模型
  5、Tensonflow实现softmaxRegression识别手写数字
  6、数据集介绍、基本原理介绍
  7、softmax实现、完整案例编程

实战演示：
  基于tensonflow的新闻阅读及个性化推荐系统

day03

项目篇：基于tensonflow深度学习实现的人脸识别系统

本课程为利用卷积神经网络实现人脸识别的实战课程，考虑到学员的不同需求，本课程采用循序渐进的方法，先介绍深度学习框架（Tensonflow）的基础知识，然后用Tensonflow实现一个不用激活函数的简单的神经网络、然后实现一个带激活函数的多层感知器算法、最后介绍卷及神经网络架构及原理，最后通过人脸识别实际案例，具体演示如何构建一个人脸识别模型。
      本课程设计Tensonflow、Python基础知识、神经网络原理、卷积神经网络架构及原理，同时包括对深度学习整个过程的详细说明及代码实现，具体包括获取数据、预处理数据、构建卷积神经网络涉及的变量、各层级等、训练模型、测试模型、优化模型、并对结果进行可视化，同时对中间过程的关键环节进行可视化等

实战演示：
  神经网络（多层）项目实战
  卷积神经网络—人脸识别项目实战案例