陈老师:1415968548 郑老师:2735197625 乐老师:354331153
客服热线:
19941464235/19906632509(微信同号)

客服微信

Hadoop MapReduce大数据开发实战培训

学习人数:597 课程类型:就业培训 课时长度:3天/18 课时
立即咨询
课程介绍
课程描述:
了解hadoop的基本概念及模块架构,能搭建hadoop的各种运行环境。
能编写面向分布式数据处理需求的mapreduce处理程序。了解hadoop的生态,
并能搭建常用生态框架加速数据分析实现。

学员基础:
培训对象要求有一定的java开发基础,熟悉常用linux运维命令。
课程目标
培训目标:
介绍hadoop的发展及基本概念;
讲解hadoop的基本组成及各自架构;
搭建hadoop运行环境;
熟悉mapreduce程序开发及测试方法;
了解hadoop API;
运行并了解hadoop生态框架;
课程大纲
第1章大纲介绍
自我介绍
课程介绍
第2章 Hadoop基础概念、模块、及架构
Hadoop历史
Hadoop组成
HDFS及其架构说明
MapReduce及其架构说明
Yarn及其架构说明
hadoop生态体系介绍
总结
第3章 Hadoop运行环境搭建
基础环境环境
本地运行模式
伪分布式模式
分布式模式
准备虚拟机实例
准备分发工具
配置集群并启动
配置群起服务
配置NTP
总结
第4章 开发mapreduce程序
演示example测试代码
开发wc mr代码(基于不同的环境运行)
深入mr处理流程
基于测试的mr代码开发
介绍hadoop 开发API
数据输入/输出
总结
第5章 深入Reducer、Partitioner、Combiner
深入介绍Reducer、Partitioner、Combiner
代码演示三者关系
第6章 介绍Impala和Hive
介绍Impala和Hive
为什么使用Impala和Hive?
使用Impala和Hive查询数据
比较Impala、Hive和传统数据库
演示安装过程
演示基本操作
总结
讲师信息

陈涛

云贝教育高级讲师  资深大数据架构师

14年java技术开发和项目管理经验,先后从事于教育、互联网、金融及物流多个行业,拥有丰富的应用架构、分布式系统开发及大数据工程实践经验。并为多家银行、政府服务公司讲授分布式系统实践及大数据应用。 2009年入职19楼基础架构部,参与网站搜索引擎改造,支持整个论坛的搜索功能. 领导完成论坛安全审查项目; 2012年入职美国道富银行杭州研发中心,加入金融托管业务对账项目组,日接收数据量500万以上。 之后加入当前所在公司,公司主营互联网物流业务,目前担任技术总监,主导各项目架构及研发管理,期间主导搭建数据仓库,支持金融服务风控应用;
推荐课程

Flink大数据开发实战培训

CCA Hadoop管理员认证培训

阿里云大数据工程师(ACP)认证培训

Big Data on AWS认证培训