Day02 Hadoop简介&架构 什么是大数据? 大数据运用场景 什么是Hadoop? ★HDFS的运行机制 ★NameNode简介 ★★★NameNode节点工作机制 ★★★NataNode简介 ★★★DataNode节点工作机制 ★★★HDFS读流程 ★★★HDFS写流程 Day03 Hadoop集群安装部署 准备工作 安装Hadoop集群 Day04 HDFS常用命令&企业级API HDFS客户端操作方式介绍 ★★★HDFS常用命令(客户端) ★★★★HDFS企业级API Day05手写RPC程序&WordCount案例 手写RPC程序 WordCount案例(自己编写的Mapper类,未使用Hadoop的Mapper类) WordCount运行流程图 Day06MapReduce ★★★★★MapReduce核心编程思想 MapReduce案例 MapReduce集群模式运行 ★★★Yarn架构 ★★Hadoop数据类型 序列化与反序列化 Hadoop中的序列化 手机流量统计案例 ★★★★★MapReduce工作机制 Day07MapTask MapTask并行度与决定机制 MapTask工作机制 MapTask优化点 Day08Shuffle机制&MapReduce优化点 ★★★★★Shuffle机制 ★★★MapReduce优化点 Day09MapReduce案例 案例1:自定义分区和排序的流量统计 合并组件Combiner优化案例 案例2:订单数据分析 案例3:小文件合并(自定义InputFormat实现) 案例4:文件过滤(自定义OutPutFormat实现) 案例5:订单表&商品表合并 数据压缩