hadoop从零基础到高手,老男孩IT教育,本套课程从零起始,由浅入深,逐层深入的讲解hadoop系统架构。从hadoop集群构建,到常规hadoop集群维护管理,到hadoop的架构原理,到mapreduce的工作原理剖析,到生产环境下的故障排查与调优处理,都能够深入浅出,实操性极强,对于非常复杂深奥的底层原理,也能够轻松掌握。
本套课程绝不仅仅是操作或者告诉你如何应用,而是从底层原理出发,结合源代码彻底剖析hadoop的hadoop工作原理,其中涉及网络通信中的google protobuf串行技术与基于状态机的yarn调度框架中二次分发处理机制,基于线程池和NIO技术的底层IPC、RPC技术架构。
同时,使用UML对Mapreduce的工作流程进行建模分析,编程领域涉及MR的链式处理、多输入控制、RecordReader的任务处理、千万级传统关系型数据的高并发处理与全排序计算,数据倾斜处理,二次排序处理,团购网站中基于用户评论数据的标签生成的处理手段。生产环境下的hadoop namenode的HA配置详解与原理分析,手动、自动方式下的容灾演练,使用federation实现对namenode的负载均衡和水平扩展。 适用人群:有意想从事hadoop行业的人员