尚硅谷大数据技术之高频面试题7.9.docx
- 136****8189个人认证 |
- 2020-05-25 发布|
- 24.72 MB|
- 208页
尚硅谷大数据技术之高频面试题
—————————————————————————————
PAGE 24 尚硅谷大数据技术之高频面试题
—————————————————————————————
尚硅谷大数据技术之高频面试题
(作者:尚硅谷大数据研发部)
版本:V7.9
尚硅谷大数据研发部
目录 TOC \o "1-3" \h \z \u 第1章 项目涉及技术 12 1.1 Linux&Shell相关总结 12 1.1.1 Linux常用命令 12 1.1.2 Shell常用工具 12 1.2 Hadoop相关总结 12 1.2.1 Hadoop常用端口号 12 1.2.2 Hadoop配置文件以及简单的Hadoop集群搭建 12 1.2.3 HDFS读流程和写流程 13 1.2.4 MapReduce的Shuffle过程及Hadoop优化(包括:压缩、小文件、集群优化) 14 1.2.5 Yarn的Job提交流程 17 1.2.6 Yarn的默认调度器、调度器分类、以及他们之间的区别 17 1.2.7 项目经验之LZO压缩 18 1.2.8 Hadoop参数调优 19 1.2.9 项目经验之基准测试 19 1.2.10 Hadoop宕机 19 1.2.11 Hadoop解决数据倾斜方法 19 1.3 Zookeeper相关总结 20 1.3.1 选举机制 20 1.3.2 常用命令 20 1.4 Flume相关总结 21 1.4.1 Flume组成,Put事务,Take事务 21 1.4.2 Flume拦截器 21 1.4.3 Flume Channel选择器 22 1.4.4 Flume监控器 22 1.4.5 Flume采集数据会丢失吗?(防止数据丢失的机制) 22 1.4.6 Flume内存 22 1.4.7 FileChannel优化