主要内容：框架层面的调优、业务经验
一、Hadoop
1、Hadoop基准测试(HDFS的读写性能、MapReduce的计算能力测试)
(1)测试内容：文件上传下载的时间
(2)服务器有几个硬盘插槽
2/4块
问题：2块4T和一块8T的哪个贵
2块4T的贵，可靠性更高一些
(3)加了磁盘，默认情况下不会直接能够使用
需要负载均衡，保证每个目录数据均衡
开启数据均衡命令：
bin/start-balancer.sh –threshold 10：集群中各个节点的磁盘空间利用率相差不超过10%
均衡了差不多，就需要杀掉此进程bin/stop-balancer.sh
2、HDFS参数调优
线程池：调整NN和DN之间的通信：处理与datanode的心跳(报告自身的健康状况和文件恢复请求)和元数据请求
dfs.namenode.handler.count=20 * log2(Cluster Size)
3、yarn的参数调优
(1)服务器节点上YARN可使用的物理内存总量，默认是8192(MB)
(2)单个任务可申请的最多物理内存量，默认是8192(MB)
NN、DN、shuffle的默认大小为1G
4、HDFS和硬盘使用控制在70%以下
5、Hadoop宕机
MR造成系统宕机：调整上述yarn的参数
写入文件过量造成NameNode宕机
6、集群资源分配参数
集群有30台机器，跑mr任务的时候发现5个map任务全都分配到了同一台机器上
解决方案：yarn.scheduler.fair.assignmultiple 这个参数 默认是开的，需要关掉https://blog.csdn.net/leone911/article/details/51605172
资源充沛，可以调大，资源部充沛，调小一点
7、HDFS 小文件
combiner
consequenceFile……
8、数据倾斜
MR：打散、聚合
二、Flume
1、调整内存
默认是2000，接近于2000，生产环境下调到4-6G
flume-env.sh修改
2、FileChannel优化
在不同的挂载硬盘上配置多目录，增大Flume吞吐量
3、Sink：HDFS Sink小文件处理
hdfs.rollInterval、hdfs.rollSize、hdfs.rollCount
4、Ganglia监控
发现flume的问题
发现put尝试提交的次数大于最终成功的次数
或take拉取。。。
三、kafka
1、压力测试/测试吞吐量
测试生产速度(最快600m/s 实际20m/s)和消费速度(取决下级消费者【flume1000-3000event/s和spark Streaming读取的速度】)
2、默认内存调整
默认1G，最大可以调到6G(不能超过6G)
3、Kafka数量
2 * 峰值生产速度(m/s)* 副本数 / 100 + 1 = ?
4、数据量计算
每天数据总量100g(1亿条) 10000万/24/60/60 = 1150条/s
平均每秒钟：1150条
低谷每秒：100条
高峰每秒钟：1150 * 200 = 220000 条
每条日志大小： 1K左右
每秒多少数据量：1m/s 峰值20MB
5、挂了、丢了、重复了、积压
6、优化
压缩---消费者能够解压缩☆
数据保存时间，默认7天，调整为3天
计算线程=cpu+1
IO线程=cpu*2
零拷贝技术、顺序读写、分布式集群、分区(提高并发度)--为什么吞吐量大、效率高、是怎么保证的？
四、Hive
1、自定义UDF和UDTF解析和调试复杂字段
2、Hive优化、数据倾斜(map join、group by)
什么时候发生：join类型不同、空值【随机打散、负载均衡】
3、现场手写HQL☆ 30个指标一定会
五、MySQL
1、高可用
Keepalived或者用mycat配置，从而实现元数据备份
2、utf8超过字节数
UTF-8只能存储3个字节
当数据中存在表情号、特色符号时会占用超过3个字节数的字节，那么会出现错误 Incorrect string value: '\xF0\x9F\x91\x91\xE5\xB0...'
解决办法：将utf8修改为utf8mb4
六、sqoop
1、数据导出Parquet
Ads层数据用Sqoop往MySql中导入数据的时候，如果用了orc(Parquet)不能导入，需转化成text格式
(1)创建临时表，把Parquet中表数据导入到临时表，把临时表导出到目标表用于可视化
(2)Sqoop里面有参数，可以直接把Parquet转换为text
(3)ads层建表的时候就不要建Parquet表，直接创建textFile
2、空值问题
Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，为了保证数据两端的一致性。在导出数据时采用--input-null-string和--input-null-non-string两个参数。导入数据时采用--null-string和--null-non-string
3、一致性问题
因为在导出数据的过程中map任务可能会失败，可以使用—staging-table –clear-staging
任务执行成功首先在tmp临时表中，然后将tmp表中的数据复制到目标表中
4、导出时一次执行的时间
凌晨30分开始执行，Sqoop任务40-50分钟。取决于数据量
flume不能提前导
七、Azkaban
1、每天集群运行多少指标?
100-200个离线指标
100：没有活动时
200：搞活动时、周末、新产品上线
2、任务挂掉怎么办
通常凌晨30分时执行azkaban，会发邮件(普通级别)、打电话(重要任务)
打开电脑，通过VPN远程连接公司电脑，检查是那台任务挂了，并重新执行该任务
yarn(任务队列分等级)：比如新产品、新市场、活动618
八、Spark【必问优化】
1、Spark OOM、数据倾斜解决
