2018-11-27 大数据学习

今天完成

1. 在阿里云上部署了hadoop和yarn的测试环境，三个节点，三个节点都部署了nodemanager和datanode服务，其中一个节点还部署了resourcemanager和namenode。部署过程参考笔记“大数据：hadoop和yarn安装”里的集群安装部分。完善了一下hadoop的部署笔记

2. 在阿里云相同的集群上部署了hbase，主节点部署了Hmaster，其他两个节点部署了regionserver。还用三个小节点部署了zookeeper服务，主机名字分别为zk000，zk001，zk002。完善了一下hbase的部署笔记。部署了spark集群，主机点部署了Master，其他两个节点部署了worker。完善了一下spark集群部署的笔记。

2.1. 晚上做测试的时候发现cpu使用率是满的，觉得很奇怪，就查看了一下进程，搜索了google。发现是一个木马，利用yarn的8088端口不需要认证就可以提交任务的漏洞来下载执行脚本，然后就在你的集群上挖矿。对，没错，是挖矿，挖虚拟货币，门罗币！最后把木马的crontab任务删除了，挖矿进程kill了，执行程序删除了，还需要将公网上的8088端口在阿里云上关闭

3. 在mooc网上看完了hbase的基础教程，感觉还可以。还看了storm的入门教程，这个教程好烂，看了等于没看

4. 了解了一下hadoop 3.0有什么新特性，比较有用的，

    1）可以配置2个以上的namenode做HA

    2）hdfs支持eraser code

    3）在新添加节点后会出现数据倾斜的情况，可以使用新的balance工具重新平衡节点的数据

将要做

1.在spark集群运行简单任务 ++

2.配置开发环境，写一下稍微复杂点的任务 +

3.了解storm，上慕课网的课程入门了解 ++， 再查阅相关文档了解其机制 --