hadoop2以及各组件学习

推荐一本较为良好的书籍《hadoop海量数据处理 技术详解与项目实战》

好的资料记录:

hadoop2学习路线:

https://blog.csdn.net/cherrybomb1111/article/details/78182992

 

hdfs:

HDFS体系结构(NameNode、DataNode详解):

https://www.cnblogs.com/jackchen-Net/p/6506321.html

Hadoop Journal Node 作用:

https://blog.csdn.net/kiwi_kid/article/details/53514314

HDFS基本使用:

https://www.jianshu.com/p/454e926f919d

 

yarn资源管理+mapreduce分布式处理

https://blog.csdn.net/dongyunlon/article/details/77334891

 

zookeeper原理(深入学习):

https://blog.csdn.net/burpee/article/details/52812837

https://www.jianshu.com/p/2bceacd60b8a

(raft算法:Raft 算法是一种简单易懂的共识算法。它依靠 状态机主从同步 的方式,在各个节点之间实现数据的一致性

https://mp.weixin.qq.com/s/nVSNqK73mCYg42xChdV8IQ)

..................................................................................................................

hive原理与源码分析-服务化:LLAP、HiveServer2、MetaStore:

https://blog.csdn.net/wzq6578702/article/details/72599204?locationNum=10&fps=1

Hbase的应用场景、原理及架构分析:

https://blog.csdn.net/xiangxizhishi/article/details/75388971

Sqoop: Sqoop则为HBase提供了方便的RDBMS数据导入功能,使得传统数据库数据向HBase中迁移变的非常方便。

 

mysql(sql数据库,常用体系以及各种常用命令,索引提高搜索效率,主从高可用方案,各种锁机制)

https://mp.weixin.qq.com/s/frT3AlgX1M4bcdIbfMXpNQ           ;;;

redis(nosql数据库,常用hash结构,加载于内存速度快)     ;;;

等基础数据库知识:

“数据库开发”公众号

..................................................................................................................

安全策略①②:

① Ranger(作用:权限管理)安装配置以及和LDAP集成:

https://www.jianshu.com/p/165c2f5d4159

ldap原理以及使用:https://www.cnblogs.com/kevingrace/p/5773974.html

②Kerberos(作用:安全身份认证)原理--经典对话:

https://blog.csdn.net/dog250/article/details/5468741

 

 

如何在Spark平台搭建ThriftServer:

https://www.jianshu.com/p/36b71cdc1453

Spark(一): 基本架构及原理:

https://www.cnblogs.com/tgzhu/p/5818374.html

 

Kafka (利用topic传递消息)设计与原理详解:

https://blog.csdn.net/suifeng3051/article/details/48053965

...............................................................................................

HAProxy系列—keepalived+haproxy实现高可用负载层:

https://blog.csdn.net/u012758088/article/details/78651964
 

Ambari安装与搭建Hadoop:

https://www.jianshu.com/p/6e59df5f2461

你可能感兴趣的:(软件测试,linux,数据库,hadoop,分布式算法等)