大数据 其他

Flume

流式日志采集工具

功能

1.收集采集日志
2.定制采集数据

架构

1.source: 接收数据量
2.channal: 起到筛选作用,缓存数据量
3.sink: 写入数据量

Kerberos

用于安全认证,验证信息是否被串改,登录包的合法性

认证流程

1.客户端发送一条认证指令到达AS(认证服务器),该认证指令中,包含了用户名和密码相关信息,服务器在收到后会查到对应后台记录数据库,然后核实用户身份和权限信息,之后反馈给用户认证通过的表示,TGT(票据授权票据,有效期12h)
2.客户端收到TGT后,马上会携带自己的TGT和自己的用户名密码相关认证信息,发送给TGS(票据授权服务器),TGS收到请求后会马上进行验证,反馈给客户端一个ST(服务票据,有效期5min)
3.客户端马上会带着ST访问对应的hadoop中的服务,进行相关的操作

LDAP

作为用户数据存储中心,存储了集群内用户的信息,包含密码、附属信息等

ZooKeeper

保护高层组件和自己的安全性
1.分布式地分布在一组机器中
2.所有节点存储整份数据
3.在启动时选举出Leader
4.Leader使用原子广播将数据同步到所有其他节点
5.严格的顺序访问控制
6.不会部分读写

名词索引

WAL(Write Ahead Log)

先行写入日志

OSD

对象存储设备

MDS

元数据服务器

你可能感兴趣的:(大数据 其他)