大数据相关技术

大数据集群搭建

主要基于ambari来同一管理监控集群

主要安装步骤：

准备机器，修改hostname，固定ip等

机器间免密码登录

host机器开启httpd服务，准备本地仓库

安装ambari setup

访问页面，通过ambari页面安装hdp

集群监控：

依靠ambari页面的监控，缺点：需要人为的关注平台界面

改造：通过在主节点添加各机器的服务名或端口监控，通过主程序分发到集群各机器，异常消息通过kafka推送，最后在主节点消费topic，有异常则推送邮件通知

继续升级：服务挂掉，自动重启一次，如果再失败，则邮件通知....(可以做)

集群主要的服务有：

hdfs：

主要负责数据存储，namenode负责管理元数据，datanode负责存储数据

namenode的高可用

页面访问集群的健康及存储情况

hdfs的跨机房数据同步  distcp原理

疑问：小文件合并？？

druid

一个为在大数据集之上做实时统计分析而设计的开源数据存储

不支持sql，查询需要写query.json 配置，繁琐，通过restful 调用

alluxio

drill

MapReduce

主要用于hive的批处理

MapReduce原理

MapReduce参数优化？？

yarn

资源管理

nodemanager管理

与mesos资源管理的区别

hive

第一代执行引擎：MapReduce

第二代执行引擎：hive on tez and on yarn

第三代执行引擎：hive + llap

hive 资源隔离

hive 的优化

hive数据倾斜原因，怎么解决？？

hbase

nosql数据库

详细？？

应用场景？？

zookeeper

协调集群服务，及收集服务的信息信息，记录状态信息

具体的作用？？？

kafka

最流行的消息队列，特点：吞吐量大，

与其他消息队列的比较

基于kafka的衍生产品：

confluent：

gobblin：

kafka sql

spark

语法简洁，可以用于批处理也可以用于流数据处理(streaming)

spark优化？？

flume

日志收集

sqoop

用于rdbms跟hdfs之间的数据导入导出

使用

缺点：到处扔java文件

衍生到阿里的导数工具：datax

storm

流数据处理，效率高

缺点，只负责数据计算，不负责存储

flink

使用？？

oozie调度

大数据调度平台，支持页面配置任务

缺点：调度日志显示不明显，需要后台查看

其他的大数据调度工具？？？

atlas元数据管理

没有具体了解？？

ranger权限控制

大数据平台的权限控制机制，可以管理如下服务：

hdfs plugins

hbase plugins

kafka plugins

yarn plugin

storm plugin

hive plugin

atlas plugin

kerberos安全管理

机制？？

presto插件

ambari添加repo，页面统一管理presto服务启停

基于内存的分布式查询引擎，可以查询hive和rdbms数据，速率快

管理用于 select ,drop,create table权限

缺点：语法部分不支持，支持自定义函数

kylin

预处理cube，通过提前构建度量计算，查询效率高，

本身计算基于MapReduce或者spark，不能实时构建cube查询，只能通过调度，来定时构建cube

大数据平台处理的流程介绍

采集

数据源：

mysql：主要使用了select * xxx > xxx.txt  落地文件，做好结果行数校验工作

文本：

mongo：采用mongoexport 工具导出 到文本

es：采用spark程序，来导出数据到文本

存储

主要用于hdfs存储

如何处理小文件？？

hive数据仓库存储格式的迭代：  textfile ->  rcfile -> orcfile （parquet）

三种存储格式的区别，用数据说话

计算

主要的计算方式有：

hive的 MapReduce  或者tez（主要）

spark来处理（辅助）

查询

ambari的查询平台，通过ldap用户登录管理，ranger权限管理

presto：基于yanagishima平台或者airpal平台来实现presto查询hive数据（olap）

应用

构建数据仓库

报表平台

风控平台

大数据平台待优化

资源的合理使用：避免资源闲置浪费，合理实现资源隔离 

查询缓存：统一执行入口，先从缓存数据 -> presto执行 -> mapreduce 执行

top-k缓存

数据仓库中表使用情况统计，发现潜在问题，及时昨天模型调整

欠缺的方面：

业务方面

模型设计方面

用户画像

数据分析

工作中的项目经历，以及如果做出架构规划的

大数据平台经典架构