大数据相关组件介绍及安装部署

一、 Apache Sqoop

1、sqoop介绍：Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。
 
 Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。

Hadoop生态系统包括：HDFS、Hive、Hbase等
RDBMS体系包括：Mysql、Oracle、DB2等
Sqoop可以理解为：“SQL 到 Hadoop 和 Hadoop 到SQL”。

2、 sqoop安装
      安装sqoop的前提是已经具备java和hadoop的环境。
      配置文件修改：

cd $SQOOP_HOME/conf
mv sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh
export HADOOP_COMMON_HOME=/export/servers/hadoop-2.7.5
export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.7.5
export HIVE_HOME=/export/servers/hive

加入mysql的jdbc驱动包
cp/hive/lib/mysql-connector-java-5.1.32.jar $SQOOP_HOME/lib/

验证启动
bin/sqoop list-databases
–connect jdbc:mysql://localhost:3306/
–username root --password hadoop

本命令会列出所有mysql的数据库。
到这里，整个Sqoop安装工作完成

二、 日志采集框架Flume

概述：
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。

Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种 形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中。
 一般的采集需求，通过对flume的简单配置即可实现。
 Flume针对特殊场景也具备良好的自定义扩展能力，
因此，flume可以适用于大部分的日常数据采集场景

Flume安装部署：
Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境

tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz -C /export/servers/
cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/conf
cp flume-env.sh.template flume-env.sh

vim flume-env.sh
export JAVA_HOME=/export/servers/jdk1.8.0_141

三、Azkaban调度器

Azkaban介绍：
Azkaban是由linkedin（领英）公司推出的一个批量工作流任务调度 器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

Azkaban安装部署：

1. 解压配置
   进入自己节点存放压缩包的目录如：
   mkdir/export/servers/azkaban
   解压
   tar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz –C /export/servers/azkaban/
   配置相关文件
   vim conf/azkaban.properties 内容如下：
   default.timezone.id=Asia/Shanghai （修改时区）

   vim plugins/jobtypes/commonprivate.properties
   添加：memCheck.enabled=false
   azkaban默认需要3G的内存，剩余内存不足则会报异常

   启动验证
   cd azkaban-solo-server-0.1.0-SNAPSHOT/
   bin/start-solo.sh
   注:启动/关闭必须进到azkaban-solo-server-0.1.0-SNAPSHOT/目录下。
   

   ##四、Apache Hue介绍
   Hue是什么？
   HUE=Hadoop User Experience
   Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。
   通过使用Hue，可以在浏览器端的Web控制台上与Hadoop集群进行交互，来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等等。

   Hue能做什么？
   访问HDFS和文件浏览
   通过web调试和开发hive以及数据结果展示
   查询solr和结果展示，报表生成
   通过web调试和开发impala交互式SQL Query
   spark调试和开发
   Pig开发和调试
   oozie任务的开发，监控，和工作流协调调度
   Hbase数据查询和修改，数据展示
   Hive的元数据（metastore）查询
   MapReduce任务进度查看，日志追踪
   创建和提交MapReduce，Streaming，Java job任务
   Sqoop2的开发和调试
   Zookeeper的浏览和编辑

Hue的安装
1． 上传解压安装包
cd /export/servers/
tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz

2． 编译初始化工作（ 联网安装各种必须的依赖包）

yum install -y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus- sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make openldap-devel python-devel sqlite-devel gmp-devel

3．Hue初始化配置
cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini
内容如下：

#通用配置
[desktop]
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn http_host=node01
is_hue_4=true
time_zone=Asia/Shanghai
server_user=root
server_group=root
default_user=root
default_hdfs_superuser=root
#配置使用mysql作为hue的存储数据库,大概在hue.ini的587行左右
[[database]]
engine=mysql
host=node01
port=3306
user=root
password=Hadoop
name=hue

创建mysql中Hue使用的DB
create database hue default character set utf8 default collate utf8_general_ci;

编译Hue
cd /export/servers/hue-3.9.0-cdh5.14.0
make apps
编译成功之后，会在hue数据库中创建许多初始化表。

启动Hue、Web UI访问
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor
第一次访问的时候，需要设置超级管理员用户和密码。记住它。

若想关闭Hue ,直接在窗口ctrl+c即可。