1.0数据采集与预处理概述

数据采集的概念：

数据采集的ETL 工具负责将分布的、异构数据源中的不同种类，和结构的数据如文本数据、关系数据以及图片、视频等非结构化数据等抽取到临时中间层后进行 清洗、转换、分类、集成 ，最后加载

到对应的数据存储系统如 数据仓库 中，成为 联机分析处理 、数据挖掘的基础。

数据采集来源：

根据MapReduce 产生数据的应用系统分类，大数据的采集主要有四种来源：管理信息系统、web信息系统、物理信息系统、科学实验系统。

(1)管理信息系统

管理信息系统是指企业、机关内部的信息系统，如事务处理系统、办公自动化系统，主要用于经营和管理，为特定用户的工作和业务提供支持。数据的产生既有终端用户的始输人，也有系统的二次加工处理。系统的组织结构上是专用的，数据通常是结构化的。

(2) Web信息系统

web信息系统包括互联网上的各种信息系统，如社交网站、社会媒体、系统引擎等，主要用于构造虚拟的信息空间，为广大用户提供信息服务和社交服务。系统的组织结构是开放式的，大部分数据是半结构化或无结构的。数据的产生者主要是在线用户。

3）物理信息系统

物理信息系统是指关于各种物理对象和物理过程的信息系统，如实时监控、实时检测，主要用于生产调度、过程控制、现场指挥、环境保护等。系统的组织结构上是封闭的，数据由各种嵌入式传感设备产生，可以是关于物理、化学、生物等性质和状态的基本测量值，也可以是关于行为和状态的音频、视频等多媒体数据。

4）科学实验系统

科学实验系统实际上也属于物理信息系统，但其实验环境是 预先设定的，主要用于研究和学术，数据是有选择的、可控的， 有时可能是人工模拟生成的仿真数据。数据往往表现为具有不同形式的数据。

数据采集方法：

①系统日志采集方法

很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如Hadoop的Chukwa、Cloudera 的Flume、 Facebook 的Scribe 等这些工具均采用分布式架构，能满足每秒数百MB 的日志数据采集和传输需求。

②网络数据采集方法

对非结构化数据的采集网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息，该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。 除了网络中包含的内容之外，对于网络流量的采集可以使用DPI或DFI等带宽管理技术进行处理。

③其他数据采集方法

对于企业生产经营数据或学科研究数据等保密性要求较高的数据，可以通过与企业、研究机构合作或授权的方式，使用特定系统接口等相关方式采集数据。

fiume系统日志环境的搭建

Flume是Cloudera提供的一个 高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统 ，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方 （可定制）的能力。

主要功能： 实时读取服务器本地磁盘的数据，将数据写入到HDFS上。

Flume的一些核心概念:

 

Ø Client：Client生产数据，运行在一个独立的线程。

Ø Event： 一个数据单元，消息头和消息体组成。 （Events可以是日志记录、 avro 对象等。）

Ø Flow： Event从源点到达目的点的迁移的抽象。

Ø Agent： 一个独立的Flume进程，包含组件Source、 Channel、 Sink。 （ Agent使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个 agent中包含多个sources和sinks。）

Ø Source： 数据收集组件。（source从Client收集数据，传递给Channel）

Ø Channel： 转Event的一个临时存储，保存由Source组件传递过来的 Event。（Channel连接 sources 和 sinks ，这个有点像一个队列。）

Ø Sink： 从Channel中读取并移除Event， 将Event传递到FlowPipeline中的下一个Agent（如果有的话）（Sink从Channel收集数据，运行在一个独立线程。）

Agent：

Flume 运行的核心是 Agent 。 Flume 以 agent 为最小的独立运行单位。 一个 agent 就是一 个JVM 。它是一个完整的数据收集工具，含有三个核心组件，分别是 source 、 channel 、 sink。通过这些组件， Event 可以从一个地方流向另一个地方，如上图图所示。

Source

Source是数据的收集端，负责将数据捕获后进行特殊的格式化，将数据封装到事件（event） 里，然后将事件推入Channel中。 Flume提供了很多内置的Source， 支持 Avro， log4j， syslog 和 http post(body为json格式) 。可以让应用程序同已有的Source直接打交道，如 AvroSource，SyslogTcpSource。 如果内置的Source无法满足需要， Flume还支持自定义Source。

 

Channel

Channel是连接Source和Sink的组件 ，可以将它看做 一个数据的缓冲区（数据队列） ，它可以 将事件暂存到内存中也可以持久化到本地磁盘上 ， 直到Sink处理完该事件。介绍两个较为常用的Channel， MemoryChannel和FileChannel。

 

Sink

Sink 从Channel中取出事件，然后将数据发到别处，可以向文件系统、数据库、hadoop存数据， 也可以是其他agent的Source 。在日志数据较少时，可以将数据存储在文件系统中，并且设定一定的时间间隔保存数据。

 

两个重要的概念：

Flume拦截器和Flume数据流

1.Flume拦截器

当我们需要对数据进行过滤时，除了我们在Source、 Channel和Sink进行代码修改之外， Flume为我们提供了拦截器， 拦截器也是chain形式的 。 拦截器的位置 在Source和Channel之间 ，当我们为Source指定拦截器后， 我们在拦截器中会得到event，根据需求我们可以对event进行保留还是抛弃， 抛弃的数据不会进入Channel中。

2.Flume数据流

1）Flume 的核心是 把数据从数据源收集过来，再送到目的地 。为了保证输送一定成功，在送到目的地之前

，会 先缓存数据，待数据真正到达目的地后，删除自己缓存的数据 。

2） Flume 传输的数据的基本单位是 Event ，如果是文本文件，通常是一行记录，这也是 事务的基本单位。

Event 从 Source，流向 Channel，再到 Sink，本身为一个 byte 数组，并可携带 headers 信息。 Event 代 表着一个数据流的最小完整单元，从外部数据源来，向外部的目的地去 。

 

3. Flume的可靠性

Sink 必须 在 Event 被存入 Channel 后 ，或者， 已经被传达到下一站 agent里 ，又或者， 已经被存入外部数据目的地之后 ，才能把 Event 从 Channel 中 remove 掉。这样 数据流里的 event 无论是在一个 agent 里还 是多个 agent 之间流转，都能保证可靠，因为以上的事务保证了 event 会 被成功存储起来 。