搭建日志组件链

正常来说 ，数据的原点是日志file ，数据的终点是HDFS，为了让数据流起来 ，如何跨越重重网络和机器的阻碍 到达 终点 是很多人锁考虑的，为了 离线或者实时处理数据计算，我们需要对 组建日志 系统有一个清晰的认识，
比如 1. kafka --->flume---->HDFS---->SPARK streaming
或者2. flume--->kafka --->Spark streaming --->HDFS
第一种可以用作实时 或者离线，第二种主要用作实时处理
这中间 可能还会有 什么 redis 或者 MongoDB 一些Nosql 数据，我们就要看这些Nosql数据到底是想存储为主还是计算为主，存储的话就是往 Hdfs上发，计算的话就是往 Spark Streaming上发送