数据摄取

  Amazon Kinesis:大规模数据流的实时处理;

  Apache Chukwa:数据采集系统;

  Apache Flume:管理大量日志数据的服务;

  Apache Kafka:分布式发布-订阅消息系统;

  Apache Sqoop:在Hadoop和结构化的数据存储区之间传送数据的工具;

  Cloudera Morphlines:帮助 Solr、HBase和HDFS完成ETL的框架;

  Facebook Scribe:流日志数据聚合器;

  Fluentd:采集事件和日志的工具;

  Google Photon:实时连接多个数据流的分布式计算机系统,具有高可扩展性和低延迟性;

  Heka:开源流处理软件系统;

  HIHO:用Hadoop连接不同数据源的框架;

  Kestrel:分布式消息队列系统;

  LinkedIn Databus:对数据库更改捕获的事件流;

  LinkedIn Kamikaze:压缩已分类整型数组的程序包;

  LinkedIn White Elephant:日志聚合器和仪表板;

  Logstash:用于管理事件和日志的工具;

  Netflix Suro:像基于Chukwa 的Storm和Samza一样的日志聚合器;

  Pinterest Secor:是实现Kafka日志持久性的服务;

  Linkedin Gobblin:LinkedIn的通用数据摄取框架;

  Skizze:是一种数据存储略图,使用概率性数据结构来处理计数、略图等相关的问题;

  StreamSets Data Collector:连续大数据采集的基础设施,可简单地使用IDE。

转载于:https://my.oschina.net/KK8FVfXw/blog/740274

你可能感兴趣的:(大数据,数据库,数据结构与算法)