Flume的Channel类别

  • Memory:内存通道,这个channel是将数据临时存储在内存中的,特点是读写快但是不可靠,如果考虑吞吐量,那么推荐使用Memory Channel。其常用参数有Capacity表示信道存储的最大事件数量,默认为100,建议实际工作调整为10万;transactionCapacity表示每个事务的最大事件数,默认为100,建议实际工作调整为1000~3000
  • File:文件通道,这个channel将数据临时存储在硬盘中,特点是可靠但是读写速度相对较慢,如果考虑数据的稳定性,推荐使用
  • JDBS:将数据临时存储在数据库中,理论而言其读写速度高于File但是低于Memory,这个channel的特点是只支持Derby,然而基于Derby数据库的特性在实际开发中并不常使用
  • Memory Spillable:内存溢出通道,将数据临时写到内存中,如果内存中的数据量达到指定的条目数,那么不会阻塞而是会把数据记录到磁盘中,但是这个通道到目前位置一直处于测试状态,还有投入使用,稳定性未知

你可能感兴趣的:(大数据,大数据,flume)