HDFS文件块大小

  • HDFS中的文件在物理上是分块存储(block),块的大小可以通过配置参数来规定,默认大小在hadoop2.x版本中是128 M,老版本中是64M
    – 如果寻址时间约为10ms,即查找到目标block的时间维10ms
    – 寻址时间为传输时间的1%时,则为最佳状态。
    – 目前磁盘的传输速率普遍为100MB/s
为什么块的大小不能设置太小,也不能设置太大?

(1)、HDFS的快设置太小,会增加寻址时间,程序一直在找块的开始位置
(2)、如果块设置的太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时,会非常慢。

  • HDFS块的大小设置取决于磁盘传输速率

你可能感兴趣的:(HDFS,hadoop)