大数据-HDFS文件块大小的设置

  • HDFS中的文件在物料上是分块存储,块的大小可以通过配置参数dfs.blocksize来规定,默认大小再Hadoop2.X版本中是128M,Hadoop1.X版本中是64M
  • HDFS的块设置太小,会增加寻址时间,程序一直在找块的开始位置
  • HDFS的块设置太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序再出来这块数据时非常慢

总结:
HDFS块的大小设置主要取决于磁盘传输速率,即机器性能

你可能感兴趣的:(大数据)