读《Google三大论文》有感

    最近,我阅读了Google的三篇大论文,读完后,我感触颇深,

主要是两点感想。
先来说说这三大论文的主要内容吧。第一篇是Google2003年
发布的GFS(Google File System)论文,该篇主要讲述了Google
File System的组成结构一个master和大量的chunkserve,master保
存目录和索引信息,大量的chunkserver用于消除单点故障,从而提
高了整体性能。第二篇是MapReDuce论文,主要描述大数据的分布
式计算方式,通过将任务分解然后再多台处理能力较弱的计算节点
中同时处理,最后合并结果。第三篇Big Table论文,主要讲述建立于
GFS与MapReduce的Big Table可以使负载得到很好的均衡,启发许
多的数据库。
第一感悟就是今后越来越多的文件系统都将建立在GFS的基础之
上。为什么这么说呢?首先,GFS运行于廉价的普通硬件上,提供容
错功能,这会使得GFS被大众广泛使用,不需要高价的硬件就可以为
用户提供高效的服务,这种特性会得到大众的支持;其次,Google通
过使用大量的chunkserver消除单点故障,从而减少客户端与master的
交互,通常是客户端与chunkserver进行交流,现在的商务系统、工业
系统等都在追求高效实用,都不希望出现系统一个部件失效就让整个
系统无法运作的情况,故此,GFS势必被作为市场上许多文件系统运作
的基础,被后来这广泛运用。
第二感悟是分布式计算的的魅力。读完三篇论文,不难发现GFS、
MapReduce和Big Table都有一个共同点,那就是它们都采用了分布式
计算。如今,随着计算机技术的发展和广泛运用,计算机面临的计算量
也在不断地增加,要想完成大的计算量,单靠集中式计算是绝对不够的
,因为那势必要耗费大量的时间来完成。这时,分布式计算就必须挺身
而出,将大任务分解成许多小任务,并分配给多台计算机同时计算,最
后再将这些结果合并。就好比在一个小时之内完成打扫寝室的任务,不
可能所有成员都做同一件事,否则就无法应付领导检查,那么,就安排
两个同学擦窗户、两个同学扫拖地、两个刷水池、一个倒垃圾、一个帮
大家整理床铺,这样,领导一来,寝室卫生也大功告成了。分布式计算
的魅力就在于将任务分配,同时进行,大大地提升计算速度。生活中往
往存在分布式计算的影子。
总而言之,Google的三大论文为大数据算法奠定基础,势必引领时
代前进。但是,想要深层次的理解这三篇论文的意义,还必须多阅读,
多了解大数据的相关知识。

你可能感兴趣的:(读《Google三大论文》有感)