Hadoop：是什么，如何工作，可以用来做什么

Hadoop由来

        在Google的早些时候，为了充分利用为大量结构化数据建立的索引，向用户提供有用的信息，这项技术被发明了。当时没有可以利用的解决大量数据的技术，所以他们构建了自己的平台。Google的这项技术被用到了Nutch，一个开源的项目，后来，Hadoop被独立了出来。Yahoo在hadoop被应用到企业中发挥了关键的作用

Hadoop可以解决哪些问题

       Hadoop平台解决需要计算大量数据的问题，这些数据或许是复杂的结构化数据，不能很好的存储到数据表中。你要做的分析，需要深而广泛的计算，比如集群。这正是Google在做的，为网络数据建立索引，分析用户行为，提高算法的准确性。

       Hadoop有很大的市场。在金融领域，精确评估投资组合和风险分析，建立一个复杂的模型，但是很难使用数据库引擎，Hadoop可以处理这个问题。在线零售，如果你想为用户提供更好的搜索，展示他们更可能买的商品，Hadoop可以很好地处理。这只是其中的几个例子。

如何搭建Hadoop

         Hadoop运行在多个机器上，这些机器油独立的内存和磁盘。你可以购买多个商业服务器，组成一个框架，在每个服务器上运行Hadoop软件。当你把企业数据导入到Hadoop，软件只是把数据分片到多个机器上。你不需要数据的具体的位置，Hadoop保存数据位置。并且保存多个副本。

        在以数据库系统为中心，你有很大的磁盘可以连接4个，8个甚至16个处理器。但这也只是集群能承受的了。但在Hadoop集群，每个服务器有4个或8个CPUs，你可以为每个工作建立索引，把代码分配到集群上的服务器，每个服务器独立运行某片数据，然后运行的结果整合到一起。这就是MapReduce：每个运行映射到服务器，结果归约到一个集合。

之所以能处理大量数据，Hadoop把数据分片了。能处理复杂的计算，Hadoop多个服务器并行处理。

来源： http://strata.oreilly.com/2011/01/what-is-hadoop.html