大数据的解决方案--------NoSQL和Hadoop

NoSQL是近年来发展非常迅速的一项技术，它的核心就是非结构化。我们一般使用的数据库（SQL数据库）都是需要先将表的结构定义出来，一个表有几个字段，每个字段各是什么类型，然后才能往里面按照相应的类型保存数据，而且按照数据库范式的规定，一个字段只能保存单一的信息，不可以包括多层内容，这就对使用的灵活性带来了很大的制约，NoSQL就是突破了这些条条框框，可以非常灵活的进行操作，另外因为NoSQL通过多个快存储数据的特点，其操作大数据的速度也非常快，这些特征正是现在的互联网程序最需要的，所以NoSQL发展非常快。现在NoSQL主要使用在互联网的程序中，在企业业务系统中使用的还不多，而且现在NoSQL还不是很成熟，但由于灵活性和高效的特性，NoSQL发展的前景是非常好的。

—- Hadoop是专门针对大数据处理的一套框架，随着近年来大数据的流行Hadoop也水涨船高，出世不久就红得发紫。Hadoop对数据的存储和处理都提供了相应的解决方案，底层数据的存储思路类似于分布式数据库的分布加集群的方案，不过Hadoop是将同一个表中的数据分成多个快保存到多个节点（分布式），而且每一块数据都有多个节点保存（集群）这里的集群除了可以并行处理相同的数据，还可以保存数据的稳定性，在其中的节点出现问题后数据不会丢失，这里的每个节点都不包含一个完整的表的数据，但是一个节点可以保存多个表的数据，结构如图：

— Hadoop对数据的处理是先对每一块的数据找到相应的节点并进行处理，然后再对每一个处理的结果进行处理，最后生成最终结果。比如，要查找符合条件的记录，Hadoop的处理方式是先找到每一块中符合条件的记录，然后再将所有获取到的结果合并到一起，这样就可以将同一个查询分到多个服务器处理，处理的速度也就快了，这一点传统的数据库是做不到的。