海量数据,数据挖掘,数据存储方法

现在对网络服务来讲,用户量是非常大的,用户信息或者其他数据也是非常巨大的,如何对海量数据进行存储,进行挖掘,进行筛选等问题,对服务器的响应效率来讲影响很大,关键要设计出良好的数据结构来存储,有良好的算法才好 

一般提供下面几个解决方案:

  1. Bloom Filter
  2. Hash
  3. Bit-Map
  4. Heap
  5. 双层桶划分
  6. 数据库索引
  7. 倒排索引(Inverted Index)
  8. 外排序
  9. Trie树
  10. MapReduce

 

 

 

 

关于这些算法的详细介绍

可以参看这篇文章,写的很不错

http://blog.redfox66.com/category/e6b5b7e9878fe695b0e68dae.aspx

你可能感兴趣的:(mapreduce,数据结构,数据库,算法,数据挖掘,存储)