hadoop 1

hadoop能解决哪些问题
1, 海量数据需要及时分析和处理
--新浪微波有人发了一条反_动的帖子,公_安_部命令需要在5分钟内找到该人。 在上百个G的

日志文件/ETS中查找,一般的方式无法做到【java n线程乱跑?】。

2, 海量数据需要深入分析和挖掘
--添加一个人,会自动弹出你可能会认识的人,他们之间都是通过日志来得到的。

3, 数据需要长期保存

----
一般的环境中的问题
磁盘IO瓶颈 特别是JAVA上的
网络带宽
硬件故障


-----
阿里 淘宝 盛大
360  京东  百度 广告类公司  yahoo 华为云计算 facebook 公_安_部

----------
用java编写的开源系统
Nutch搜索引擎里面的一个模块
-----------
和google对比
google  mapreduce  GFS  Bigtable
hadoop  mapreduce  HDFS Hbase

Hbase  Nosql数据库 最大化利用内存
HDFS   磁盘分布系统  最大化利用磁盘
MapReduce   编程模型  最大化利用CPU

-------








你可能感兴趣的:(hadoop)