Hadoop精华问答 | hadoop能干什么？

Hadoop能够进行大批量数据的离线处理,但是在实时计算上的表现实在是不尽如人意;而Storm就可以担当这部分的角色，今天，就让我们看看关于Storm的精华问答吧。

1

Q：hadoop是什么

A：Hadoop被公认是一套行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司，如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入。

2

Q：hadoop能干什么

A：hadoop擅长日志分析，facebook就用Hive来进行日志分析，2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析；淘宝搜索中的自定义筛选也使用的Hive；利用Pig还可以做高级的数据处理，包括Twitter、LinkedIn 上用于发现您可能认识的人，可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐也是！在Yahoo！的40%的Hadoop作业是用pig运行的，包括垃圾邮件的识别和过滤，还有用户特征建模。（2012年8月25新更新，天猫的推荐系统是hive，少量尝试mahout！）

3

Q：hadoop的核心

A：1.HDFS: Hadoop Distributed File System  分布式文件系统

2.YARN: Yet Another Resource Negotiator   资源管理调度系统

3.Mapreduce：分布式运算框架

4

Q：HDFS的架构

A：主从结构

 •主节点， namenode

 •从节点，有很多个: datanode

namenode负责：

 •接收用户操作请求

 •维护文件系统的目录结构

 •管理文件与block之间关系，block与datanode之间关系

datanode负责：

        •存储文件

  •文件被分成block存储在磁盘上

  •为保证数据安全，文件会有多个副本

Secondary NameNode负责：

  合并fsimage和edits文件来更新NameNode的metedata

5

Q：Hadoop的特点

A：扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。

成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。

高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。

可靠性（Reliable）：hadoop能自动地维护数据的多份副本，并且在任务失败后能自动地重新部署（redeploy）计算任务。

小伙伴们冲鸭，后台留言区等着你！

关于Hadoop，今天你学到了什么？还有哪些不懂的？除此还对哪些话题感兴趣？快来留言区打卡啦！留言方式：打开第XX天，答：……

同时欢迎大家搜集更多问题，投稿给我们！风里雨里留言区里等你~

福利

1、扫描添加小编微信，备注“姓名+公司职位”，加入【云计算学习交流群】，和志同道合的朋友们共同打卡学习！

2、公众号后台回复：白皮书，获取IDC最新数据白皮书整理资料！

推荐阅读：

• 搞不懂SDN？那是因为你没看这个小故事…
  

• 不让华为收专利费？美议员提案“秀下限”

• 华为最强自研 NPU 问世，麒麟 810 “抛弃”寒武纪

• 北邮通信博士万字长文，带你秒懂 4G/5G 区别！

• LinkedIn最新报告: 区块链成职位需求增长最快领域, 这些地区对区块链人才渴求度最高……

• 中文NLP的分词真有必要吗？李纪为团队四项任务评测一探究竟 | ACL 2019

• 6月技术福利限时免费领

真香，朕在看了！