大数据&Hadoop

大数据：

mysql存500-1000万条数据，无法在一定时间范围内用常规软件工具进行捕捉，管理和处理的数据集合，是海量、高增长、多样化的信息资产。

主要解决，

海量数据的存储和海量数据的分析计算问题。

特点：

大量，高速，多样，低价值密度

应用场景

旅游、仓储物流、零售、商品广告推荐、保险、金融、房产

大数据部门业务流程分析：

产品人员提出需求>数据部搭建数据平台、分析数据指标>数据可视化

大数据部门结构

大数据部门结构.PNG

1.1什么是Hadoop

• Hadoop的概念
  • 开源的，可扩展的，分布式系统基础架构
  • 允许使用简单的编程模型跨计算机集群分布式处理大数据集
  • 可扩展：从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储
  • 可靠的：不依靠硬件来提供高可用（high-availability），而是在应用层检测和处理故障，从而在计算机集群之上提供高可用服务
• Hadoop能做什么？
  • 搭建大型数据仓库
  • PB级数据的存储、处理、分析、统计等业务
    • 搜索引擎
    • 日志分析
    • 数据挖掘
    • 商业智能（BI）：通常被理解为将企业中现有的数据（订单、库存、交易账目、客户和供应商）转化为知识，帮助企业做出明智的业物经营决策的工具。从技术层面上讲，是数据仓库、数据挖掘等技术的综合运用。
• Hadoop发展史
  Hadoop三大发行版本：Apache Cloudera Hortonworks
  Google的三篇论文 GFS MapReduce BigTable

1.2 Hadoop核心组件

• Hadoop是所有引擎的共性问题的廉价解决方案
  • 如何存储持续增长的海量网页 ：单节点VS分布式存储
  • 如何对持续增长的海量网页进行排查：超算VS分布式计算
  • HDFS解决分布式存贮问题
  • MapReduce 解决分布式计算问题
• Hadoop Common: Hadoop的核心组件
• Hadoop Distributed File System（HDFS）： 分布式文件系统
  • HDFS的特点：扩展性&容错性&海量数据存储
  • 将文件切分成制定大小的数据块，并在多台机器上保存多个副本
  • 数据切分、多副本、容错等操作对用户是透明的
• Hadoop MapReduce：一个并行处理大数据集的基于YARN的系统
  • 分布式计算框架
  • MapReduce是GoogleMapReduce论文的开源实现
  • MapReduce特点：扩展性&容错性&海量数据离线处理
    
• Hadoop YARN：资源调度系统
  • 负责整个集群资源的管理和调度
  • YARN特点：扩展性&容错性&多框架统一调度

1.3 Hadoop优势

• 高可靠
  • 数据存储：数据块多副本
  • 数据计算： 某个节点崩溃，会自动重新调度作业计算
• 高扩展性
  • 存储/计算资源不够时，可以横向的线性扩展机器
  • 一个集群中可以包含数以千计的节点
  • 集群可以使用廉价机器，成本低
• 高效性
  • Hadoop是并行工作的，以加快任务完成速度
• 高容错性
  • 能够将失败的任务重新分配
• Hadoop生态系统成熟