Hadoop——day1

  • 介绍
    • java实现
    • 开发和运行处理大规模数据的软件平台
    • 使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理
    • 核心组件
      • HDFS(Hadoop Distribute File System,分布式文件系统):解决海量数据存储
      • YARN(作业调度和集群资源管理的框架):解决资源任务调度
      • MAPREDUCE(分布式运算编程框架):解决海量数据计算
    • 狭义上仅指该软件平台
    • 广义上指Hadoop生态圈
      • Hadoop——day1_第1张图片
  • HDFS
    • 海量索引文件的存储
      • 传统存储模式
        • 来数据存储数据,磁盘内存都可能不足
        • 本能反应
          • 缺什么加什么
          • 纵向扩展:多几台机器
          • 上限
          • 综上:海量数据存储使用分布式存储
      • 分布式存储查找麻烦
        • 建立数据的索引元数据:记录有哪些存储文件及它们所在的位置
      • 文件数据大导致IO耗时,浪费资源
        • 把文件切分为块(block)
      • 文件分布存储于不同机器,机器挂了怎么办?
        • 备份
        • 备份越多越安全,冗余度越高(重复性)
      • 站在客户端使用者的角度看:不需要关心文件系统的内部构造,只关系能不能存数据,能不能取数据
      • 站在文件系统内部看:一个分布式的系统,各个角色各司其职,共同完成文件的存储和读取任务
    • 设计目标
      • 故障的检测和自动快速恢复
      • 数据访问的高吞吐量
      • 支持大文件
      • 一次写入多次读取
      • 移动计算 比 移动数据 的代价低
      • 可移植性
    • 重要特性
      • 主从架构
        • 一般一个HDFS集群有一个Namenode和一定数目的Datanode组成
        • Namenode是主节点,Datanode是从节点
      • 分块存储
        • 文件切块存储,Hadoop2默认块大小为128M
      • NameSpace命名空间
        • 由Namenode负责维护
        • 抽象目录树
      • Namenode元数据管理
        • 元数据:目录结构及文件分块位置信息
      • Datanode数据存储
        • 默认存储3个
      • 副本机制
        • 保证存储数据安全性
        • 副本数包含上传文件
      • 一次写入,多次读取
    • shell命令
      • Hadoop——day1_第2张图片
      • URI格式
        • scheme://authority/path
      • Hadoop——day1_第3张图片
      • 常用命令
        • Hadoop——day1_第4张图片
      • Hadoop——day1_第5张图片
      • Hadoop——day1_第6张图片
      • Hadoop——day1_第7张图片
      • Hadoop——day1_第8张图片
      • Hadoop——day1_第9张图片
      • Hadoop——day1_第10张图片
    • 工作机制
      • Hadoop——day1_第11张图片
    • 默认3副本
      • Hadoop——day1_第12张图片
    • 上传文件流程
      • Hadoop——day1_第13张图片
      • Hadoop——day1_第14张图片
    • 下载文件流程
      • Hadoop——day1_第15张图片
      • Hadoop——day1_第16张图片
      • Hadoop——day1_第17张图片
    • namenode概述
      • Hadoop——day1_第18张图片
    • Datanode概述
      • Hadoop——day1_第19张图片
    • Hadoop——day1_第20张图片
    • 案例:每天0点操作前一天产生的的日志问价,准实时上传至HDFS集群上
      • Hadoop——day1_第21张图片
      • Hadoop——day1_第22张图片
      • Hadoop——day1_第23张图片
      • Hadoop——day1_第24张图片
      • Hadoop——day1_第25张图片

你可能感兴趣的:(hadoop)