UQI-LIUWJ
UQI-LIUWJ

Hadoop 原理介绍

1 文件系统和分布式文件系统

1.1 文件系统

  • 文件系统：一种存储和组织数据的方法
    • 实现了数据的存储、分级组织、访问、获取等操作
    • 使得用户对文件的访问和查找更容易
  • 使用树形目录的抽象概念代替了硬盘等物理设备中数据块的概念
    • ——>用户不必关系数据底层存在硬盘的哪里（物理位置），只需要知道这个文件的所属路径（逻辑位置）即可

1.1.1 传统文件系统

  • 单机文件系统
    • 底层不会横跨多台机器
    • 带有抽象的目录树结构，树都是从根目录开始向下蔓延
      • 树中节点：目录or文件
      • 从根目录开始，各节点路径唯一

1.2 数据 & 元数据

  • 数据：存储内容本身
    • 最终存在磁盘等存储介质上
  • 元数据
    • 解释性数据（记录数据的数据）
      • eg，文件大小、最后修改时间、属性、权限。。。

1.2.1 元数据记录

Hadoop 原理介绍_第1张图片

 1.2.2 分块存储+元数据记录

一个文件存在多个机器上

Hadoop 原理介绍_第2张图片

 1.2.3 副本机制+分块存储+元数据记录

  • 一个文件的一部分的副本存在多台机器上
    • 冗余存储
    • 防止万一一台机器坏了数据无法恢复

Hadoop 原理介绍_第3张图片

2 Hadoop 核心组件

  • HDFS（hadoop distributed file system）
    • 分布式文件存储系统
    • ——>解决海量数据存储     
  •  YARN
    • 集群资源管理和任务调度框架
    • ——>解决资源调度问题（整个集群多个程序同时执行，如何分配集群资源？）
  • MapReduce
    • 分布式计算框架
    • ——>解决海量数据计算

2.1 HDFS

  • 横跨多台计算机的存储系统
  • 使用统一的访问接口，像访问普通文件系统一样使用分布式文件系统

Hadoop 原理介绍_第4张图片

 Hadoop 原理介绍_第5张图片

 2.1.1 设计目标

  • 硬件故障
    • ——>故障检测+自动快速恢复
  • 流式读取数据
    • ——>批处理数据，并非用户交互式处理
    • ——>相较于数据访问的反应时间（访问文件的延迟会很高），更注重数据访问的高吞吐量

2.1.2 一次写入多次读取（write-one-read-many）

  • 数据一旦创建、写入、关闭后不需要修改
    • HDFS不支持文件的直接编辑修改
    • ——>简化了数据一致性问题，使得高吞吐量的数据访问成为可能

2.1.3 应用场景

Hadoop 原理介绍_第6张图片

 2.1.4 主角色 NameNode

  • 维护和管理文件系统元数据
    • 名称空间目录树结构
    • 文件和块的位置信息
    • 访问权限
    • ——>仅储存元数据，不存储实际数据
  • ——>NameNode 是访问HDFS的唯一入口
  • NameNode 内部通过内存和磁盘文件两种方式管理元数据
    • 内存：
      • 交互和查找快
      • 但是一旦断电，数据就丢失了
    • 磁盘文件定期进行合并持久化，来保证元数据安全
    • 磁盘上的元数据包括：
      • Fsimage内存元数据镜像文件
      • edits log (Journal)编辑日志
  • NameNode不会持久化存储每个文件中各个块所在的DataNode的位置信息
    • 断电了就没有了
    • 重启之后需要从DataNode重建
      • ——>DataNode会将自己注册到NameNode，并汇报自己持有的块列表
  • NameNode所在机器需要配置大量内存
  • NameNode是Hadoop集群中的单点故障
    • ​​​​​​​单点故障：一个软件由多个模块组成，当中一个模块出问题导致了整体出问题

     

Hadoop 原理介绍_第7张图片

 2.1.5 从角色 DataNode

  • 负责具体的数据块存储
  • DataNode的数量决定了HDFS集群的整体数据存储能力
    • 扩容集群——扩容DataNode数量
  • 某个DataNode关闭时，不会影响数据的可用性
    • 默认DataNode是3副本冗余存储
    • NameNode会安排由其他DataNode管理的块进行副本复制
  • DataNode所在机器通常需要配置有大量的硬盘空间（大磁盘），因为实际数据存储在DataNode中Hadoop 原理介绍_第8张图片

 2.1.6 主角色辅助角色 SecondaryNameNode

  • NameNode的辅助节点，但是不能替代NameNode（不是NameNode的备份）
  • 帮助主角色进行元数据文件的合并操作
    • Hadoop 原理介绍_第9张图片

2.1.7 HDFS写数据流程

  • 管道Pipeline
    • HDFS上传文件写数据时采用的一种数据传输方式
      • 冗余储存的多个副本，怎么写入？

         

        • ——>客户端将数据块写入第一个数据节点
        • ——>第一个数据节点保存数据之后再将数据块复制到第二个数据节点
        • ——>第二个数据节点保存数据之后再将数据块复制到第三个数据节点
        • （水流一样一次向下传递）
        • Hadoop 原理介绍_第10张图片
      • 为什么是采用pipeline线性传输，而不是客户端一次给三个DataNode拓扑式传输？
        • 数据以pipeline的方式，顺序地沿着一个方向传输的话，可以充分利用每台机器的带宽，避免网络瓶颈和高延迟连接
          • ——>最小化写入所有数据的延时
  • ACK 应答相应
    • ack ——acknowledge character

       

      • 确认字符
      • 数据通信的时候，接收方给发送方一种传输类字符，表示发送的数据已经确认无误
      • Hadoop 原理介绍_第11张图片
    • 在HDFS pipeline传输数据的过程中，传输的反方向会进行ACK校验，以保证数据传输准确+安全
      • 两两之间的校验
  • 默认3副本存储策略
    • 由BlockPlacementPolicyDefault决定
      • 第一块副本：优先客户端本地，否则随机
      • 第二块副本：不同于第一块副本的不同机架（rack）
      • 第三块副本：和第二块副本相同机架的不同机器
      • Hadoop 原理介绍_第12张图片 

Hadoop 原理介绍_第13张图片 

 2.2 MapReduce

Hadoop 原理介绍_第14张图片

 2.2.1 Map

  • Map
    • 拆分，把复杂的任务分解成若干个简单的子任务来并行处理
      • 多个进程、多个机器
    • 可以进行拆分的前提是这些小任务可以并行计算，且彼此之间几乎没有依赖关系
    • Hadoop 原理介绍_第15张图片

2.2.2 Reduce

  • Reduce
    • 合并
    • 对map阶段的结果进行全局处理
    • Hadoop 原理介绍_第16张图片 

 2.2.3 Shuffle

  •  MapReduce的核心
    • 频繁涉及数据在内存、磁盘之间的多次往复
      • map完每个切片写到内存缓冲区、内存缓冲区数据Spill溢出到磁盘
      • reduce：copy数据现在内存，merge到磁盘
  • 这里的shuffle更像是“洗牌”的逆过程：将map端的无规则输出按照指定的规则“打乱”成具有一定规则的数据
    • ——>作用是方便reduce端处理
  • 一般把Map产生输出之后，到Reduce取得数据作为输入之前的过程称为shuffle

Hadoop 原理介绍_第17张图片

        Shuffle中的大部分步骤在Map和Reduce中都提到

2.3 YARN

2.3.0 介绍

  • Yet Another Resource Negotiator，另一种资源协调者
    • 另一种Hadoop资源管理器
      • 资源指的是集群的硬件资源：比如内存、CPU等【磁盘不归YARN管，由HDFS管】
    • 为上层应用提供统一的资源管理和调度
      • 不仅支持MapReduce，理论上支持各种计算程序（比如Spark） 
      • ——>通用、可迁移

2.3.1 组件​​​​​​​

  •  Yarn 3大组件
    • ​​​​​​​集群物理层面的组件（搭建机器必须要有的）
      • ​​​​​​​ResourceManager
        • ​​​​​​​YARN集群的主角色
        • 决定系统中所有应用程序之间资源分配的最终权限、
        • 接受用户（客户端Cient）的作业提交，通过NodeManager分配，管理各个机器上的计算资源
      • NodeManager
        • ​​​​​​​YARN集群的从角色
        • 一台机器一个，负责管理本机器上的计算资源
        • 根据ResourceManager 的命令，启动Container容器，监视容器的资源使用情况；同时向ResourceManager汇报资源使用情况
        • 程序运行完之后：释放容器，回收资源
    • APP层面的组件
      • ​​​​​​​​​​​​​​ApplicationMaster
        • ​​​​​​​用户（客户端）提交的每一个程序都需要包含一个ApplicationMaster
        • 负责程序内部各阶段的资源申请，监督程序的执行情况
          • ​​​​​​​​​​​​​​——>AM进程是任何程序在YARN上运行启动的第一个进程
  • 其他组件
    • ​​​​​​​Client：提交程序，让YARN给分配资源
    • Container容器：一台机器上硬件资源的抽象
      • ​​​​​​​​​​​​​​容器之间逻辑上是互相隔离的
      • 一个程序运行完之后将容器释放掉

2.3.2 流程

Hadoop 原理介绍_第18张图片

 2.3.3 资源调度器Scheduler

  • 根据一定的策略为应用程序分配资源
  • Hadoop提供三种调度器
    • FIFO 先进先出
      • Hadoop 原理介绍_第19张图片
      • 劣势：优先级无法调整，高优先级的程序需要等待
    • Capacity 容量（默认）
      • Hadoop 原理介绍_第20张图片
      • 集群划分不同的队列
        • 队列A专门提交大程度，队列B专门提交小程序
          • 如有需要，在队列中继续划分子队列

                     各个程序提交到指定队列上

            • Hadoop 原理介绍_第21张图片
      • —》多个组织共享整个集群资源，各获得集群的一部分计算能力，互不干扰
      • 缺点：假如当下全都是小程序，那么队列A就会一直空着
    • Fair 公平
      • Hadoop 原理介绍_第22张图片
        • eg：有两个用户A和B，每个用户都有自己的队列
          • 一开始A用户启动一个作业，由于没有B用户的需求，所以A用户分配了集群所有可用的资源
          • 过一会儿B用户启动了一个作业，此时A用户的作业还在运行
            • ——>经过一段时间的资源分配，A,B各自作业都使用了一半的资源
          • 再过一会儿B用户开始了第二个作业，那么B用户的两个作业共享B用户的资源，A用户继续拥有自己的 一半资源

       

3 Hadoop 集群

  • Hadoop集群主要包括两个集群
    • HDFS集群
      • 分布式存储
      • 包含三个组成部分：主角色（NameNode,NN）、从角色（DataNode,DN）、主角色辅助角色（SecondaryNameNode.SNN）【角色是各自独立的进程】
    • YARN集群
      • 资源管理与调度
      • 包括两个组成成分：主角色（ResourceManager,DM）、从角色（NodeManage,NM）【角色是各自独立的进程】
  • 两个集群都是标准的主从架构

Hadoop 原理介绍_第23张图片

  •  两个集群逻辑上分离、物理上在一起
    • 逻辑上分离：两个集群之间互相没有依赖、进程互不影响
    • 物理上在一起：两个集群的进程都部署在同一台机器上

3.1 HDFS 集群

4 Hadoop 命令

4.1 多种文件系统

  • HDFS shell 命令行支持操作多种文件系统
    • 本地文件系统： 
      • hadoop fs -ls file:///
    • 分布式操作系统 
      • hadoop fs -ls hdfs://node1:8020/

4.2 主要命令

和linux很像

创建文件夹 
hadoop fs -mkdir [-p] (path)

-p:沿着路径创建父路径
查看指定目录下内容 
hadoop fs -ls [-h][-R] (path)

-h 人性化显示

-R 递归查看
上传文件 
hadoop fs -put [-f] [-p] (localsrc)  (dst)

-f 覆盖目标文件（如果已存在）

-p 保留访问和修改时间
查看文件 
hadoop fs -cat (src)

读取指定文件全部内容，显示在标准输出控制台

！！对于大文件内容读取，需要慎重！！
下载文件 
hadoop fs -get [-f] [-p] (src) (localdst)

-f 覆盖目标文件（如果已存在）

-p 保留访问和修改时间
拷贝 
hadoop fs -cp [-f] (src) (dst)

-f 覆盖目标文件（如果已存在）
追加数据到HDFS 
hadoop fs -appendToFile (localsrc) (dst)

这个是linux命令中没有的

将所有给定本地文件的内容追加到给定dst文件（尾部）

如果dst文件不存在，那么创建该文件

如果localsrc为-，那么从标准输入中获取
数据移动 
hadoop fs -mv (src) (dst)

参考内容：01-课程内容大纲学习目标_哔哩哔哩_bilibili

你可能感兴趣的:(计算机其他,hadoop,大数据,hdfs)

  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • Cell Insight | 单细胞测序技术又一新发现，可用于HIV-1和Mtb共感染个体诊断 尐尐呅
    结核病是艾滋病合并其他疾病中导致患者死亡的主要原因。其中结核病由结核分枝杆菌（Mycobacteriumtuberculosis,Mtb）感染引起，获得性免疫缺陷综合症（艾滋病）由人免疫缺陷病毒（Humanimmunodeficiencyvirustype1,HIV-1）感染引起。国家感染性疾病临床医学研究中心/深圳市第三人民医院张国良团队携手深圳华大生命科学研究院吴靓团队，共同研究得出单细胞测序
  • ArcGIS栅格计算器常见公式（赋值、0和空值的转换、补充栅格空值） 研学随笔 arcgis经验分享
    我们在使用ArcGIS时通常经常用到栅格计算器，今天主要给大家介绍我日常中经常用到的几个公式，供大家参考学习。将特定值（-9999）赋值为0，例如-9999.Con("raster"==-9999,0,"raster")2.给空值赋予特定的值（如0）Con(IsNull("raster"),0,"raster")3.将特定的栅格值(如1)赋值为空值，其他保留原值SetNull("raster"==
  • 网易严选官方旗舰店，优质商品，卓越服务 高省_飞智666600
    网易严选官方旗舰店是网易旗下的一家电商平台，以提供优质商品和卓越服务而闻名。作为一名SEO优化师，我将为您详细介绍网易严选官方旗舰店，并重点强调其特点和优势。大家好！我是高省APP最大团队&联合创始人飞智导师。相较于其他返利app，高省APP的佣金更高，模式更好，最重要的是，终端用户不会流失！高省APP佣金更高，模式更好，终端用户不流失。【高省】是一个自用省钱佣金高，分享推广赚钱多的平台，百度有几
  • 探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchaineasyui前端python
    #探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
  • 在一台Ubuntu计算机上构建Hyperledger Fabric网络 落叶无声9 区块链超级账本Hyperledgerfabric区块链ubuntu构建hyperledgerfabric
    在一台Ubuntu计算机上构建HyperledgerFabric网络Hyperledgerfabric是一个开源的区块链应用程序平台，为开发基于区块链的应用程序提供了一个起点。当我们提到HyperledgerFabric网络时，我们指的是使用HyperledgerFabric的正在运行的系统。即使只使用最少数量的组件，部署Fabric网络也不是一件容易的事。Fabric社区创建了一个名为Cello
  • GitHub上克隆项目 bigbig猩猩 github
    从GitHub上克隆项目是一个简单且直接的过程，它允许你将远程仓库中的项目复制到你的本地计算机上，以便进行进一步的开发、测试或学习。以下是一个详细的步骤指南，帮助你从GitHub上克隆项目。一、准备工作1.安装Git在克隆GitHub项目之前，你需要在你的计算机上安装Git工具。Git是一个开源的分布式版本控制系统，用于跟踪和管理代码变更。你可以从Git的官方网站（https://git-scm.
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • 其二 十八尾喵
    你知道吗？图片发自App我今天知道了你有喜欢的人，不是我。心空空的，整个人都不是我的了。可，怎么办？还是要好好的活着，毕竟你喜欢的人，我不能杀，可是我可以杀其他喜欢你的人呀！也罢，此生无缘，来世再见。鱼干
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 简介Shell、zsh、bash zhaosuningsn Shellzshbashshelllinuxbash
    Shell是Linux和Unix的外壳，类似衣服，负责外界与Linux和Unix内核的交互联系。例如接收终端用户及各种应用程序的命令，把接收的命令翻译成内核能理解的语言，传递给内核，并把内核处理接收的命令的结果返回给外界，即Shell是外界和内核沟通的桥梁或大门。Linux和Unix提供了多种Shell，其中有种bash，当然还有其他好多种。Mac电脑中不但有bash，还有一个zsh，预装的，据说
  • Python中深拷贝与浅拷贝的区别 yuxiaoyu.
    转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
  • 厉国刚：新闻学与传播学到底有何区别 微观大道
    厉国刚：新闻学与传播学到底有何区别头几天，有人在知乎上问我：新闻学与传播学到底有何区别。他是一位想要跨专业考研的学生，对新闻传播学学科可谓了解甚少，甚至一头雾水，想要让我帮他解释解释。在研究生学硕层面，新闻传播学是一级学科，分成新闻学、传播学这两个二级学科。有些高校，还自设了广告学、出版发行学等其他二级学科，但从官方角度，新闻传播学一级学科下，正统的就是那两个二级学科。招生时，一般会按一级学科招，
  • ES聚合分析原理与代码实例讲解 光剑书架上的书 大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
    ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
  • Shell、Bash、Zsh这都是啥啊 小白码上飞 bashlinux开发语言
    Zsh和Bash都是我们常用的Shell，那先搞明白啥是shell吧。Shell作为一个单词，他是“壳”的意思，蛋壳坚果壳。之所以叫壳，是为了和计算机的“核”来区分，用它表示“为使用者提供的操作界面”。所以这个命名其实很形象，翻译成中文，直译过来叫“壳层”。个人认为这个叫法很奇怪，意译貌似也没有什么好的词汇来匹配。就还是叫shell吧。维基百科给的定义是：Incomputing,ashellisa
  • ExpRe[25] bash外的其它shell：zsh和fish tritone ExpRebashlinuxubuntushell
    文章目录zsh基础配置实用特性插件`autojump`语法高亮自动补全fish优点缺点时效性本篇撰写时间为2021.12.15，由于计算机技术日新月异，博客中所有内容都有时效和版本限制，具体做法不一定总行得通，链接可能改动失效，各种软件的用法可能有修改。但是其中透露的思想往往是值得学习的。本篇前置：ExpRe[10]Ubuntu[2]准备神秘软件、备份恢复软件https://www.cnblogs
  • 简单了解 JVM 记得开心一点啊 jvm
    目录♫什么是JVM♫JVM的运行流程♫JVM运行时数据区♪虚拟机栈♪本地方法栈♪堆♪程序计数器♪方法区/元数据区♫类加载的过程♫双亲委派模型♫垃圾回收机制♫什么是JVMJVM是JavaVirtualMachine的简称，意为Java虚拟机。虚拟机是指通过软件模拟的具有完整硬件功能的、运行在一个完全隔离的环境中的完整计算机系统（如：JVM、VMwave、VirtualBox）。JVM和其他两个虚拟机
  • 关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解 秋刀prince mysqlmysql数据库
    提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
  • 【从浅识到熟知Linux】Linux发展史 Jammingpro 从浅学到熟知Linuxlinux运维服务器
    归属专栏：从浅学到熟知Linux个人主页：Jammingpro每日努力一点点，技术变化看得见文章前言：本篇文章记录Linux发展的历史，因在介绍Linux过程中涉及的其他操作系统及人物，本文对相关内容也有所介绍。文章目录Unix发展史Linux发展史开源Linux官网企业应用情况发行版本在学习Linux前，我们可能都会问Linux从哪里来？它是如何发展的。但在介绍Linux之前，需要先介绍一下Un
  • 数据结构 | 栈和队列 TT-Kun 数据结构与算法数据结构栈队列C语言
    文章目录栈和队列1.栈：后进先出（LIFO）的数据结构1.1概念与结构1.2栈的实现2.队列：先进先出（FIFO）的数据结构2.1概念与结构2.2队列的实现3.栈和队列算法题3.1有效的括号3.2用队列实现栈3.3用栈实现队列3.4设计循环队列结论栈和队列在计算机科学中，栈和队列是两种基本且重要的数据结构，它们在处理数据存储和访问顺序方面有着独特的规则和应用。本文将详细介绍栈和队列的概念、结构、实
  • 如何培养兴趣 绽蕊向阳
    今天读李笑来的书《与时间做朋友》，读到有关兴趣部分，深有感触。书中提到，好多人说对某事没有兴趣，实际上是没有能力把这件事做好，做这件事时的感受很不好，有挫败感，每个人对自己不擅长做不好的事情，都本能的容易逃避，所以就以为自己对这件事不感兴趣，他们真正感兴趣的是其他事情。可事实上，出现这种感觉应该仅仅是因为还没有开始做那件事情，也还没有在那件事情上遭受挫折而已。其实，很多人真的放弃原来做的事情，转去
  • 戴容容 中原焦点团队.网络初级第33期,坚持分享第19天 2022年3月9日 TessDai
    《每个人眼中的世界都是不同的》“一千个人眼里有一千个哈姆雷特”世界是多元的,每个人都有自己的道理,人人按照自己的理解去看待这个世界的人和物.我们如此,其他人也是如此.因此,任何事情,我们要放下自己以为的真理,去理解他人认为的真理,只有同频方能共振.孩子在慢慢长大的过程中慢慢学会独立,甚至对抗.尤其当孩子处于青春期的时候,他们开始有很多自己独立的想法,和一些特立独行的做法,家长常常会觉得不可思议,觉
  • 系统架构设计师 需求分析篇二 AmHardy 软件架构设计师系统架构需求分析面向对象分析分析模型UML和SysML
    面向对象分析方法1.用例模型构建用例模型一般需要经历4个阶段：识别参与者：识别与系统交互的所有事物。合并需求获得用例：将需求分配给予其相关的参与者。细化用例描述：详细描述每个用例的功能。调整用例模型：优化用例之间的关系和结构，前三个阶段是必需的。2.用例图的三元素参与者：使用系统的用户或其他外部系统和设备。用例：系统所提供的服务。通信关联：参与者和用例之间的关系，或用例与用例之间的关系。3.识别参
  • 每时每刻都是开始2019-03-09 Action熊猫
    过去有多少想了无数遍要做的，但实际并没有做到的。以没时间，或其他种种自己认为可以接受的理由，看着一天走啦，一月去啦，又是一年。最后笑一笑，新年不是来了吗！重新开始...如果在过去的365天里，每次醒来，都没能开始，那新年来了，又如何呢？何不把人生的每时每刻都作为起点，不等待，不期盼，不自欺，让每时每刻都在开始中...。
  • 2022-02-15 百味人生摆渡人
    习惯她和他在谈恋时，就吵架，有时吵的还很厉害，不像其他恋人，恋爱期间有说不完的情话，享受不尽的温情，珍惜在一块的每一分每一秒。分手也分了无数次，不知怎的，就是没有分开。不见面时，特想见面，见了面时，说不了几句，又就开始吵，吵的次数多了，连他们自己也说不清值不值得吵，为什么吵。她妈妈说，这孩子从小就性格倔强。他爸爸说，这孩子从小就性格固执。想想其实也没什么大事。为吃什么吵为穿什么吵为说什么吵……日子
  • android 更改窗口的层次,浮窗开发之窗口层级 Ms.Bu android更改窗口的层次
    最近在项目中遇到了这样的需求：需要在特定的其他应用之上悬浮自己的UI交互(拖动、输入等复杂的UI交互)，和九游的浮窗类似，不过我们的比九游的体验更好，我们越过了很多授权的限制。浮窗效果很多人都知道如何去实现一个简单的浮窗，但是却很少有人去深入的研究背后的流程机制，由于项目中浮窗交互比较复杂，遇到了些坑查看了很多资料，故总结浮窗涉及到的知识点：窗口层级关系(浮窗是如何“浮”的)？浮窗有哪些限制，如何
  • 计算机木马详细编写思路 小熊同学哦 php开发语言木马木马思路
    导语：计算机木马（ComputerTrojan）是一种恶意软件，通过欺骗用户从而获取系统控制权限，给黑客打开系统后门的一种手段。虽然木马的存在给用户和系统带来严重的安全风险，但是了解它的工作原理与编写思路，对于我们提高防范意识、构建更健壮的网络安全体系具有重要意义。本篇博客将深入剖析计算机木马的详细编写思路，以及如何复杂化挑战，以期提高读者对计算机木马的认识和对抗能力。计算机木马的基本原理计算机木
  • 06选课支付模块之基于消息队列发送支付通知消息 echo 云清 学成在线javarabbitmq消息队列支付通知学成在线
    消息队列发送支付通知消息需求分析订单服务作为通用服务，在订单支付成功后需要将支付结果异步通知给其他对接的微服务，微服务收到支付结果根据订单的类型去更新自己的业务数据技术方案使用消息队列进行异步通知需要保证消息的可靠性即生产端将消息成功通知到服务端：消息发送到交换机-->由交换机发送到队列-->消费者监听队列，收到消息进行处理，参考文章02-使用Docker安装RabbitMQ-CSDN博客生产者确
  • 基于STM32的汽车仪表显示系统：集成CAN、UART与I2C总线设计流程 极客小张 stm32汽车嵌入式硬件物联网单片机c语言
    一、项目概述项目目标与用途本项目旨在设计和实现一个基于STM32微控制器的汽车仪表显示系统。该系统能够实时显示汽车的速度、转速、油量等关键信息，并通过CAN总线与其他汽车控制单元进行通信。这种仪表显示系统不仅提高了驾驶的安全性和便捷性，还能为汽车提供更智能的用户体验。技术栈关键词微控制器：STM32显示技术：TFTLCD/OLED传感器：速度传感器、温度传感器、油量传感器通信协议：CAN总线、UA
  • 淘陶居老袁藏品 东海堂
    【造像艺术】文化遗产•汉地木造像的区域特征、古代精品造像欣赏。。。。。。（来源：蠢牛/颜旭茂）原创2016-06-12作者：作者：蠢牛（颜旭茂）木造像的地位一直挺尴尬的。国外大型博物馆的木造像基本都是宋元以前的，明代只藏极品。国内也就故宫、国博和上博有能力弄几尊宋木，山西省博貌似只有一尊顶级的明代菩萨能拿得出手，其他木雕大省的博物馆再怎么也应当展示些明清木雕吧，总比同时代那什么坛坛罐罐更有艺术性。
  • rust的指针作为函数返回值是直接传递，还是先销毁后创建？ wudixiaotie 返回值
     这是我自己想到的问题，结果去知呼提问，还没等别人回答， 我自己就想到方法实验了。。 fn main() { let mut a = 34; println!("a's addr:{:p}", &a); let p = &mut a; println!("p's addr:{:p}", &a
  • java编程思想 -- 数据的初始化 百合不是茶 java数据的初始化
      1.使用构造器确保数据初始化      /* *在ReckInitDemo类中创建Reck的对象 */ public class ReckInitDemo { public static void main(String[] args) { //创建Reck对象 new Reck(); } }
  • [航天与宇宙]为什么发射和回收航天器有档期 comsci
           地球的大气层中有一个时空屏蔽层,这个层次会不定时的出现,如果该时空屏蔽层出现,那么将导致外层空间进入的任何物体被摧毁,而从地面发射到太空的飞船也将被摧毁...        所以,航天发射和飞船回收都需要等待这个时空屏蔽层消失之后,再进行 &
  • linux下批量替换文件内容 商人shang linux替换
    1、网络上现成的资料 　　格式: sed -i "s/查找字段/替换字段/g" `grep 查找字段 -rl 路径` 　　linux sed 批量替换多个文件中的字符串 　　sed -i "s/oldstring/newstring/g" `grep oldstring -rl yourdir` 　　例如：替换/home下所有文件中的www.admi
  • 网页在线天气预报 oloz 天气预报
    网页在线调用天气预报 <%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="utf-8"%> <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transit
  • SpringMVC和Struts2比较 杨白白 springMVC
    1. 入口 spring mvc的入口是servlet，而struts2是filter（这里要指出，filter和servlet是不同的。以前认为filter是servlet的一种特殊），这样就导致了二者的机制不同，这里就牵涉到servlet和filter的区别了。 参见：http://blog.csdn.net/zs15932616453/article/details/8832343 2
  • refuse copy, lazy girl! 小桔子 copy
           妹妹坐船头啊啊啊啊！都打算一点点琢磨呢。文字编辑也写了基本功能了。。今天查资料，结果查到了人家写得完完整整的。我清楚的认识到： 1.那是我自己觉得写不出的高度 2.如果直接拿来用，很快就能解决问题 3.然后就是抄咩~~ 4.肿么可以这样子，都不想写了今儿个，留着作参考吧！拒绝大抄特抄，慢慢一点点写！  
  • apache与php整合 aichenglong php apache web
    一  apache web服务器 1 apeche web服务器的安装   1)下载Apache web服务器   2)配置域名(如果需要使用要在DNS上注册)   3)测试安装访问http://localhost/验证是否安装成功 2 apache管理   1)service.msc进行图形化管理   2)命令管理，配
  • Maven常用内置变量 AILIKES maven
    Built-in properties ${basedir} represents the directory containing pom.xml ${version} equivalent to ${project.version} (deprecated: ${pom.version}) Pom/Project properties Al
  • java的类和对象 百合不是茶 JAVA面向对象 类 对象
    java中的类：     java是面向对象的语言，解决问题的核心就是将问题看成是一个类，使用类来解决   java使用 class 类名   来创建类 ，在Java中类名要求和构造方法，Java的文件名是一样的   创建一个A类： class A{ }   java中的类：将某两个事物有联系的属性包装在一个类中，再通
  • JS控制页面输入框为只读 bijian1013 JavaScript
    在WEB应用开发当中，增、删除、改、查功能必不可少，为了减少以后维护的工作量，我们一般都只做一份页面，通过传入的参数控制其是新增、修改或者查看。而修改时需将待修改的信息从后台取到并显示出来，实际上就是查看的过程，唯一的区别是修改时，页面上所有的信息能修改，而查看页面上的信息不能修改。因此完全可以将其合并，但通过前端JS将查看页面的所有信息控制为只读，在信息量非常大时，就比较麻烦。  
  • AngularJS与服务器交互 bijian1013 JavaScriptAngularJS$http
            对于AJAX应用（使用XMLHttpRequests）来说，向服务器发起请求的传统方式是：获取一个XMLHttpRequest对象的引用、发起请求、读取响应、检查状态码，最后处理服务端的响应。整个过程示例如下： var xmlhttp = new XMLHttpRequest(); xmlhttp.onreadystatechange
  • [Maven学习笔记八]Maven常用插件应用 bit1129 maven
    常用插件及其用法位于：http://maven.apache.org/plugins/   1. Jetty server plugin 2. Dependency copy plugin 3. Surefire Test plugin 4. Uber jar plugin           1. Jetty Pl
  • 【Hive六】Hive用户自定义函数(UDF) bit1129 自定义函数
    1. 什么是Hive UDF Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括： 文件格式：Text File，Sequence File 内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text 用户提供的 map/reduce 脚本：不管什么
  • 杀掉nginx进程后丢失nginx.pid，如何重新启动nginx ronin47 nginx 重启 pid丢失
    nginx进程被意外关闭，使用nginx -s reload重启时报如下错误：nginx: [error] open() “/var/run/nginx.pid” failed (2: No such file or directory)这是因为nginx进程被杀死后pid丢失了，下一次再开启nginx -s reload时无法启动解决办法：nginx -s reload 只是用来告诉运行中的ng
  • UI设计中我们为什么需要设计动效 brotherlamp UIui教程ui视频ui资料ui自学
    随着国际大品牌苹果和谷歌的引领，最近越来越多的国内公司开始关注动效设计了，越来越多的团队已经意识到动效在产品用户体验中的重要性了，更多的UI设计师们也开始投身动效设计领域。 但是说到底，我们到底为什么需要动效设计？或者说我们到底需要什么样的动效？做动效设计也有段时间了，于是尝试用一些案例，从产品本身出发来说说我所思考的动效设计。 一、加强体验舒适度 嗯，就是让用户更加爽更加爽的用你的产品。
  • Spring中JdbcDaoSupport的DataSource注入问题 bylijinnan javaspring
    参考以下两篇文章： http://www.mkyong.com/spring/spring-jdbctemplate-jdbcdaosupport-examples/ http://stackoverflow.com/questions/4762229/spring-ldap-invoking-setter-methods-in-beans-configuration Sprin
  • 数据库连接池的工作原理 chicony 数据库连接池
           随着信息技术的高速发展与广泛应用，数据库技术在信息技术领域中的位置越来越重要，尤其是网络应用和电子商务的迅速发展，都需要数据库技术支持动 态Web站点的运行，而传统的开发模式是：首先在主程序（如Servlet、Beans）中建立数据库连接；然后进行SQL操作，对数据库中的对象进行查 询、修改和删除等操作；最后断开数据库连接。使用这种开发模式，对
  • java 关键字 CrazyMizzz java
    关键字是事先定义的，有特别意义的标识符，有时又叫保留字。对于保留字，用户只能按照系统规定的方式使用，不能自行定义。 Java中的关键字按功能主要可以分为以下几类：    （1）访问修饰符       public,private,protected       p
  • Hive中的排序语法 daizj 排序hiveorder byDISTRIBUTE BYsort by
    Hive中的排序语法 2014.06.22 ORDER BY hive中的ORDER BY语句和关系数据库中的sql语法相似。他会对查询结果做全局排序，这意味着所有的数据会传送到一个Reduce任务上，这样会导致在大数量的情况下，花费大量时间。 与数据库中 ORDER BY 的区别在于在hive.mapred.mode = strict模式下，必须指定 limit 否则执行会报错。
  • 单态设计模式 dcj3sjt126com 设计模式
      单例模式（Singleton）用于为一个类生成一个唯一的对象。最常用的地方是数据库连接。 使用单例模式生成一个对象后，该对象可以被其它众多对象所使用。 <?phpclass Example{    // 保存类实例在此属性中    private static&
  • svn locked dcj3sjt126com Lock
    post-commit hook failed (exit code 1) with output: svn: E155004: Working copy 'D:\xx\xxx' locked svn: E200031: sqlite: attempt to write a readonly database svn: E200031: sqlite: attempt to write a
  • ARM寄存器学习 e200702084 数据结构C++cC#F#
    无论是学习哪一种处理器，首先需要明确的就是这种处理器的寄存器以及工作模式。     ARM有37个寄存器，其中31个通用寄存器，6个状态寄存器。 1、不分组寄存器（R0-R7）     不分组也就是说说，在所有的处理器模式下指的都时同一物理寄存器。在异常中断造成处理器模式切换时，由于不同的处理器模式使用一个名字相同的物理寄存器，就是
  • 常用编码资料 gengzg 编码
    List<UserInfo> list=GetUserS.GetUserList(11); String json=JSON.toJSONString(list); HashMap<Object,Object> hs=new HashMap<Object, Object>(); for(int i=0;i<10;i++) {
  • 进程 vs. 线程 hongtoushizi 线程linux进程
    我们介绍了多进程和多线程，这是实现多任务最常用的两种方式。现在，我们来讨论一下这两种方式的优缺点。 首先，要实现多任务，通常我们会设计Master-Worker模式，Master负责分配任务，Worker负责执行任务，因此，多任务环境下，通常是一个Master，多个Worker。 如果用多进程实现Master-Worker，主进程就是Master，其他进程就是Worker。 如果用多线程实现
  • Linux定时Job：crontab -e 与 /etc/crontab 的区别 Josh_Persistence linuxcrontab
    一、linux中的crotab中的指定的时间只有5个部分：* * * * * 分别表示：分钟，小时，日，月，星期，具体说来： 第一段 代表分钟 0—59 第二段 代表小时 0—23 第三段 代表日期 1—31 第四段 代表月份 1—12 第五段 代表星期几，0代表星期日 0—6   如： */1 * * * *   每分钟执行一次。 *
  • KMP算法详解 hm4123660 数据结构C++算法字符串KMP
         字符串模式匹配我们相信大家都有遇过，然而我们也习惯用简单匹配法（即Brute-Force算法)，其基本思路就是一个个逐一对比下去，这也是我们大家熟知的方法，然而这种算法的效率并不高，但利于理解。       假设主串s="ababcabcacbab",模式串为t="
  • 枚举类型的单例模式 zhb8015 单例模式
    E.编写一个包含单个元素的枚举类型[极推荐]。代码如下： public enum MaYun {himself; //定义一个枚举的元素，就代表MaYun的一个实例private String anotherField;MaYun() {//MaYun诞生要做的事情//这个方法也可以去掉。将构造时候需要做的事情放在instance赋值的时候：/** himself = MaYun() {*
  • Kafka+Storm+HDFS ssydxa219 storm
    cd /myhome/usr/stormbin/storm nimbus &amp;bin/storm supervisor &amp;bin/storm ui &amp;Kafka+Storm+HDFS整合实践kafka_2.9.2-0.8.1.1.tgzapache-storm-0.9.2-incubating.tar.gzKafka安装配置我们使用3台机器搭建Kafk
  • Java获取本地服务器的IP 中华好儿孙 javaWeb获取服务器ip地址
    System.out.println("getRequestURL:"+request.getRequestURL()); System.out.println("getLocalAddr:"+request.getLocalAddr()); System.out.println("getLocalPort:&quo
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他