Rex_2013
Rex_2013

HBase系列 - 概念和架构原理

前言

本文主要介绍HBase基本概念以及架构原理包含数据模型、基础进程组件。再从HBase的写流程和读流程去了解HBase的架构原理。

1 HBase 定义

HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。

2 HBase Data Modal 数据模型

逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构（K-V）来看，HBase更像是一个multi-dimensional map。

Hbase 数据模型术语：

  1. Table

    一个Hbase Table 包含多个Row。

  2. Row

    HBase表中的每行数据都由一个RowKey和多个Column（列）组成，数据是按照RowKey的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，所以RowKey的设计十分重要。

  3. Column

    HBase中的每个列都由Column Family(列族)和Column Qualifier（列限定符）进行限定，例如info：name，info：age。建表时，只需指明列族，而列限定符无需预先定义。

  4. Column Family

    出于性能考虑，列族实际上将一组列及其值并置在一起。每个列族都有一组存储属性，例如是否应将其值缓存在内存中，如何压缩其数据或对其行键进行编码等。表中的每一行都具有相同的列族，尽管给定的行可能不会在给定的列族中存储任何内容

  5. Column Qualifier

    将列限定符添加到列族，以提供给定数据段的索引。给定一个列族content，一个列限定符可能为content:html，另一个可能为content:pdf。尽管列族在创建表时是固定的，但列限定符是可变的，并且行之间的差异可能很大。

  6. Cell

    由{rowkey, column Family：column Qualifier, time Stamp} 唯一确定的单元。cell中的数据是没有类型的，全部是字节数组形式存贮。

  7. TimeStamp

    用于标识数据的不同版本（version），每条数据写入时，如果不指定时间戳，系统会自动为其加上该字段，其值为写入HBase的时间。

2.1 Conceptual View

Table webtable

Row Key Time Stamp ColumnFamily contents ColumnFamily anchor ColumnFamily people
"com.cnn.www" t9 anchor:cnnsi.com = "CNN"
"com.cnn.www" t8 anchor:my.look.ca = "CNN.com"
"com.cnn.www" t6 contents:html = "…"
"com.cnn.www" t5 contents:html = "…"
"com.cnn.www" t3 contents:html = "…"
"com.example.www" t5 contents:html = "…" people:author = "John Doe"

有一个名为表webtable，其中包含两行（com.cnn.www和com.example.www）和三个列族命名contents，anchor和people。在此示例中，对于第一行（com.cnn.www）， anchor包含两列（anchor:cssnsi.com，anchor:my.look.ca）和contents一个列（contents:html）。rowkey com.cnn.www具有5个版本和rowkeycom.example.www 具有一个版本。该contents:html列预选赛包含给定网站的整个HTML。列族anchor包含链接到该行表示的站点的外部站点，以及在其链接的锚点中使用的文本。列族people代表与网站相关的人。

该表中看起来为空的单元格在HBase中不占用空间，或实际上不存在。这就是使HBase“稀疏”的原因。表格视图不是查看HBase中数据的唯一可能方法，甚至不是最准确的方法。以下与multi-dimensional map相同的信息。这仅是出于说明目的的模型，可能并非严格准确。

{
  "com.cnn.www": {
    contents: {
      t6: contents:html: "..."
      t5: contents:html: "..."
      t3: contents:html: "..."
    }
    anchor: {
      t9: anchor:cnnsi.com = "CNN"
      t8: anchor:my.look.ca = "CNN.com"
    }
    people: {}
  }
  "com.example.www": {
    contents: {
      t5: contents:html: "..."
    }
    anchor: {}
    people: {
      t5: people:author: "John Doe"
    }
  }
}

2.2 Physical View

尽管从概念上讲，表可以看作是行的稀疏集合，但它们实际上是按列族存储的。可以随时将新的列限定符（column_family：column_qualifier）添加到现有的列族。

ColumnFamily anchor

Row Key Time Stamp Column Family anchor
"com.cnn.www" t9 anchor:cnnsi.com = "CNN"
"com.cnn.www" t8 anchor:my.look.ca = "CNN.com"

ColumnFamily contents

Row Key Time Stamp ColumnFamily contents:
"com.cnn.www" t6 contents:html = "…"
"com.cnn.www" t5 contents:html = "…"
"com.cnn.www" t3 contents:html = "…"

Conceptual View中显示的空单元格不做存储。因此，contents:html在时间戳记上请求该列的值t8将不返回任何值。同样，anchor:my.look.ca在时间戳上请求值t9将不返回任何值。但是，如果不输入timestamp参数，则将返回特定列的最新值。给定多个版本，因为时间戳以降序存储，所以最新的也是找到的第一个版本。因此，com.cnn.www如果未指定时间戳，则对行中所有列的值的请求将是：contents:htmlfrom timestampt6的值，anchor:cnnsi.comfrom timestampt9的值，anchor:my.look.cafrom timestamp的值t8。

2.3 Namespace

命名空间，类似于关系型数据库的DatabBase概念，每个命名空间下有多个表。

HBase有两个自带的命名空间，分别是hbase和default，hbase中存放的是HBase内置的表，default表是用户默认使用的命名空间。

  • Quota Management (HBASE-8410) - 限制名称空间可以消耗的资源（即区域，表）数量。

  • Namespace Security Administration (HBASE-9206) - 为租户提供另一级别的安全管理。

  • Region server groups (HBASE-6721) - 可以将名称空间/表固定到RegionServers的子集上，从而保证了粗略的隔离级别。

2.3.1命名空间操作

可以创建，删除或更改名称空间。命名空间成员资格是在表创建期间通过指定以下格式的标准表名来确定的：

:
例子
#Create a namespace
create_namespace 'my_ns'

#create my_table in my_ns namespace
create 'my_ns:my_table', 'fam'

#drop namespace
drop_namespace 'my_ns'

#alter namespace
alter_namespace 'my_ns', {METHOD => 'set', 'PROPERTY_NAME' => 'PROPERTY_VALUE'}

3 HBase Architecture 架构原理
 
  
 
   
  
   
 
  
 
  

    hbase架构.png 
  
 
 
3.1 Region Server
Region Server为 Region的管理者，其实现类为HRegionServer
主要作用如下:
     
  
  • 对于数据的操作：get, put, delete；
    •  
  
  • 对于Region的操作：splitRegion、compactRegion。
    •  
 
3.2 Master
Master是所有Region Server的管理者，其实现类为HMaster
主要作用如下：
     
  
  • 对于表的操作：create, delete, alter
    •  
  
  • 对于RegionServer的操作：分配regions到每个RegionServer，监控每个RegionServer的状态，负载均衡和故障转移。
    •  
 
3.3 Zookeeper
HBase通过Zookeeper来做Master的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等工作。
3.4 HDFS
HDFS为HBase提供最终的底层数据存储服务，同时为HBase提供高可用的支持。
3.5 StoreFile
保存实际数据的物理文件，StoreFile以HFile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个StoreFile中都是有序的。
3.6 MemStore
写缓存，由于HFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写都会形成一个新的HFile。
3.7 WAL
由于数据要经MemStore排序后才能刷写到HFile，但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入MemStore中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。
4 HBase 写流程
 
  
 
   
  
   
 
  
 
  

    HBase写流程.png 
  
 
 
     
  
  1. Client访问zookeeper，请求获取hbase:meta表元数据。
    2.  
  
  2. ZK返回Client hbase:meta表位于哪个Region Server。
    3.  
  
  3. 我们可以通过 RowKey 来定位到对应的 RegionServer。当Client对某个 RowKey 进行更新操作时，假如都到 Zookeeper 里面找到 HBase 的 meta 信息表存储的 RegionServer。然后到这个 RegionServer 里面查找对应表的某个 RowKey 是由哪个 RegionServer 管理的。最后到这个 RegionServer 里面更新数据。会大大影响我们写数据的效率，而且这也会大大增加 Zookeeper 的负载。所以 HBase 客户端会缓存这些元数据，只有在元数据失效或无元数据的时候才会按照上面的流程定位到对应的 RegionServer。
    4.  
  
  4. 与目标Region Server进行通讯，发出PUT请求。
    5.  
  
  5. 在默认情况下，WAL 功能是启用的，RegionServer接收到请求后，将数据顺序写入（追加）到WAL。一个 RegionServer 会包含多个 Region 的，HBase 并不为每个 Region 使用一个 WAL，而是整个 RegionServer 里面的 Regions 共用一个 WAL 日志。同时，只有一个 WAL 文件处于 active 状态。当 WAL 文件越来越大，这个文件最终是会被关闭的，然后再创建一个新的 active WAL 文件用于存储后面的更新。这个操作称为 rolling WAL 文件。将 WAL 文件写入到磁盘的过程中是需要消耗一些资源的。如果数据丢失对应用程序来说不重要，那么我们是可以关掉 WAL 功能的。
    6.  
  
  6. 向客户端发送ack。
    7.  
  
  7. 每次更新操作并不是直接写到 HFile 文件里面的，HBase 使用一种称为 memStore 的内存结构来存储来自客户端的更新操作，因为是存储在内存，所以直接在 MemStore 里面进行随机写是非常高效的。将数据写入对应的MemStore，数据会在MemStore进行排序。需要注意的是，每个 HBase 表的每个列族对应一个 MemStore，同一个 Region 里面可能会包含多个 MemStore。
    8.  
 
5 HBase 读流程
 
  
 
   
  
   
 
  
 
  

    HBase读流程.png 
  
 
 
客户端读取数据有两种方式， Get 与 Scan。
     
  
  1. Get 是一种随机点查的方式，根据 rowkey 返回一行数据，也可以在构造 Get 对象的时候传入一个 rowkey 列表，这样一次 RPC 请求可以返回多条数据。Get 对象可以设置列与 filter，只获取特定 rowkey 下的指定列的数据。
    2.  
  
  2. Scan 是范围查询，通过指定 Scan 对象的 startRow 与 endRow 来确定一次扫描的数据范围，获取该区间的所有数据。
    3.  
 
读流程：
     
  
  1. Client访问zookeeper，请求获取hbase:meta 表位于哪个Region Server。
    2.  
  
  2. 访问对应的Region Server，获取hbase:meta表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次访问。
    3.  
  
  3. 与目标Region Server进行通讯；
    4.  
  
  4. 分别在Block Cache（读缓存），MemStore和Store File（HFile）中查询目标数据，并将查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本（time stamp）或者不同的类型（Put/Delete）。
    5.  
  
  5. 将从文件中查询到的数据块（Block，HFile数据存储单元，默认大小为64KB）缓存到Block Cache。
    6.  
  
  6. 将合并后的最终结果返回给客户端。
    7.  
 
 
  
参考
 
  
https://hbase.apache.org/2.3/book.html#perf.writing
 
 

                    
                

        
你可能感兴趣的:(HBase系列 - 概念和架构原理)

        

            

                
    
                    
  • 如何查看编译器提示存在非标准代码?如何知道当前编译器默认C/C++标准是多少?GCC有提供命令查看编译器基本配置吗?编译警告和错误？Clang也兼容MSVC?编译器如何把warning当做error?
                        

                        
    目录如何查看编译器提示存在非标准代码?如何知道当前编译器默认C/C++标准是多少?GCC有提供命令查看编译器基本配置吗?编译警告和错误不同语言的编译警告禁用编译警告提示警告或错误编译行号Clang也兼容MSVC?编译器如何把warning当做error?如何查看编译器提示存在非标准代码?GCC提供-pedantic选项可以在发现非标准C/C++代码时，显示警告信息。The-pedanticopti
    
                    
    • 
                    
  • 《Spring 中上下文传递的那些事儿》Part 5：分布式链路追踪——SkyWalking 实战指南
                        大手你不懂
Spring中上下文传递的那些事儿Java项目实战spring分布式skywalking
                        
    Part5：分布式链路追踪——SkyWalking实战指南随着微服务架构的广泛应用，分布式系统的链路追踪和性能监控变得尤为重要。在之前的文章中，我们探讨了如何使用Sleuth和Zipkin实现基本的链路追踪。今天，我们将介绍另一种强大的工具——ApacheSkyWalking，它不仅提供了全面的链路追踪功能，还支持JVM、数据库、消息队列等多方面的监控。本文将带你了解SkyWalking的核心概念
    
                    
    • 
                    
  • 内嵌式触摸显示器在工业视觉设备中的应用
                        Jwest2021
计算机外设
                        
    内嵌式触摸显示器在工业视觉设备中的应用日益广泛，其重要性不容忽视。以下是对内嵌式触摸显示器在工业视觉设备中应用的具体分析：一、应用背景工业视觉设备是智能制造的重要组成部分，它依赖于先进的图像处理和机器视觉技术，实现对生产线上产品质量的自动化检测和控制。随着工业4.0和智能制造的推进，工业视觉设备在生产线上的作用愈发关键。而内嵌式触摸显示器作为人机交互的重要界面，为工业视觉设备提供了直观、便捷的操作
    
                    
    • 
                    
  • 工控一体机具体有哪些作用？
                        

                        
    工控一体机作为一种集成了计算机硬件、输入输出设备以及工业控制软件的工业控制计算机，其在工业自动化、智能制造及其他多个领域具有重要的作用。以下是工控一体机的具体作用：一、数据采集与监控实时数据采集：工控一体机能够连接各种传感器和检测设备，实时采集生产现场的温度、压力、流量、速度等参数数据。数据监控与显示：通过其集成的显示屏和触摸屏，工控一体机能够以图形化、直观化的方式显示采集到的数据，方便操作人员实
    
                    
    • 
                    
  • 液晶显示器的全球与中国市场2022-2028年：技术、参与者、趋势、市场规模及占有率研究报告
                        

                        
    报告页数:150图表数:100报告价格：¥16800本文研究全球与中国市场液晶显示器的发展现状及未来发展趋势，分别从生产和消费的角度分析液晶显示器的主要生产地区、主要消费地区以及主要的生产商。重点分析全球与中国市场的主要厂商产品特点、产品规格、不同规格产品的价格、产量、产值及全球和中国市场主要生产商的市场份额。主要生产商包括：DellSamsungHPLGAsusAcerAOCViewSonicB
    
                    
    • 
                    
  • 前端如何借助 Postman 进行接口性能调优
                        前端视界
前端艺匠馆前端postmanluaai
                        
    前端如何借助Postman进行接口性能调优关键词：前端开发、Postman、接口性能调优、API测试、性能分析摘要：本文围绕前端开发中借助Postman进行接口性能调优展开。首先介绍了相关背景知识，包括目的、预期读者、文档结构和术语表。接着阐述了核心概念，如接口性能的相关概念及其联系，并给出了对应的文本示意图和Mermaid流程图。详细讲解了核心算法原理和具体操作步骤，结合Python代码示例进行
    
                    
    • 
                    
  • R语言的游戏开发
                        柳婉晴
包罗万象golang开发语言后端
                        
    R语言在游戏开发中的应用随着科技的发展，游戏行业已经成为一个巨大的市场。虽然通常我们会认为游戏开发主要是使用C++、C#、JavaScript等语言，但实际上，R语言在游戏开发中也有其独特的应用，尤其是在数据分析和可视化方面。本文将探讨R语言在游戏开发中的应用，涵盖它的基础、游戏设计的复杂性、实际案例分析、以及未来的发展方向。一、R语言基础R语言是一种用于统计计算和数据分析的编程语言。它具有强大的
    
                    
    • 
                    
  • R语言的软件开发工具
                        纪霁然
包罗万象golang开发语言后端
                        
    R语言的软件开发工具引言R语言因其强大的数据分析能力和丰富的统计包，自发布以来便广受欢迎。随着数据科学和分析的迅猛发展，R语言也逐渐成为数据分析、机器学习和统计建模领域的重要工具。为了更好地利用R语言进行软件开发，许多软件开发工具和环境应运而生。本文将深入探讨R语言的主要开发工具，帮助开发者更高效地进行数据处理和分析。1.R和RStudio基础R语言本身是一个用于统计计算和图形绘制的编程语言，而R
    
                    
    • 
                    
  • 广告监测中的iGRP：概念解析与计算方法
                        weixin_47233946
算法广告分析
                        
    1.什么是iGRP？iGRP（InternetGrossRatingPoints，互联网总收视点）是衡量数字广告活动效果的核心指标之一，由传统电视广告中的GRP（GrossRatingPoints）演变而来。它综合评估了广告在目标人群中的覆盖广度（到达率）和触达深度（频次），为广告主提供跨渠道效果对比的统一标准。2.传统GRP的计算逻辑回顾传统GRP的计算公式为：[\text{GRP}=\text
    
                    
    • 
                    
  • 工业显示器五大品牌推荐及分析
                        Jwest2021
计算机外设
                        
    在智能制造与工业自动化中，工业显示器扮演着至关重要的角色，最近好多朋友问我有没有什么卖工业显示的厂家推荐。那今天我为大家整理了5个工业显示器厂家品牌推荐，希望可以帮助您挑选到合适的工业显示器一、佳维视（JAWEST）深圳市佳维视电子科技有限公司（JAWEST）成立于2012年，是集研发、生产、销售、服务为一体的工业级显控设备及解决方案供应商。公司在深圳拥有超12000㎡产研基地，透过持续的研发和技
    
                    
    • 
                    
  • 微服务架构的演进：迈向云原生
                        大手你不懂
Java项目实战Java微服务-云原生云原生微服务java
                        
    微服务架构的演进：迈向云原生ps:最近在学习的时候，发现好多技术方案最终都有云原生的影子，这里浅谈一下云原生的发展趋势随着互联网技术的发展，软件开发模式经历了从单体应用到微服务架构的重大转变。而在今天，微服务架构正朝着**云原生（CloudNative）**的方向发展。本文将探讨为什么越来越多的企业选择将微服务架构转变为云原生，并介绍这一转型带来的主要优势和技术挑战。一、什么是微服务与云原生？微服
    
                    
    • 
                    
  • 嵌入式Linux-线程同步-自旋锁和读写锁
                        

                        
    线程同步一、自旋锁1.1自旋锁概述1.2自旋锁的初始化1.3自旋锁加锁和解锁二、读写锁2.1何为读写锁2.2读写函数初始化2.3读写锁上锁和解锁2.4读写锁的属性一、自旋锁1.1自旋锁概述自旋锁与互斥锁很相似，从本质上说也是一把锁，在访问共享资源之前对自旋锁进行上锁，在访问完成后释放自旋锁（解锁）；事实上，从实现方式上来说，互斥锁是基于自旋锁来实现的，所以自旋锁相较于互斥锁更加底层。如果在获取自旋
    
                    
    • 
                    
  • 单向链表与双向链表区别
                        

                        
    单向链表：由两部分组成：数据域和指针域,每个结点都有一个指针，每个节点指针的指向都是指向自身结点的下一个结点，最后一个结点的head指向为null,对单链表的操作只能从一端开始，如果需要查找链表中的某一个结点，则需要从头开始进行遍历。双向链表：对于双向链表来说，它的每个节点要指向“直接前驱”和“直接后继”，所以节点类需要含有两个指针域。指向直接前驱的指针使用pre表示，指向后继的指针使用next表
    
                    
    • 
                    
  • 目标检测：从基础原理到前沿技术全面解析
                        随机森林404
计算机视觉目标检测人工智能计算机视觉
                        
    引言在计算机视觉领域，目标检测是一项核心且极具挑战性的任务，它不仅要识别图像中有什么物体，还要确定这些物体在图像中的具体位置。随着人工智能技术的快速发展，目标检测已成为智能监控、自动驾驶、医疗影像分析等众多应用的基础技术。本文将全面介绍目标检测的基础概念、发展历程、关键技术、实践应用以及未来趋势，为读者提供系统性的知识框架。第一章目标检测概述1.1目标检测的定义与重要性目标检测（ObjectDet
    
                    
    • 
                    
  • 【前端工程化】前端工作中的业务规范有哪些
                        
前端
                        
    在企业级后台系统中，业务逻辑往往复杂、层级多、交互密集。为了保证系统的可维护性与团队协作效率，我们需要在开发过程中遵循统一的业务实现规范。本规范主要围绕应用结构设计和用户交互控制展开，帮助团队在开发过程中形成一致的编码习惯和设计思路。一、应用结构1.分层架构设计UI层（View）负责页面展示和用户交互，由Vue/React组件构成；页面组件存放在views/*，对应具体路由；通用组件存放在comp
    
                    
    • 
                    
  • ＜数据结构＞链表实战之单链表与双链表的增删改查
                        叶落秋白
数据结构与课程设计c语言开发语言链表visualstudio
                        
    ✅作者简介：一名即将大三的计科专业学生，为C++，Java奋斗中✨个人主页：叶落秋白的主页系列专栏：数据结构干货分享推荐一款模拟面试、刷题神器进入刷题的世界前言上篇博客分享了创建链表传入二级指针的细节，那么今天就分享几个c语言课程实践设计吧。这些程序设计搞懂了的话相当于链表的基础知识牢牢掌握了，那么再应对复杂的链表类的题也就能慢慢钻研了。学习是一个积累的过程，想要游刃有余就得勤学苦练！目录单链表的
    
                    
    • 
                    
  • 5G MEC四大核心挑战技术解析报告
                        码农老gou
5G5G网络
                        
    一、MEC园区部署挑战：数据本地化与低时延接入痛点深度解析数据不出园区：工业质检、医疗影像等敏感业务需数据在本地闭环处理。但运营商基站与企业MEC间若经公网绕行，时延超50ms且存在泄露风险。L2网络局限：传统L2接入网无法实现基站→UPF的智能路由，导致业务流绕行城域网核心节点（平均增加20ms时延）。创新解决方案▍最短路径转发架构（图1）
    
                    
    • 
                    
  • Intel Wi-Fi 驱动程序在macOS上的安装和使用指南
                        段日诗

                        
    IntelWi-Fi驱动程序在macOS上的安装和使用指南项目地址:https://gitcode.com/gh_mirrors/it/itlwm一、项目介绍itlwm,全称IntelWi-FiDriversformacOS,是一个开放源码项目，旨在为苹果操作系统提供对Intel无线网卡的支持。此项目的主要代码来源于OpenBSD并进行了一系列优化以适应macOS环境。它包含了两个主要组件：itl
    
                    
    • 
                    
  • 5G与边缘计算融合架构：核心能力下沉与网络切片技术解析
                        码农老gou
5G5G边缘计算架构
                        
    15G核心能力下沉的技术逻辑在数字化转型浪潮中，网络架构正经历从中心化向分布式模式的根本性变革。5G网络与边缘计算的深度融合正在重构下一代智能连接架构，其核心在于将传统的中心化网络能力下沉至边缘节点，形成分布式算力网络。这种架构转型源于对超低时延、高带宽和海量连接的业务需求，驱动网络基础设施向用户侧靠拢，实现计算与通信的无缝融合。1.1分布式架构转型需求5G三大核心能力——增强移动宽带（eMBB）
    
                    
    • 
                    
  • 【深入理解Linux锁机制】五、衍生自旋锁
                        dong__ge
深入理解Linux驱动程序开发#Linux内核锁Linux锁机制Linux锁内核锁Linux驱动开发Linux
                        
    系列文章：我的圈子：高级工程师聚集地【深入理解Linux锁机制】一、内核锁的由来【深入理解Linux锁机制】二、中断屏蔽【深入理解Linux锁机制】三、原子操作【深入理解Linux锁机制】四、自旋锁【深入理解Linux锁机制】五、衍生自旋锁【深入理解Linux锁机制】六、信号量【深入理解Linux锁机制】七、互斥体【深入理解Linux锁机制】八、完成量
    
                    
    • 
                    
  • 渲染到天亮？你的电脑在哭泣！告别卡顿，RenderG 让你下班自由！
                        Bar_artist
图形渲染云渲染
                        
    还记得屏幕右下角那个缓慢蠕动的进度条吗？它吞噬的不仅是时间，更是你的精力、灵感，甚至是对这份热爱的耐心。当窗外天色渐亮，机箱风扇还在发出不堪重负的嘶吼，仿佛在无声地抗议——它真的快撑不住了。而你，盯着屏幕上那还差“最后一点点”的渲染帧，揉着发酸的眼睛，心里盘算着：是再等一小时，还是干脆睡在公司？这场景，是不是熟悉得令人心酸？我们懂，每一个深夜的渲染等待，都是一次与耐心和效率的拉锯战。本地电脑，是我
    
                    
    • 
                    
  • 阿里P7面试实录：靠这份“收割机指南”，他当场拿下60k+ offer！
                        

                        
    “上周面了个前阿里P7，Java八股文和分布式架构原理背得炉火纯青，秒杀系统设计讲得比我们架构组还细！”一位蚂蚁金服面试官在技术群感慨道。细问才知，这位求职者刚用一份阿里内部流出的《后端offer收割机养成指南》突击了2周，直接通过6轮面试斩下60k+offer。2025年Java后端面试的3大新趋势（附高频考点）据近期阿里、字节、美团等大厂面试反馈，技术考察正发生显著变化：八股文升级场景化基础题
    
                    
    • 
                    
  • 5G NTN（非地面网络）技术详解：架构、标准与应用
                        码农老gou
5G5G网络架构
                        
    摘要5GNTN（Non-TerrestrialNetwork，非地面网络）作为3GPPR17标准的关键创新，通过整合卫星通信与地面5G网络，实现了全球无缝覆盖与泛在连接。本文深入解析NTN的技术架构、核心标准及典型应用场景，探讨其在6G空天地一体化网络中的演进方向。一、NTN技术概述1.1定义与架构NTN是基于3GPPR17标准的新型通信技术，通过卫星或高空平台站（HAPS）作为中继节点，将5G网
    
                    
    • 
                    
  • Fiber 架构实现原理
                        

                        
    Fiber架构实现原理Fiber架构概述Fiber是React16引入的全新架构，旨在解决大型应用更新时的性能问题，特别是支持增量渲染和更好的调度控制。Fiber的核心设计可中断的渲染过程：将渲染工作分割成多个小任务优先级调度：不同更新可以有不同的优先级增量渲染：将渲染工作分散到多个帧中执行Fiber节点结构Fiber是对虚拟DOM的扩展，每个组件对应一个Fiber节点：functionFiber
    
                    
    • 
                    
  • FFmpeg、WebAssembly 和 WebGL 在 Web 端的结合应用
                        醉方休
ffmpegwasmwebgl
                        
    FFmpeg、WebAssembly和WebGL在Web端的结合应用这三个技术组合可以创建强大的浏览器端多媒体处理解决方案，下面我将详细介绍它们如何协同工作。1.FFmpeg与WebAssemblyFFmpeg.wasm项目概念：将FFmpeg编译为WebAssembly在浏览器中运行特点：完全在浏览器中执行视频/音频处理无需服务器转码保护用户隐私（数据不离客户端）基本使用示例import{cre
    
                    
    • 
                    
  • Redux 扩展与标准化模板方案
                        

                        
    Redux扩展与标准化模板方案一、Redux标准化架构设计1.目录结构规范src/redux/├──store.js#Store配置入口├──rootReducer.js#根Reducer组合├──rootSaga.js#根Saga组合(如使用redux-saga)├──modules/#功能模块│├──user/#用户模块││├──actions.js││├──reducer.js││├──ty
    
                    
    • 
                    
  • Fiber是什么?
                        醉方休
react.js
                        
    对React的Fiber架构的理解需要从React的核心目标与面临的挑战说起。它本质上是React16引入的全新协调（Reconciliation）引擎，旨在解决React15及之前版本在处理大型应用和复杂更新时遇到的根本性性能瓶颈和用户体验问题。核心理解：Fiber是什么？虚拟的底层数据结构：Fiber是对React组件、DOM节点或其他UI元素的轻量级、链式表示的JavaScript对象。每个
    
                    
    • 
                    
  • 浏览器缓存策略
                        醉方休
缓存
                        
    浏览器缓存策略是Web性能优化的核心机制之一，通过合理利用缓存可以减少网络请求、降低服务器负载并加速页面加载。以下是浏览器缓存的详细策略和工作原理：1.强缓存（无需服务器验证）浏览器直接使用本地缓存资源，不发送请求到服务器。通过以下HTTP头部控制：1.1Expires原理：指定资源的绝对过期时间（HTTP/1.0）。示例：Expires:Wed,21Oct202507:28:00GMT缺点：依赖
    
                    
    • 
                    
  • PostgreSQL连接池监控与优化：pg_stat_activity详解及连接阻塞排查指南
                        

                        
    1.引言PostgreSQL是一款功能强大的开源关系型数据库，广泛应用于各类企业级应用。在高并发场景下，数据库连接池的管理和监控至关重要。如果连接池使用不当，可能会导致连接泄漏、阻塞甚至数据库崩溃。本文将详细介绍如何使用pg_stat_activity监控PostgreSQL连接状态，并针对连接卡住、阻塞等问题提供解决方案。2.使用pg_stat_activity监控连接状态pg_stat_act
    
                    
    • 
                    
  • PostgreSQL 的 WAL 与 Oracle 的 Redo Log 的全方面对比
                        喝醉酒的小白
DBAPGpostgresqloracle数据库
                        
    目录标题一、共同点（相同点）二、不同点三、在复制与高可用中的角色四、具体技术细节差异五、性能影响与优化点六、使用示例PostgreSQLWAL使用示例OracleRedo使用示例⚫总结对比表PostgreSQL的WAL（Write-AheadLogging）和Oracle的RedoLog是两个数据库系统在保证数据持久性与事务一致性方面的关键机制。尽管它们的核心思想类似，都是“先写日志，再写数据”，
    
                    
    • 
                                
  • PHP，安卓，UI，java，linux视频教程合集
                                    cocos2d-x小菜
javaUIPHPandroidlinux
                                    
    ╔-----------------------------------╗┆                           
    
                                
    • 
                                
  • 各表中的列名必须唯一。在表 'dbo.XXX' 中多次指定了列名 'XXX'。
                                    bozch
.net.net mvc
                                    
    在.net mvc5中，在执行某一操作的时候，出现了如下错误： 
      各表中的列名必须唯一。在表 'dbo.XXX' 中多次指定了列名 'XXX'。 
经查询当前的操作与错误内容无关，经过对错误信息的排查发现，事故出现在数据库迁移上。 
回想过去： 在迁移之前已经对数据库进行了添加字段操作，再次进行迁移插入XXX字段的时候，就会提示如上错误。  
&
    
                                
    • 
                                
  • Java 对象大小的计算
                                    e200702084
java
                                    
                              Java对象的大小 
 
如何计算一个对象的大小呢？ 
 
 
   
    
                                
    • 
                                
  • Mybatis Spring
                                    171815164
mybatis
                                    
    ApplicationContext ac = new ClassPathXmlApplicationContext("applicationContext.xml");
CustomerService userService = (CustomerService) ac.getBean("customerService");
Customer cust
    
                                
    • 
                                
  • JVM 不稳定参数
                                    g21121
jvm
                                    
            -XX 参数被称为不稳定参数，之所以这么叫是因为此类参数的设置很容易引起JVM 性能上的差异，使JVM 存在极大的不稳定性。当然这是在非合理设置的前提下，如果此类参数设置合理讲大大提高JVM 的性能及稳定性。        可以说“不稳定参数”
    
                                
    • 
                                
  • 用户自动登录网站
                                    永夜-极光
用户
                                    
    1.目标:实现用户登录后,再次登录就自动登录,无需用户名和密码 
2.思路:将用户的信息保存为cookie 
           每次用户访问网站,通过filter拦截所有请求,在filter中读取所有的cookie,如果找到了保存登录信息的cookie,那么在cookie中读取登录信息,然后直接
    
                                
    • 
                                
  • centos7 安装后失去win7的引导记录
                                    程序员是怎么炼成的
操作系统
                                    
    1.使用root身份(必须)打开 /boot/grub2/grub.cfg 2.找到 ### BEGIN /etc/grub.d/30_os-prober ###   在后面添加    menuentry "Windows 7 (loader) (on /dev/sda1)" { 
    
                                
    • 
                                
  • Oracle 10g 官方中文安装帮助文档以及Oracle官方中文教程文档下载
                                    aijuans
oracle
                                    
    Oracle 10g 官方中文安装帮助文档下载：http://download.csdn.net/tag/Oracle%E4%B8%AD%E6%96%87API%EF%BC%8COracle%E4%B8%AD%E6%96%87%E6%96%87%E6%A1%A3%EF%BC%8Coracle%E5%AD%A6%E4%B9%A0%E6%96%87%E6%A1%A3 Oracle 10g 官方中文教程
    
                                
    • 
                                
  • JavaEE开源快速开发平台G4Studio_V3.2发布了
                                    無為子
AOPoraclemysqljavaeeG4Studio
                                    
      
我非常高兴地宣布,今天我们最新的JavaEE开源快速开发平台G4Studio_V3.2版本已经正式发布。大家可以通过如下地址下载。 
  
访问G4Studio网站  
http://www.g4it.org      
G4Studio_V3.2版本变更日志 
功能新增 
(1).新增了系统右下角滑出提示窗口功能。 
(2).新增了文件资源的Zip压缩和解压缩
    
                                
    • 
                                
  • Oracle常用的单行函数应用技巧总结
                                    百合不是茶
日期函数转换函数(核心)数字函数通用函数(核心)字符函数
                                    
    单行函数;   字符函数,数字函数,日期函数,转换函数(核心),通用函数(核心) 
一:字符函数: 
   .UPPER(字符串) 将字符串转为大写
   .LOWER (字符串) 将字符串转为小写 
   .INITCAP(字符串) 将首字母大写
   .LENGTH (字符串) 字符串的长度
   .REPLACE(字符串,'A','_') 将字符串字符A转换成_

    
                                
    • 
                                
  • Mockito异常测试实例
                                    bijian1013
java单元测试mockito
                                    
    Mockito异常测试实例： 
package com.bijian.study;

import static org.mockito.Mockito.mock;
import static org.mockito.Mockito.when;

import org.junit.Assert;
import org.junit.Test;

import org.mockito.
    
                                
    • 
                                
  • GA与量子恒道统计
                                    Bill_chen
JavaScript浏览器百度Google防火墙
                                    
    前一阵子，统计**网址时，Google Analytics（GA） 和量子恒道统计（也称量子统计），数据有较大的偏差，仔细找相关资料研究了下，总结如下： 
  
为何GA和量子网站统计（量子统计前身为雅虎统计）结果不同？ 
首先：没有一种网站统计工具能保证百分之百的准确出现该问题可能有以下几个原因：（1）不同的统计分析系统的算法机制不同；（2）统计代码放置的位置和前后
    
                                
    • 
                                
  • 【Linux命令三】Top命令
                                    bit1129
linux命令
                                    
    Linux的Top命令类似于Windows的任务管理器，可以查看当前系统的运行情况，包括CPU、内存的使用情况等。如下是一个Top命令的执行结果： 
  
  
top - 21:22:04 up 1 day, 23:49, 1 user, load average: 1.10, 1.66, 1.99
Tasks: 202 total,   4 running, 198 sl
    
                                
    • 
                                
  • spring四种依赖注入方式
                                    白糖_
spring
                                    
       平常的java开发中，程序员在某个类中需要依赖其它类的方法，则通常是new一个依赖类再调用类实例的方法，这种开发存在的问题是new的类实例不好统一管理，spring提出了依赖注入的思想，即依赖类不由程序员实例化，而是通过spring容器帮我们new指定实例并且将实例注入到需要该对象的类中。依赖注入的另一种说法是“控制反转”，通俗的理解是：平常我们new一个实例，这个实例的控制权是我
    
                                
    • 
                                
  • angular.injector
                                    boyitech
AngularJSAngularJS API
                                    
    angular.injector 
   描述:   创建一个injector对象, 调用injector对象的方法可以获得angular的service, 或者用来做依赖注入.        使用方法:   angular.injector(modules, [strictDi])        参数详解:      Param Type Details   mod
    
                                
    • 
                                
  • java-同步访问一个数组Integer[10]，生产者不断地往数组放入整数1000，数组满时等待；消费者不断地将数组里面的数置零，数组空时等待
                                    bylijinnan
Integer
                                    
    

public class PC {

	/**
	 * 题目：生产者-消费者。
	 * 同步访问一个数组Integer[10]，生产者不断地往数组放入整数1000，数组满时等待；消费者不断地将数组里面的数置零，数组空时等待。
	 */
	
	private static final Integer[] val=new Integer[10];
	private static
    
                                
    • 
                                
  • 使用Struts2.2.1配置
                                    Chen.H
apachespringWebxmlstruts
                                    
    Struts2.2.1 需要如下 jar包: commons-fileupload-1.2.1.jar commons-io-1.3.2.jar commons-logging-1.0.4.jar freemarker-2.3.16.jar javassist-3.7.ga.jar ognl-3.0.jar spring.jar 
struts2-core-2.2.1.jar struts2-sp
    
                                
    • 
                                
  • [职业与教育]青春之歌
                                    comsci
教育
                                    
     
 
       每个人都有自己的青春之歌............但是我要说的却不是青春... 
 
       大家如果在自己的职业生涯没有给自己以后创业留一点点机会,仅仅凭学历和人脉关系,是难以在竞争激烈的市场中生存下去的.... 
 
  &nbs
    
                                
    • 
                                
  • oracle连接(join)中使用using关键字
                                    daizj
JOINoraclesqlusing
                                    
    在oracle连接(join)中使用using关键字 
34. View the Exhibit and examine the structure of the ORDERS and ORDER_ITEMS tables. 
Evaluate the following SQL statement: 
SELECT oi.order_id, product_id, order_date 
FRO
    
                                
    • 
                                
  • NIO示例
                                    daysinsun
nio
                                    
    NIO服务端代码： 
 

public class NIOServer {
	
	private Selector selector;

	
	public void startServer(int port) throws IOException {

		ServerSocketChannel serverChannel = ServerSocketChannel.open(
    
                                
    • 
                                
  • C语言学习homework1
                                    dcj3sjt126com
chomework
                                    
    0、 课堂练习做完 
1、使用sizeof计算出你所知道的所有的类型占用的空间。 
int x; 
sizeof(x); 
  
sizeof(int); 
  
# include <stdio.h>

int main(void)
{
	int x1;
	char x2;
	double x3;
	float x4;

	printf(&quo
    
                                
    • 
                                
  • select in order by , mysql排序
                                    dcj3sjt126com
mysql
                                    
    If i select like this: 
SELECT id FROM users WHERE id IN(3,4,8,1); 
This by default will select users in this order 
1,3,4,8, 
I would like to select them in the same order that i put IN() values so: 
    
                                
    • 
                                
  • 页面校验-新建项目
                                    fanxiaolong
页面校验
                                    
    $(document).ready(
	function() {
			var flag = true;
		$('#changeform').submit(function() {
			var projectScValNull = true;
			var s ="";
			var parent_id = $("#parent_id").v
    
                                
    • 
                                
  • Ehcache（02）——ehcache.xml简介
                                    234390216
ehcacheehcache.xml简介
                                    
    ehcache.xml简介 
  
       ehcache.xml文件是用来定义Ehcache的配置信息的，更准确的来说它是定义CacheManager的配置信息的。根据之前我们在《Ehcache简介》一文中对CacheManager的介绍我们知道一切Ehcache的应用都是从CacheManager开始的。在不指定配置信
    
                                
    • 
                                
  • junit 4.11中三个新功能
                                    jackyrong
java
                                    
    junit 4.11中两个新增的功能，首先是注解中可以参数化，比如 
 
 


import static org.junit.Assert.assertEquals;
 
import java.util.Arrays;
 
import org.junit.Test;
import org.junit.runner.RunWith;
import org.junit.runn
    
                                
    • 
                                
  • 国外程序员爱用苹果Mac电脑的10大理由
                                    php教程分享
windowsPHPunixMicrosoftperl
                                    
    Mac 在国外很受欢迎，尤其是在 设计/web开发/IT 人员圈子里。普通用户喜欢 Mac 可以理解，毕竟 Mac 设计美观，简单好用，没有病毒。那么为什么专业人士也对 Mac 情有独钟呢？从个人使用经验来看我想有下面几个原因： 
1、Mac OS X 是基于 Unix 的 
这一点太重要了，尤其是对开发人员，至少对于我来说很重要，这意味着Unix 下一堆好用的工具都可以随手捡到。如果你是个 wi
    
                                
    • 
                                
  • 位运算、异或的实际应用
                                    wenjinglian
位运算
                                    
    一． 位操作基础，用一张表描述位操作符的应用规则并详细解释。 
      二． 常用位操作小技巧，有判断奇偶、交换两数、变换符号、求绝对值。 
      三． 位操作与空间压缩，针对筛素数进行空间压缩。 
   &n
    
                                
    • 
                                
  • weblogic部署项目出现的一些问题（持续补充中……）
                                    Everyday都不同
weblogic部署失败
                                    
    好吧，weblogic的问题确实…… 
  
问题一： 
org.springframework.beans.factory.BeanDefinitionStoreException: Failed to read candidate component class: URL [zip:E:/weblogic/user_projects/domains/base_domain/serve
    
                                
    • 
                                
  • tomcat7性能调优（01）
                                    toknowme
tomcat7
                                    
      
    
Tomcat优化：   1、最大连接数最大线程等设置    
<Connector port="8082" protocol="HTTP/1.1" 
               useBodyEncodingForURI="t
    
                                
    • 
                                
  • PO VO DAO DTO BO TO概念与区别
                                    xp9802
javaDAO设计模式bean领域模型
                                    
    O/R Mapping 是 Object Relational Mapping（对象关系映射）的缩写。通俗点讲，就是将对象与关系数据库绑定，用对象来表示关系数据。在O/R Mapping的世界里，有两个基本的也是重要的东东需要了解，即VO，PO。 
它们的关系应该是相互独立的，一个VO可以只是PO的部分，也可以是多个PO构成，同样也可以等同于一个PO（指的是他们的属性）。这样，PO独立出来，数据持
    
                                
    •