xtajmh00
xtajmh00

记一次HBASE META表故障

HBASE菜鸟一枚，欢迎吐槽

hbase版本：0.90.6
共32个节点
17号节点regionserver日志：
2016-10-12 18:02:07,051 WARN org.apache.hadoop.hbase.zookeeper.ZKUtil: regionserver:60020-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009 Unable to get data of znode /hbase/unassigned/e50b05f8446a86044f32d64fd92df5ee
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/unassigned/e50b05f8446a86044f32d64fd92df5ee
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
        at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:614)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNode(ZKAssign.java:707)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNodeOpening(ZKAssign.java:589)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNodeOpening(ZKAssign.java:582)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.transitionZookeeperOfflineToOpening(OpenRegionHandler.java:354)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.process(OpenRegionHandler.java:96)
        at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:162)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)
2016-10-12 18:02:07,051 ERROR org.apache.hadoop.hbase.zookeeper.ZooKeeperWatcher: regionserver:60020-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009 Received unexpected KeeperException, re-throwing exception
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/unassigned/e50b05f8446a86044f32d64fd92df5ee
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
        at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:614)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNode(ZKAssign.java:707)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNodeOpening(ZKAssign.java:589)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNodeOpening(ZKAssign.java:582)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.transitionZookeeperOfflineToOpening(OpenRegionHandler.java:354)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.process(OpenRegionHandler.java:96)
        at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:162)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)
2016-10-12 18:02:07,051 ERROR org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler: Error transition from OFFLINE to OPENING for region=e50b05f8446a86044f32d64fd92df5ee
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/unassigned/e50b05f8446a86044f32d64fd92df5ee
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
        at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:614)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNode(ZKAssign.java:707)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNodeOpening(ZKAssign.java:589)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNodeOpening(ZKAssign.java:582)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.transitionZookeeperOfflineToOpening(OpenRegionHandler.java:354)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.process(OpenRegionHandler.java:96)
        at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:162)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)
2016-10-12 18:02:07,051 WARN org.apache.hadoop.hbase.zookeeper.ZKUtil: regionserver:60020-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009 Unable to get data of znode /hbase/unassigned/c27fd73fc6e74513995fa537ef8cb0ff
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/unassigned/c27fd73fc6e74513995fa537ef8cb0ff
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
        at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:614)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNode(ZKAssign.java:707)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.retransitionNodeOpening(ZKAssign.java:622)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.tickleOpening(OpenRegionHandler.java:380)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.process(OpenRegionHandler.java:111)
        at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:162)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)
2016-10-12 18:02:07,051 WARN org.apache.hadoop.hbase.zookeeper.ZKUtil: regionserver:60020-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009 Unable to get data of znode /hbase/unassigned/c27fd73fc6e74513995fa537ef8cb0ff
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/unassigned/c27fd73fc6e74513995fa537ef8cb0ff
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
        at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:614)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNode(ZKAssign.java:707)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.retransitionNodeOpening(ZKAssign.java:622)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.tickleOpening(OpenRegionHandler.java:380)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.process(OpenRegionHandler.java:111)
        at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:162)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)
2016-10-12 18:02:07,052 ERROR org.apache.hadoop.hbase.zookeeper.ZooKeeperWatcher: regionserver:60020-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009 Received unexpected KeeperException, re-throwing exception
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/unassigned/c27fd73fc6e74513995fa537ef8cb0ff
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
        at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:614)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNode(ZKAssign.java:707)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.retransitionNodeOpening(ZKAssign.java:622)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.tickleOpening(OpenRegionHandler.java:380)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.process(OpenRegionHandler.java:111)
        at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:162)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)
2016-10-12 18:02:07,052 WARN org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler: Failed transition from OFFLINE to OPENING for region=e50b05f8446a86044f32d64fd92df5ee
2016-10-12 18:02:07,052 WARN org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler: Region was hijacked? It no longer exists, encodedName=e50b05f8446a86044f32d64fd92df5ee
2016-10-12 18:02:07,052 FATAL org.apache.hadoop.hbase.regionserver.HRegionServer: ABORTING region server serverName=pc-zjddxd17,60020,1458232919352, load=(requests=16, regions=3619, usedHeap=15891, maxHeap=15962): Exception refreshing OPENING; region=c27fd73fc6e74513995fa537ef8cb0ff, context=post_region_open
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/unassigned/c27fd73fc6e74513995fa537ef8cb0ff
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
        at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:614)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNode(ZKAssign.java:707)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.retransitionNodeOpening(ZKAssign.java:622)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.tickleOpening(OpenRegionHandler.java:380)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.process(OpenRegionHandler.java:111)
        at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:162)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)

重启regionserver后查询某些数据的时候报错：
org.apache.hadoop.hbase.NotServingRegionException: org.apache.hadoop.hbase.NotServingRegionException: Region is not online: dr_query20160402,39113587772078,1459623124495.09c83e19e72d05085a5916e12c60cf0a.
        at org.apache.hadoop.hbase.regionserver.HRegionServer.getRegion(HRegionServer.java:2415)
        at org.apache.hadoop.hbase.regionserver.HRegionServer.get(HRegionServer.java:1668)
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:570)
        at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1039)

org.apache.hadoop.hbase.NotServingRegionException: org.apache.hadoop.hbase.NotServingRegionException: Region is not online: dr_query20160402,39113587772078,1459623124495.09c83e19e72d05085a5916e12c60cf0a.
        at org.apache.hadoop.hbase.regionserver.HRegionServer.getRegion(HRegionServer.java:2415)
        at org.apache.hadoop.hbase.regionserver.HRegionServer.get(HRegionServer.java:1668)
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:570)
        at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1039)
...
...

通过查询META表，发现出错的region信息，regionserver信息指向17号regionserver
处理过程：
1.关闭17号regionserver，开启balance，恢复失败
2.开启17号regionserver，graceful_stop 17号regionserver，转移到(大概3100/3500)个region的时候卡住，强制取消掉后再次开启17号regionserver并graceful_stop，成功，查询仍然报错，恢复失败
3.执行hbase hbck命令，结果如下：
Version: 0.90.6
.......................................................................................................
Number of Tables: 878
Number of live region servers: 32
Number of dead region servers: 0
...Number of empty REGIONINFO_QUALIFIER rows in .META.: 6
ERROR: Region dr_query20161106,604,1467707757971.022595cb412e87def50d0b924e2b173a. not deployed on any region server.
ERROR: Region dr_query20161102,bf2,1467707544941.0278e8ee1c3f707e1c544960bda52e50. not deployed on any region server.
ERROR: Region dr_query20160707,e70,1458715535447.03ede891a7b25bab5b5844992a423e07. not deployed on any region server.
ERROR: Region dr_query20160703,814,1458715454615.05785c1fa2d5c9db008622707362f89f. not deployed on any region server.
ERROR: Region dr_query20160506,3f4,1462553098226.06094bf11f5d3e5cd2edf57bfa30ae30. not deployed on any region server.
ERROR: Region dr_query20160516,370,1463423461018.06cb538928b55350b25e15241d466226. not deployed on any region server.
ERROR: Region dr_query20160402,39113587772078,1459623124495.09c83e19e72d05085a5916e12c60cf0a. not deployed on any region server.
ERROR: Region dr_query20161026,b2c,1467707179546.0ace5ddd0c7a01d04fccf17ed2835f67. not deployed on any region server.
ERROR: Region dr_query20161128,dd6,1467708842082.0b48993d271ad2963fb445775a1bd5e8. not deployed on any region server.
ERROR: Region dr_query20160609,5cc18757409143,1465492961475.0bb9d0907649504ac0a00adc6a22c9b9. not deployed on any region server.
ERROR: Region dr_query20160926,23c,1467705563796.0c4243e304763cfd36ab45fd37f6b805. not deployed on any region server.
ERROR: Region dr_query20161223,ad4,1467709995651.0f01cd67d9d402b1784bf66bccf76e22. not deployed on any region server.
......
....
455 inconsistencies detected.
Status: INCONSISTENT

另有个别region异常如下：
ERROR: Region UNKNOWN_REGION on pc-xxxxxx22:60020, key=62ab2e52ba494d6cbe6564ca44fc6b00, not on HDFS or in META but deployed on pc-xxxxxx22:60020
ERROR: Region hdfs://10.70.235.107:9001/hbasedata/dr_query20161011/6eb85c15a35b20b3d3e0212dd0c2a49c not in META, but deployed on pc-xxxxxx16:60020
ERROR: Region hdfs://10.70.235.107:9001/hbasedata/dr_query20161010/a81ea7f23bdfd9e1483e19940336f4b5 not in META, but deployed on pc-xxxxxx19:60020
ERROR: Region hdfs://10.70.235.107:9001/hbasedata/dr_query20161009/e373569fd47f7e49316c25e1370c4063 on HDFS, but not listed in META or deployed on any region server

4.再次检查META表，查看hbck结果中not deployed的region信息，结果不存在
5.手动assign
   hbase shell
   hbase>assign 'dr_query20161106,604,1467707757971.022595cb412e87def50d0b924e2b173a.'
   ....
6.再次执行hbase hbck
Version: 0.90.6
.......................................................................................................
Number of Tables: 878
Number of live region servers: 32
Number of dead region servers: 0
...Number of empty REGIONINFO_QUALIFIER rows in .META.: 6
ERROR: Region UNKNOWN_REGION on pc-zjddxd22:60020, key=62ab2e52ba494d6cbe6564ca44fc6b00, not on HDFS or in META but deployed on pc-zjddxd22:60020
ERROR: Region hdfs://10.70.235.107:9001/hbasedata/dr_query20161011/6eb85c15a35b20b3d3e0212dd0c2a49c not in META, but deployed on pc-zjddxd16:60020
ERROR: Region hdfs://10.70.235.107:9001/hbasedata/dr_query20161010/a81ea7f23bdfd9e1483e19940336f4b5 not in META, but deployed on pc-zjddxd19:60020
ERROR: Region hdfs://10.70.235.107:9001/hbasedata/dr_query20161009/e373569fd47f7e49316c25e1370c4063 on HDFS, but not listed in META or deployed on any region server
...
...
4 inconsistencies detected.
Status: INCONSISTENT


这四个不会处理，目前等待时间窗口重启hbase集群。

你可能感兴趣的:(记一次HBASE META表故障)

  • 剑指 Offer II 113. 课程顺序（中等 图 bfs 拓扑排序 数组 哈希表） 风雨中de宁静 图搜索算法
    剑指OfferII113.课程顺序现在总共有numCourses门课需要选，记为0到numCourses-1。给定一个数组prerequisites，它的每一个元素prerequisites[i]表示两门课程之间的先修顺序。例如prerequisites[i]=[ai,bi]表示想要学习课程ai，需要先完成课程bi。请根据给出的总课程数numCourses和表示先修顺序的prerequisites
  • LoadRunner 11 性能测试全面教程 金融先生-Frank
    本文还有配套的精品资源，点击获取简介：LoadRunner11（LR11）是HP开发的一款企业级性能测试工具，支持多应用程序类型的负载测试，用于性能评估、瓶颈识别和系统优化。教程详细介绍LR11的组件功能、脚本开发、场景设置、测试执行、结果分析、性能指标监测、故障诊断以及自动化测试等，提供从初级到高级的完整学习路径。1.LoadRunner11(LR11)功能概述LoadRunner11(LR11
  • LeetCode146.LRU 缓存（哈希表+双向链表） techpupil 缓存散列表链表
    请你设计并实现一个满足LRU(最近最少使用)缓存约束的数据结构。实现LRUCache类：LRUCache(intcapacity)以正整数作为容量capacity初始化LRU缓存intget(intkey)如果关键字key存在于缓存中，则返回关键字的值，否则返回-1。voidput(intkey,intvalue)如果关键字key已经存在，则变更其数据值value；如果不存在，则向缓存中插入该组k
  • Vscode niuhe 插件使用教程 - xorm 代码生成 诗意地回家 niuhe插件vscodeide编辑器
    官方教程已经上线,请访问:http://niuhe.zuxing.net本文相关项目:vue3-element-admin基于niuhe插件的管理后台模板niuhe-mdbookniuhe插件示例项目在日常开发中，新增数据库表时通常需要编写大量重复的增删改查代码。为提高开发效率，niuhe插件0.3.4版本新增Xorm基础代码生成功能，可自动生成：数据库表对应的Golang模型结构体基础CURD操
  • VRRP协议介绍及一些常见问题 cocologin 网络技术原理智能路由器网络网络协议运维
    目录1.概述2.VRRP的核心概念虚拟路由器（VirtualRouter）角色划分VRRP组（VRRPGroup）3.VRRP工作机制设备状态主路由器选举特殊情况：VRRP出现优先级0和255故障切换4.VRRP特性抢占模式（Preemption）多网关负载分担5.应用场景(冗余，高可用)6.VRRP与其他协议对比7.配置示例华为/华三设备配置思设备配置8.常见的一些问题1.为什么优先级255不能
  • 数据结构、图论---数组模拟单链表 邻接表 wow_awsl_qwq 数据结构数据结构图论链表
    数组模拟链表或者所谓的邻接表，实际上都是静态链表，以数组下标模拟模拟内存地址，使得可以一开始就给数组分配好连续的一大片空间，而使用中的“内存分配”实际上就是变成了简单的idx++比赛中使用静态链表代替指针型链可以减少内存分配带来的时间消耗，并且使用方式也比较简单比赛中的单链表或者邻接表也可以用vector实现，达到动态内存分配的效果，其实就是类似于指针链表，不过使用方式也比较简单直观比如图论模型：
  • 图论：以二维数组表示的连通图/树应如何表示？leetcode1042.不邻接种花 坠金 技术面算法图论算法leetcode
    1042.不邻接植花-力扣（LeetCode）容器在这道题中输入类似[[1,2],[3,4]]，这意味着花园1连通了花园2，花园3连通了花园4。那么该怎么根据这个输入，获取一个方便后面算法的表示呢？我们通常管这种存放邻居的数据格式叫做：邻接表通常我的思路是使用下列容器作为邻接表：哈希表，key就是花园i，value是与花园i接壤的其他所有花园。二维数组，第i个数组中的元素是与花园i接壤的其他所有花
  • 备忘录二 数组模拟邻接表 AugustineDiane c++图论算法
    constintN=1010,M=1010;inth[N],e[M],w[M],nxt[M],eidx;voidadd(intu,intv,intweight)//添加有向边u->v,权重为weight{e[eidx]=v;//记录边的终点w[eidx]=weight;//记录边的权重nxt[eidx]=h[u];//将下一条边指向结点u此时的第一条边h[u]=eidx;//将结点u的第一条边的编
  • 图的存储-邻接表（数组模拟） Roy__Mustang 链表数据结构图论c++
    先放模板假设图中N个节点，M条边（标号均从1开始）//初始化for(inti=1;i<=N;i++){h[i]=-1;}for(int
  • 数组模拟邻接表 #图论 旧物有情 数据结构图论数据结构
    文章目录为什么要用数组来模拟邻接表存储思路遍历思路树是特殊的图，因此邻接表可以存储图和树两种数据结构。为什么要用数组来模拟邻接表在算法设计当中，利用数组来代替结构体模拟各种数据结构会更加简单。存储思路给定如下数据,我们可以构造如下的一个邻接表请看代码/**idx:索引,代表数组哪个位置,是否连续不重要,因为我们的存储是链式的。h[idx]:顶点表,下标idx代表是哪个顶点,初始值全部为-1,代表没
  • 软件工程：数据字典 愚戏师 软件工程软件工程数据库
    一、数据字典的核心作用定位：数据字典是数据流图（DFD）的补充说明文档，与DFD共同构成系统的逻辑模型。核心价值：消除二义性：明确数据流、存储、元素的定义，避免理解偏差。设计依据：为数据库设计、代码开发提供数据规范。团队协作：作为开发团队的共享词汇表，确保术语一致性。二、数据字典的四大组成要素1.数据流（DataFlow）定义：数据在系统中的流动路径。描述内容：来源与去向：起点（外部实体/处理）、
  • mysql修改表中所有字段不许为空_如何用SQL语句修改一个表的字段，让它不能为空... Asama浅间
    展开全部ALTERTABLE表ALTERCOLUMN[字段名]字段类型NOTNULLSQL语句1、基32313133353236313431303231363533e78988e69d8331333365643661本介绍：sql语句是对数据库进行操作的一种语言。结构化查询语言(StructuredQueryLanguage)简称SQL，结构化查询语言是一种数据库查询和程序设计语言，用于存取数据以
  • LakeHouse湖仓一体成为下一站灯塔，数仓、数据湖架构即将退出群聊 科杰科技 大数据数据仓库
    摘要：当前的大数据技术应用趋势表明，客户对单一的数据湖和数仓架构并不满意。近年来几乎所有的数据仓库都增加了对Parquet和ORC格式的外部表支持，这使数仓用户可以从相同的SQL引擎查询数据湖表，但它不会使数据湖表更易于管理，也不会消除仓库中数据的ETL复杂性、陈旧性和高级分析挑战。KeenDataLakeHouse（湖仓一体）作为新一代大数据技术架构，将逐渐取代单一数据湖和数仓架构，成为大数据架
  • 车载以太网测试-14【交换机以及MAC地址表】 车载测试工程师 车载以太网测试tcp/ip网络网络协议经验分享车载系统
    目录1摘要2车载交换机概述2.1OSI模型中的位置2.2车载交换机在数据链路层的功能3车载交换机的工作原理3.1车载交换机的关键工作步骤3.2车载交换机的关键技术3.3车载交换机的工作示例3.4MAC地址表3.4.1MAC地址表的工作原理3.4.2MAC地址表示例3.4.3MAC地址表的超时机制4总结1摘要车载交换机工作在OSI模型的数据链路层（DataLinkLayer），具体来说是数据链路层的
  • 对数据库的总结 java
    一、数据库基础1.数据库是一个用于存储和操作数据的文件系统2.关系型数据库：是基于二维表存储的，每个表格由列和行组成，列代表属性，行代表约束，数据的组织和查询更加方便和高效。3.库表操作结构：MySQL和Oracle，通用工具Navicat4.SQL语句的库表操作：createtable：创建表altertable：修改表droptable：删除表truncatetable：删除表中的所有数据，但
  • Apifox vs Apipost，API 管理工具选型思考，企业究竟该如何选？
    在企业级API调试与管理场景中，选择一款高效的工具至关重要。市面上的调试工具琳琅满目，而Apifox和Apipost是近几年两款备受开发者关注的API工具。二者都宣称为团队协作和接口调试赋能，但对企业来说，究竟谁才是更适合的选择呢？本文将从功能对比、用户体验、企业适配度和性价比等多个维度做一次全面解析，帮助你做出更明智的选择。一.概述与定位ApiFoxApifox是一款国产的API调试工具，主打“
  • Mysql-经典实战案例（10）：如何用PT-Archiver完成大表的自动归档 从不删库的DBA Mysql经典实战案例mysql数据库
    真实痛点：电商订单表存储优化场景现状分析某电商平台订单表（order_info）每月新增500万条记录主库：高频读写，SSD存储（空间告急）历史库：HDD存储，只读查询优化目标✅自动迁移7天前的订单到历史库✅每周六23:30执行，不影响业务高峰✅确保数据一致性第一章：前期准备：沙盒实验室搭建1.1实验环境架构生产库：10.33.112.22历史库：10.30.76.41.2环境初始化（双节点执行）
  • 通俗详解redis底层数据结构哈希表之渐进式rehash 八股文领域大手子 javajvm算法数据库mysqlredis
    一、为什么要用渐进式rehash？假设你家的旧柜子（哈希表）装满了，需要换个大柜子。如果一次性把所有东西倒腾到新柜子，你可能得停下手头所有事，累得半死（这就是传统rehash的问题：卡顿）。Redis为了不“累死”，选择边搬边用，每次搬一点，这就是“渐进式”。二、具体怎么“搬家”？1️⃣先准备好新柜子（分配空间）•Redis会先申请一个更大的新哈希表（比如旧表两倍大），这时候系统里同时有「旧表」和
  • 手机游戏《银河历险记2》：一场奇幻的星际解谜之旅 2501_90238385 游戏
    《银河历险记2》是一款经典的解谜冒险游戏，故事发生在一个只有男孩和一只狗的星球上。一天，小狗被外星人抓走了，于是男孩踏上了营救小狗的冒险之旅。游戏的画面风格独特，采用了复古的像素艺术，营造出一种静谧而神秘的异星世界。游戏特色：奇幻与解谜的完美结合1.独特的像素艺术风格游戏的画面虽然简洁，但细节丰富，每个星球都有独特的风景和风格，从荒凉的沙漠到神秘的森林，让玩家仿佛置身于一个真实的异星世界。2.丰富
  • 2. 猜数字游戏 老实人y Rust小白初学rust开发语言后端
    目录创建一个新项目处理一次猜测生成一个秘密数字使用crate来增加更多功能Cargo.lock文件确保构建是可重现的更新crate到一个新版本生成一个随机数比较猜测的数字和神秘数字使用循环来允许多次猜测猜测正确后退出处理无效输入最终代码程序会随机生成一个1到100之间的整数。接着它会提示玩家猜一个数并输入，然后指出猜测是大了还是小了。如果猜对了，它会打印祝贺信息并退出。创建一个新项目project
  • lua 面向对象(继承、封装、多态) yxlalm lualua面向对象继承封装多态
    封装Object={}Object.id=1functionObject:new()localobj={}self.__index=selfsetmetatable(obj,self)returnobjendlocalmyObj=Object:new()myObj.id=3print(myObj)print(Object)print(myObj.id)继承obj.base=self保存基类方法fu
  • Lua的面向对象，封装，继承，多态 顽石2019
    概述我们总所周知对象是由属性和方法组成的，要用lua要描述一个对象，也必然要有这两个特性，属性和方法。lua的基本结构是table，所以Lua的类，其实都是table，因为它可以存储普通的变量又可以存储方法，我们利用table就可以描述一个对象的属性和方法。对象其实lua要模拟一个对象，关键就在于__index设置元表索引这块，它主要起到索引失败后该怎么办，如果它指向一张表，那么__index索引
  • 【lua】面向对象 岚花落_ lua
    建议提前学习https://www.runoob.com/lua/lua-metatables.html面向对象特征1）封装：指能够把一个实体的信息、功能、响应都装入一个单独的对象中的特性。2）继承：继承的方法允许在不改动原程序的基础上对其进行扩充，这样使得原功能得以保存，而新功能也得以扩展。这有利于减少重复编码，提高软件的开发效率。3）多态：同一操作作用于不同的对象，可以有不同的解释，产生不同的
  • 记20个忘10个之七：身体结构 nshkfhwr beauty美女head头body身hand手foot脚lap大腿面organ器官
    记20个忘10个之七：身体结构附送几个单词：beautyn.美女lookern.靓女girln.女孩lassn.少女，年轻女子lassien.少女，小姑娘maidenn.少女，未婚女子maidn.女仆ladyn.女士；小姐hostessn.女主人；女房东mistressn.女主人，主妇；情妇blonden.金发女郎这样是不是很好记呀，^_^
  • lua实现面向对象(封装/继承/多态) @M_J_Y@ lualua
    lua实现面向对象封装/继承/多态lua实现面向对象(封装/继承/多态)lua实现面向对象(封装/继承/多态)print("***********面向对象**********")print("*************封装************")--表就是表现类的一种形式--实现了new方法:本质上是创建一个空表，__index,元表--如果子表寻找某元素时在自身找不到时，会去元表的__ind
  • vpc网络的原理 会探索的小学生 网络
    一、VPC的基本概念和功能VPC是一个专有的云上私有网络，允许用户在公共云上配置和管理一个逻辑隔离的网络区域。用户可以自定义IP地址范围、创建子网、配置路由表和网络网关。VPC提供了类似于传统数据中心的安全和可配置的私有网络空间，同时又具备云计算的弹性和可扩展性‌二、VPC的关键组件和技术细节vSwitch‌：交换机，组成专有网络的基础网络设备，用于连接不同的云资源。‌vRouter‌：路由器，作
  • 北斗导航｜接收机自主完好性监测算法研究现状及发展趋势 单北斗SLAMer 卫星导航毕业论文设计算法
    接收机自主完好性监测（RAIM）算法是保障卫星导航系统可靠性的核心技术，其研究现状与发展趋势可从算法设计、多系统融合、智能化技术等方面进行分析。以下基于现有研究成果及行业动态进行总结：一、研究现状传统故障检测算法RAIM的核心目标是通过冗余观测值检测并隔离故障卫星。早期研究聚焦单星故障场景，主要方法包括：残差分析法：通过比较观测残差与阈值判断故障，如最小二乘残差和法、奇偶矢量法等。距离比较法：基于
  • MySQL性能优化实战笔记 - 通俗易懂版 泥潭硬拔 mysql性能优化笔记
    1.存储引擎选择-到底选哪个？InnoDBvsMyISAM通俗对比想象你开了一家银行：InnoDB就像是有保险柜的银行支持事务：比如转账，要么都成功，要么都失败行级锁：小明在存钱时，小红还能同时取钱缺点：需要更多内存和CPUMyISAM就像是简易储物柜不支持事务：操作简单直接表级锁：一个人在用时，其他人要等待优点：读取速度快，占用资源少2.实战案例：常见性能问题及解决方案案例1：查询特别慢--糟糕
  • 常用的数据结构有哪些？在Go语言中如何定义其实例？ 开心码农1号 算法与数据结构数据结构算法go链表
    常见的数据结构有：数组、链表、栈、队列、图、哈希表；1、数组用于存储和处理一组固定大小、相同类型的数据，如存储学生成绩、数组排序等。Go语言中的数组长度是固定的，在声明时需要指定长度。特点：数据元素类型相同：数组中的所有元素都具有相同的数据类型；内存地址连续：数组在内存中是连续存储的；随机访问高效：由于数组的内存地址连续，并且元素类型相同，因此可以通过索引快速访问数组中的任意元素。无论要访问数组中
  • 第三十篇 维度建模：从理论到落地的企业级实践 随缘而动，随遇而安 数据库sql数据仓库大数据数据库架构
    目录一、维度建模核心理论体系1.1Kimball方法论四大支柱1.2关键概念对比矩阵二、四步建模法全流程解析2.1选择业务过程（以电商为例）2.2声明原子粒度（订单案例）2.3维度设计规范时间维度（含财年逻辑）SCDType2完整实现（Hudi）2.4事实表类型与设计三、企业级建模实战：电商用户分析3.1业务矩阵分析3.2模型实现代码四、高级建模技巧4.1多星型模式关联4.2大数据场景优化五、性能
  • HQL之投影查询 归来朝歌 HQLHibernate查询语句投影查询
            在HQL查询中，常常面临这样一个场景，对于多表查询，是要将一个表的对象查出来还是要只需要每个表中的几个字段，最后放在一起显示？ 针对上面的场景，如果需要将一个对象查出来： HQL语句写“from 对象”即可 Session session = HibernateUtil.openSession();
  • Spring整合redis bylijinnan redis
    pom.xml <dependencies> <!-- Spring Data - Redis Library --> <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-redi
  • org.hibernate.NonUniqueResultException: query did not return a unique result: 2 0624chenhong Hibernate
    参考：http://blog.csdn.net/qingfeilee/article/details/7052736 org.hibernate.NonUniqueResultException: query did not return a unique result: 2         在项目中出现了org.hiber
  • android动画效果 不懂事的小屁孩 android动画
    前几天弄alertdialog和popupwindow的时候，用到了android的动画效果，今天专门研究了一下关于android的动画效果，列出来，方便以后使用。 Android 平台提供了两类动画。 一类是Tween动画，就是对场景里的对象不断的进行图像变化来产生动画效果（旋转、平移、放缩和渐变）。 第二类就是 Frame动画，即顺序的播放事先做好的图像，与gif图片原理类似。
  • js delete 删除机理以及它的内存泄露问题的解决方案 换个号韩国红果果 JavaScript
    delete删除属性时只是解除了属性与对象的绑定，故当属性值为一个对象时，删除时会造成内存泄露  （其实还未删除） 举例： var person={name:{firstname:'bob'}} var p=person.name delete person.name p.firstname -->'bob' // 依然可以访问p.firstname，存在内存泄露
  • Oracle将零干预分析加入网络即服务计划 蓝儿唯美 oracle
    由Oracle通信技术部门主导的演示项目并没有在本月较早前法国南斯举行的行业集团TM论坛大会中获得嘉奖。但是，Oracle通信官员解雇致力于打造一个支持零干预分配和编制功能的网络即服务（NaaS）平台，帮助企业以更灵活和更适合云的方式实现通信服务提供商（CSP）的连接产品。这个Oracle主导的项目属于TM Forum Live!活动上展示的Catalyst计划的19个项目之一。Catalyst计
  • spring学习——springmvc（二） a-john springMVC
    Spring MVC提供了非常方便的文件上传功能。 1，配置Spring支持文件上传： DispatcherServlet本身并不知道如何处理multipart的表单数据，需要一个multipart解析器把POST请求的multipart数据中抽取出来，这样DispatcherServlet就能将其传递给我们的控制器了。为了在Spring中注册multipart解析器，需要声明一个实现了Mul
  • POJ-2828-Buy Tickets aijuans ACM_POJ
    POJ-2828-Buy Tickets http://poj.org/problem?id=2828 线段树，逆序插入 #include<iostream>#include<cstdio>#include<cstring>#include<cstdlib>using namespace std;#define N 200010struct
  • Java Ant build.xml详解 asia007 build.xml
    1,什么是antant是构建工具2,什么是构建概念到处可查到，形象来说，你要把代码从某个地方拿来，编译，再拷贝到某个地方去等等操作，当然不仅与此，但是主要用来干这个3,ant的好处跨平台   --因为ant是使用java实现的，所以它跨平台使用简单--与ant的兄弟make比起来语法清晰--同样是和make相比功能强大--ant能做的事情很多，可能你用了很久，你仍然不知道它能有
  • android按钮监听器的四种技术 百合不是茶 androidxml配置监听器实现接口
    android开发中经常会用到各种各样的监听器,android监听器的写法与java又有不同的地方;    1,activity中使用内部类实现接口 ,创建内部类实例  使用add方法  与java类似   创建监听器的实例 myLis lis = new myLis();   使用add方法给按钮添加监听器  
  • 软件架构师不等同于资深程序员 bijian1013 程序员架构师架构设计
            本文的作者Armel Nene是ETAPIX Global公司的首席架构师，他居住在伦敦，他参与过的开源项目包括 Apache Lucene,，Apache Nutch， Liferay 和 Pentaho等。         如今很多的公司
  • TeamForge Wiki Syntax & CollabNet User Information Center sunjing TeamForgeHow doAttachementAnchorWiki Syntax
    the CollabNet user information center http://help.collab.net/   How do I create a new Wiki page? A CollabNet TeamForge project can have any number of Wiki pages. All Wiki pages are linked, and
  • 【Redis四】Redis数据类型 bit1129 redis
    概述 Redis是一个高性能的数据结构服务器，称之为数据结构服务器的原因是，它提供了丰富的数据类型以满足不同的应用场景，本文对Redis的数据类型以及对这些类型可能的操作进行总结。 Redis常用的数据类型包括string、set、list、hash以及sorted set.Redis本身是K/V系统，这里的数据类型指的是value的类型，而不是key的类型，key的类型只有一种即string
  • SSH2整合-附源码 白糖_ eclipsespringtomcatHibernateGoogle
    今天用eclipse终于整合出了struts2+hibernate+spring框架。 我创建的是tomcat项目，需要有tomcat插件。导入项目以后，鼠标右键选择属性，然后再找到“tomcat”项，勾选一下“Is a tomcat project”即可。具体方法见源码里的jsp图片，sql也在源码里。     补充1：项目中部分jar包不是最新版的，可能导
  • [转]开源项目代码的学习方法 braveCS 学习方法
    转自： http://blog.sina.com.cn/s/blog_693458530100lk5m.html http://www.cnblogs.com/west-link/archive/2011/06/07/2074466.html   1）阅读features。以此来搞清楚该项目有哪些特性2）思考。想想如果自己来做有这些features的项目该如何构架3）下载并安装d
  • 编程之美-子数组的最大和（二维） bylijinnan 编程之美
    package beautyOfCoding; import java.util.Arrays; import java.util.Random; public class MaxSubArraySum2 { /** * 编程之美 子数组之和的最大值（二维） */ private static final int ROW = 5; private stat
  • 读书笔记-3 chengxuyuancsdn jquery笔记resultMap配置ibatis一对多配置
    1、resultMap配置 2、ibatis一对多配置 3、jquery笔记 1、resultMap配置 当<select resultMap="topic_data"> <resultMap id="topic_data">必须一一对应。 (1)<resultMap class="tblTopic&q
  • [物理与天文]物理学新进展 comsci
          如果我们必须获得某种地球上没有的矿石,才能够进行某些能量输出装置的设计和建造,而要获得这种矿石,又必须首先进行深空探测,而要进行深空探测,又必须获得这种能量输出装置,这个矛盾的循环,会导致地球联盟在与宇宙文明建立关系的时候,陷入困境       怎么办呢?  
  • Oracle 11g新特性:Automatic Diagnostic Repository daizj oracleADR
    Oracle Database 11g的FDI（Fault Diagnosability Infrastructure）是自动化诊断方面的又一增强。 FDI的一个关键组件是自动诊断库（Automatic Diagnostic Repository-ADR）。 在oracle 11g中，alert文件的信息是以xml的文件格式存在的，另外提供了普通文本格式的alert文件。 这两份log文
  • 简单排序:选择排序 dieslrae 选择排序
    public void selectSort(int[] array){ int select; for(int i=0;i<array.length;i++){ select = i; for(int k=i+1;k<array.leng
  • C语言学习六指针的经典程序，互换两个数字 dcj3sjt126com c
    示例程序，swap_1和swap_2都是错误的，推理从1开始推到2，2没完成，推到3就完成了 # include <stdio.h> void swap_1(int, int); void swap_2(int *, int *); void swap_3(int *, int *); int main(void) { int a = 3; int b =
  • php 5.4中php-fpm 的重启、终止操作命令 dcj3sjt126com PHP
    php 5.4中php-fpm 的重启、终止操作命令: 查看php运行目录命令：which php/usr/bin/php 查看php-fpm进程数：ps aux | grep -c php-fpm 查看运行内存/usr/bin/php  -i|grep mem 重启php-fpm/etc/init.d/php-fpm restart 在phpinfo()输出内容可以看到php
  • 线程同步工具类 shuizhaosi888 同步工具类
    同步工具类包括信号量（Semaphore）、栅栏（barrier）、闭锁（CountDownLatch）   闭锁（CountDownLatch） public class RunMain { public long timeTasks(int nThreads, final Runnable task) throws InterruptedException { fin
  • bleeding edge是什么意思 haojinghua DI
    不止一次，看到很多讲技术的文章里面出现过这个词语。今天终于弄懂了——通过朋友给的浏览软件，上了wiki。  我再一次感到，没有辞典能像WiKi一样，给出这样体贴人心、一清二楚的解释了。为了表达我对WiKi的喜爱，只好在此一一中英对照，给大家上次课。   In computer science, bleeding edge is a term that
  • c中实现utf8和gbk的互转 jimmee ciconvutf8&gbk编码
    #include <iconv.h> #include <stdlib.h> #include <stdio.h> #include <unistd.h> #include <fcntl.h> #include <string.h> #include <sys/stat.h> int code_c
  • 大型分布式网站架构设计与实践 lilin530 应用服务器搜索引擎
    1.大型网站软件系统的特点？ a.高并发，大流量。 b.高可用。 c.海量数据。 d.用户分布广泛，网络情况复杂。 e.安全环境恶劣。 f.需求快速变更，发布频繁。 g.渐进式发展。 2.大型网站架构演化发展历程？ a.初始阶段的网站架构。 应用程序，数据库，文件等所有的资源都在一台服务器上。 b.应用服务器和数据服务器分离。 c.使用缓存改善网站性能。 d.使用应用
  • 在代码中获取Android theme中的attr属性值 OliveExcel androidtheme
    Android的Theme是由各种attr组合而成, 每个attr对应了这个属性的一个引用, 这个引用又可以是各种东西.   在某些情况下, 我们需要获取非自定义的主题下某个属性的内容 (比如拿到系统默认的配色colorAccent), 操作方式举例一则: int defaultColor = 0xFF000000; int[] attrsArray = { andorid.r.
  • 基于Zookeeper的分布式共享锁 roadrunners zookeeper分布式共享锁
    首先，说说我们的场景，订单服务是做成集群的，当两个以上结点同时收到一个相同订单的创建指令，这时并发就产生了，系统就会重复创建订单。等等......场景。这时，分布式共享锁就闪亮登场了。   共享锁在同一个进程中是很容易实现的，但在跨进程或者在不同Server之间就不好实现了。Zookeeper就很容易实现。具体的实现原理官网和其它网站也有翻译，这里就不在赘述了。   官
  • 两个容易被忽略的MySQL知识 tomcat_oracle mysql
    1、varchar(5)可以存储多少个汉字，多少个字母数字？ 　　相信有好多人应该跟我一样，对这个已经很熟悉了，根据经验我们能很快的做出决定，比如说用varchar(200)去存储url等等，但是，即使你用了很多次也很熟悉了，也有可能对上面的问题做出错误的回答。 　　这个问题我查了好多资料，有的人说是可以存储5个字符，2.5个汉字（每个汉字占用两个字节的话），有的人说这个要区分版本，5.0
  • zoj 3827 Information Entropy(水题) 阿尔萨斯 format
    题目链接：zoj 3827 Information Entropy 题目大意：三种底，计算和。 解题思路：调用库函数就可以直接算了，不过要注意Pi = 0的时候，不过它题目里居然也讲了。。。limp→0+plogb(p)=0，因为p是logp的高阶。 #include <cstdio> #include <cstring> #include <cmath&
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他