xtajmh00

记一次HBASE META表故障

HBASE菜鸟一枚，欢迎吐槽

hbase版本：0.90.6

共32个节点

17号节点regionserver日志：

2016-10-12 18:02:07,051 WARN org.apache.hadoop.hbase.zookeeper.ZKUtil: regionserver:60020-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009 Unable to get data of znode /hbase/unassigned/e50b05f8446a86044f32d64fd92df5ee
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/unassigned/e50b05f8446a86044f32d64fd92df5ee
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
        at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:614)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNode(ZKAssign.java:707)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNodeOpening(ZKAssign.java:589)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNodeOpening(ZKAssign.java:582)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.transitionZookeeperOfflineToOpening(OpenRegionHandler.java:354)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.process(OpenRegionHandler.java:96)
        at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:162)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)
2016-10-12 18:02:07,051 ERROR org.apache.hadoop.hbase.zookeeper.ZooKeeperWatcher: regionserver:60020-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009 Received unexpected KeeperException, re-throwing exception
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/unassigned/e50b05f8446a86044f32d64fd92df5ee
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
        at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:614)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNode(ZKAssign.java:707)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNodeOpening(ZKAssign.java:589)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNodeOpening(ZKAssign.java:582)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.transitionZookeeperOfflineToOpening(OpenRegionHandler.java:354)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.process(OpenRegionHandler.java:96)
        at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:162)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)

2016-10-12 18:02:07,051 ERROR org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler: Error transition from OFFLINE to OPENING for region=e50b05f8446a86044f32d64fd92df5ee

org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/unassigned/e50b05f8446a86044f32d64fd92df5ee
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
        at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:614)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNode(ZKAssign.java:707)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNodeOpening(ZKAssign.java:589)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNodeOpening(ZKAssign.java:582)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.transitionZookeeperOfflineToOpening(OpenRegionHandler.java:354)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.process(OpenRegionHandler.java:96)
        at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:162)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)
2016-10-12 18:02:07,051 WARN org.apache.hadoop.hbase.zookeeper.ZKUtil: regionserver:60020-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009 Unable to get data of znode /hbase/unassigned/c27fd73fc6e74513995fa537ef8cb0ff
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/unassigned/c27fd73fc6e74513995fa537ef8cb0ff
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
        at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:614)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNode(ZKAssign.java:707)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.retransitionNodeOpening(ZKAssign.java:622)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.tickleOpening(OpenRegionHandler.java:380)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.process(OpenRegionHandler.java:111)
        at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:162)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)

at java.lang.Thread.run(Thread.java:619)

2016-10-12 18:02:07,051 WARN org.apache.hadoop.hbase.zookeeper.ZKUtil: regionserver:60020-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009 Unable to get data of znode /hbase/unassigned/c27fd73fc6e74513995fa537ef8cb0ff
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/unassigned/c27fd73fc6e74513995fa537ef8cb0ff
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
        at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:614)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNode(ZKAssign.java:707)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.retransitionNodeOpening(ZKAssign.java:622)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.tickleOpening(OpenRegionHandler.java:380)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.process(OpenRegionHandler.java:111)
        at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:162)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)
2016-10-12 18:02:07,052 ERROR org.apache.hadoop.hbase.zookeeper.ZooKeeperWatcher: regionserver:60020-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009-0x453857482f10009 Received unexpected KeeperException, re-throwing exception
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/unassigned/c27fd73fc6e74513995fa537ef8cb0ff
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
        at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:614)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNode(ZKAssign.java:707)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.retransitionNodeOpening(ZKAssign.java:622)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.tickleOpening(OpenRegionHandler.java:380)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.process(OpenRegionHandler.java:111)
        at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:162)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)
2016-10-12 18:02:07,052 WARN org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler: Failed transition from OFFLINE to OPENING for region=e50b05f8446a86044f32d64fd92df5ee
2016-10-12 18:02:07,052 WARN org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler: Region was hijacked? It no longer exists, encodedName=e50b05f8446a86044f32d64fd92df5ee

2016-10-12 18:02:07,052 FATAL org.apache.hadoop.hbase.regionserver.HRegionServer: ABORTING region server serverName=pc-zjddxd17,60020,1458232919352, load=(requests=16, regions=3619, usedHeap=15891, maxHeap=15962): Exception refreshing OPENING; region=c27fd73fc6e74513995fa537ef8cb0ff, context=post_region_open

org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/unassigned/c27fd73fc6e74513995fa537ef8cb0ff
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
        at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:614)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.transitionNode(ZKAssign.java:707)
        at org.apache.hadoop.hbase.zookeeper.ZKAssign.retransitionNodeOpening(ZKAssign.java:622)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.tickleOpening(OpenRegionHandler.java:380)
        at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.process(OpenRegionHandler.java:111)
        at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:162)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)

at java.lang.Thread.run(Thread.java:619)

重启regionserver后查询某些数据的时候报错：

org.apache.hadoop.hbase.NotServingRegionException: org.apache.hadoop.hbase.NotServingRegionException: Region is not online: dr_query20160402,39113587772078,1459623124495.09c83e19e72d05085a5916e12c60cf0a.
        at org.apache.hadoop.hbase.regionserver.HRegionServer.getRegion(HRegionServer.java:2415)
        at org.apache.hadoop.hbase.regionserver.HRegionServer.get(HRegionServer.java:1668)
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:570)
        at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1039)

org.apache.hadoop.hbase.NotServingRegionException: org.apache.hadoop.hbase.NotServingRegionException: Region is not online: dr_query20160402,39113587772078,1459623124495.09c83e19e72d05085a5916e12c60cf0a.
        at org.apache.hadoop.hbase.regionserver.HRegionServer.getRegion(HRegionServer.java:2415)
        at org.apache.hadoop.hbase.regionserver.HRegionServer.get(HRegionServer.java:1668)
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:570)

at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1039)

...

通过查询META表，发现出错的region信息，regionserver信息指向17号regionserver

处理过程：

1.关闭17号regionserver，开启balance，恢复失败

2.开启17号regionserver，graceful_stop 17号regionserver，转移到(大概3100/3500)个region的时候卡住，强制取消掉后再次开启17号regionserver并graceful_stop，成功，查询仍然报错，恢复失败

3.执行hbase hbck命令，结果如下：

Version: 0.90.6
.......................................................................................................
Number of Tables: 878
Number of live region servers: 32
Number of dead region servers: 0
...Number of empty REGIONINFO_QUALIFIER rows in .META.: 6
ERROR: Region dr_query20161106,604,1467707757971.022595cb412e87def50d0b924e2b173a. not deployed on any region server.
ERROR: Region dr_query20161102,bf2,1467707544941.0278e8ee1c3f707e1c544960bda52e50. not deployed on any region server.
ERROR: Region dr_query20160707,e70,1458715535447.03ede891a7b25bab5b5844992a423e07. not deployed on any region server.
ERROR: Region dr_query20160703,814,1458715454615.05785c1fa2d5c9db008622707362f89f. not deployed on any region server.
ERROR: Region dr_query20160506,3f4,1462553098226.06094bf11f5d3e5cd2edf57bfa30ae30. not deployed on any region server.
ERROR: Region dr_query20160516,370,1463423461018.06cb538928b55350b25e15241d466226. not deployed on any region server.
ERROR: Region dr_query20160402,39113587772078,1459623124495.09c83e19e72d05085a5916e12c60cf0a. not deployed on any region server.
ERROR: Region dr_query20161026,b2c,1467707179546.0ace5ddd0c7a01d04fccf17ed2835f67. not deployed on any region server.
ERROR: Region dr_query20161128,dd6,1467708842082.0b48993d271ad2963fb445775a1bd5e8. not deployed on any region server.
ERROR: Region dr_query20160609,5cc18757409143,1465492961475.0bb9d0907649504ac0a00adc6a22c9b9. not deployed on any region server.
ERROR: Region dr_query20160926,23c,1467705563796.0c4243e304763cfd36ab45fd37f6b805. not deployed on any region server.

ERROR: Region dr_query20161223,ad4,1467709995651.0f01cd67d9d402b1784bf66bccf76e22. not deployed on any region server.

......

....

455 inconsistencies detected.

Status: INCONSISTENT

另有个别region异常如下：

ERROR: Region UNKNOWN_REGION on pc-xxxxxx22:60020, key=62ab2e52ba494d6cbe6564ca44fc6b00, not on HDFS or in META but deployed on pc-xxxxxx22:60020
ERROR: Region hdfs://10.70.235.107:9001/hbasedata/dr_query20161011/6eb85c15a35b20b3d3e0212dd0c2a49c not in META, but deployed on pc-xxxxxx16:60020
ERROR: Region hdfs://10.70.235.107:9001/hbasedata/dr_query20161010/a81ea7f23bdfd9e1483e19940336f4b5 not in META, but deployed on pc-xxxxxx19:60020

ERROR: Region hdfs://10.70.235.107:9001/hbasedata/dr_query20161009/e373569fd47f7e49316c25e1370c4063 on HDFS, but not listed in META or deployed on any region server

4.再次检查META表，查看hbck结果中not deployed的region信息，结果不存在

5.手动assign

hbase shell

hbase>assign 'dr_query20161106,604,1467707757971.022595cb412e87def50d0b924e2b173a.'

....

6.再次执行hbase hbck

ERROR: Region hdfs://10.70.235.107:9001/hbasedata/dr_query20161009/e373569fd47f7e49316c25e1370c4063 on HDFS, but not listed in META or deployed on any region server

...

4 inconsistencies detected.

Status: INCONSISTENT

这四个不会处理，目前等待时间窗口重启hbase集群。

Linux 程序员必修课：命令、脚本、程序、进程与线程的全貌内核程序员kevin Linux程序员 linux 进程脚本线程
Linux程序员必修课：命令、脚本、程序、进程与线程的全貌1.Linux命令、脚本、程序、进程与线程的关系对比表概念定义存储形式执行方式是否需要进程是否支持并发示例命令用户输入给shell的指令，可以是内置命令或外部命令直接输入在shell中（无固定存储）由shell解析并执行仅外部命令需要取决于命令，如&可后台运行ls、cd、echo脚本一组命令的集合，存储在文件中，通常是shell脚本文本文件
mysql通过视图插入数据_数据库视图 sql weixin_39550410 mysql通过视图插入数据
数据库必知词汇：数据库视图视图是从一个或几个基本表(或视图)中导出的虚拟的表。在系统的数据字典中仅存放了视图的定义，不存放视图对应的数据。视图与表(有时为与视图区别，也称表为基本表——BaseTable)不同，视图所对应的数据不进行实际存储，数据库中只存储视图的定义，在对视图的数据进行操作时，系统根据视图的定义去操作与视...文章萌萌怪兽2020-02-23113浏览量数据库优化之创建视图视图是保
mysql 视图调用函数_MySQL视图，函数，触发器，存储过程丛子涵 mysql 视图调用函数
1.视图视图是一个虚拟表，它的本质是根据SQL语句获取动态的数据集，并为其命名，用户使用时只需使用【名称】即可获取结果集，可以将该结果集当做表来使用。使用视图我们可以把查询过程中的临时表摘出来，用视图去实现，这样以后再想操作该临时表的数据时就无需重写复杂的sql了，直接去视图中查找即可，但视图有明显地效率问题，并且视图是存放在数据库中的，如果我们程序中使用的sql过分依赖数据库中的视图，即强耦合，
【文献】Model-based Systems Engineering methodology for defining multi-physics simulation models 不停爬行的蜗牛终会到达山顶 uml 设计规范
日益激烈的市场竞争和复杂系统精准仿真的要求使仿真成为至关重要的工具。当前的仿真一次只涉及一个物理领域和稳定静态的场景，由于考虑不到其他物理领域的影响，可能导致最终产品得到不完全的仿真结果和意外失败。数字孪生可以集成不同物理领域的建模和耦合，还能重现真实系统的瞬时行为，是重要的产品开发工具。系统工程的专有方法有益于数字孪生构建。系统工程的目的是管理和控制复杂系统的设计，从技术角度确保全局一致性，已在
第十三届蓝桥杯大赛软件赛决赛C/C++ 大学 B 组 Kent_J_Truman 蓝桥杯蓝桥杯
A【2022——暴力DP/优雅背包】-CSDN博客B【钟表——类日期问题】-CSDN博客C【卡牌——二分】-CSDN博客D【最大数字——DFS】-CSDN博客E【出差——Dijkstra】-CSDN博客F【费用报销——01背包】-CSDN博客G【故障——条件概率】-CSDN博客H【机房——LCA】-CSDN博客I【齿轮——优化（预处理，去重，哈希）】-CSDN博客J【搬砖——经典带贪心01背包（背
RabbitMQ复习 SJLoveIT rabbitmq 分布式
消息中间件的作用：（1）异步处理（2）应用解耦（3）流量削峰消息中间件的缺点：引入了新的东西，也就增加了新的故障点。比如消息中间件挂了，影响系统的可用性。两种框架：JMS和AMQP最大的区别是JMS是是javaapi,对跨平台的支持较差，但在纯java技术栈内首选。AMQP是跨平台的，序列化方式选json，不管你是java，php，C/C++,python,都能处理RabbitMQ实现的事AMQP
TCP长连接实践与挑战字节跳动终端技术 tcp/ip 网络协议字节跳动 http 后端
本文介绍了tcp长连接在实际工程中的实践过程，并总结了tcp连接保活遇到的挑战以及对应的解决方案。作者：字节跳动终端技术———陈圣坤概述众所周知，作为传输层通信协议，TCP是面向连接设计的，所有请求之前需要先通过三次握手建立一个连接，请求结束后通过四次挥手关闭连接。通常我们使用TCP连接或者基于TCP连接之上的应用层协议例如HTTP1.0等，都会为每次请求建立一次连接，请求结束即关闭连接。这样的好
My SQL笔记党和人民笔记 mysql
数据库的使用主要功能：查询数据(SELECT):从一个或多个表中检索数据。插入数据(INSERT):向表中添加新记录。更新数据(UPDATE):修改现有记录。删除数据(DELETE):移除记录。定义数据库结构(CREATE,DROP):创建、修改或删除数据库对象（如表、索引等）。创建数据库创建数据库是通过SQL语句来完成的，通常使用createdatabase语句常用数据类型：整型(int)：用于
Http、tcp、https、socket、tomcat、长短连接等总结回顾 SJLoveIT http tcp/ip https
（1）关于http、tcp的长短连接问题tcp是没有所谓长连接的概念的。tcp经过三次握手就已经建立了一个连接，这个所谓建立了一个连接就是两边操作系统层面都已经建立了socket，都准备好了相应的缓冲区等。socket是啥呢？socket其实就是操作系统提供tcp连接的接口。比如tcp的可能有第一次握手的方法，是C语言写的，比如就叫syn方法，对应第一次握手，也就是客户端发一个syn位置1的tcp
基于 ‌MySQL 数据库‌对三级视图（用户视图、DBA视图、内部视图）的详细解释 huaqianzkh 架构理解与实践数据库 mysql dba
基于‌MySQL数据库‌对三级视图（用户视图、DBA视图、内部视图）的详细解释，结合理论与实际操作说明：一、三级视图核心概念数据库的三级视图是ANSI/SPARC体系结构的核心思想，MySQL的实现逻辑如下：‌层级‌‌别称‌‌核心内容‌‌MySQL中的体现‌‌用户视图‌外模式/子模式用户看到的数据逻辑结构用户权限内的表、视图、可操作字段‌DBA视图‌概念模式/逻辑模式全局逻辑结构、表关系、约束in
MySQL数据库【从入门到精通】：第十二篇——MySQL数据类型详解【含代码示例】 DTcode7 sql数据库相关数据库 mysql SQL 数据库开发 sql
MySQL数据库【从入门到精通】：第十二篇——MySQL数据类型详解【含代码示例】一、数值类型1.1整型（IntegerTypes）示例一：创建一个使用整型的数据表二、浮点数和定点数2.1浮点数（Floating-PointTypes）2.2定点数（Fixed-PointTypes）示例二：创建使用浮点数和定点数的数据表三、字符串类型3.1VARCHAR3.2CHAR3.3TEXT示例三：创建使用
Flutter 使用OverlayEntry实现Toast Gm_Cheng flutter android
记录一次关于实现Flutter的tosat消息提示框设定传入参数首先，toast需要两个基本参数，BuildContext和String，BuildContext为上下文，String为需要现实的文字信息若是需要自定义字体或者消息框样式，可以设置TextStyle或Container等其他组件作为参数传入进来，至于toast的显示时间，可以设置一个默认的Duration值为3000毫秒，再定义两个
京东Hive SQL面试题实战：APP路径分析场景解析与幽默生存指南数据大包哥 #大厂SQL面试指南 hive sql hadoop
京东HiveSQL面试题实战：APP路径分析场景解析与幽默生存指南“数据开发工程师的终极浪漫，就是把用户路径写成诗——用HiveSQL押韵。”——某不愿透露姓名的SQL诗人一、题目背景：来自京东的真实需求假设你是京东APP的数据工程师，现在需要分析用户在APP中的访问路径特征。原始日志表user_behavior结构如下：字段名类型说明user_idBIGINT用户ID（脱敏）session_id
腾讯SQL面试题解析：如何找出连续5天涨幅超过5%的股票数据大包哥 #大厂SQL面试指南 sql 大数据数据库
腾讯SQL面试题解析：如何找出连续5天涨幅超过5%的股票作者：某七年数据开发工程师|2025年02月23日关键词：SQL窗口函数、连续问题、股票分析、腾讯面试题一、问题背景与难点拆解在股票量化分析场景中，"连续N天满足条件"是高频面试题类型。本题要求在单表stock_data中，筛选出连续5天以上（含）每日涨幅≥5%的股票，并输出连续天数及起止日期。其核心难点在于：涨幅计算：需通过时间窗口函数获取
《python从入门到实践》笔记第3章列表简介镜中人★ python编程从入门到实践 python 前端 javascript
3.1列表是什么列表：由一系列按特定顺序排列的元素组成。创建包含字母表所有字母、数字0-9或所有家庭成员姓名的列表；也可以将任何东西加入列表中，其中的元素之间可以没有任何关系。用方括号（[]）来表示列表，并用逗号分割其中的元素。bicycles.pybicycles=['trek','cannondale','redline','specialized']print(bicycles)3.1.1访
PHP For 循环 web13688565871 面试学习路线阿里巴巴 php android java
基本概念For循环的结构在PHP编程中，for循环是一种强大的控制结构，用于重复执行特定代码块。其语法结构由三个关键部分组成：初始化表达式、条件表达式和更新表达式。这种结构设计使得for循环特别适合处理已知迭代次数的任务。for循环的基本语法如下：for(初始化表达式;条件表达式;更新表达式){//循环体}初始化表达式初始化表达式在循环开始前执行一次，通常用于设置循环计数器或其他必要的变量。例如：
html data-src和src的区别,img 的data-src 属性实现懒加载薄辉 html data-src和src的区别
一、什么是图片懒加载？当访问一个页面的时候，先把img元素或是其他元素的背景图片路径替换成一张大小为1*1px图片的路径(这样就只需请求一次)，当图片出现在浏览器的可视区域内时，才设置图片真正的路径，让图片显示出来。这就是图片懒加载。通俗一点：1、就是创建一个自定义属性data-src存放真正需要显示的图片路径，而img自带的src放一张大小为1*1px的图片路径。2、当页面滚动直至此图片出现在可
python网格交易法详解_什么是网格交易？一文教会你网格交易策略 weixin_39793319 python网格交易法详解
一、网格交易法设定价值中枢，利用“档位”的模式对投资标的进行机械式操作，下跌时，进行分档买入，上涨时，进行分档卖出。网格法由于不依赖人为的思考,完全是一种程序行为,像渔网一样,利用行情的波动在网格区间内低买高卖，可以合理控制仓位，避免追涨杀跌,拥有较强的抗风险能力。例如国外一个经典的仓位管理系统，某只蓝筹股现价10元，本金是20万。则第一次买入10万元，另外每下跌1元买入1万元，每上涨1元卖出1万
DeepSeek R1 详解：思维链、强化学习和蒸馏前网易架构师-高司机 2025年最新-深度学习+AI DeepSeek和AI工具深度学习 Deepseek
目录思维链强化学习蒸馏DeepSeek是如何做到的?训练过程较小模型基准为什么Deepseek很重要DeepSeekR1常见问题解答来自中国的新型大型语言模型DeepSeekR1的发布在人工智能研究界引起了轰动。这不仅仅是又一次渐进式改进。DeepSeek代表着一次重大飞跃。大多数新的人工智能模型感觉都像是小步前进，DeepSeek-R1则不同。Deepseek的基准在推理任务（数学、编码和科学）
富士施乐打印机故障维修指南：PCL错误代码解析与解决方案 RxCode PCL
在使用富士施乐打印机的过程中，有时会遇到PCL错误代码，这些代码用于指示打印机发生了特定类型的故障或问题。本文将为您提供一份详细的PCL错误代码解析与解决方案，帮助您更好地理解和处理富士施乐打印机故障。PCL错误代码简介PCL（PrinterCommandLanguage）是一种打印机控制语言，用于描述打印任务的格式和内容。富士施乐打印机使用PCL来接收和解释打印作业。当打印机遇到问题时，会生成相
nginx自动续期ssl证书穆雄雄运维 nginx ssl 运维
大家好，我是雄雄，欢迎关注微信公众号：雄雄的小课堂。前言前年，阿里将免费的ssl证书从一年调整成了三个月；去年，腾讯将免费的ssl证书从一年调整成了三个月；以前一年申请一次，都觉得麻烦，现在三个月就得申请一次，尤其是项目比较多，用的子级域名也多的情况下，得天天看短信哪个ssl证书到期了，很是头疼。好在，也是有解决方法的。✅解决方法之前也在github上看了看，有类似的shell脚本可以实现自动续签
《剑指数据库：MySQL表法纵横录》 m0_74825260 面试学习路线阿里巴巴数据库 mysql
一、前言本文将为大家带来MySQL中常见表的操作，希望大家能够从中有所收获！！！二、表的操作1.创建表语法：CREATETABLEtable_name(field1datatype,field2datatype,field3datatype)characterset字符集collate校验规则engine存储引擎;说明：●field表示列名●datatype表示列的类型●characterset字
【Apache Paimon】-- 13 -- 利用 paimon-flink-action 同步 mysql 表数据 oo寻梦in记 Apache Paimon apache flink mysql apache paimon
利用PaimonSchemaEvolution核心特性同步变更的mysql表结构和数据1、背景信息在Paimon诞生以前，若mysql/pg等数据源的表结构发生变化时，我们有几种处理方式（1）人工通知（比如常规的使用邮件），然后运维人员手动同步到数据仓库中（2）使用flink消费DDLbinlog，然后自动更新Hive的外部表和内部表schema那么现在，有了Paimon，我们可以利用其特性，自动
dnspod动态解析linux,NAS折腾记篇一：五分钟搞定威联通DNSPOD动态域名解析-简单教程+问题解决... 芒果绵绵冰 dnspod动态解析linux
NAS折腾记篇一：五分钟搞定威联通DNSPOD动态域名解析-简单教程+问题解决2021-01-1321:04:4814点赞156收藏28评论新人值友一枚，第一次发贴，请大家多多支持！2020年双11，因为每天都会打开张大妈看看，经过太多值友PO文轮番轰炸，终于下手了一台威联通NAS。从一开始完全搞不清状况的新人小白(存储池，卷，威联通的太多术证让人傻傻分不清)，到现在基本上把自己的NAS折腾得七七
Oracle管理员高级操作的详细步骤说明，涵盖性能优化、安全管理、高可用性配置等核心内容最爱で毛毛熊 Oracle 数据库 oracle
以下是Oracle管理员高级操作的详细步骤说明，涵盖性能优化、安全管理、高可用性配置等核心内容：一、表分区管理（提升大表性能）创建范围分区表CREATETABLEsales(idVARCHAR2(36),sale_dateDATE,amountNUMBER)PARTITIONBYRANGE(sale_date)INTERVAL(NUMTOYMINTERVAL(1,'MONTH'))--按月自动分区
【QT开发教程】使用Qt进行跨平台（Windows、macOS、Linux、iOS和Android）开发的最佳实践 I'mAlex QT开发教程 qt 开发语言跨平台
Qt是一个强大的跨平台C++框架，使得开发者可以编写一次代码并在多个平台上运行，包括Windows、macOS、Linux、iOS和Android。在跨平台开发过程中，遵循一些最佳实践可以帮助我们提高开发效率和代码质量。本文将介绍使用Qt进行跨平台开发的最佳实践。博主简介：现任阿里巴巴嵌入式技术专家，15年工作经验，深耕嵌入式+人工智能领域，精通嵌入式领域开发、技术管理、简历招聘面试。CSDN优质
CentOS Stream 8 安装Oracle 19C (静默模式) 3301_ centos strream linux Oracle 19C oracle centos 数据库
CentOSStream8安装Oracle19C(静默模式)1.提前准备工作说明:必须严格遵守用户规则去创建目录，否则会导致缺少目录权限进而影响安装！安装以下软件包最新版本(注意：如果打算使用32位客户端应用程序访问64位服务器，则还必须安装（如果可用）此表中列出的包的最新32位版本。)[root@Test2CentOSStream8~]#dnfinstallbcbinutilselfutils-
字节跳动后端日常实习一二+hr面面经（已OC）桜翊字节跳动面试字节跳动
北航计算机大三，这学期打算找个实习，看了一圈大厂发现字节实习生给的薪资最高，福利也挺不错的，就通过内推投了字节的后端实习，很快就收到了面试邀约，从一面到收到offer一共6天，以下是本次面试的面经（部分题目可能记不太清了）一面：上来先是自我介绍，大概介绍了一下学校年级所学课程和做过的项目，然后开始提问面试官先是让我从做过的项目里挑一个来讲，我就挑了之前小学期的一个Spring项目“用户登录状态如何
oracle生成ddl语句,oracle导出DDL 杰克小号 oracle生成ddl语句
dbms_metadata.get_ddl[@more@]dbms_metadata.get_ddl1.得到一个表或索引的ddl语句SELECTDBMS_METADATA.GET_DDL('TABLE','DEPT','SCOTT')FROMDUAL;selectdbms_metadata.get_ddl('INDEX','PK_DEPT','SCOTT')fromdual;2.得到一个用户下的所
MySQL进阶篇 === 索引分类前端贾公子 java 数据库开发语言
目录索引分类思考题语法索引分类与使用总结一、索引类型二、InnoDB存储引擎的索引存储形式三、聚集索引选取规则四、思考题解答五、索引的语法六、案例分析索引分类分类含义特点关键字主键索引针对于表中主键创建的索引默认自动创建，只能有一个PRIMARY唯一索引避免同一个表中某数据列中的值重复可以有多个UNIQUE常规索引快速定位特定数据可以有多个全文索引全文索引查找的是文本中的关键词，而不是比较索引中的
HQL之投影查询归来朝歌 HQL Hibernate 查询语句投影查询
在HQL查询中，常常面临这样一个场景，对于多表查询，是要将一个表的对象查出来还是要只需要每个表中的几个字段，最后放在一起显示？针对上面的场景，如果需要将一个对象查出来： HQL语句写“from 对象”即可 Session session = HibernateUtil.openSession();
Spring整合redis bylijinnan redis
pom.xml <dependencies>  <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-redi
org.hibernate.NonUniqueResultException: query did not return a unique result: 2 0624chenhong Hibernate
参考：http://blog.csdn.net/qingfeilee/article/details/7052736 org.hibernate.NonUniqueResultException: query did not return a unique result: 2 在项目中出现了org.hiber
android动画效果不懂事的小屁孩 android动画
前几天弄alertdialog和popupwindow的时候，用到了android的动画效果，今天专门研究了一下关于android的动画效果，列出来，方便以后使用。 Android 平台提供了两类动画。一类是Tween动画，就是对场景里的对象不断的进行图像变化来产生动画效果（旋转、平移、放缩和渐变）。第二类就是 Frame动画，即顺序的播放事先做好的图像，与gif图片原理类似。
js delete 删除机理以及它的内存泄露问题的解决方案换个号韩国红果果 JavaScript
delete删除属性时只是解除了属性与对象的绑定，故当属性值为一个对象时，删除时会造成内存泄露（其实还未删除）举例： var person={name:{firstname:'bob'}} var p=person.name delete person.name p.firstname -->'bob' // 依然可以访问p.firstname，存在内存泄露
Oracle将零干预分析加入网络即服务计划蓝儿唯美 oracle
由Oracle通信技术部门主导的演示项目并没有在本月较早前法国南斯举行的行业集团TM论坛大会中获得嘉奖。但是，Oracle通信官员解雇致力于打造一个支持零干预分配和编制功能的网络即服务（NaaS）平台，帮助企业以更灵活和更适合云的方式实现通信服务提供商（CSP）的连接产品。这个Oracle主导的项目属于TM Forum Live!活动上展示的Catalyst计划的19个项目之一。Catalyst计
spring学习——springmvc（二） a-john springMVC
Spring MVC提供了非常方便的文件上传功能。 1，配置Spring支持文件上传： DispatcherServlet本身并不知道如何处理multipart的表单数据，需要一个multipart解析器把POST请求的multipart数据中抽取出来，这样DispatcherServlet就能将其传递给我们的控制器了。为了在Spring中注册multipart解析器，需要声明一个实现了Mul
POJ-2828-Buy Tickets aijuans ACM_POJ
POJ-2828-Buy Tickets http://poj.org/problem?id=2828 线段树，逆序插入 #include<iostream>#include<cstdio>#include<cstring>#include<cstdlib>using namespace std;#define N 200010struct
Java Ant build.xml详解 asia007 build.xml
1,什么是antant是构建工具2,什么是构建概念到处可查到，形象来说，你要把代码从某个地方拿来，编译，再拷贝到某个地方去等等操作，当然不仅与此，但是主要用来干这个3,ant的好处跨平台 --因为ant是使用java实现的，所以它跨平台使用简单--与ant的兄弟make比起来语法清晰--同样是和make相比功能强大--ant能做的事情很多，可能你用了很久，你仍然不知道它能有
android按钮监听器的四种技术百合不是茶 android xml配置监听器实现接口
android开发中经常会用到各种各样的监听器,android监听器的写法与java又有不同的地方; 1,activity中使用内部类实现接口 ,创建内部类实例使用add方法与java类似创建监听器的实例 myLis lis = new myLis(); 使用add方法给按钮添加监听器
软件架构师不等同于资深程序员 bijian1013 程序员架构师架构设计
本文的作者Armel Nene是ETAPIX Global公司的首席架构师，他居住在伦敦，他参与过的开源项目包括 Apache Lucene,，Apache Nutch， Liferay 和 Pentaho等。如今很多的公司
TeamForge Wiki Syntax & CollabNet User Information Center sunjing TeamForge How do Attachement Anchor Wiki Syntax
the CollabNet user information center http://help.collab.net/ How do I create a new Wiki page? A CollabNet TeamForge project can have any number of Wiki pages. All Wiki pages are linked, and
【Redis四】Redis数据类型 bit1129 redis
概述 Redis是一个高性能的数据结构服务器，称之为数据结构服务器的原因是，它提供了丰富的数据类型以满足不同的应用场景，本文对Redis的数据类型以及对这些类型可能的操作进行总结。 Redis常用的数据类型包括string、set、list、hash以及sorted set.Redis本身是K/V系统，这里的数据类型指的是value的类型，而不是key的类型，key的类型只有一种即string
SSH2整合-附源码白糖_ eclipse spring tomcat Hibernate Google
今天用eclipse终于整合出了struts2+hibernate+spring框架。我创建的是tomcat项目，需要有tomcat插件。导入项目以后，鼠标右键选择属性，然后再找到“tomcat”项，勾选一下“Is a tomcat project”即可。具体方法见源码里的jsp图片，sql也在源码里。补充1：项目中部分jar包不是最新版的，可能导
[转]开源项目代码的学习方法 braveCS 学习方法
转自： http://blog.sina.com.cn/s/blog_693458530100lk5m.html http://www.cnblogs.com/west-link/archive/2011/06/07/2074466.html 1）阅读features。以此来搞清楚该项目有哪些特性2）思考。想想如果自己来做有这些features的项目该如何构架3）下载并安装d
编程之美-子数组的最大和（二维） bylijinnan 编程之美
package beautyOfCoding; import java.util.Arrays; import java.util.Random; public class MaxSubArraySum2 { /** * 编程之美子数组之和的最大值（二维） */ private static final int ROW = 5; private stat
读书笔记-3 chengxuyuancsdn jquery笔记 resultMap配置 ibatis一对多配置
1、resultMap配置 2、ibatis一对多配置 3、jquery笔记 1、resultMap配置当<select resultMap="topic_data"> <resultMap id="topic_data">必须一一对应。 (1)<resultMap class="tblTopic&q
[物理与天文]物理学新进展 comsci
如果我们必须获得某种地球上没有的矿石,才能够进行某些能量输出装置的设计和建造,而要获得这种矿石,又必须首先进行深空探测,而要进行深空探测,又必须获得这种能量输出装置,这个矛盾的循环,会导致地球联盟在与宇宙文明建立关系的时候,陷入困境怎么办呢?
Oracle 11g新特性:Automatic Diagnostic Repository daizj oracle ADR
Oracle Database 11g的FDI（Fault Diagnosability Infrastructure）是自动化诊断方面的又一增强。 FDI的一个关键组件是自动诊断库（Automatic Diagnostic Repository-ADR）。在oracle 11g中，alert文件的信息是以xml的文件格式存在的，另外提供了普通文本格式的alert文件。这两份log文
简单排序:选择排序 dieslrae 选择排序
public void selectSort(int[] array){ int select; for(int i=0;i<array.length;i++){ select = i; for(int k=i+1;k<array.leng
C语言学习六指针的经典程序，互换两个数字 dcj3sjt126com c
示例程序，swap_1和swap_2都是错误的，推理从1开始推到2，2没完成，推到3就完成了 # include <stdio.h> void swap_1(int, int); void swap_2(int *, int *); void swap_3(int *, int *); int main(void) { int a = 3; int b =
php 5.4中php-fpm 的重启、终止操作命令 dcj3sjt126com PHP
php 5.4中php-fpm 的重启、终止操作命令: 查看php运行目录命令：which php/usr/bin/php 查看php-fpm进程数：ps aux | grep -c php-fpm 查看运行内存/usr/bin/php -i|grep mem 重启php-fpm/etc/init.d/php-fpm restart 在phpinfo()输出内容可以看到php
线程同步工具类 shuizhaosi888 同步工具类
同步工具类包括信号量（Semaphore）、栅栏（barrier）、闭锁（CountDownLatch）闭锁（CountDownLatch） public class RunMain { public long timeTasks(int nThreads, final Runnable task) throws InterruptedException { fin
bleeding edge是什么意思 haojinghua DI
不止一次，看到很多讲技术的文章里面出现过这个词语。今天终于弄懂了——通过朋友给的浏览软件，上了wiki。我再一次感到，没有辞典能像WiKi一样，给出这样体贴人心、一清二楚的解释了。为了表达我对WiKi的喜爱，只好在此一一中英对照，给大家上次课。 In computer science, bleeding edge is a term that
c中实现utf8和gbk的互转 jimmee c iconv utf8&gbk编码
#include <iconv.h> #include <stdlib.h> #include <stdio.h> #include <unistd.h> #include <fcntl.h> #include <string.h> #include <sys/stat.h> int code_c
大型分布式网站架构设计与实践 lilin530 应用服务器搜索引擎
1.大型网站软件系统的特点？ a.高并发，大流量。 b.高可用。 c.海量数据。 d.用户分布广泛，网络情况复杂。 e.安全环境恶劣。 f.需求快速变更，发布频繁。 g.渐进式发展。 2.大型网站架构演化发展历程？ a.初始阶段的网站架构。应用程序，数据库，文件等所有的资源都在一台服务器上。 b.应用服务器和数据服务器分离。 c.使用缓存改善网站性能。 d.使用应用
在代码中获取Android theme中的attr属性值 OliveExcel android theme
Android的Theme是由各种attr组合而成, 每个attr对应了这个属性的一个引用, 这个引用又可以是各种东西. 在某些情况下, 我们需要获取非自定义的主题下某个属性的内容 (比如拿到系统默认的配色colorAccent), 操作方式举例一则: int defaultColor = 0xFF000000; int[] attrsArray = { andorid.r.
基于Zookeeper的分布式共享锁 roadrunners zookeeper 分布式共享锁
首先，说说我们的场景，订单服务是做成集群的，当两个以上结点同时收到一个相同订单的创建指令，这时并发就产生了，系统就会重复创建订单。等等......场景。这时，分布式共享锁就闪亮登场了。共享锁在同一个进程中是很容易实现的，但在跨进程或者在不同Server之间就不好实现了。Zookeeper就很容易实现。具体的实现原理官网和其它网站也有翻译，这里就不在赘述了。官
两个容易被忽略的MySQL知识 tomcat_oracle mysql
1、varchar(5)可以存储多少个汉字，多少个字母数字？　　相信有好多人应该跟我一样，对这个已经很熟悉了，根据经验我们能很快的做出决定，比如说用varchar(200)去存储url等等，但是，即使你用了很多次也很熟悉了，也有可能对上面的问题做出错误的回答。　　这个问题我查了好多资料，有的人说是可以存储5个字符，2.5个汉字（每个汉字占用两个字节的话），有的人说这个要区分版本，5.0
zoj 3827 Information Entropy(水题) 阿尔萨斯 format
题目链接：zoj 3827 Information Entropy 题目大意：三种底，计算和。解题思路：调用库函数就可以直接算了，不过要注意Pi = 0的时候，不过它题目里居然也讲了。。。limp→0+plogb(p)=0，因为p是logp的高阶。 #include <cstdio> #include <cstring> #include <cmath&

记一次HBASE META表故障

你可能感兴趣的:(记一次HBASE META表故障)