gosh
gosh

SOFAJRaft 源码分析一（启动流程和节点变化）

1.概述

前段时间接触了raft协议，唯一的感受就是易于理解。对于raft，在分布式领域还是有一片天地的。当然，光看算法不去工程化就是耍流氓，所以我专门拉了一下sofa团队的jraft的开源代码。然后对其实现进行分析，一方面是为了提高自己的编码功底，一方面也是更加深入的理解。今天我们就先看看其架构实现。然后会对其进行逐一拆分，深入底层代码。（sofastack是一个不错平台，大家也可以持续关注，本文借助sofastack的一些博客，深入代码进行分析）

2.架构设计

SOFAJRaft 源码分析一（启动流程和节点变化）_第1张图片
纵观设计架构图，还是非常容易理解的。

整个系统围绕着Node进行。涵盖了日志管理、元数据存储、快照、状态机、日志复制等模块。Node和Node之间通过RPC进行通信。
系统日志模块和状态机的任务都是通过Disruptor异步去执行。

这里主要介绍一下几个类的功能。

  • FSMCaller主要就是将日志同步到状态机。
  • LogManager，顾名思义，就是管理日志。
  • MetaStorage用来存储节点的元数据信息。
  • SnapshotExecutor就是快照方面的实现。

具体实现细节还是要深入到源代码。
为了我们更方便的去分析代码。我们从对应简单的例子counter出发。

3.源码分析

CounterServer服务端启动流程
// 这里让 raft RPC 和业务 RPC 使用同一个 RPC server, 通常也可以分开
final RpcServer rpcServer = RaftRpcServerFactory.createRaftRpcServer(serverId.getEndpoint());
// 注册业务处理器
CounterService counterService = new CounterServiceImpl(this);
rpcServer.registerProcessor(new GetValueRequestProcessor(counterService));
rpcServer.registerProcessor(new IncrementAndGetRequestProcessor(counterService));
// 初始化状态机
this.fsm = new CounterStateMachine();
// 设置状态机到启动参数
nodeOptions.setFsm(this.fsm);
// 设置存储路径
// 日志, 必须
nodeOptions.setLogUri(dataPath + File.separator + "log");
// 元信息, 必须
nodeOptions.setRaftMetaUri(dataPath + File.separator + "raft\_meta");
// snapshot, 可选, 一般都推荐
nodeOptions.setSnapshotUri(dataPath + File.separator + "snapshot");
// 初始化 raft group 服务框架
this.raftGroupService = new RaftGroupService(groupId, serverId, nodeOptions, rpcServer);
// 启动
this.node = this.raftGroupService.start();

1.首先通过工厂模式创建一个RpcServer。RaftRpcServerFactory#addRaftRequestProcessors 主要就是注册一些时间处理器。根据不同的协议处理。这个序列化协议使用的google的protobuf。每当有不同的请求过来都会调用不同的处理器方法。

2.然后创建一个一个业务类。因为这个例子比较简单，其实就是维护一个分布式自增键。所以只有两个操作，一个就是增加value大小，一个是读取该值。对应的Processor也就是调用了CounterService的这两个操作。当然这不是我们关注的重点。

3.创建业务状态机。raft提供了一个StateMachine接口，奈何他的方法太多，业务方有时候没有必要去实现。所以他提供了一个适配器。这个也就是适配器模式。是可以去学习的。

StateMachine有很多方法。比如节点状态变化的回调。其中核心的还是onApply方法。参数是一个Iterator，可以看出是可以批量apply的。这个方法，业务方一般要去主动实现。

SOFAJRaft 源码分析一（启动流程和节点变化）_第2张图片

4.设置NodeOptions并初始化RaftGroupService  ，最后调用strat启动服务。

RaftGroupService#start方法

1.该节点的信息校验
2.将该几点添加到NodeManager 中。这是一个单例的实现。用于存储该进程RPC地址信息。和raft的group 信息。
3.通过工厂创建raft node并init。init rpc server。

NodeImpl#init方法

这个方法比较长，我们慢慢分析

1.获取JRaftServiceFactory，这个工厂主要用于创建各种存储实现类。这里通过SPI机制暴露给也业务方实现。当然raft有个默认的实现。DefaultJRaftServiceFactory

具体SPI实现后面会介绍一下。其实就是JRaftServiceLoader 实现。

2.初始化配置信息。校验，ip准确，并且一个ip:port只能创建初始化一次。初始化定时线程池。初始化各种计时器。
3.初始化配置管理器，主要就是集群配置
4.初始化请求的disruptor队列

this.applyDisruptor.handleEventsWith(new LogEntryAndClosureHandler());

this.applyDisruptor.setDefaultExceptionHandler(new LogExceptionHandler(getClass().getSimpleName()));
this.applyQueue = this.applyDisruptor.start(); 
 
这里可以看出来，jraft中大部分都是通过注册回调去执行的。利用了java8函数编程。我们也可以借鉴。LogExceptionHandler其实就是在disruptor异常回调中回调我们这注册的方法reportError。我们在编码中也可以学习LogExceptionHandler的方式，这样好处就是我们可以对于不同的逻辑注册不同的回调。并且易于理解。
 
 

   LogEntryAndClosureHandler主要逻辑就是将请求预处理。然后提交到LogMannager的队列。并且注册了回调。后面会详细解释。 
 
 
 
5.创建初始化FSMCallerImpl。
6.初始化三连，日志存储类，元数据存储类，FSMCaller。
7.初始化BallotBox。初始化SnapshotStorage
8.初始化rpcservice，主要就是raft内部通信，比如投票请求，复制日志请求。这些主要是在ReplicatorGroupImpl 实现，依赖rpcservice。
9.初始化ReadOnlyService ，用于处理读请求。
 
 
基本上初始化工作就这么多。
 
 
初始化结束之后，当前节点为follower状态。按照论文逻辑（5.2），follower会执行选举超时逻辑。也就是electionTimer 超时。会调用handleElectionTimeout 方法。
 
 
if (this.state != State.STATE\_FOLLOWER) {
    return;
}
if (isCurrentLeaderValid()) {
    return;
}
resetLeaderId(PeerId.emptyPeer(), new Status(RaftError.ERAFTTIMEDOUT, "Lost connection from leader %s.",
    this.leaderId));
// Judge whether to launch a election.
if (!allowLaunchElection()) {
    return;
}
doUnlock = false;
preVote();
 
 
1.如果检测心跳超时（isCurrentLeaderValid），那么他会调用resetLeaderId，这个方法逻辑很简单。如果当前leaderId不为空，调用fsmCaller#onStopFollowin，如果为空调用fsmCaller#onStartFollowing，然后清空leaderId。
 
 
2.判断当前节点是否启动选举。这里引入了优先级的概念。每个节点可以有一个优先级，越大的越优先参与选举，本地保存了一个targetPriority。
 
 
this.serverId.getPriority() >= this.targetPriority;
 
 
如果下届领导人在下次选举之前都没有选出，targetPriority会衰减。
3.如果有资格执行preVote，其实就是请求选举前先询问。避免节点分区产生的没有必要的选举。这个方法首先判断节点是否存在配置中，或者节点是否正在执行快照。如果是，直接返回。因为在执行快照的时候，节点的配置可能有已经失效。
 
 
if (oldTerm != this.currTerm) {
    LOG.warn("Node {} raise term {} when get lastLogId.", getNodeId(), this.currTerm);
    return;
}
this.prevVoteCtx.init(this.conf.getConf(), this.conf.isStable() ? null : this.conf.getOldConf());
for (final PeerId peer : this.conf.listPeers()) {
    if (peer.equals(this.serverId)) {
        continue;
    }
    if (!this.rpcService.connect(peer.getEndpoint())) {
        LOG.warn("Node {} channel init failed, address={}.", getNodeId(), peer.getEndpoint());
        continue;
    }
    final OnPreVoteRpcDone done = new OnPreVoteRpcDone(peer, this.currTerm);
    done.request = RequestVoteRequest.newBuilder() //
        .setPreVote(true) // it's a pre-vote request.
        .setGroupId(this.groupId) //
        .setServerId(this.serverId.toString()) //
        .setPeerId(peer.toString()) //
        .setTerm(this.currTerm + 1) // next term
        .setLastLogIndex(lastLogId.getIndex()) //
        .setLastLogTerm(lastLogId.getTerm()) //
        .build();
    this.rpcService.preVote(peer.getEndpoint(), done.request, done);
}
this.prevVoteCtx.grant(this.serverId);
if (this.prevVoteCtx.isGranted()) {
    doUnlock = false;
    electSelf();
}
 
 
preVote方法：
 
 
（1）遍历配置的节点列表，先connect（其实就是ping）
（2）发送RequestVoteRequest请求。这里是带回调的请求。jraft的AbstractClientService有一个线程池用来专门执行回调的。具体逻辑在invokeWithDone中体现。
 
 

   我们理一下这里的回调逻辑：（ 
  handlePreVoteResponse方法） 
  
如果请求前后term不一致或者当前节点不是follower，返回。 
  
如果目标term大于当前term。说明leader失效，那么需要调用stepDown。这个方法后面介绍。 
 
 
 
判断是被请求节点否给当前节点投票，如果是调用grant方法执行投票逻辑。其实就是更新Ballot。
 
 
private final Ballot voteCtx = new Ballot();
private final Ballot prevVoteCtx = new Ballot();
 
 
这里说一下这两个Ballot，raft只认同多半节点的意见。所以Ballot主要就是用来统计的。每次有节点响应同意的时候，都会更新。更新之后会调用他的isGranted方法判断。是否有多半节点已经同意。
 
 

   所以每个节点返回之后都会执行这个操作。这也就是为什么preVote最后也会调用this.prevVoteCtx.grant和this.prevVoteCtx.isGranted方法。因为他要给自己预投票。 
 
 
 
上面我们只是看到了RequestVoteRequest的调用。我们来看看节点收到该请求如何处理。
其实在rpc server启动的时候，已经将处理请求的processor注册上去了（RequestVoteRequestProcessor）。
对应handle流程：
（1）判断是否存活。没有存活，不给预投票
（2）判断当前leader是否有效，如果有效直接不给预投票
（3）如果当前term大于候选者term，并且当前节点为leader，检查replicator。不给投票因为当前节点成为leader的时候，replicator可能没有启动。导致候选者收不到心跳。才发起的预投票。
（4）term=候选者term+1，检查replicator。这个时候如果候选者日志新，会给预投票。
（5）判断日志新旧。如果新。投票，否则不预投票。
最后会返回RequestVoteResponse。
 
 
return RequestVoteResponse.newBuilder() //
    .setTerm(this.currTerm) //
    .setGranted(granted) //
    .build();
 
 
electSelf方法：
 
 
如果有多半节点同意，会调用该方法。
（1）electionTimer.stop()，停止electionTimer，避免再次触发。
（2）resetleader节点。也就是停止follower。会调用fsmCaller.onStopFollowing
（3）更新当前状态为候选人，增加term。启动vote计时器。
（4）遍历所有节点发送vote请求。
后续逻辑和prevote一致，只不过pre通过了之后调用electSelf。而vote通过则成为leader。
在其他节点处理vote请求的时候，先会判断term是否大于请求的，如果大于，直接不给投票。如果小于，调用stepDown.
 
 
this.metaStorage.setTermAndVotedFor(this.currTerm, this.serverId);
this.voteCtx.grant(this.serverId);
if (this.voteCtx.isGranted()) {
    becomeLeader();
}
 
 
becomeLeader方法
 
 
1.关闭vote定时器。
2.开启follower的日志复制，可能会add失败，因为如果节点不同的话。所以这就是为什么上面leader收到prevote请求之后需要check
 
 
for (final PeerId peer : this.conf.listPeers()) {
    if (peer.equals(this.serverId)) {
        continue;
    }
    LOG.debug("Node {} add a replicator, term={}, peer={}.", getNodeId(), this.currTerm, peer);
    if (!this.replicatorGroup.addReplicator(peer)) {
        LOG.error("Fail to add a replicator, peer={}.", peer);
    }
}
 
 
3.开启learner的日志复制。
4.更新PendingIndex。因为raft指出，在新的任期不能提交上个任期没有提交的日志。根据配置更新选举优先值。
5.启动stepDownTimer定时器。
 
 
简单说下stepDownTimer这个定时任务，它主要是监控集群健康状况
 
 
1.检查之前首先会checkReplicator group所有节点，这个方法上面说过，其实就是判断是否开启当前节点的复制，如果没有则尝试开启。
2。调用checkDeadNodes0。这里是根据最后一次节点响应的时间戳和当前时间判断这个节点是否存活。。或者说是leader和此节点是否能进行正常网络通信。如果多半节点存活返回true。
 
 
for (final PeerId peer : peers) {
    if (peer.equals(this.serverId)) {
        aliveCount++;
        continue;
    }
    if (checkReplicator) {
        checkReplicator(peer);
    }
    final long lastRpcSendTimestamp = this.replicatorGroup.getLastRpcSendTimestamp(peer);
    if (monotonicNowMs - lastRpcSendTimestamp <= leaderLeaseTimeoutMs) {
        aliveCount++;
        if (startLease > lastRpcSendTimestamp) {
            startLease = lastRpcSendTimestamp;
        }
        continue;
    }
    if (deadNodes != null) {
        deadNodes.addPeer(peer);
    }
}
if (aliveCount >= peers.size() / 2 + 1) {
    updateLastLeaderTimestamp(startLease);
    return true;
}
return false;
 
 
3.如果2返回false，调用stepDown。这里主要避免脑裂和信息不一致。
 
 
stepdown方法
 
 
1.如果当前节点为候选者，停止voteTimer。
2.如果正在执行leader转移或者为leader，停止stepDownTimer ，如果为leader，调用onLeaderStop 
3.清空一些信息。状态设置为follwers。
 
 
4.总结
 
 
第一篇，主要是对架构的理解。主要有以下几点
 
 
     
  
  • 整个节点变化依赖三个定时器推动。并且在变化之后启动下一个需要启动的定时器，并停止当前定时器。
    •  
  
  • 加入prevote。在成为候选者之前，得先要通过prevote。避免无效的选举。
    •  
  
  • 整个任务都是异步回调的方式，比如等待选举请求的时候。每次返回通过回到判断。不得不说这里的回调实现的却是不错。
    •  
  
  • 上文主要是根据初始化流程走。分析了节点变化过程。从follower到候选者要经过pervote。从候选者到leader需要经过vote。从leader或者候选者到follower执行stepdown。并且也涉及一部分执行stepdown的时间点。
    •  
 
 
 

   选举依赖读写锁。并且有效措施避免死锁。通过先释放，再获取其他锁最后再重新获取。但是可能会有aba问题。 
 
 
 
后面会继续分析日志复制以及提交的逻辑。希望对大家有所帮助,有什么问题大家也可以加我vx和我讨论(wasd695510719).
 
 
文章参考：
 
 
https://zhuanlan.zhihu.com/p/66355477
https://www.sofastack.tech/projects/sofa-jraft/jraft-user-guide/
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(raft)

        

            

                
    
                    
  • ETCD 六 etcd总体架构
                        wanghaichao1234
etcdetcd架构数据库
                        
    etcd源码结构etcd项目代码的目录结构：包名用途apiprotobuf定义client/v3客户端sdkcontribraftexample实现etcdctl命令行客户端实现，用于网路的操作etcdutl命令行管理工具，直接操作etcd数据文件。hack基准测试、测试集群、k8s部署、分支管理、证书等pkg实用程序包的集合raftraft实现server.auth角色身份验证server.em
    
                    
    • 
                    
  • Kafka和Pulsar深入解析
                        jasen91
大数据开发kafka分布式
                        
    Kafka多租户：单租户系统数据迁移：依赖MirrorMaker，需要额外维护。市场上也有ConfluentReplicator等供应商工具。分层存储：由供应商提供商业使用。组件依赖：KafkaRaft（KRaft）从Kafka2.8开始处于早期访问模式，允许Kafka在没有ZooKeeper的情况下工作。这对Kafka来说是一个显著的优势，因为它简化了Kafka的体系结构并降低了学习成本。云原生
    
                    
    • 
                    
  • Paxos 算法详解（一）
                        林木森^~^
数据结构和算法算法分布式java
                        
    前言提到分布式算法，就不得不提Paxos算法，在过去几十年里，它基本上是分布式共识的代名词，因为当前最常用的一批共识算法都是基于它改进的。比如，FastPaxos算法、CheapPaxos算法、Raft算法、ZAB协议等等。兰伯特提出的Paxos算法包含2个部分：一个是BasicPaxos算法，描述的是多节点之间如何就某个值（提案Value）达成共识；另一个是Multi-Paxos思想，描述的是执
    
                    
    • 
                    
  • hackcon ctf 2018 | pwn wp
                        fantasy_learner

                        
    BOF漏洞点:栈溢出利用过程栈溢出跳转callMeMaybe函数获得flagexpSheSellsSeaShells90流程分析:给出了输入的栈地址有一个栈溢出点没有nx利用过程:根据以上三点，得出可以使用ret2shellcode使用shellcraft生成shellcode利用栈溢出，输入并跳转到shellcodeexpSimpleYetElegent150这道题目做了最久，卡在了能否根据_d
    
                    
    • 
                    
  • 2022年最新Kubernetes常见面试题汇总
                        云小七
kubernetes容器云原生java
                        
    常规题1.简述etcd及其特点答∶etcd是CoreOS团队发起的开源项目，是一个管理配置信息和服务发现（servicediscovery）的项目，它的目标是构建一个高可用的分布式键值（key-value）数据库，基于Go语言实现。特点∶●简单∶支持REST风格的HTTP+JSONAPI●安全∶支持HTTPS方式的访问●快速：支持并发1k/s的写操作●可靠∶支持分布式结构，基于Raft的一致性算法
    
                    
    • 
                    
  • DeepSeek缓存命中技术，成本降低10倍
                        智匠MindCraft Al
人工智能gptai功能测试AI编程
                        
    DeepSeek系列升级：DeepSeek发布最新的缓存命中技术，有效降低成本至0.1元/百万tokens，适用于文件读取和固定提示词。点评：由于token消耗大部分是在系统提示词中，妥善使用确实可以极大降低成本，同时还能保证较高的输出质量。今天就分享到这里，在智匠AI（MindCraftAI）上可以体验到最新更新的模型。
    
                    
    • 
                    
  • 【学习笔记】无人机系统（UAS）的连接、识别和跟踪（十一）-无人机A2X功能和特性
                        瑶光守护者
5G-A无人机学习笔记无人机3GPP5G
                        
    目录引言6.2高级功能和特性6.2.1A2X通信的授权和配置6.2.2A2X通信6.2.3A2X应用服务器发现6.2.4A2X通信的QoS处理6.2.5A2X服务订阅6.2.6标识符6.2.7EPSA2X与5GSA2X之间的互操作性6.2.8A2X使用的MBS服务描述引言3GPPTS23.256技术规范，主要定义了3GPP系统对无人机（UAV）的连接性、身份识别、跟踪及A2X（Aircraft-t
    
                    
    • 
                    
  • 【学习笔记】无人机系统（UAS）的连接、识别和跟踪（五）-无人机跟踪
                        瑶光守护者
5G-A无人机学习笔记无人机3GPP5G
                        
    目录引言5.3无人机跟踪5.3.1无人机跟踪模型5.3.2无人机位置报告流程5.3.3无人机存在监测流程引言3GPPTS23.256技术规范，主要定义了3GPP系统对无人机（UAV）的连接性、身份识别、跟踪及A2X（Aircraft-to-Everything）服务的支持。3GPPTS23.256技术规范：【免费】3GPPTS23.256技术报告-无人机系统（UAS）的连接、识别和跟踪资源-CSD
    
                    
    • 
                    
  • 【学习笔记】无人机系统（UAS）的连接、识别和跟踪（二）-定义和缩写
                        瑶光守护者
5G-A无人机学习笔记无人机物联网3GPP5G
                        
    引言3GPPTS23.256技术规范，主要定义了3GPP系统对无人机（UAV）的连接性、身份识别、跟踪及A2X（Aircraft-to-Everything）服务的支持。3GPPTS23.256技术规范：【免费】3GPPTS23.256技术报告-无人机系统（UAS）的连接、识别和跟踪资源-CSDN文库3.定义和缩写3.1定义就本文件而言，适用TR21.905[1]中给出的术语和定义以及以下内容。如
    
                    
    • 
                    
  • 深度学习思考
                        夜雪朝歌

                        
    神经网络如果能了解每一层输出的意义，就可以避免end－to－end的黑箱理论，对理论话深度学习很有意义，一个思路是经验值，将每一层在特定任务下都有输出，对结果作经验总结，比方说浅层输出低层次的几何轮廓特征，高层输出语意特征，我曾经在objecttracking用过这样的方法,在大数据集测试，每一层都输出结果，并且和handcraftfeature做比较，发现浅层的效果不如handcraftfeat
    
                    
    • 
                    
  • 2024/9/7 英语每日一段
                        何事驚慌
笔记
                        
    PromisingfreedomtoBlackmenandwomenonlyafteraperiodoftimealsopermittedenslaverstosneakinstipulationsthatledtofurtherdelays.FitchHallsignedanagreementin1794tofreeawomannamedMaryandheryoungdaughteraftert
    
                    
    • 
                    
  • Databend Meta-Service 架构概述
                        Databend
架构
                        
    Databend的meta-service是一个基于Raft共识算法的分布式服务。其核心架构可以概括为一个Raft应用，如图中虚线框所示。Raft协议的主要组成部分包括：分布式日志（Log）状态机（StateMachine）分布式日志日志主要用于记录分布式系统的操作。当一条日志被写入本地并通过网络同步到其他Raft节点后，系统会等待日志在多数节点上完成持久化。一旦达到多数派写入，该日志条目就被视为
    
                    
    • 
                    
  • Java8新特性之consumer的用法
                        Java训练员
拓展小知识java开发语言后端
                        
    consumer是一个函数式接口（可以采用lambda写法），它的源码如下@FunctionalInterfacepublicinterfaceConsumer{voidaccept(Tt);defaultConsumerandThen(Consumerafter){Objects.requireNonNull(after);return(Tt)->{accept(t);after.accept(
    
                    
    • 
                    
  • Java 常用函数式接口案例之Consumer接口
                        夏沐_lk
Java基础java函数式编程Consumer接口
                        
    案例1importjava.util.function.Consumer;/***java.util.function.Consumer:该接口的作用与Supplier接口作用相反，将创建的参数消费（使用）掉。*Consumer接口中包含了唯一一个抽象方法voidaccept(Tt);消费一个指定泛型的数据**defaultConsumerandThen(Consumerafter){*Objec
    
                    
    • 
                    
  • RAFT：Adapting Language Model to Domain Specific RAG
                        蒸土豆的技术细节
语言模型人工智能自然语言处理
                        
    论文链接简单来说，就是你SFT微调的时候得考虑RAG的场景。RAG什么场景？你检索top-k回来，里面有相关doc有不相关doc，后者是影响性能的重要原因，LLM需要有强大的识别能力才能分得清哪块和你的query相关。微调就是为了这个。你做领域微调时，根据chunk生成query、answer，然后直接拿这仨微调，这里面没有干扰项，没有“不相关doc”，就扛不住RAG的噪声。RAFT就是针对这个搞
    
                    
    • 
                    
  • RAFT: Adapting Language Model to Domain Specific RAG
                        UnknownBody
RAGforLLM语言模型人工智能自然语言处理
                        
    本文是LLM系列文章，针对《RAFT:AdaptingLanguageModeltoDomainSpecificRAG》的翻译。RAFT：使语言模型适应特定领域的RAG摘要1引言2LLM用于开卷考试3RAFT4评估5RAFT推广到Top-KRAG6相关工作7结论摘要在文本数据的大型语料库上预训练大型语言模型（LLM）现在是一种标准范式。当将这些LLM用于许多下游应用程序时，通常会通过基于RAG的计
    
                    
    • 
                    
  • 特定领域 RAG 新突破：LlamaPack 实现 RAFT 论文方法
                        技术狂潮AI
大模型企业实战LLM应用实战AI编程实战人工智能RAFT（检索增强微调）LlamaIndexLlamaPack
                        
    一、前言在上一篇文章《RAFT：让大型语言模型更擅长特定领域的RAG任务》中，我们介绍了RAFT训练方法，RAFT（检索增强微调）是一种训练方法，可以提高大型语言模型(LLM)在开卷、域内问答任务中的性能。给定一个问题和一组检索到的文档，RAFT训练LLM从文档中识别并引用最相关的片段，这些片段有助于回答问题，同时忽略不相关或分散注意力的信息。通过训练模型识别相关信息并提供佐证，RAFT可以增强L
    
                    
    • 
                    
  • inexpensive electronic digital
                        chouxiao4977

                        
    KualaLumpurgathersallkindsofmerchandise,fromtraditionaltolocalizedartsinadditiontocrafts,intheworldfamousmanufacturerfashionforyoutoinexpensiveelectronicdigitalproducts.Concurrently,ithasbothequallyla
    
                    
    • 
                    
  • Keras-OCR：高效且易用的深度学习 OCR 库
                        吕真想Harland

                        
    Keras-OCR：高效且易用的深度学习OCR库keras-ocrApackagedandflexibleversionoftheCRAFTtextdetectorandKerasCRNNrecognitionmodel.项目地址:https://gitcode.com/gh_mirrors/ke/keras-ocr是一个基于Python的开源库，它利用[Keras](https和TensorFl
    
                    
    • 
                    
  • kafka3.7.1 单节点 KRaft部署&测试发送和接收消息
                        运维小弟| srebro.cn
openeulerkafka运维运维云原生
                        
    一、环境准备kafka3.7.1包下载地址：https://mirrors.nju.edu.cn/apache/kafka/3.7.1/kafka_2.13-3.7.1.tgzopenjdk11.0.2下载地址：https://mirrors.nju.edu.cn/openjdk/11.0.2/openjdk-11.0.2_linux-x64_bin.tar.gz二、openjdk安装【如已安装，
    
                    
    • 
                    
  • MC联机无法连接到服务器怎么解决
                        qq177803623
服务器运维云计算
                        
    MC联机无法连接到服务器？弹性云服务器来帮您解决！在《我的世界》（Minecraft，简称MC）的联机冒险中，无法连接到服务器无疑是每个玩家最头疼的问题之一。无论是与好友组队探险，还是加入心仪的社区服务器，一旦遇到连接问题，所有的乐趣和期待都可能化为泡影。今天，我们就来聊聊如何解决MC联机无法连接到服务器这个问题?常见的MC联机连接问题①IP地址或端口号错误：检查您输入的服务器IP地址和端口号是否
    
                    
    • 
                    
  • [数据集][目标检测]卫星遥感舰船检测数据集VOC+YOLO格式2238张17类别
                        FL1623863129
数据集目标检测YOLO人工智能
                        
    数据集格式：PascalVOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)图片数量(jpg文件个数)：2238标注数量(xml文件个数)：2238标注数量(txt文件个数)：2238标注类别数：17标注类别名称:[“AircraftCarrier”,“AuxiliaryShips”,“Cargo”,“Commander”
    
                    
    • 
                    
  • **脑图制作的Bootstrap Bundle项目指南**
                        潘惟妍

                        
    脑图制作的BootstrapBundle项目指南bootstrap-bundleBraincraftedBootstrapBundleintegratesBootstrapintoSymfony2byprovidingtemplates,Twigextensions,servicesandcommands.项目地址:https://gitcode.com/gh_mirrors/bo/bootstr
    
                    
    • 
                    
  • Xline v0.2.0: 一个用于元数据管理的分布式KV存储
                        达坦科技DatenLord
Xline分布式rustKV存储元数据管理DatenLord达坦科技
                        
    Xline是什么？我们为什么要做Xline？Xline是一个基于Curp协议的，用于管理元数据的分布式KV存储。现有的分布式KV存储大多采用Raft共识协议，需要两次RTT才能完成一次请求。当部署在单个数据中心时，节点之间的延迟较低，因此不会对性能产生大的影响。但是，当跨数据中心部署时，节点之间的延迟可能是几十或几百毫秒，此时Raft协议将成为性能瓶颈。Curp协议就是为了解决这个问题而设计的。它
    
                    
    • 
                    
  • 大数据生态圈里的一致性算法
                        宇宙湾

                        
    大数据生态圈中，保证一致性的方式举不胜举Hadoop用Zookeeper（Zab，Paxos+事务顺序）ElasticSearch用Hash路由算法（非一致性Hash）Cassandra用Gossip闲话算法Redis用Raft选举算法他们各有什么区别，为什么会如此选型？Paxos选举算法Paxos是最先解决拜占庭将军问题的算法，利用过半选举的机制，保证了集群数据副本的一致性（微服务中服务注册与发
    
                    
    • 
                    
  • 一种用于航天器姿态跟踪的新型角速度观测器（三）
                        beegreen
控制与信号处理动态规划数学建模
                        
    一种用于航天器姿态跟踪的新型角速度观测器（三）AnewangularvelocityobserverforattitudetrackingofspacecraftISATransactions130(2022)377–388DOI:10.1016/j.isatra.2022.03.025摘要：本文提出了一种基于收缩分析的新型航天器姿态跟踪角速度观测器。观测器在惯性参考系中通过估计惯性角动量来设计，
    
                    
    • 
                    
  • 探索音乐创作的新境界：Audiocraft-WebUI v2.0
                        廉娴鹃Everett

                        
    探索音乐创作的新境界：Audiocraft-WebUIv2.0audiocraft-webuiQuickwebuiforaudiocraft项目地址:https://gitcode.com/gh_mirrors/au/audiocraft-webui随着科技的进步，音乐创作也迎来了智能化的春风。今天，我们要为大家隆重介绍一个颠覆性的开源项目——Audiocraft-WebUIv2.0，它是Face
    
                    
    • 
                    
  • Kafka-3.3.4摒弃zookeeper集群部署操作文档
                        ShoShin1020
kafkazookeeper分布式
                        
    一、集群规划kafka从2.8版本开始，就允许用户在不需要zookeeper的情况下运行。真正全面摒弃zookeeper的版本是3.0，在后面的版本kafka使用了新的元数据管理方式kraft,提高了Kafka的可扩展性、可用性和性能。下载地址：ApacheKafka这里下载kafka_2.13-3.4.0.tgz版本，自带有支持raft模式主机名称IPprocess.rolesnode.idma
    
                    
    • 
                    
  • The password will become valid in 1 hour.
                        橙姜

                        
    Thepasswordwillbecomevalidin1hourafteryouchangeit.
    
                    
    • 
                    
  • 【vscode】vscode+cmake+llvm+ninja开发环境的搭建(draft)
                        真·Wild·攻城狮
码农日常vscodec++
                        
    文章目录前言1软件、工具和插件安装1.1vscode安装1.2cmake安装1.3安装LLVM1.4安装Ninja1.5vscode插件安装2工具链和CMakeLists2.1工具链（toolchain.cmake）2.2CMakeLists.txt2.3基本语法注释前言本文是一个使用vscode的小白扫盲贴。所谓工欲善其事必先利其器，作为码农的生产工具，vscode的开发配置是生产的第一步。1软
    
                    
    • 
                                
  • web前段跨域nginx代理配置
                                    刘正强
nginxcmsWeb
                                    
    nginx代理配置可参考server部分 
 
server { 
        listen       80; 
        server_name  localhost; 
 

    
                                
    • 
                                
  • spring学习笔记
                                    caoyong
spring
                                    
    一、概述 
    a>、核心技术 : IOC与AOP 
 b>、开发为什么需要面向接口而不是实现 
     接口降低一个组件与整个系统的藕合程度，当该组件不满足系统需求时，可以很容易的将该组件从系统中替换掉，而不会对整个系统产生大的影响 
 c>、面向接口编口编程的难点在于如何对接口进行初始化,(使用工厂设计模式) 
    
                                
    • 
                                
  • Eclipse打开workspace提示工作空间不可用
                                    0624chenhong
eclipse
                                    
    做项目的时候，难免会用到整个团队的代码，或者上一任同事创建的workspace， 
1.电脑切换账号后，Eclipse打开时，会提示Eclipse对应的目录锁定，无法访问，根据提示，找到对应目录，G:\eclipse\configuration\org.eclipse.osgi\.manager，其中文件.fileTableLock提示被锁定。 
解决办法，删掉.fileTableLock文件，重
    
                                
    • 
                                
  • Javascript 面向对面写法的必要性？
                                    一炮送你回车库
JavaScript
                                    
    现在Javascript面向对象的方式来写页面很流行，什么纯javascript的mvc框架都出来了：ember 
这是javascript层的mvc框架哦,不是j2ee的mvc框架 
  
我想说的是，javascript本来就不是一门面向对象的语言，用它写出来的面向对象的程序，本身就有些别扭，很多人提到js的面向对象首先提的是：复用性。那么我请问你写的js里有多少是可以复用的，用fu
    
                                
    • 
                                
  • js array对象的迭代方法
                                    换个号韩国红果果
array
                                    
    1.forEach 该方法接受一个函数作为参数， 对数组中的每个元素 
使用该函数  return 语句失效 
 

function square(num) {
print(num, num * num);
}
var nums = [1,2,3,4,5,6,7,8,9,10];
nums.forEach(square);
 
2.every 该方法接受一个返回值为布尔类型
    
                                
    • 
                                
  • 对Hibernate缓存机制的理解
                                    归来朝歌
session一级缓存对象持久化
                                    
    在hibernate中session一级缓存机制中，有这么一种情况： 
问题描述：我需要new一个对象，对它的几个字段赋值，但是有一些属性并没有进行赋值，然后调用 
session.save()方法，在提交事务后，会出现这样的情况： 
1：在数据库中有默认属性的字段的值为空 
2：既然是持久化对象，为什么在最后对象拿不到默认属性的值？ 
通过调试后解决方案如下： 
对于问题一，如你在数据库里设置了
    
                                
    • 
                                
  • WebService调用错误合集
                                    darkranger
webservice
                                    
     Java.Lang.NoClassDefFoundError: Org/Apache/Commons/Discovery/Tools/DiscoverSingleton   
调用接口出错， 
一个简单的WebService 
import org.apache.axis.client.Call;import org.apache.axis.client.Service; 
首先必不可
    
                                
    • 
                                
  • JSP和Servlet的中文乱码处理
                                    aijuans
Java Web
                                    
    JSP和Servlet的中文乱码处理 
前几天学习了JSP和Servlet中有关中文乱码的一些问题，写成了博客，今天进行更新一下。应该是可以解决日常的乱码问题了。现在作以下总结希望对需要的人有所帮助。我也是刚学，所以有不足之处希望谅解。 
一、表单提交时出现乱码： 
在进行表单提交的时候，经常提交一些中文，自然就避免不了出现中文乱码的情况，对于表单来说有两种提交方式：get和post提交方式。所以
    
                                
    • 
                                
  • 面试经典六问
                                    atongyeye
工作面试
                                    
    题记：因为我不善沟通，所以在面试中经常碰壁，看了网上太多面试宝典，基本上不太靠谱。只好自己总结，并试着根据最近工作情况完成个人答案。以备不时之需。 
 
以下是人事了解应聘者情况的最典型的六个问题： 
 
 
1 简单自我介绍  
 
关于这个问题，主要为了弄清两件事，一是了解应聘者的背景，二是应聘者将这些背景信息组织成合适语言的能力。 
 
我的回答：(针对技术面试回答，如果是人事面试，可以就掌
    
                                
    • 
                                
  • contentResolver.query()参数详解
                                    百合不是茶
androidquery()详解
                                    
    收藏csdn的博客,介绍的比较详细,新手值得一看 1.获取联系人姓名 
一个简单的例子，这个函数获取设备上所有的联系人ID和联系人NAME。    
[java]  
view plain 
copy       
 
 public void fetchAllContacts() {   
    
    
                                
    • 
                                
  • ora-00054:resource busy and acquire with nowait specified解决方法
                                    bijian1013
oracle数据库killnowait
                                    
            当某个数据库用户在数据库中插入、更新、删除一个表的数据，或者增加一个表的主键时或者表的索引时，常常会出现ora-00054:resource busy and acquire with nowait specified这样的错误。主要是因为有事务正在执行（或者事务已经被锁），所有导致执行不成功。 
1.下面的语句
    
                                
    • 
                                
  • web 开发乱码
                                    征客丶
springWeb
                                    
    以下前端都是 utf-8 字符集编码 
 
一、后台接收 
1.1、 get 请求乱码 
get 请求中，请求参数在请求头中； 
乱码解决方法： 
a、通过在web 服务器中配置编码格式：tomcat 中，在 Connector 中添加URIEncoding="UTF-8"； 
 
1.2、post 请求乱码 
post 请求中，请求参数分两部份， 
1.2.1、url？参数，
    
                                
    • 
                                
  • 【Spark十六】： Spark SQL第二部分数据源和注册表的几种方式
                                    bit1129
spark
                                    
    Spark SQL数据源和表的Schema 
 
  case class  
  apply schema  
  parquet  
  json  
 JSON数据源 准备源数据 
{"name":"Jack", "age": 12, "addr":{"city":"beijing&
    
                                
    • 
                                
  • JVM学习之:调优总结 -Xms -Xmx -Xmn -Xss
                                    BlueSkator
-Xss-Xmn-Xms-Xmx
                                    
      
堆大小设置JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1478m。典型设置： 
 
 java -Xmx355
    
                                
    • 
                                
  • jqGrid 各种参数 详解(转帖)
                                    BreakingBad
jqGrid
                                    
      
jqGrid 各种参数 详解   分类： 
源代码分享 
个人随笔请勿参考 
解决开发问题 2012-05-09 20:29   84282人阅读   
评论(22)   
收藏   
举报   
jquery 
服务器 
parameters 
function 
ajax 
string      
    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-代理模式-Proxy
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 



import java.lang.reflect.InvocationHandler;
import java.lang.reflect.Method;
import java.lang.reflect.Proxy;

/*
 * 下面
    
                                
    • 
                                
  • 应用升级iOS8中遇到的一些问题
                                    chenhbc
ios8升级iOS8
                                    
    1、很奇怪的问题，登录界面，有一个判断，如果不存在某个值，则跳转到设置界面，ios8之前的系统都可以正常跳转，iOS8中代码已经执行到下一个界面了，但界面并没有跳转过去，而且这个值如果设置过的话，也是可以正常跳转过去的，这个问题纠结了两天多，之前的判断我是在 
-(void)viewWillAppear:(BOOL)animated 
 中写的，最终的解决办法是把判断写在 
-(void
    
                                
    • 
                                
  • 工作流与自组织的关系？
                                    comsci
设计模式工作
                                    
      目前的工作流系统中的节点及其相互之间的连接是事先根据管理的实际需要而绘制好的，这种固定的模式在实际的运用中会受到很多限制，特别是节点之间的依存关系是固定的，节点的处理不考虑到流程整体的运行情况，细节和整体间的关系是脱节的，那么我们提出一个新的观点，一个流程是否可以通过节点的自组织运动来自动生成呢？这种流程有什么实际意义呢？ 
 
  这里有篇论文，摘要是：“针对网格中的服务
    
                                
    • 
                                
  • Oracle11.2新特性之INSERT提示IGNORE_ROW_ON_DUPKEY_INDEX
                                    daizj
oracle
                                    
    insert提示IGNORE_ROW_ON_DUPKEY_INDEX 
 
转自：http://space.itpub.net/18922393/viewspace-752123 
 
在 insert into tablea ...select * from tableb中，如果存在唯一约束，会导致整个insert操作失败。使用IGNORE_ROW_ON_DUPKEY_INDEX提示，会忽略唯一
    
                                
    • 
                                
  • 二叉树:堆
                                    dieslrae
二叉树
                                    
        这里说的堆其实是一个完全二叉树,每个节点都不小于自己的子节点,不要跟jvm的堆搞混了.由于是完全二叉树,可以用数组来构建.用数组构建树的规则很简单: 
    一个节点的父节点下标为: (当前下标 - 1)/2 
    一个节点的左节点下标为: 当前下标 * 2 + 1 
  &
    
                                
    • 
                                
  • C语言学习八结构体
                                    dcj3sjt126com
c
                                    
    为什么需要结构体，看代码 
# include <stdio.h>

struct Student	//定义一个学生类型，里面有age, score, sex, 然后可以定义这个类型的变量
{
	int age;
	float score;
	char sex;
}

int main(void)
{
	struct Student st = {80, 66.6,
    
                                
    • 
                                
  • centos安装golang
                                    dcj3sjt126com
centos
                                    
    #在国内镜像下载二进制包 
wget -c  http://www.golangtc.com/static/go/go1.4.1.linux-amd64.tar.gz 
tar -C /usr/local -xzf go1.4.1.linux-amd64.tar.gz 
  
#把golang的bin目录加入全局环境变量 
cat >>/etc/profile<
    
                                
    • 
                                
  • 10.性能优化-监控-MySQL慢查询
                                    frank1234
性能优化MySQL慢查询
                                    
    1.记录慢查询配置 
show variables where variable_name like 'slow%' ; --查看默认日志路径 
查询结果：--不用的机器可能不同 
slow_query_log_file=/var/lib/mysql/centos-slow.log 
 
修改mysqld配置文件：/usr /my.cnf[一般在/etc/my.cnf，本机在/user/my.cn
    
                                
    • 
                                
  • Java父类取得子类类名
                                    happyqing
javathis父类子类类名
                                    
      
在继承关系中，不管父类还是子类，这些类里面的this都代表了最终new出来的那个类的实例对象，所以在父类中你可以用this获取到子类的信息！ 
  
package com.urthinker.module.test;

import org.junit.Test;

abstract class BaseDao<T> {
	public void 
    
                                
    • 
                                
  • Spring3.2新注解@ControllerAdvice
                                    jinnianshilongnian
@Controller
                                    
    @ControllerAdvice，是spring3.2提供的新注解，从名字上可以看出大体意思是控制器增强。让我们先看看@ControllerAdvice的实现： 
  
@Target(ElementType.TYPE)
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Component
public @interface Co
    
                                
    • 
                                
  • Java spring mvc多数据源配置
                                    liuxihope
spring
                                    
    转自：http://www.itpub.net/thread-1906608-1-1.html 
 
 
1、首先配置两个数据库 
 
<bean id="dataSourceA"         class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close&quo
    
                                
    • 
                                
  • 第12章 Ajax（下）
                                    onestopweb
Ajax
                                    
    index.html 
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/
    
                                
    • 
                                
  • BW / Universe Mappings
                                    blueoxygen
BO
                                    
          
BW Element    
OLAP Universe Element      
Cube  Dimension    
Class      
Charateristic    
A class with dimension and detail objects (Detail objects for key and desription)      
Hi
    
                                
    • 
                                
  • Java开发熟手该当心的11个错误
                                    tomcat_oracle
java多线程工作单元测试
                                    
    #1、不在属性文件或XML文件中外化配置属性。比如，没有把批处理使用的线程数设置成可在属性文件中配置。你的批处理程序无论在DEV环境中，还是UAT（用户验收 
测试）环境中，都可以顺畅无阻地运行，但是一旦部署在PROD 上，把它作为多线程程序处理更大的数据集时，就会抛出IOException，原因可能是JDBC驱动版本不同，也可能是#2中讨论的问题。如果线程数目 可以在属性文件中配置，那么使它成为
    
                                
    • 
                                
  • 推行国产操作系统的优劣
                                    yananay
windowslinux国产操作系统
                                    
    最近刮起了一股风，就是去“国外货”。从应用程序开始，到基础的系统，数据库，现在已经刮到操作系统了。原因就是“棱镜计划”，使我们终于认识到了国外货的危害，开始重视起了信息安全。操作系统是计算机的灵魂。既然是灵魂，为了信息安全，那我们就自然要使用和推行国货。可是，一味地推行，是否就一定正确呢？ 
 
先说说信息安全。其实从很早以来大家就在讨论信息安全。很多年以前，就据传某世界级的网络设备制造商生产的交
    
                                
    •