gosh
gosh

SOFAJRaft 源码分析一（启动流程和节点变化）

1.概述

前段时间接触了raft协议，唯一的感受就是易于理解。对于raft，在分布式领域还是有一片天地的。当然，光看算法不去工程化就是耍流氓，所以我专门拉了一下sofa团队的jraft的开源代码。然后对其实现进行分析，一方面是为了提高自己的编码功底，一方面也是更加深入的理解。今天我们就先看看其架构实现。然后会对其进行逐一拆分，深入底层代码。（sofastack是一个不错平台，大家也可以持续关注，本文借助sofastack的一些博客，深入代码进行分析）

2.架构设计

image.png
纵观设计架构图，还是非常容易理解的。

整个系统围绕着Node进行。涵盖了日志管理、元数据存储、快照、状态机、日志复制等模块。Node和Node之间通过RPC进行通信。
系统日志模块和状态机的任务都是通过Disruptor异步去执行。

这里主要介绍一下几个类的功能。

  • FSMCaller主要就是将日志同步到状态机。
  • LogManager，顾名思义，就是管理日志。
  • MetaStorage用来存储节点的元数据信息。
  • SnapshotExecutor就是快照方面的实现。

具体实现细节还是要深入到源代码。
为了我们更方便的去分析代码。我们从对应简单的例子counter出发。

3.源码分析

CounterServer服务端启动流程
// 这里让 raft RPC 和业务 RPC 使用同一个 RPC server, 通常也可以分开
final RpcServer rpcServer = RaftRpcServerFactory.createRaftRpcServer(serverId.getEndpoint());
// 注册业务处理器
CounterService counterService = new CounterServiceImpl(this);
rpcServer.registerProcessor(new GetValueRequestProcessor(counterService));
rpcServer.registerProcessor(new IncrementAndGetRequestProcessor(counterService));
// 初始化状态机
this.fsm = new CounterStateMachine();
// 设置状态机到启动参数
nodeOptions.setFsm(this.fsm);
// 设置存储路径
// 日志, 必须
nodeOptions.setLogUri(dataPath + File.separator + "log");
// 元信息, 必须
nodeOptions.setRaftMetaUri(dataPath + File.separator + "raft\_meta");
// snapshot, 可选, 一般都推荐
nodeOptions.setSnapshotUri(dataPath + File.separator + "snapshot");
// 初始化 raft group 服务框架
this.raftGroupService = new RaftGroupService(groupId, serverId, nodeOptions, rpcServer);
// 启动
this.node = this.raftGroupService.start();

1.首先通过工厂模式创建一个RpcServer。RaftRpcServerFactory#addRaftRequestProcessors 主要就是注册一些时间处理器。根据不同的协议处理。这个序列化协议使用的google的protobuf。每当有不同的请求过来都会调用不同的处理器方法。

2.然后创建一个一个业务类。因为这个例子比较简单，其实就是维护一个分布式自增键。所以只有两个操作，一个就是增加value大小，一个是读取该值。对应的Processor也就是调用了CounterService的这两个操作。当然这不是我们关注的重点。

3.创建业务状态机。raft提供了一个StateMachine接口，奈何他的方法太多，业务方有时候没有必要去实现。所以他提供了一个适配器。这个也就是适配器模式。是可以去学习的。

StateMachine有很多方法。比如节点状态变化的回调。其中核心的还是onApply方法。参数是一个Iterator，可以看出是可以批量apply的。这个方法，业务方一般要去主动实现。

image.png

4.设置NodeOptions并初始化RaftGroupService  ，最后调用strat启动服务。

RaftGroupService#start方法

1.该节点的信息校验
2.将该几点添加到NodeManager 中。这是一个单例的实现。用于存储该进程RPC地址信息。和raft的group 信息。
3.通过工厂创建raft node并init。init rpc server。

NodeImpl#init方法

这个方法比较长，我们慢慢分析

1.获取JRaftServiceFactory，这个工厂主要用于创建各种存储实现类。这里通过SPI机制暴露给也业务方实现。当然raft有个默认的实现。DefaultJRaftServiceFactory

具体SPI实现后面会介绍一下。其实就是JRaftServiceLoader 实现。

2.初始化配置信息。校验，ip准确，并且一个ip:port只能创建初始化一次。初始化定时线程池。初始化各种计时器。
3.初始化配置管理器，主要就是集群配置
4.初始化请求的disruptor队列

this.applyDisruptor.handleEventsWith(new LogEntryAndClosureHandler());

this.applyDisruptor.setDefaultExceptionHandler(new LogExceptionHandler(getClass().getSimpleName()));
this.applyQueue = this.applyDisruptor.start(); 
 
这里可以看出来，jraft中大部分都是通过注册回调去执行的。利用了java8函数编程。我们也可以借鉴。LogExceptionHandler其实就是在disruptor异常回调中回调我们这注册的方法reportError。我们在编码中也可以学习LogExceptionHandler的方式，这样好处就是我们可以对于不同的逻辑注册不同的回调。并且易于理解。
 
 

   LogEntryAndClosureHandler主要逻辑就是将请求预处理。然后提交到LogMannager的队列。并且注册了回调。后面会详细解释。 
 
 
 
5.创建初始化FSMCallerImpl。
6.初始化三连，日志存储类，元数据存储类，FSMCaller。
7.初始化BallotBox。初始化SnapshotStorage
8.初始化rpcservice，主要就是raft内部通信，比如投票请求，复制日志请求。这些主要是在ReplicatorGroupImpl 实现，依赖rpcservice。
9.初始化ReadOnlyService ，用于处理读请求。
 
 
基本上初始化工作就这么多。
 
 
初始化结束之后，当前节点为follower状态。按照论文逻辑（5.2），follower会执行选举超时逻辑。也就是electionTimer 超时。会调用handleElectionTimeout 方法。
 
 
if (this.state != State.STATE\_FOLLOWER) {
    return;
}
if (isCurrentLeaderValid()) {
    return;
}
resetLeaderId(PeerId.emptyPeer(), new Status(RaftError.ERAFTTIMEDOUT, "Lost connection from leader %s.",
    this.leaderId));
// Judge whether to launch a election.
if (!allowLaunchElection()) {
    return;
}
doUnlock = false;
preVote();
 
 
1.如果检测心跳超时（isCurrentLeaderValid），那么他会调用resetLeaderId，这个方法逻辑很简单。如果当前leaderId不为空，调用fsmCaller#onStopFollowin，如果为空调用fsmCaller#onStartFollowing，然后清空leaderId。
 
 
2.判断当前节点是否启动选举。这里引入了优先级的概念。每个节点可以有一个优先级，越大的越优先参与选举，本地保存了一个targetPriority。
 
 
this.serverId.getPriority() >= this.targetPriority;
 
 
如果下届领导人在下次选举之前都没有选出，targetPriority会衰减。
3.如果有资格执行preVote，其实就是请求选举前先询问。避免节点分区产生的没有必要的选举。这个方法首先判断节点是否存在配置中，或者节点是否正在执行快照。如果是，直接返回。因为在执行快照的时候，节点的配置可能有已经失效。
 
 
if (oldTerm != this.currTerm) {
    LOG.warn("Node {} raise term {} when get lastLogId.", getNodeId(), this.currTerm);
    return;
}
this.prevVoteCtx.init(this.conf.getConf(), this.conf.isStable() ? null : this.conf.getOldConf());
for (final PeerId peer : this.conf.listPeers()) {
    if (peer.equals(this.serverId)) {
        continue;
    }
    if (!this.rpcService.connect(peer.getEndpoint())) {
        LOG.warn("Node {} channel init failed, address={}.", getNodeId(), peer.getEndpoint());
        continue;
    }
    final OnPreVoteRpcDone done = new OnPreVoteRpcDone(peer, this.currTerm);
    done.request = RequestVoteRequest.newBuilder() //
        .setPreVote(true) // it's a pre-vote request.
        .setGroupId(this.groupId) //
        .setServerId(this.serverId.toString()) //
        .setPeerId(peer.toString()) //
        .setTerm(this.currTerm + 1) // next term
        .setLastLogIndex(lastLogId.getIndex()) //
        .setLastLogTerm(lastLogId.getTerm()) //
        .build();
    this.rpcService.preVote(peer.getEndpoint(), done.request, done);
}
this.prevVoteCtx.grant(this.serverId);
if (this.prevVoteCtx.isGranted()) {
    doUnlock = false;
    electSelf();
}
 
 
preVote方法：
 
 
（1）遍历配置的节点列表，先connect（其实就是ping）
（2）发送RequestVoteRequest请求。这里是带回调的请求。jraft的AbstractClientService有一个线程池用来专门执行回调的。具体逻辑在invokeWithDone中体现。
 
 

   我们理一下这里的回调逻辑：（ 
  handlePreVoteResponse方法） 
  
如果请求前后term不一致或者当前节点不是follower，返回。 
  
如果目标term大于当前term。说明leader失效，那么需要调用stepDown。这个方法后面介绍。 
 
 
 
判断是被请求节点否给当前节点投票，如果是调用grant方法执行投票逻辑。其实就是更新Ballot。
 
 
private final Ballot voteCtx = new Ballot();
private final Ballot prevVoteCtx = new Ballot();
 
 
这里说一下这两个Ballot，raft只认同多半节点的意见。所以Ballot主要就是用来统计的。每次有节点响应同意的时候，都会更新。更新之后会调用他的isGranted方法判断。是否有多半节点已经同意。
 
 

   所以每个节点返回之后都会执行这个操作。这也就是为什么preVote最后也会调用this.prevVoteCtx.grant和this.prevVoteCtx.isGranted方法。因为他要给自己预投票。 
 
 
 
上面我们只是看到了RequestVoteRequest的调用。我们来看看节点收到该请求如何处理。
其实在rpc server启动的时候，已经将处理请求的processor注册上去了（RequestVoteRequestProcessor）。
对应handle流程：
（1）判断是否存活。没有存活，不给预投票
（2）判断当前leader是否有效，如果有效直接不给预投票
（3）如果当前term大于候选者term，并且当前节点为leader，检查replicator。不给投票因为当前节点成为leader的时候，replicator可能没有启动。导致候选者收不到心跳。才发起的预投票。
（4）term=候选者term+1，检查replicator。这个时候如果候选者日志新，会给预投票。
（5）判断日志新旧。如果新。投票，否则不预投票。
最后会返回RequestVoteResponse。
 
 
return RequestVoteResponse.newBuilder() //
    .setTerm(this.currTerm) //
    .setGranted(granted) //
    .build();
 
 
electSelf方法：
 
 
如果有多半节点同意，会调用该方法。
（1）electionTimer.stop()，停止electionTimer，避免再次触发。
（2）resetleader节点。也就是停止follower。会调用fsmCaller.onStopFollowing
（3）更新当前状态为候选人，增加term。启动vote计时器。
（4）遍历所有节点发送vote请求。
后续逻辑和prevote一致，只不过pre通过了之后调用electSelf。而vote通过则成为leader。
在其他节点处理vote请求的时候，先会判断term是否大于请求的，如果大于，直接不给投票。如果小于，调用stepDown.
 
 
this.metaStorage.setTermAndVotedFor(this.currTerm, this.serverId);
this.voteCtx.grant(this.serverId);
if (this.voteCtx.isGranted()) {
    becomeLeader();
}
 
 
becomeLeader方法
 
 
1.关闭vote定时器。
2.开启follower的日志复制，可能会add失败，因为如果节点不同的话。所以这就是为什么上面leader收到prevote请求之后需要check
 
 
for (final PeerId peer : this.conf.listPeers()) {
    if (peer.equals(this.serverId)) {
        continue;
    }
    LOG.debug("Node {} add a replicator, term={}, peer={}.", getNodeId(), this.currTerm, peer);
    if (!this.replicatorGroup.addReplicator(peer)) {
        LOG.error("Fail to add a replicator, peer={}.", peer);
    }
}
 
 
3.开启learner的日志复制。
4.更新PendingIndex。因为raft指出，在新的任期不能提交上个任期没有提交的日志。根据配置更新选举优先值。
5.启动stepDownTimer定时器。
 
 
简单说下stepDownTimer这个定时任务，它主要是监控集群健康状况
 
 
1.检查之前首先会checkReplicator group所有节点，这个方法上面说过，其实就是判断是否开启当前节点的复制，如果没有则尝试开启。
2。调用checkDeadNodes0。这里是根据最后一次节点响应的时间戳和当前时间判断这个节点是否存活。。或者说是leader和此节点是否能进行正常网络通信。如果多半节点存活返回true。
 
 
for (final PeerId peer : peers) {
    if (peer.equals(this.serverId)) {
        aliveCount++;
        continue;
    }
    if (checkReplicator) {
        checkReplicator(peer);
    }
    final long lastRpcSendTimestamp = this.replicatorGroup.getLastRpcSendTimestamp(peer);
    if (monotonicNowMs - lastRpcSendTimestamp <= leaderLeaseTimeoutMs) {
        aliveCount++;
        if (startLease > lastRpcSendTimestamp) {
            startLease = lastRpcSendTimestamp;
        }
        continue;
    }
    if (deadNodes != null) {
        deadNodes.addPeer(peer);
    }
}
if (aliveCount >= peers.size() / 2 + 1) {
    updateLastLeaderTimestamp(startLease);
    return true;
}
return false;
 
 
3.如果2返回false，调用stepDown。这里主要避免脑裂和信息不一致。
 
 
stepdown方法
 
 
1.如果当前节点为候选者，停止voteTimer。
2.如果正在执行leader转移或者为leader，停止stepDownTimer ，如果为leader，调用onLeaderStop 
3.清空一些信息。状态设置为follwers。
 
 
4.总结
 
 
第一篇，主要是对架构的理解。主要有以下几点
 
 
     
  
  • 整个节点变化依赖三个定时器推动。并且在变化之后启动下一个需要启动的定时器，并停止当前定时器。
    •  
  
  • 加入prevote。在成为候选者之前，得先要通过prevote。避免无效的选举。
    •  
  
  • 整个任务都是异步回调的方式，比如等待选举请求的时候。每次返回通过回到判断。不得不说这里的回调实现的却是不错。
    •  
  
  • 上文主要是根据初始化流程走。分析了节点变化过程。从follower到候选者要经过pervote。从候选者到leader需要经过vote。从leader或者候选者到follower执行stepdown。并且也涉及一部分执行stepdown的时间点。
    •  
 
 
 

   选举依赖读写锁。并且有效措施避免死锁。通过先释放，再获取其他锁最后再重新获取。但是可能会有aba问题。 
 
 
 
后面会继续分析日志复制以及提交的逻辑。希望对大家有所帮助,有什么问题大家也可以加我vx和我讨论(wasd695510719).
 
 
文章参考：
 
 
https://zhuanlan.zhihu.com/p/66355477
https://www.sofastack.tech/projects/sofa-jraft/jraft-user-guide/
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(raft)

        

            

                
    
                    
  • ETCD 六 etcd总体架构
                        wanghaichao1234
etcdetcd架构数据库
                        
    etcd源码结构etcd项目代码的目录结构：包名用途apiprotobuf定义client/v3客户端sdkcontribraftexample实现etcdctl命令行客户端实现，用于网路的操作etcdutl命令行管理工具，直接操作etcd数据文件。hack基准测试、测试集群、k8s部署、分支管理、证书等pkg实用程序包的集合raftraft实现server.auth角色身份验证server.em
    
                    
    • 
                    
  • Kafka和Pulsar深入解析
                        jasen91
大数据开发kafka分布式
                        
    Kafka多租户：单租户系统数据迁移：依赖MirrorMaker，需要额外维护。市场上也有ConfluentReplicator等供应商工具。分层存储：由供应商提供商业使用。组件依赖：KafkaRaft（KRaft）从Kafka2.8开始处于早期访问模式，允许Kafka在没有ZooKeeper的情况下工作。这对Kafka来说是一个显著的优势，因为它简化了Kafka的体系结构并降低了学习成本。云原生
    
                    
    • 
                    
  • Paxos 算法详解（一）
                        林木森^~^
数据结构和算法算法分布式java
                        
    前言提到分布式算法，就不得不提Paxos算法，在过去几十年里，它基本上是分布式共识的代名词，因为当前最常用的一批共识算法都是基于它改进的。比如，FastPaxos算法、CheapPaxos算法、Raft算法、ZAB协议等等。兰伯特提出的Paxos算法包含2个部分：一个是BasicPaxos算法，描述的是多节点之间如何就某个值（提案Value）达成共识；另一个是Multi-Paxos思想，描述的是执
    
                    
    • 
                    
  • hackcon ctf 2018 | pwn wp
                        fantasy_learner

                        
    BOF漏洞点:栈溢出利用过程栈溢出跳转callMeMaybe函数获得flagexpSheSellsSeaShells90流程分析:给出了输入的栈地址有一个栈溢出点没有nx利用过程:根据以上三点，得出可以使用ret2shellcode使用shellcraft生成shellcode利用栈溢出，输入并跳转到shellcodeexpSimpleYetElegent150这道题目做了最久，卡在了能否根据_d
    
                    
    • 
                    
  • 2022年最新Kubernetes常见面试题汇总
                        云小七
kubernetes容器云原生java
                        
    常规题1.简述etcd及其特点答∶etcd是CoreOS团队发起的开源项目，是一个管理配置信息和服务发现（servicediscovery）的项目，它的目标是构建一个高可用的分布式键值（key-value）数据库，基于Go语言实现。特点∶●简单∶支持REST风格的HTTP+JSONAPI●安全∶支持HTTPS方式的访问●快速：支持并发1k/s的写操作●可靠∶支持分布式结构，基于Raft的一致性算法
    
                    
    • 
                    
  • DeepSeek缓存命中技术，成本降低10倍
                        智匠MindCraft Al
人工智能gptai功能测试AI编程
                        
    DeepSeek系列升级：DeepSeek发布最新的缓存命中技术，有效降低成本至0.1元/百万tokens，适用于文件读取和固定提示词。点评：由于token消耗大部分是在系统提示词中，妥善使用确实可以极大降低成本，同时还能保证较高的输出质量。今天就分享到这里，在智匠AI（MindCraftAI）上可以体验到最新更新的模型。
    
                    
    • 
                    
  • 【学习笔记】无人机系统（UAS）的连接、识别和跟踪（十一）-无人机A2X功能和特性
                        瑶光守护者
5G-A无人机学习笔记无人机3GPP5G
                        
    目录引言6.2高级功能和特性6.2.1A2X通信的授权和配置6.2.2A2X通信6.2.3A2X应用服务器发现6.2.4A2X通信的QoS处理6.2.5A2X服务订阅6.2.6标识符6.2.7EPSA2X与5GSA2X之间的互操作性6.2.8A2X使用的MBS服务描述引言3GPPTS23.256技术规范，主要定义了3GPP系统对无人机（UAV）的连接性、身份识别、跟踪及A2X（Aircraft-t
    
                    
    • 
                    
  • 【学习笔记】无人机系统（UAS）的连接、识别和跟踪（五）-无人机跟踪
                        瑶光守护者
5G-A无人机学习笔记无人机3GPP5G
                        
    目录引言5.3无人机跟踪5.3.1无人机跟踪模型5.3.2无人机位置报告流程5.3.3无人机存在监测流程引言3GPPTS23.256技术规范，主要定义了3GPP系统对无人机（UAV）的连接性、身份识别、跟踪及A2X（Aircraft-to-Everything）服务的支持。3GPPTS23.256技术规范：【免费】3GPPTS23.256技术报告-无人机系统（UAS）的连接、识别和跟踪资源-CSD
    
                    
    • 
                    
  • 【学习笔记】无人机系统（UAS）的连接、识别和跟踪（二）-定义和缩写
                        瑶光守护者
5G-A无人机学习笔记无人机物联网3GPP5G
                        
    引言3GPPTS23.256技术规范，主要定义了3GPP系统对无人机（UAV）的连接性、身份识别、跟踪及A2X（Aircraft-to-Everything）服务的支持。3GPPTS23.256技术规范：【免费】3GPPTS23.256技术报告-无人机系统（UAS）的连接、识别和跟踪资源-CSDN文库3.定义和缩写3.1定义就本文件而言，适用TR21.905[1]中给出的术语和定义以及以下内容。如
    
                    
    • 
                    
  • 深度学习思考
                        夜雪朝歌

                        
    神经网络如果能了解每一层输出的意义，就可以避免end－to－end的黑箱理论，对理论话深度学习很有意义，一个思路是经验值，将每一层在特定任务下都有输出，对结果作经验总结，比方说浅层输出低层次的几何轮廓特征，高层输出语意特征，我曾经在objecttracking用过这样的方法,在大数据集测试，每一层都输出结果，并且和handcraftfeature做比较，发现浅层的效果不如handcraftfeat
    
                    
    • 
                    
  • 2024/9/7 英语每日一段
                        何事驚慌
笔记
                        
    PromisingfreedomtoBlackmenandwomenonlyafteraperiodoftimealsopermittedenslaverstosneakinstipulationsthatledtofurtherdelays.FitchHallsignedanagreementin1794tofreeawomannamedMaryandheryoungdaughteraftert
    
                    
    • 
                    
  • Databend Meta-Service 架构概述
                        Databend
架构
                        
    Databend的meta-service是一个基于Raft共识算法的分布式服务。其核心架构可以概括为一个Raft应用，如图中虚线框所示。Raft协议的主要组成部分包括：分布式日志（Log）状态机（StateMachine）分布式日志日志主要用于记录分布式系统的操作。当一条日志被写入本地并通过网络同步到其他Raft节点后，系统会等待日志在多数节点上完成持久化。一旦达到多数派写入，该日志条目就被视为
    
                    
    • 
                    
  • Java8新特性之consumer的用法
                        Java训练员
拓展小知识java开发语言后端
                        
    consumer是一个函数式接口（可以采用lambda写法），它的源码如下@FunctionalInterfacepublicinterfaceConsumer{voidaccept(Tt);defaultConsumerandThen(Consumerafter){Objects.requireNonNull(after);return(Tt)->{accept(t);after.accept(
    
                    
    • 
                    
  • Java 常用函数式接口案例之Consumer接口
                        夏沐_lk
Java基础java函数式编程Consumer接口
                        
    案例1importjava.util.function.Consumer;/***java.util.function.Consumer:该接口的作用与Supplier接口作用相反，将创建的参数消费（使用）掉。*Consumer接口中包含了唯一一个抽象方法voidaccept(Tt);消费一个指定泛型的数据**defaultConsumerandThen(Consumerafter){*Objec
    
                    
    • 
                    
  • RAFT：Adapting Language Model to Domain Specific RAG
                        蒸土豆的技术细节
语言模型人工智能自然语言处理
                        
    论文链接简单来说，就是你SFT微调的时候得考虑RAG的场景。RAG什么场景？你检索top-k回来，里面有相关doc有不相关doc，后者是影响性能的重要原因，LLM需要有强大的识别能力才能分得清哪块和你的query相关。微调就是为了这个。你做领域微调时，根据chunk生成query、answer，然后直接拿这仨微调，这里面没有干扰项，没有“不相关doc”，就扛不住RAG的噪声。RAFT就是针对这个搞
    
                    
    • 
                    
  • RAFT: Adapting Language Model to Domain Specific RAG
                        UnknownBody
RAGforLLM语言模型人工智能自然语言处理
                        
    本文是LLM系列文章，针对《RAFT:AdaptingLanguageModeltoDomainSpecificRAG》的翻译。RAFT：使语言模型适应特定领域的RAG摘要1引言2LLM用于开卷考试3RAFT4评估5RAFT推广到Top-KRAG6相关工作7结论摘要在文本数据的大型语料库上预训练大型语言模型（LLM）现在是一种标准范式。当将这些LLM用于许多下游应用程序时，通常会通过基于RAG的计
    
                    
    • 
                    
  • 特定领域 RAG 新突破：LlamaPack 实现 RAFT 论文方法
                        技术狂潮AI
大模型企业实战LLM应用实战AI编程实战人工智能RAFT（检索增强微调）LlamaIndexLlamaPack
                        
    一、前言在上一篇文章《RAFT：让大型语言模型更擅长特定领域的RAG任务》中，我们介绍了RAFT训练方法，RAFT（检索增强微调）是一种训练方法，可以提高大型语言模型(LLM)在开卷、域内问答任务中的性能。给定一个问题和一组检索到的文档，RAFT训练LLM从文档中识别并引用最相关的片段，这些片段有助于回答问题，同时忽略不相关或分散注意力的信息。通过训练模型识别相关信息并提供佐证，RAFT可以增强L
    
                    
    • 
                    
  • inexpensive electronic digital
                        chouxiao4977

                        
    KualaLumpurgathersallkindsofmerchandise,fromtraditionaltolocalizedartsinadditiontocrafts,intheworldfamousmanufacturerfashionforyoutoinexpensiveelectronicdigitalproducts.Concurrently,ithasbothequallyla
    
                    
    • 
                    
  • Keras-OCR：高效且易用的深度学习 OCR 库
                        吕真想Harland

                        
    Keras-OCR：高效且易用的深度学习OCR库keras-ocrApackagedandflexibleversionoftheCRAFTtextdetectorandKerasCRNNrecognitionmodel.项目地址:https://gitcode.com/gh_mirrors/ke/keras-ocr是一个基于Python的开源库，它利用[Keras](https和TensorFl
    
                    
    • 
                    
  • kafka3.7.1 单节点 KRaft部署&测试发送和接收消息
                        运维小弟| srebro.cn
openeulerkafka运维运维云原生
                        
    一、环境准备kafka3.7.1包下载地址：https://mirrors.nju.edu.cn/apache/kafka/3.7.1/kafka_2.13-3.7.1.tgzopenjdk11.0.2下载地址：https://mirrors.nju.edu.cn/openjdk/11.0.2/openjdk-11.0.2_linux-x64_bin.tar.gz二、openjdk安装【如已安装，
    
                    
    • 
                    
  • MC联机无法连接到服务器怎么解决
                        qq177803623
服务器运维云计算
                        
    MC联机无法连接到服务器？弹性云服务器来帮您解决！在《我的世界》（Minecraft，简称MC）的联机冒险中，无法连接到服务器无疑是每个玩家最头疼的问题之一。无论是与好友组队探险，还是加入心仪的社区服务器，一旦遇到连接问题，所有的乐趣和期待都可能化为泡影。今天，我们就来聊聊如何解决MC联机无法连接到服务器这个问题?常见的MC联机连接问题①IP地址或端口号错误：检查您输入的服务器IP地址和端口号是否
    
                    
    • 
                    
  • [数据集][目标检测]卫星遥感舰船检测数据集VOC+YOLO格式2238张17类别
                        FL1623863129
数据集目标检测YOLO人工智能
                        
    数据集格式：PascalVOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)图片数量(jpg文件个数)：2238标注数量(xml文件个数)：2238标注数量(txt文件个数)：2238标注类别数：17标注类别名称:[“AircraftCarrier”,“AuxiliaryShips”,“Cargo”,“Commander”
    
                    
    • 
                    
  • **脑图制作的Bootstrap Bundle项目指南**
                        潘惟妍

                        
    脑图制作的BootstrapBundle项目指南bootstrap-bundleBraincraftedBootstrapBundleintegratesBootstrapintoSymfony2byprovidingtemplates,Twigextensions,servicesandcommands.项目地址:https://gitcode.com/gh_mirrors/bo/bootstr
    
                    
    • 
                    
  • Xline v0.2.0: 一个用于元数据管理的分布式KV存储
                        达坦科技DatenLord
Xline分布式rustKV存储元数据管理DatenLord达坦科技
                        
    Xline是什么？我们为什么要做Xline？Xline是一个基于Curp协议的，用于管理元数据的分布式KV存储。现有的分布式KV存储大多采用Raft共识协议，需要两次RTT才能完成一次请求。当部署在单个数据中心时，节点之间的延迟较低，因此不会对性能产生大的影响。但是，当跨数据中心部署时，节点之间的延迟可能是几十或几百毫秒，此时Raft协议将成为性能瓶颈。Curp协议就是为了解决这个问题而设计的。它
    
                    
    • 
                    
  • 大数据生态圈里的一致性算法
                        宇宙湾

                        
    大数据生态圈中，保证一致性的方式举不胜举Hadoop用Zookeeper（Zab，Paxos+事务顺序）ElasticSearch用Hash路由算法（非一致性Hash）Cassandra用Gossip闲话算法Redis用Raft选举算法他们各有什么区别，为什么会如此选型？Paxos选举算法Paxos是最先解决拜占庭将军问题的算法，利用过半选举的机制，保证了集群数据副本的一致性（微服务中服务注册与发
    
                    
    • 
                    
  • 一种用于航天器姿态跟踪的新型角速度观测器（三）
                        beegreen
控制与信号处理动态规划数学建模
                        
    一种用于航天器姿态跟踪的新型角速度观测器（三）AnewangularvelocityobserverforattitudetrackingofspacecraftISATransactions130(2022)377–388DOI:10.1016/j.isatra.2022.03.025摘要：本文提出了一种基于收缩分析的新型航天器姿态跟踪角速度观测器。观测器在惯性参考系中通过估计惯性角动量来设计，
    
                    
    • 
                    
  • 探索音乐创作的新境界：Audiocraft-WebUI v2.0
                        廉娴鹃Everett

                        
    探索音乐创作的新境界：Audiocraft-WebUIv2.0audiocraft-webuiQuickwebuiforaudiocraft项目地址:https://gitcode.com/gh_mirrors/au/audiocraft-webui随着科技的进步，音乐创作也迎来了智能化的春风。今天，我们要为大家隆重介绍一个颠覆性的开源项目——Audiocraft-WebUIv2.0，它是Face
    
                    
    • 
                    
  • Kafka-3.3.4摒弃zookeeper集群部署操作文档
                        ShoShin1020
kafkazookeeper分布式
                        
    一、集群规划kafka从2.8版本开始，就允许用户在不需要zookeeper的情况下运行。真正全面摒弃zookeeper的版本是3.0，在后面的版本kafka使用了新的元数据管理方式kraft,提高了Kafka的可扩展性、可用性和性能。下载地址：ApacheKafka这里下载kafka_2.13-3.4.0.tgz版本，自带有支持raft模式主机名称IPprocess.rolesnode.idma
    
                    
    • 
                    
  • The password will become valid in 1 hour.
                        橙姜

                        
    Thepasswordwillbecomevalidin1hourafteryouchangeit.
    
                    
    • 
                    
  • 【vscode】vscode+cmake+llvm+ninja开发环境的搭建(draft)
                        真·Wild·攻城狮
码农日常vscodec++
                        
    文章目录前言1软件、工具和插件安装1.1vscode安装1.2cmake安装1.3安装LLVM1.4安装Ninja1.5vscode插件安装2工具链和CMakeLists2.1工具链（toolchain.cmake）2.2CMakeLists.txt2.3基本语法注释前言本文是一个使用vscode的小白扫盲贴。所谓工欲善其事必先利其器，作为码农的生产工具，vscode的开发配置是生产的第一步。1软
    
                    
    • 
                                
  • Java常用排序算法/程序员必须掌握的8大排序算法
                                    cugfy
java
                                    
    分类： 
 
1）插入排序（直接插入排序、希尔排序） 
2）交换排序（冒泡排序、快速排序） 
3）选择排序（直接选择排序、堆排序） 
4）归并排序 
5）分配排序（基数排序） 
 
所需辅助空间最多：归并排序 
所需辅助空间最少：堆排序 
平均速度最快：快速排序 
 
不稳定：快速排序，希尔排序，堆排序。 
 
先来看看8种排序之间的关系： 
 
  
 
 1.直接插入排序 
 
（1
    
                                
    • 
                                
  • 【Spark102】Spark存储模块BlockManager剖析
                                    bit1129
manager
                                    
    Spark围绕着BlockManager构建了存储模块，包括RDD，Shuffle，Broadcast的存储都使用了BlockManager。而BlockManager在实现上是一个针对每个应用的Master/Executor结构，即Driver上BlockManager充当了Master角色，而各个Slave上(具体到应用范围，就是Executor)的BlockManager充当了Slave角色
    
                                
    • 
                                
  • linux 查看端口被占用情况详解
                                    daizj
linux端口占用netstatlsof
                                    
    经常在启动一个程序会碰到端口被占用，这里讲一下怎么查看端口是否被占用，及哪个程序占用，怎么Kill掉已占用端口的程序 
  
1、lsof -i:port 
port为端口号 
  
[root@slave /data/spark-1.4.0-bin-cdh4]# lsof -i:8080 
COMMAND   PID USER   FD   TY
    
                                
    • 
                                
  • Hosts文件使用
                                    周凡杨
hostslocahost
                                    
         一切都要从localhost说起，经常在tomcat容器起动后，访问页面时输入http://localhost:8088/index.jsp，大家都知道localhost代表本机地址，如果本机IP是10.10.134.21，那就相当于http://10.10.134.21:8088/index.jsp，有时候也会看到http: 127.0.0.1:
    
                                
    • 
                                
  • java excel工具
                                    g21121
Java excel
                                    
    直接上代码，一看就懂，利用的是jxl： 
import java.io.File;
import java.io.IOException;
import jxl.Cell;
import jxl.Sheet;
import jxl.Workbook;
import jxl.read.biff.BiffException;
import jxl.write.Label;
import 
    
                                
    • 
                                
  • web报表工具finereport常用函数的用法总结（数组函数）
                                    老A不折腾
finereportweb报表函数总结
                                    
    ADD2ARRAY 
ADDARRAY(array,insertArray, start):在数组第start个位置插入insertArray中的所有元素，再返回该数组。 
示例： 
ADDARRAY([3,4, 1, 5, 7], [23, 43, 22], 3)返回[3, 4, 23, 43, 22, 1, 5, 7]. 
ADDARRAY([3,4, 1, 5, 7], "测试&q
    
                                
    • 
                                
  • 游戏服务器网络带宽负载计算
                                    墙头上一根草
服务器
                                    
    家庭所安装的4M，8M宽带。其中M是指，Mbits/S 
其中要提前说明的是： 
8bits = 1Byte 
即8位等于1字节。我们硬盘大小50G。意思是50*1024M字节，约为 50000多字节。但是网宽是以“位”为单位的，所以，8Mbits就是1M字节。是容积体积的单位。 
8Mbits/s后面的S是秒。8Mbits/s意思是 每秒8M位，即每秒1M字节。 
我是在计算我们网络流量时想到的
    
                                
    • 
                                
  • 我的spring学习笔记2-IoC（反向控制 依赖注入）
                                    aijuans
Spring 3 系列
                                    
    IoC（反向控制 依赖注入）这是Spring提出来了，这也是Spring一大特色。这里我不用多说，我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC，下面我将介绍不用Spring的IoC。 
IoC不是框架，她是java的技术，如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明： 
如：程序中有 Mysql.calss 、Oracle.class 、SqlSe
    
                                
    • 
                                
  • 高性能mysql 之 选择存储引擎(一)
                                    annan211
mysqlInnoDBMySQL引擎存储引擎
                                    
      1 没有特殊情况，应尽可能使用InnoDB存储引擎。   原因：InnoDB 和 MYIsAM 是mysql 最常用、使用最普遍的存储引擎。其中InnoDB是最重要、最广泛的存储引擎。她   被设计用来处理大量的短期事务。短期事务大部分情况下是正常提交的，很少有回滚的情况。InnoDB的性能和自动崩溃   恢复特性使得她在非事务型存储的需求中也非常流行，除非有非常
    
                                
    • 
                                
  • UDP网络编程
                                    百合不是茶
UDP编程局域网组播
                                    
      
UDP是基于无连接的,不可靠的传输   与TCP/IP相反 
  
  
  
UDP实现私聊,发送方式客户端,接受方式服务器 
package netUDP_sc;

import java.net.DatagramPacket;
import java.net.DatagramSocket;
import java.net.Ine
    
                                
    • 
                                
  • JQuery对象的val()方法执行结果分析
                                    bijian1013
JavaScriptjsjquery
                                    
            JavaScript中，如果id对应的标签不存在（同理JAVA中，如果对象不存在），则调用它的方法会报错或抛异常。在实际开发中，发现JQuery在id对应的标签不存在时，调其val()方法不会报错，结果是undefined。 
        
    
                                
    • 
                                
  • http请求测试实例（采用json-lib解析）
                                    bijian1013
jsonhttp
                                    
            由于fastjson只支持JDK1.5版本，因些对于JDK1.4的项目，可以采用json-lib来解析JSON数据。如下是http请求的另外一种写法，仅供参考。 
package com;

import java.util.HashMap;
import java.util.Map;

import 
    
                                
    • 
                                
  • 【RPC框架Hessian四】Hessian与Spring集成
                                    bit1129
hessian
                                    
    在【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中介绍了基于Hessian的RPC服务的实现步骤，在那里使用Hessian提供的API完成基于Hessian的RPC服务开发和客户端调用，本文使用Spring对Hessian的集成来实现Hessian的RPC调用。 
  定义模型、接口和服务器端代码 
|---Model 
   &nb
    
                                
    • 
                                
  • 【Mahout三】基于Mahout CBayes算法的20newsgroup流程分析
                                    bit1129
Mahout
                                    
    1.Mahout环境搭建 
 1.下载Mahout 
http://mirror.bit.edu.cn/apache/mahout/0.10.0/mahout-distribution-0.10.0.tar.gz 
  
 2.解压Mahout 
 3. 配置环境变量 
vim /etc/profile

export HADOOP_HOME=/home
    
                                
    • 
                                
  • nginx负载tomcat遇非80时的转发问题
                                    ronin47

                                    
    　　nginx负载后端容器是tomcat（其它容器如WAS,JBOSS暂没发现这个问题）非８０端口，遇到跳转异常问题。解决的思路是：$host:port 
       详细如下： 
　　  
该问题是最先发现的，由于之前对nginx不是特别的熟悉所以该问题是个入门级别的：    
?       1   2   3   4   5   
    
                                
    • 
                                
  • java-17-在一个字符串中找到第一个只出现一次的字符
                                    bylijinnan
java
                                    
    

public class FirstShowOnlyOnceElement {

	/**Q17.在一个字符串中找到第一个只出现一次的字符。如输入abaccdeff，则输出b
	 * 1.int[] count:count[i]表示i对应字符出现的次数
	 * 2.将26个英文字母映射：a-z <--> 0-25
	 * 3.假设全部字母都是小写
	 */
	pu
    
                                
    • 
                                
  • mongoDB 复制集
                                    开窍的石头
mongodb
                                    
    mongo的复制集就像mysql的主从数据库，当你往其中的主复制集(primary)写数据的时候，副复制集(secondary)会自动同步主复制集(Primary)的数据,当主复制集挂掉以后其中的一个副复制集会自动成为主复制集。提供服务器的可用性。和防止当机问题 
       
 
     mo
    
                                
    • 
                                
  • [宇宙与天文]宇宙时代的经济学
                                    comsci
经济
                                    
     
    宇宙尺度的交通工具一般都体型巨大，造价高昂。。。。。 
 
     在宇宙中进行航行，近程采用反作用力类型的发动机，需要消耗少量矿石燃料，中远程航行要采用量子或者聚变反应堆发动机，进行超空间跳跃，要消耗大量高纯度水晶体能源 
 
     以目前地球上国家的经济发展水平来讲，
    
                                
    • 
                                
  • Git忽略文件
                                    Cwind
git
                                    
         有很多文件不必使用git管理。例如Eclipse或其他IDE生成的项目文件，编译生成的各种目标或临时文件等。使用git status时，会在Untracked files里面看到这些文件列表，在一次需要添加的文件比较多时（使用git add . / git add -u），会把这些所有的未跟踪文件添加进索引。  
   ==== ==== ==== 一些牢骚
    
                                
    • 
                                
  • MySQL连接数据库的必须配置
                                    dashuaifu
mysql连接数据库配置
                                    
    MySQL连接数据库的必须配置 
  
1.driverClass：com.mysql.jdbc.Driver 
  
2.jdbcUrl：jdbc:mysql://localhost:3306/dbname 
  
3.user：username 
  
4.password：password 
  
其中1是驱动名；2是url，这里的‘dbna
    
                                
    • 
                                
  • 一生要养成的60个习惯
                                    dcj3sjt126com
习惯
                                    
    一生要养成的60个习惯 
第1篇 让你更受大家欢迎的习惯 
1 守时，不准时赴约,让别人等,会失去很多机会。 
如何做到： 
①该起床时就起床， 
②养成任何事情都提前15分钟的习惯。 
③带本可以随时阅读的书，如果早了就拿出来读读。 
④有条理，生活没条理最容易耽误时间。 
⑤提前计划：将重要和不重要的事情岔开。 
⑥今天就准备好明天要穿的衣服。 
⑦按时睡觉，这会让按时起床更容易。 
2 注重
    
                                
    • 
                                
  • [介绍]Yii 是什么
                                    dcj3sjt126com
PHPyii2
                                    
    Yii 是一个高性能，基于组件的 PHP 框架，用于快速开发现代 Web 应用程序。名字 Yii （读作 易）在中文里有“极致简单与不断演变”两重含义，也可看作 Yes It Is! 的缩写。  
Yii 最适合做什么？ 
Yii 是一个通用的 Web 编程框架，即可以用于开发各种用 PHP 构建的 Web 应用。因为基于组件的框架结构和设计精巧的缓存支持，它特别适合开发大型应
    
                                
    • 
                                
  • Linux SSH常用总结
                                    eksliang
linux sshSSHD
                                    
    转载请出自出处：http://eksliang.iteye.com/blog/2186931 一、连接到远程主机 
  
格式：
ssh name@remoteserver
例如：
ssh [email protected] 
  二、连接到远程主机指定的端口 
  
格式：
ssh name@remoteserver -p 22
例如：
ssh i
    
                                
    • 
                                
  • 快速上传头像到服务端工具类FaceUtil
                                    gundumw100
android
                                    
    快速迭代用 
 
 

import java.io.DataOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOExceptio
    
                                
    • 
                                
  • jQuery入门之怎么使用
                                    ini
JavaScripthtmljqueryWebcss
                                    
    jQuery的强大我何问起（个人主页：hovertree.com）就不用多说了，那么怎么使用jQuery呢？ 
  
首先，下载jquery。下载地址：http://hovertree.com/hvtart/bjae/b8627323101a4994.htm，一个是压缩版本，一个是未压缩版本，如果在开发测试阶段，可以使用未压缩版本，实际应用一般使用压缩版本(min)。然后就在页面上引用。
    
                                
    • 
                                
  • 带filter的hbase查询优化
                                    kane_xie
查询优化hbaseRandomRowFilter
                                    
     
 问题描述 
 
hbase scan数据缓慢，server端出现LeaseException。hbase写入缓慢。     
 
 问题原因 
 
直接原因是：  hbase client端每次和regionserver交互的时候，都会在服务器端生成一个Lease,Lease的有效期由参数hbase.regionserver.lease.period确定。如果hbase scan需
    
                                
    • 
                                
  • java设计模式-单例模式
                                    men4661273
java单例枚举反射IOC
                                    
             单例模式1，饿汉模式 
//饿汉式单例类.在类初始化时，已经自行实例化
public class Singleton1 {
    //私有的默认构造函数
    private Singleton1() {}
    //已经自行实例化
    private static final Singleton1 singl
    
                                
    • 
                                
  • mongodb 查询某一天所有信息的3种方法，根据日期查询
                                    qiaolevip
每天进步一点点学习永无止境mongodb纵观千象
                                    
    // mongodb的查询真让人难以琢磨，就查询单天信息，都需要花费一番功夫才行。

// 第一种方式：
coll.aggregate([
          {$project:{sendDate: {$substr: ['$sendTime', 0, 10]}, sendTime: 1, content:1}},
          {$match:{sendDate: '2015-
    
                                
    • 
                                
  • 二维数组转换成JSON
                                    tangqi609567707
java二维数组json
                                    
    原文出处：http://blog.csdn.net/springsen/article/details/7833596 
public class Demo { 
    public static void main(String[] args) {        String[][] blogL
    
                                
    • 
                                
  • erlang supervisor
                                    wudixiaotie
erlang
                                    
    定义supervisor时，如果是监控celuesimple_one_for_one则删除children的时候就用supervisor:terminate_child (SupModuleName, ChildPid)，如果shutdown策略选择的是brutal_kill，那么supervisor会调用exit(ChildPid, kill)，这样的话如果Child的behavior是gen_
    
                                
    •