什么是 raft 日志复制
http://thesecretlivesofdata.com/raft/
1: class one:
public class TestRaftCluster1 {
/**
* 描述: 添加客户节点
*
* @author : lq
* @version : Ver 1.0
*/
public static Atomixconn(String clusterId, String memberId, String address, Node... nodes){
Collection collection =new ArrayList<>(Arrays.asList(nodes));
Atomix atomixCluster = Atomix.builder()
.withClusterId(clusterId)
.withMemberId(memberId)
.withAddress(address)
.withMulticastEnabled()
.withProfiles(Profile.client())
.withMembershipProvider(
BootstrapDiscoveryProvider.builder().withNodes(
collection
).build()
).build();
atomixCluster.start().join();
return atomixCluster;
}
/**
* 描述: 同步向 raft集群 存取值
*
* @author : lq
* @version : Ver 1.0
*/
public static void put(Object key, Object value, Atomix atomixCluster){
DistributedMap map = atomixCluster.mapBuilder("my-map")
.withCacheEnabled()
.build();
map.put(key, value);
}
public static Objectget(Object key, Atomix atomixCluster){
DistributedMap map = atomixCluster.mapBuilder("my-map")
.withCacheEnabled()
.build();
return map.get(key);
}
public static boolean replace(Object key, Object oldValue, Object newValue, Atomix atomixCluster){
DistributedMap map = atomixCluster.mapBuilder("my-map")
.withCacheEnabled()
.build();
if (map.replace(key, oldValue, newValue)) {
return true;
}
return false;
}
/**
* 描述: 异步向 raft集群 存取值
*
* @author : lq
* @version : Ver 1.0
*/
public static void asyncPut(Object key, Object value, Atomix atomixCluster){
DistributedMap map = atomixCluster.mapBuilder("my-map")
.withCacheEnabled()
.build();
AsyncDistributedMap asyncMap = map.async();
asyncMap.put(key, value).thenRun(() -> {
System.out.println("异步写入值成功！");
});
}
public static ObjectasyncGet(Object key, Atomix atomixCluster){
DistributedMap map = atomixCluster.mapBuilder("my-map")
.withCacheEnabled()
.build();
AsyncDistributedMap asyncMap = map.async();
return asyncMap.get(key);
}
/**
* https://atomix.io/docs/latest/user-manual/cluster-management/partition-groups/cluster-management
* 描述: 启动 raft 节点 1
*
* @author : lq
* @version : Ver 1.0
*/
public static void main(String[] args) {
Profile profile = Profile.consensus("member1", "member2");
ConsensusProfileConfig consensusProfileConfig = (ConsensusProfileConfig)
profile.config();
consensusProfileConfig.setDataPath("C:\\raft1");
Atomix atomixCluster = Atomix.builder()
.withClusterId("test")
.withMemberId("member1")
.withAddress("localhost:8083")
.withMulticastEnabled()
.withProfiles(profile)
// .withProfiles(Profile.consensus("member1", "member2"), Profile.dataGrid(32))
// .withManagementGroup(RaftPartitionGroup.builder("system")
// .withNumPartitions(1)
// .withMembers("member1", "member2")
// .build())
// .withPartitionGroups(
// PrimaryBackupPartitionGroup.builder("data")
// .withNumPartitions(32).build())
.withMembershipProvider(
BootstrapDiscoveryProvider.builder().withNodes(
Node.builder().withId("member1").withAddress("localhost:8083").build(),
Node.builder().withId("member2").withAddress("localhost:8084").build()
).build()
).build();
atomixCluster.start().join();
}
}
2: class two
public class TestRaftCluster2 {
/**
* 描述: 启动 raft 节点 2
*
* @author : lq
* @version : Ver 1.0
*/
public static void main(String[] args) {
Profile profile = Profile.consensus("member1", "member2");
ConsensusProfileConfig consensusProfileConfig = (ConsensusProfileConfig)
profile.config();
consensusProfileConfig.setDataPath("C:\\raft2");
Atomix atomixCluster = Atomix.builder()
.withClusterId("test")
.withMemberId("member2")
.withAddress("localhost:8084")
.withMulticastEnabled()
.withProfiles(profile)
// .withProfiles(Profile.consensus("member1", "member2"), Profile.dataGrid(32))
// .withManagementGroup(RaftPartitionGroup.builder("system")
// .withNumPartitions(1)
// .withMembers("member1", "member2")
// .build())
// .withPartitionGroups(
// PrimaryBackupPartitionGroup.builder("data")
// .withNumPartitions(32).build())
.withMembershipProvider(
BootstrapDiscoveryProvider.builder().withNodes(
Node.builder().withId("member1").withAddress("localhost:8083").build(),
Node.builder().withId("member2").withAddress("localhost:8084").build()
).build()
).build();
atomixCluster.start().join();
}
}
3: test raft
public static void main(String[] args) {
/**
* 1.每个客户端只开一个单例连接 记录 日志
*/
Atomix atmoix = TestRaftCluster1.conn("test", "raft3" , "localhost:8090",
Node.builder().withId("member1").withAddress("localhost:8083").build(),
Node.builder().withId("member2").withAddress("localhost:8084").build());
/**
* 测试 raft 存取值
*/
TestRaftCluster1.put("123", "456", atmoix);
TestRaftCluster1.get("123", atmoix);
/**
* 2.假如单例 连接失效，需要健康检查
*/
/**
* 3.数据写入的前置条件就是日志必须落地，假如一致性raft日志记录成功
* ->（数据落入 kafak -> 推送到其他业务数据库, 落入mysql（cancal到es或者redis）)
* ->（根据raft日志可以恢复所有sql）
*/
/**
* 4.根据皇帝定律，引入java raft增加了系统的复杂度，直接修改数据库，会造成数据库和raft日志不一致
* -> 方案 ->
* 写入数据库的要求，必须以半同步增强的方式被canal接受到，然后解析完了写入到 raft 日志中，日志写入成功 且 副本足够多 表示 数据库写入成功
* -> 通过 raft 日志 可以将数据完整的同步到 另一个数据库中，或者根据 mysql gtid 查询 判断从库数据是否完整
*/
}
注意：根据拜占庭将军问题的解决方案：https://baike.baidu.com/item/%E6%8B%9C%E5%8D%A0%E5%BA%AD%E5%B0%86%E5%86%9B%E9%97%AE%E9%A2%98/265656?fr=aladdin
1、2f+1个节点，f+1个正确节点，f个恶意节点
客户端收到f+1个节点的回复之后，由鸽巢原理可以知道，至少收到一个正确节点的回复，系统可以进行下去，可是，如果恶意节点配合尚未完成执行的正确节点，那么有可能推翻之前协议的顺序，导致不一致，所以正确节点的数量不够。
2、3f+1个节点，2f+1个正确节点，f个恶意节点。
同上可得系统可以执行下去，值得注意的是，两次协商操作提供正确相应的节点数目达到了f+1个，这样两次操作共同的正确节点的数目至少有一个，这样；两次定序就不会发生不一致。
成功节点 > 失败节点 : 且副本 越多越满足消息传递的 高可用，当然也占流量， proxysql 2.0 gtid追踪需要 centos，继续积累知识