《NO_SQL》_初探Cassandra

Cassandra 是一个来自 Apache 的分布式数据库，具有高度可扩展性，可用于管理大量的结构化数据。它提供了高可用性，没有单点故障。 是一种NoSQL类型的数据库。

mysql等关系与Cassandra，Mongo等非关系对比

image.png

Cassandra特点

它是一个面向列的数据库。
弹性可扩展
没有单点故障
灵活的数据存储： 结构化的、半结构化、非结构化的数据，动态的适应变化的数据结构。
便捷的数据分发：Cassandra通过在多个数据中心之间复制数据，可以灵活地在需要时分发数据
事务支持：支持ACID
快速写入

Cassandra概念

Cassandra安装

jdk略

py 略

下载包

wget https://mirrors.tuna.tsinghua.edu.cn/apache/cassandra/3.11.6/apache-cassandra-3.11.6-bin.tar.gz

vagrant virtualBox 参考及推荐

https://www.jianshu.com/p/77d8666e340a

解压后执行

(/export/huey/apache-cassandra-3.11.6/)

1. 启动脚本

 ./bin/cassandra

INFO - Starting up server gossip 出现及启动成功
2.查看状态 校验

 ./bin/nodetool status

image.png

3.本地客户端校验

image.png

4.基本操作（类似于DDL）
4.1 help;
DESCRIBE CLUSTER;
ESCRIBE KEYSPACES ;

image.png

5.使用keyspace和表
Cassandra keyspace和关系型数据库的概念类似。它可以定义一个或多个（表 or column families）。
在使用命令的时候记得常用tab，会有自动补齐功能。
创建keyspace：

cqlsh> CREATE KEYSPACE my_keyspace WITH replication = {'class': 'SimpleStrategy', 'replication_factor': '1'};

cqlsh> DESCRIBE my_keyspace;

image.png

注：class代表使用什么作为replication策略，replication_factor表示这个keyspace的数据需要写到几个node上面去。在production的环境下面，一定不能只使用1个replication_factor。

切换到新建的keyspace：

use my_keyspace ;

在新建的keyspace里面创建表：

image.png

注：也可以直接使用 CREATE TABLE my_keyspace.user ( 这种语法创建表，不需要切换keyspace。

image.png

Cassandra Java API

Java与Cassandra交互常用的类

image.png

Cluster类，控制节点，操作集群，有四种重试策略和两种重连策略。

image.png

image.png

Session类，两种CQL查询模式

image.png

ResultSet和ResultSetFuture执行结果

image.png

Java操作Cassandra数据库Demo

1依赖

    4.0.0
    
        org.springframework.boot
        spring-boot-starter-parent
        1.5.4.RELEASE
         
    
    com.cassandra
    cassandra
    0.0.1-SNAPSHOT
    cassandra
    cassandra study

    
        1.8
        Dalston.SR1
    

    

        
            org.springframework.data
            spring-data-cassandra
        
        
            org.springframework.boot
            spring-boot-starter
        
        
            
            
        
        
            org.springframework.boot
            spring-boot-starter-data-rest
        
        
            org.springframework.boot
            spring-boot-starter-web
        



        
        
            com.datastax.cassandra
            cassandra-driver-core
            3.8.0
        

        
            org.springframework.boot
            spring-boot-starter-test
            test
            
                
                    org.junit.vintage
                    junit-vintage-engine
                
            
        
        
            org.projectlombok
            lombok
        
    

    
        
            
                org.springframework.boot
                spring-boot-maven-plugin
            
        
    

配置

spring.data.cassandra.cluster-name=Test Cluster

spring.data.cassandra.keyspace-name=my_keyspace

spring.data.cassandra.contact-points=192.168.59.3

spring.data.cassandra.port=9042


spring.data.cassandra.jmx-enabled=false

demo

package com.cassandra.cassandra.beans;

import lombok.Data;
import org.springframework.data.cassandra.mapping.Column;
import org.springframework.data.cassandra.mapping.PrimaryKey;
import org.springframework.data.cassandra.mapping.Table;

/**
 * @author huey China.
 * @Description : ormCassandra的表注解，value指定表名
 * @Date Created in 2020/5/21 下午9:35
 */
@Data
@Table("user")
public class User {

//    @Column("first_name")
    @PrimaryKey("first_name")
    private String firstName;
    @Column("last_name")
    private String lastName;

}


package com.cassandra.cassandra.repository;

import com.cassandra.cassandra.beans.User;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.cassandra.core.CassandraTemplate;
import org.springframework.stereotype.Repository;

import java.util.List;

/**
 * @author huey China.
 * @Description : dao
 * @Date Created in 2020/5/21 下午8:45
 */
@Repository
public class UserDao {

    @Autowired
    private CassandraTemplate cassandraTemplate;

    /**
     * @author huey China.
     * @Description : get List Demo¬
     * @Date Created in 2020/5/21 下午8:46
     */
    public List getAll() {
        return cassandraTemplate.select("select * from user", User.class);
    }
}
package com.cassandra.cassandra.controller;

import com.cassandra.cassandra.beans.User;
import com.cassandra.cassandra.repository.UserDao;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.List;

/**
 * @author huey China.
 * @Description : use api test
 * @Date Created in 2020/5/21 下午8:46
 */
@RequestMapping("api")
@RestController
public class UserController {

    @Autowired
    private UserDao userDao;

    @RequestMapping("getList")
    public List getList() {

        return userDao.getAll();
    }
}
package com.cassandra.cassandra.config;

import com.cassandra.cassandra.beans.User;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.cassandra.config.java.AbstractCassandraConfiguration;


@Configuration
public class CassandraConfig extends AbstractCassandraConfiguration {

    //空间名称
    @Value("${spring.data.cassandra.keyspace-name}")
    private String keyspaceName;

    //表实体类包名
// @Value("${spring.data.cassandra.entity-base-packages}")
// private String entityBasePackages;

    //节点IP（连接的集群节点IP）
    @Value("${spring.data.cassandra.contact-points}")
    private String contactPoints;

    //端口
    @Value("${spring.data.cassandra.port}")
    private int port;

    //集群名称
    @Value("${spring.data.cassandra.cluster-name}")
    private String clusterName;

    @Override
    protected String getKeyspaceName() {
        return keyspaceName;
    }

    @Override
    public String getContactPoints() {
        return contactPoints;
    }

    @Override
    public int getPort() {
        return this.port;
    }

    @Override
    public String getClusterName() {
        return clusterName;
    }

    @Override
    public String[] getEntityBasePackages() {
        return new String[]{User.class.getPackage().getName()};
    }
}

效果图

image.png

Java源码解决遇到的坑

image.png

image.png

Cassandra架构

1、Gossip 点对点通信协议，用于集群之间节点交换位置和状态信息。
2、Partitioner 决定如何在集群中的节点间分发数据，也就是哪个节点放止数据的第一个replica。
3、Replica Strategy 决定在哪些节点放置数据的其他replica。
4、Snitch 定义了复制策略用来放置replicas和路由请求所使用的拓扑信息

节点通信

Cassandra使用点对点通信协议Gossip在集群中的节点间交换位置和状态信息。Gossip进程每秒运行一次，与最多3个其他节点交换信息，这样所有的节点可很快的了解集群中其他节点信息。
1、种子节点。它的作用就是让其它节点来认识到这个集群在哪里，如何与集群连上关系。
2、Cassandra故障探测。Cassandra协议就是每个进程每秒最多会和三个其它节点做交互，判断它是否存活。
3、Cassandra故障修复。当一个节点挂了，但不代表它从这个集群中移走了，而只是暂时offline。当它再拉起来的时候，Gossip系统也能探测到它活了，并加入到集群中去。

Partitioner

Partitioner定义了数据如何在集群中的节点分布，哪个节点应该存放数据的第一份拷贝。基本上，Partitioner就是一个计算分区键token的哈希函数。Partitioner中分为三大类。Partition Key 决定数据在Cassandra哪个节点上，Clustering Key 用于在各个分区内的排序，Primary Key 主键决定数据行的唯一性。

Replica Strategy

Cassandra在多个节点中存放replicas以保证可靠性和容错性。Replica Strategy决定放置replicas的节点，replicas的数目由复制因子确定，比如通常设置3表示每行数据有三份拷贝，每份数据存储在不同的节点。当前可用的两种复制策略：1、SimpleStrategy 仅用于但数据中心CREATEKEYSPACE dw WITH replication = {'class':'SimpleStrategy', ‘replication_factor': 3}2、NetworkTopologyStrategy 用于多IDC场景，可指定每个IDC有多少replicasCREATEKEYSPACE dw WITH replication = {'class':'NetworkTopologyStrategy', 'DC-SH' : 2,'DC-BG' : 2}

Cassandra主要的数据结构

Memtable：它的本质是java里的跳表。

SSTable：最终存放的数据落地在磁盘的结构。

BloomFilter：高效地用最少的内存来判断数据是否存在

请求-写请求

image.png

写路径

image.png

请求读请求

image.png

Cassandra读路径

image.png

Cassandra一致性保障

在Cassandra中，有三重策略来保障Cassandra达到最终的一致性。HintedHandoff：如果写了三个副本，只要有两个响应就可以。但是假如有一个节点挂了，Cassandra可以把本来要写到这个节点的数据写到另一个节点上。等挂了的节点拉起来之后，再把这个数据写回去，以保证三份数据同时写成功了。ReadRepair：当一个读的请求发起之后，可以触发后台一个线程检查这三个数据的副本数据是否一致，如果不一致再进行修复。Anti-EntropyNode Repair：主动把自己节点的key和其它节点的key进行比较，不一致的进行修复。

相关优化

性能调优-集群调优化集群参数设置

1、memtable_allocation_type
heap_buffers:on heap nio buffer
offheap_buffers:off heap(direct) nio buffers
offheap_objects:native memory
2、concurrent_write和concurrent_read
3、Sstable compression
4、Concurrent compactor
5、memtable_flush_writers
6、Netty io线程数目

JVM调优化

1、堆的大小选择2、取消偏向锁

Scheme设计优化

1、Primary key设计，避免热点2、关闭读修复3、Compaction strategy策略选择4、Ttl设置5、Row cache启用

感谢以下下关参考，如有侵权请联系博主，博主看到后，立刻删除,然后我们还可以交个朋友。

参考

https://cassandra.apache.org/
https://www.w3cschool.cn/cassandra/cassandra_cqlsh.html

https://blog.csdn.net/zhengyong15984285623/article/details/53591616
https://blog.csdn.net/andybegin/article/details/78520333

https://www.cnblogs.com/liufei1983/p/9362976.html
https://spring.io/projects/spring-data-cassandra
https://blog.csdn.net/sunfragrence/article/details/87913643
https://juejin.im/post/5a6aeefb518825732821a5e6
https://zhuanlan.zhihu.com/p/20679215