东师理想大数据中心技术路线规划

Centos下使用YugaByte DB

https://www.liangzl.com/get-article-detail-140539.html

 https://www.yugabyte.com/

 

业务系统或上报的数据--->openresty-->golang web gin-->kafka--->golang kafka client+ pg client ---> CockroachDB 集群

    ---->    分支1:    ----> golang  +pg client 准实时 --->ClickHouse集群
        分支2：    ---->golang  +pg client 准实时 --->SnappyData

解释：
1、第一步实现主干内容，数据要求完整保存到基于Postgresql的CockroachDB集群中，以多副本，无需分库分表等优势创建数据库，支持事务，用于生产。
2、第二步研究将数据同步到ClickHouse集群，实现高速度的大部分数据OLAP。
3、第三步研究基于Spark生太的SnappyData,弥补步骤2可能存在的问题。

4、之所以选择golang做为开发语言，是想一栈式语言，不想一会java ,一会运维用python，而且golang的好处在于强制，写一个代码没有第二种方法，防止因项目组内人员水平不一造成代码互相看不懂，是一种工程化思想的体现，而且Golang的运行速度很快，体积小，不依赖于环境等特点也非常棒。
===========================================================================
Clickhouse 资料
https://www.cnblogs.com/uestc2007/category/1465231.html
https://cloud.tencent.com/developer/article/1488512

《大数据实时分析领域的黑马ClickHouse》二次解读
https://blog.csdn.net/haitianxueyuan521/article/details/80983001


基于SnappyData构建实时数据仓库
https://www.jianshu.com/p/ccad1333c48d


SnappyData--一个统一OLTP+OLAP+流式写入的内存分布式数据库
https://blog.csdn.net/lmalds/article/details/79107024

 

 

 

https://www.cockroachlabs.com/docs/stable/install-cockroachdb-linux.html

 黄海在华为云上的备份包：

https://dsideal.obs.cn-north-1.myhuaweicloud.com/HuangHai/cockroach-v19.2.2.linux-amd64.tgz

cockroachDB学习总结

https://blog.csdn.net/niuchangp/article/details/59613410

 

 

Clickhouse OLAP的技术实现

https://www.cnblogs.com/gomysql/category/976463.html

 

Golang的客户端

https://github.com/ClickHouse/clickhouse-go

https://github.com/roistat/go-clickhouse

 

olap的长远解决之道，机器学习，智能算法类的研究方向：

【若泽大数据】玩转大数据之Spark零基础到实战

https://www.bilibili.com/video/av29407581?p=1

 

若泽大数据官网

http://www.ruozedata.com/