用JAVA如何实现每天1亿条记录的数据存储,数据库方面怎么设计?

一天秒数:60*60*24=86,400秒

每天写入数据量:100,000,000条

平均每秒写入数据量:100,000,000/86,400=1157.5条

峰值每秒估算写入数:1157.5*10=11575条

因此建议从以下几个层面处理

1、数据库服务器磁盘采用高速SSD磁盘

2、数据库采用2个节点的集群方式部署,每个集群节点3台服务器,1主2备,主数据库为写数据库,备数据库为读数据,采用读写分离,单集群节点内主备库数据实时同步,集群节点主库数据实时同步

3、数据表设计采用分区、分表方式设计表结构

4、数据写入采用单事务批量写入的方法新增数据

5、在关键字段建立索引,提高查询效率

6、第一次查询后将数据缓存到radis中,方便下次查询



已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐
  • —软件人才免语言低担保 赴美带薪读研!—



你可能感兴趣的:(java,记录,数据)