Mysql技术路线整理

mysql 大数据量该怎么存储和维护

有20000台仪器(将来会越来越多,可能达到60w),每个仪器平均每天会产生720条数据,要存储到mysql数据库中。那每天表中就会新增14400000条数据,这样要不了多久,这个表的查询就会特别慢,所以就做了分表处理,每台仪器对应一张表。现在单表的速度是提升了,但管理起来特别麻烦,首先workbench操作会特别卡特别慢,然后如果对表做字段变更的时候,就需要对20000张表做变更。这太疯狂了。所以想请教一下大神,我这样的情况该怎么处理呢

1.尝试搭建一个10台机器的hadoop集群直接将数据放到hive里面。
2.做分区表,按照日期,每天一张表。一张表1440万记录再考虑做优化查询。
3.综合上面的考虑就好:

  • 1、根据需要,按照时间分区,小时或者天; 不要按照仪器分区,

  • 2、使用NOSQL,数据放到HIVE里面处理。 使用定时器按需处理一定数据放到MYSQL用于业务处理。

问题可以归纳为:
mysql的局限在哪里,性能瓶颈在哪里?在什么数据量或表数量下会出现性能瓶颈。

你可能感兴趣的:(mysql,mysql,linux,服务器,运维)