百万数据怎么入库mysql mysql百万级数据

最近的项目需要用到实现节点的管理规模达到百万规模，需要用数据库对中间数据以及最后的结果进行存储，存储规模可以达到千万级别。初步实现了10万节点数据的存储，但是访问速度实在太慢，查阅相关的资料，发现导致节点插入时间非常慢的原因：

1、连接数据库的问题：建立连接和关闭连接的次数太多，导致IO访问次数太频繁。

2、应该使用批量插入和批量修改的方法，而不是有一条数据就进行插入，这样会导致访问数据库的实际特别的慢。

3、在建立库的时候要建立适当的索引：如主键、外键、唯一等，优化查询效率。

具体的讨论见此处的链接：

该链接中的一些讨论可以提供思路~

另外转载的内容如下：

最近一段时间参与的项目要操作百万级数据量的数据，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速度简直无法容忍。之前数据量小的时候，查询语句的好坏不会对执行时间有什么明显的影响，所以忽略了许多细节性的问题。

经测试对一个包含400多万条记录的表执行一条件查询，其查询时间竟然高达40几秒，相信这么高的查询延时，任何用户都会抓狂。因此如何提高sql语句查询效率，显得十分重要。以下是结合网上流传比较广泛的几个查询语句优化方法：

首先，数据量大的时候，应尽量避免全表扫描，应考虑在 where 及 order by 涉及的列上建立索引，建索引可以大大加快数据的检索速度。 但是，有些情况索引是不会起效的：

1、应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。

2、应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： 
     select id from t where num is null 
     可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： 
     select id from t where num=0

3、尽量避免在 where 子句中使用 or 来连接条件，否则将导致引擎放弃使用索引而进行全表扫描，如： 
     select id from t where num=10 or num=20 
     可以这样查询： 
     select id from t where num=10 
     union all 
     select id from t where num=20

4、下面的查询也将导致全表扫描：

select id from t where name like ‘%abc%’

若要提高效率，可以考虑全文检索。

5、in 和 not in 也要慎用，否则会导致全表扫描，如： 
     select id from t where num in(1,2,3) 
     对于连续的数值，能用 between 就不要用 in 了： 
     select id from t where num between 1 and 3

6、如果在 where 子句中使用参数，也会导致全表扫描。因为SQL只有在运行时才会解析局部变量，但优化程序不能将访问计划的选择推迟到运行时；它必须在编译时进行选择。然而，如果在编译时建立访问计划，变量的值还是未知的，因而无法作为索引选择的输入项。如下面语句将进行全表扫描： 
     select id from t where num=@num 
     可以改为强制查询使用索引： 
     select id from t with(index(索引名)) where num=@num

7、应尽量避免在 where 子句中对字段进行表达式操作，这将导致引擎放弃使用索引而进行全表扫描。如： 
     select id from t where num/2=100 
     应改为: 
     select id from t where num=100*2

8、应尽量避免在where子句中对字段进行函数操作，这将导致引擎放弃使用索引而进行全表扫描。如： 
     select id from t where substring(name,1,3)=’abc’–name以abc开头的id 
     select id from t where datediff(day,createdate,’2005-11-30′)=0–’2005-11-30′生成的id 
     应改为: 
     select id from t where name like ‘abc%’ 
     select id from t where createdate>=’2005-11-30′ and createdate<’2005-12-1′

9、不要在 where 子句中的“=”左边进行函数、算术运算或其他表达式运算，否则系统将可能无法正确使用索引。

10、在使用索引字段作为条件时，如果该索引是复合索引，那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引，否则该索引将不会被使用，并且应尽可能的让字段顺序与索引顺序相一致。

11、不要写一些没有意义的查询，如需要生成一个空表结构： 
     select col1,col2 into #t from t where 1=0 
     这类代码不会返回任何结果集，但是会消耗系统资源的，应改成这样： 
     create table #t(…)

12、很多时候用 exists 代替 in 是一个好的选择： 
     select num from a where num in(select num from b) 
     用下面的语句替换： 
     select num from a where exists(select 1 from b where num=a.num)