爬虫之存入数据库的(建表以存储)方面的优化

1:数据库建立联合索引(便于爬虫数据存入数据库的时候根据多字段进行去重,并且加快爬虫速度)

ALTER TABLE  t_gov_stats_year_public_management /*表名*/  ADD INDEX   classify_name_date/*索引名*/  (classify_id,NAME,DATE1) /*需要联合建索引的字段*/ ;

持续更新…

你可能感兴趣的:(爬虫,数据库,爬虫之数据库)