python爬取下来的数据保存csv文件怎么加title_我的实战经验分享：深入浅出Python数据库操作...
本篇适合刚入门Python、已经学习了一些基础，想要关联学习数据库相关操作的朋友们～
先前听到一些朋友的反馈说，Python语言本身是很轻松地入门了，
但在做数据储存的时候，
比如做爬虫爬取到的数据，想要把暂时保存在内存中的数据永久保存起来，
究竟往哪存，怎么存，就有些困惑了。
“with open()”存到本地文件是相对简单的处理，
爬取到的数据大多是结构化的，直接存取文件可能不是效率最高的方法，
但面对数据库，了解到使用数据库的优点之后，
总会感觉与数据库之间似乎还隔了一层神秘面纱，有些难入门。
其实细说下来，也不过如此，本篇会循序递进跟大伙儿聊聊实战经验，
练习实际操作，然后发出“so easy!”的感叹～
看过我图文的朋友大概会了解，是比较倾向于“授之以渔”的，
本篇也一样，除了说说关键点外，
会给很多资料传送门，明确方向方便大伙儿深入了解。
咱话不多说，直接进入主题吧！
在实操之前，我们稍微先提一下环境配置什么的。
这里建议大伙儿测试的时候搭配使用Anaconda 3
(之前发的图文《 安装环境配置，以及如何编译exe可执行程序(上篇) - Python高手成长路(系列)(第1阶段) 》可以参考)，
使用里面自带的一款非常方便学习测试的IDE，叫 Jupyter Notebook(以下简称Notebook)。
图：Jupyter Notebook 的Logo
我能想到的用Jupyter Notebook练习的好处：
· 可以交互式操作，输入一段运行立即能得到运行结果，也能一直保留运行时的内存数据
· 同个笔记文件中，每段代码的运行结果都可以随时保存起来，下次再打开时也可以查看结果内容
· 对比官方原版搭配的IDLE，它界面流畅，而且操作上方便太多，而且还有能写Markdown、显示图表图像等等的加分功能
· 除了默认支持的Python外，还支持R、Julia、Scala等40多款程序语言(支持列表传送门：https://github.com/jupyter/jupyter/wiki/Jupyter-kernels )
但Jupyter Notebook它也是有缺点的：
· 运行起来可能不是特别快速，虽然做机器学习研究等等一些情景下用它会很方便，但由于软件是前后端分离的形式，后端回传结果到前端网页的过程有一定的性能损失
· 不太适合用做生产用途，对比另一款IDE，PyCharm，项目开发更适合使用后者这款
这里我们尽可能地减少安装环境配置等等的影响，
不同系统上具体操作的差别不会太大。
这里假定使用的是Win10，官网下载安装完成后，
在开始菜单找到Notebook并点开它。
默认配置下，点开后会出现一个黑底白字的控制台窗口，
然后自动调出系统默认浏览器弹出Notebook的主界面窗口。
图：Jupyter Notebook的网页界面和控制台界面
Notebook黑底白字的控制台窗口，在用的过程中千万不能关闭它，
最小化它即可，不必太多理会。
网络上有非常多的Notebook基本操作的指引
(网络资料传送门：https://zhuanlan.zhihu.com/p/33105153 )
这里不再赘述啦。
上图是我新建了一个文件夹，在里面新建了一个ipynb文件(统一称为Notebook文件)。
OK！实验环境准备就绪，可以继续下一步啦。
01
情景1：爬虫爬取了一些数据，已经整理成清单，怎样存进数据库里面呢？这里演示时用了一些新闻数据。
根据我的演示内容，目前只抓取一个页面上的部分数据，
然后整理出了“分类，标题，点击数，链接”共4个字段。
图：演示用的部分代码和数据(完整代码数据见GitHub)
数据量确实也不太多的样子，如果用自带的 csv 模块写入到文件也不会太差。
写入标准格式的csv文件，代码不过五六行而已。
(csv模块官方文档传送门：https://docs.python.org/3/library/csv.html )
图：演示写入到csv文件
那么，
换成使用数据库会增加存取数据的操作成本吗？
会影响程序的运行效率，或者影响本机的性能吗？
答案或许是否定的。
Python自带了一个简单但非常有用的模块叫 sqlite3，
根据官方文档介绍(传送门：https://docs.python.org/3/library/sqlite3.html )，
它适合用于在本机上储存一些数据量不太大的内部数据，
而且对于Python来说，还有一点非常重要的优势是，
『容易迁移』，也就是说，后面改成用MySQL或者PostgreSQL都会很方便，
我们后面的情景会演示『容易迁移』这一点的。
在这种情景下，改成使用sqlite来存取数据有什么优势呢？
· 数据形式基本一致，都是二维的表格
· 存入csv文件的代码，可以很方便地改写成存入sqlite数据表的代码
· 对比csv文件，数据表的每一列可以指定数据类型，便于管理和使用
· 对比csv文件，利用SQL可以处理复杂数据，不需要一次性载入内存再做处理
· 对比csv文件，多了SQL语法语句的操作，支持模糊查询、索引加速等等
那怎么使用 sqlite3呢？
不同数据库还是有不少差别的，数据类型，SQL语法，等等。
因此首先需要查看相关资料了解一下sqlite本身的基本操作
(网络资料传送门：https://www.runoob.com/sqlite/sqlite-create-table.html )。
sqlite大概是最简单的关系型数据库了，
我们入手的时候尽量往简单里写，以后再深入了解把代码写得更强大。
了解完sqlite本身后，再了解一下在Python中的使用方式。
使用模式基本上离不开这3步：
· 连接数据库
· 操作数据
· 断开数据库
我们这里演示只演示把数据存入sqlite数据库文件的话，
也不外乎是这3步，只是其中多了一个叫“游标(Cursor)”的东东。
游标就像“指针”，增删改查都靠它！
先连接数据库，然后跟数据库申请一个游标对象，
再利用游标把数据依次写到数据库里面，so easy！
图：演示连接和写入到sqlite数据库
写进数据库后，怎样最直观地看到刚写入的数据内容呢？
除了可以再次利用刚才提到的游标，select查询一下数据内容，
也可以安装使用 SQLite Expert Personal 这款软件(个人免费使用)，
图形界面操作，也可以在里面编写执行SQL对数据进行二次处理。
图：在 SQLite Expert Personal 中查看刚写入的数据
至此，sqlite已经基本入门了吧～
02
情景2：爬虫爬取的数据越来越多，sqlite数据库文件越滚越大，也满足不了一些更高级的使用需求了，可以快速地迁移到其他数据库上吗？“切换数据库”对IT运维人来说，有时确实是一个非常令人头大的问题，但对于我们个人使用来说，能否快速迁移，答案或许是肯定的，特别是数据规模还不太大的时候，而且！越早做迁移，痛苦越少～想象起来好像挺难的？其实并不难哦。我们先在目前主流的关系型数据库里面，挑选一款既简单又很强大的数据库软件来做试验，这里选的是跟MySQL同源的 MariaDB数据库，是开源的。(MariaDB官网： https://downloads.mariadb.org/mariadb/ )跟Anaconda 3类似，Win下有可以直接用的安装包， 安装MariaDB的过程中，别忘了设置好root用户的密码(root用户有最高权限)，以及 别忘了给“用UTF-8作为服务器默认的字符集(Use UTF8 as default server's character set)”打上钩。
图：MariaDB 安装过程中需要注意的点安装完成后就可以直接在本机使用MariaDB数据库啦。我们还是尽量往简单里写，这里直接使用root用户操作 (不推荐直接使用root用户操作数据！这样不安全！) (不推荐直接使用root用户操作数据！这样不安全！) (不推荐直接使用root用户操作数据！这样不安全！) (重要的事情说三遍！)后面实际应用时，可以再深入了解一下数据库用户与权限这部分，给每个项目至少建立一个有限权限的用户，严格控制权限，以及项目之间除非必要，一般都要进行数据隔离。情景1里面提到 『容易迁移』，真的是这样的吗？确实可以！因为几乎所有的Python连接关系型数据库的模块，都是根据Python定的一个叫 “DB-API 2.0”的接口标准来写的，(官方文档传送门： https://www.python.org/dev/peps/pep-0249/ )最大的好处就是，非常方便地，我们不需要怎么改动代码就可以适用连接更多的数据库。 
图：将先前存入sqlite数据库的数据，边读出边写入到MariaDB数据库中演示的代码可以看出，两种数据库调用的方法函数什么的基本都一样，可以 从sqlite的代码一比一复制过去，再根据 pymysql模块的文档(传送门： https://pymysql.readthedocs.io/en/latest/ )以及MariaDB的参考资料(网络资料传送门： https://www.w3cschool.cn/mariadb/ ) 稍微改一改代码，就可以用上了，还是so easy，是不？同样问题，写进数据库后，怎样最直观地看到刚写入的数据内容呢？依然是“游标”，select查询一下数据内容，或者使用非常经典的Navicat，进行图形界面操作，它也支持连接多款数据库软件，功能也相当强大的说 。 
图：在 Navicat 中查看刚写入的数据至此，MariaDB数据库，以及怎样操作数据迁移，都已经基本入门了吧～最后提一下 拓展方向， 大伙儿可以在评论区留言说说哪些是感兴趣的，以后会专门写图文来讲哈： · 数据库ORM工具，如 SQLAlchemy：ORM是“把关系数据库的表结构映射到对象上”的意思，操作那些对象就等同于操作数据本身，它其实是在各种数据库连接驱动之上再做了一层封装，下层换数据库时上层代码基本不用做太大的改动，它都能自如应付，具体可以参考廖老师博客的文章(网络资料传送门： https://www.liaoxuefeng.com/wiki/897692888725344/955081460091040 ) · 非关系型数据库，如 MongoDB：储存数据的结构叫BSON，是一种类似JSON的结构，应用情景比如，经常爬取JSON结构的数据，用它来存取数据会方便很多，具体可以参考网络上的教程(网络资料传送门： https://www.runoob.com/mongodb/mongodb-tutorial.html ) · 复杂的SQL操作，是需要经验积累的，如果先前没怎么接触数据库，可以先从最简单的操作开始试验(网络资料传送门： https://www.runoob.com/sql/sql-tutorial.html )，然后找题库平台(比如力扣的，传送门： https://leetcode-cn.com/problemset/database/ )上数据库专题的题目多实操一下，很快就可以积累起来的 最后的最后，附上本篇实操练习的GitHub repo： https://github.com/djun/db_exercise
以上，希望对你有所帮助～
我是DJun(小丁)，码龄19年，从事IT工作6年，踩过无数“语言”坑最后入坑Python，想通过公众号，把自己的成长经历与经验分享给朋友们。
同名酷安看看号“好想学Python”已开通，欢迎订阅。
相关推荐>>> 解谜了！Python 装饰器的魔法
>>> “鸭子类型”，因吹丝挺！- Python & Go
>>> 那么，办公室萌新可以跟Python碰撞出怎样的火花？
>>> Python从哪里开始学好呢？
>>> 网络爬虫与网页自动化操作：最小化版系统学习的大纲
