Python爬取网页信息并且存储到MySQL数据库

今天在执行一小Python爬取某网页的信息的时候,结果,报错了,根据错误,应该是数据库连接失败,密码有错误

Python爬取网页信息并且存储到MySQL数据库_第1张图片

检查程序密码应该没错呀,然后直接访问数据库,我的天,试了好多次,都快放弃自己了,昨晚明明成功的呀

Python爬取网页信息并且存储到MySQL数据库_第2张图片

然后打开Navicat,查看昨晚设置的连接属性,没错呀,密码就是1234566

Python爬取网页信息并且存储到MySQL数据库_第3张图片

然后陷入怪圈模式

突然,灵感xiu的一下就来了,Navicat昨晚设置的是连接虚拟机上的MySQL的,密码确实是123456

那本地用户呢,让我想想,我设置密码了吗?

突然想起来,Navicat不是已经连接到数据库了嘛,我可以直接查看表呀,也有root权限的

哇,打开mysql数据库,可以看到一个名为user的数据表

Python爬取网页信息并且存储到MySQL数据库_第4张图片

突然觉得黎明的曙光过来了,哈哈哈,这里高兴一秒钟

进入user数据表,激动人心的时刻就要到啦,密码密码,我来啦

Python爬取网页信息并且存储到MySQL数据库_第5张图片

我的天,hmm,这个主机名不就是我虚拟机名称嘛,它-竟-然-是-没-有-设-置-密-码-的,此时我的内心是崩溃的,我先去找个地冷静冷静

但还是要工作了~

登陆mysql

Python爬取网页信息并且存储到MySQL数据库_第6张图片

哇,它真的成功了呢!!!!!!!!!!!!这里响起掌声!!!!!!!!!!!!!

修改程序中的连接数据库中的参数,继续执行程序,果然,又出错了

1366错误,这又是什么鬼,快扶我起来,我还可以坚持

Python爬取网页信息并且存储到MySQL数据库_第7张图片

对于第一次连数据库的我来说,两眼一抹黑,转头立马去找我最亲爱的度娘,原来是数据库的编码格式和你连接时设置的编码格式是不一样的,连接的时候,charset设置的是utf-8,为的是可以存储中文。

得了,还是去看看数据库的编码吧

Python爬取网页信息并且存储到MySQL数据库_第8张图片

数据库默认的编码格式,latin,得了,明白了,立马改编码格式,转去找我熟悉的Navicat

Python爬取网页信息并且存储到MySQL数据库_第9张图片

改成utf-8就可以啦,再去查看查看是否可以了,嗯,都乖乖的变成了utf-8格式了

Python爬取网页信息并且存储到MySQL数据库_第10张图片

应该没有别的问题了吧,行嘞,继续执行

我的天,又出来一名刺客

貌似是执行插入语句的时候出现了问题,我只看到“Data too long for column”意思就是,对于这一属性列来说,数据量太大,不能插入到数据库中去,回想我的表的设计,varchar(100),经常使用的类型,度娘,我又来啦

原来对于数据量大的属性列来说,可以选用TEXT类型,它可以存储更长的数据量,查看数据库中是否插入数据了,结果却是是呢,最起码也插进去了一条吧

Python爬取网页信息并且存储到MySQL数据库_第11张图片


话不多说,转身去修改变量类型

Python爬取网页信息并且存储到MySQL数据库_第12张图片

不管了,继续执行

Python爬取网页信息并且存储到MySQL数据库_第13张图片

啊,真的成-功-了!!!!!!

我的老心脏呀,好艰辛的过程呀!!!!

再去看看数据库

Python爬取网页信息并且存储到MySQL数据库_第14张图片

至此,我人生的第一个爬虫就告一段落了!!!!

你可能感兴趣的:(Python学习笔记)