Python网络爬虫（一）：环境搭建

目录

环境搭建

python 解释器安装

Pycharm安装

开发环境设置

---

对爬虫的兴趣起源于现有的搜索引擎没法满足我对于数据的好奇心，比如说，有时候我看到了一篇新闻，里面讲了某个事件，这个事件信息里又有很多引申的信息，这个时候，想知道更多就得再搜一轮（熬夜就是这么来的...）。这个过程可以无限拓展，一直刷到手机没电...... 所以呢，就想能不能有个自动化的，定制化的信息获取方式。爬虫就是干这个的。我是个新手，也不知前面有啥坑，但是身为有节操的程序猿，废话不多说，搞起。

我是先从python的爬虫研究起，因为教程多。还有java，go啊啥的，原理应该差不多，先搞清楚一个吧。下面的东西比较基础，老鸟绕行哦

环境搭建

python 解释器安装

• 网址：https://www.python.org/downloads/

• 选择对应的版本安装即可，具体过程就不赘述了
• 装的时候可以指定一个路径，例如我的路径是：D:\Python37

Pycharm安装

我使用的IDE是jetbrains的python ide，当然，IDE有很多，这个看个人喜好了。主要是它家的东西用惯了，比较顺手~

• 网址：https://www.jetbrains.com/pycharm/

• 这里我们选择 Professional版本 ，毕竟功能比较全。附上破解过程
• 首先，下载软件包，安装完成后，进入安装路径下的“bin”文件夹，例如我的路径是：D:\PyCharm 2018.2.4\bin

 

• 把破解文件（JetbrainsCrack-3.1-release-enc.jar）拷贝到此目录下，下载链接：http://idea.lanyus.com/jar/JetbrainsCrack-3.1-release-enc.jar 
• 打开如上图所示的文件，添加以下代码：-javaagent:D:\PyCharm 2018.2.4\bin\JetbrainsCrack-3.1-release-enc.jar ，注意，这里面的路径是我自己的安装路径，各位写的时候要写自己的路径

• 在进入时，可能还需要填写Activity Code，以下code我自己用是有效的

BIG3CLIK6F-eyJsaWNlbnNlSWQiOiJCSUczQ0xJSzZGIiwibGljZW5zZWVOYW1lIjoibGFuIHl1IiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6IiIsImxpY2Vuc2VSZXN0cmljdGlvbiI6IkZvciBlZHVjYXRpb25hbCB1c2Ugb25seSIsImNoZWNrQ29uY3VycmVudFVzZSI6ZmFsc2UsInByb2R1Y3RzIjpbeyJjb2RlIjoiQUMiLCJwYWlkVXBUbyI6IjIwMTctMTEtMjMifSx7ImNvZGUiOiJETSIsInBhaWRVcFRvIjoiMjAxNy0xMS0yMyJ9LHsiY29kZSI6IklJIiwicGFpZFVwVG8iOiIyMDE3LTExLTIzIn0seyJjb2RlIjoiUlMwIiwicGFpZFVwVG8iOiIyMDE3LTExLTIzIn0seyJjb2RlIjoiV1MiLCJwYWlkVXBUbyI6IjIwMTctMTEtMjMifSx7ImNvZGUiOiJEUE4iLCJwYWlkVXBUbyI6IjIwMTctMTEtMjMifSx7ImNvZGUiOiJSQyIsInBhaWRVcFRvIjoiMjAxNy0xMS0yMyJ9LHsiY29kZSI6IlBTIiwicGFpZFVwVG8iOiIyMDE3LTExLTIzIn0seyJjb2RlIjoiREMiLCJwYWlkVXBUbyI6IjIwMTctMTEtMjMifSx7ImNvZGUiOiJEQiIsInBhaWRVcFRvIjoiMjAxNy0xMS0yMyJ9LHsiY29kZSI6IlJNIiwicGFpZFVwVG8iOiIyMDE3LTExLTIzIn0seyJjb2RlIjoiUEMiLCJwYWlkVXBUbyI6IjIwMTctMTEtMjMifSx7ImNvZGUiOiJDTCIsInBhaWRVcFRvIjoiMjAxNy0xMS0yMyJ9XSwiaGFzaCI6IjQ3NzU1MTcvMCIsImdyYWNlUGVyaW9kRGF5cyI6MCwiYXV0b1Byb2xvbmdhdGVkIjpmYWxzZSwiaXNBdXRvUHJvbG9uZ2F0ZWQiOmZhbHNlfQ==-iygsIMXTVeSyYkUxAqpHmymrgwN5InkOfeRhhPIPa88FO9FRuZosIBTY18tflChACznk3qferT7iMGKm7pumDTR4FbVVlK/3n1ER0eMKu2NcaXb7m10xT6kLW1Xb3LtuZEnuis5pYuEwT1zR7GskeNWdYZ0dAJpNDLFrqPyAPo5s1KLDHKpw+VfVd4uf7RMjOIzuJhAAYAG+amyivQt61I9aYiwpHQvUphvTwi0X0qL/oDJHAQbIv4Qwscyo4aYZJBKutYioZH9rgOP6Yw/sCltpoPWlJtDOcw/iEWYiCVG1pH9AWjCYXZ9AbbEBOWV71IQr5VWrsqFZ7cg7hLEJ3A==-MIIEPjCCAiagAwIBAgIBBTANBgkqhkiG9w0BAQsFADAYMRYwFAYDVQQDDA1KZXRQcm9maWxlIENBMB4XDTE1MTEwMjA4MjE0OFoXDTE4MTEwMTA4MjE0OFowETEPMA0GA1UEAwwGcHJvZDN5MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAxcQkq+zdxlR2mmRYBPzGbUNdMN6OaXiXzxIWtMEkrJMO/5oUfQJbLLuMSMK0QHFmaI37WShyxZcfRCidwXjot4zmNBKnlyHodDij/78TmVqFl8nOeD5+07B8VEaIu7c3E1N+e1doC6wht4I4+IEmtsPAdoaj5WCQVQbrI8KeT8M9VcBIWX7fD0fhexfg3ZRt0xqwMcXGNp3DdJHiO0rCdU+Itv7EmtnSVq9jBG1usMSFvMowR25mju2JcPFp1+I4ZI+FqgR8gyG8oiNDyNEoAbsR3lOpI7grUYSvkB/xVy/VoklPCK2h0f0GJxFjnye8NT1PAywoyl7RmiAVRE/EKwIDAQABo4GZMIGWMAkGA1UdEwQCMAAwHQYDVR0OBBYEFGEpG9oZGcfLMGNBkY7SgHiMGgTcMEgGA1UdIwRBMD+AFKOetkhnQhI2Qb1t4Lm0oFKLl/GzoRykGjAYMRYwFAYDVQQDDA1KZXRQcm9

• 完成这些后，进到IDE里面，查看Help -> About ，可以看到使用期限到了2100年。要是能活这么久，记得续一下~

开发环境设置

• 打开IDE，进入Settings

• 在设置中配置项目解释器  这里配置的是python虚拟环境，可以方便地迁移，避免项目间的包冲突

• 配置好虚拟环境后，可以在此环境下添加python包，点击其中的 + 号，便可以搜索自己想要的包，包会下载到bots环境中，所以不用担心会跟其他项目冲突

到此，基本的环境搭建就完成了，后续的代码实验就可以在bots这个虚拟环境下进行。