python爬虫记录(一)

        最近在公司用python写了几个工具，感觉用起来还很方便，想着用python来试试一直想玩的爬虫。

环境搭建：

        基于macos+vscode的(win下应该更方便，mac方便携带回老家还能玩玩)。

        安装brew： /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

        安装python3： brew install python3

        修改mac默认python版本：

        打开 sudo nano ~/.bash_profile  添加 alias python="/usr/local/bin/python3.7"

        source ~/.bash_profile

        vscode设置，搜索pythonpath变更地址为python3.x

安装Requests：

         git clone git://github.com/kennethreitz/requests.git下载源码，在根目录下pip3 install . 

抓取页面：

        Get：html = request.get("https://xxxx")

                  print(html.text)

        post: response = request.post(url, data)

                  data的数据通过浏览器的开发者工具查看post需要提交的数据进行组合。

                  返回的是一个json格式的数据，通过相关的json的库进行操作。