python提取piazza的信息

                                                                                                         python提取piazza的信息

目标：实现从piazza提取信息。

实现方式：python爬虫

实现思路：

1.首先用python脚本实现模拟登录到piazza；

2.然后抓取页面源码；

3.接着对页面源码组织结构进行分析，用正式表达式抽取所需信息。

 

一、环境准备：

       1.采用的python版本是python2.7.9。这里推荐一个python开发环境PyCharm，用于python代码的编写与调试。pycharm的下载及使用参见http://blog.csdn.net/msda/article/details/38705525

       2. 在火狐浏览器上安装插件httpfox用于浏览器行为监视，目的是获得模拟登录时提交的表单信息。

      如果你已经有了python2.7.9的运行环境，并且已有httpfox。则跳过下面的内容，直接到第二部分“二、进入piazza 网页，进行登录，从httpfox 中获得post的表单信息。”。

              1. python环境准备：

                   （1）下载python2.7.9。地址：https://www.python.org/downloads/release/python-279/

                         到该地址的Files下找到适用你的机器的python2.7.9进行下载。我的是64位win8.1系统，所以选择的是“windows x86-64 MSI Installer”

 

                              （2）下载PyCharm。地址：http://www.jetbrains.com/pycharm/download/

                              关于PyCharm的安装及使用见http://blog.csdn.net/msda/article/details/38705525。

                              注意：选择的python解释器是你1中安装的 python2.7.9目录下找到python.exe

                     2.在火狐中安装httpfox插件，用于登录表单的抓取。

                          （1） httpfox下载地址：https://addons.mozilla.org/zh-CN/firefox/addon/httpfox/

                          （2）点击"add to firefox"然后按提示安装，重启火狐浏览器。

                           （3）在火狐浏览器的右上角工具栏找到“定制”点击进入定制。

                   （4）把httpfox（下面第二张图中第二行倒数第三个图标，有两个箭头）托到工具栏。然后退出定制。

                        （5）可以看到工具栏中多出了httpfox 工具。点击打开，就会在浏览器下方出现httpfox界面。

               

                

 

                            这是httpfox的界面，点击Start就可以开始对浏览器行为监视，点击Stop后停止监视。

 

 

二、进入piazza 网页，进行登录，从httpfox 中获得post的表单信息。

         1.首先打开httpfox，点击start开始监视。

         2.然后进入piazza网站。 piazza网址：https://piazza.com/

         3.进行登录操作。在网页右上角点击Login,填入你的email和password.然后点击login。就会登录进入piazza.

         4.登录成功后，点击httpfox 的stop停止监视。

      

             5.从httpfox 分析登录时提交的表单信息。

                   找到 Method为Post,   URL为https://piazza.com/class这一行，可以在Post Data中看到列出来的表单信息

                       from              /signup

                       email              XXX

                      password       XXX

                      remember            on

                     (XXX:是你登录时填的email和password)

                    我们模拟登录时用的就是这些信息。

 

 

三、写python程序实现模拟登录