自制的网页小爬虫

 
使用的工具

1. Apache HttpClient
2. Firefox + FireBug
3. Burp Suite ( https://portswigger.net/burp ) + Firefox FoxyProxy

Firefox + FireBug 主要用于查看渲染出的页面中的信息（比如：表单项的名称，节点ID等等）
Burp Suite 主要用于动态拦截页面的交互，查看Ajax的调用。
HttpClient 用于最后程序的编制。搞清楚了网页交互的过程，就可以自主决定程序需要包含的内容。
在实际网页中，可能需要点开数级菜单，才能最后看到需要的内容。
但是在程序中，可以直接跳到最后一步。