PHP之数据采集[抓取阿里巴巴上宁波企业的详细信息] - 非正则实现
现在有很多人在做数据采集,个人感觉这个就类似于小偷程序.对于网页中的信息摘取说白了就是通过分析每页的静态HTML元素的值来提取个人需要的信息而已.说白了就是HTML文档分析.传统的做HTML采集大多是靠正则表达式来实现.
但是说出来不怕你笑话,正则一直就是俺最最拿不出手的东西,这里主要DOM解析的方式来实现的.
主要阐述的关键就是: 简单就是美! 怎么简单怎么来,一直喜欢Rebol语言的宗旨:简单的就要最简单,复杂的也能处理.
前今天看过 使用htmlparser抓取阿里巴巴上宁波企业的详细资料 这篇文章, 写得不错.但是个人认为实在太太繁琐了,对于
JAVA程序员来讲,要熟悉一个新类库可不是一件很容易的事,如果就为了达到一个小目的而要引进新的类库,那最后的工程是不是也太庞大了.就拿著名的JAVA开发三套件"SSH"来说,其实单纯做Web网站,Struts就已经够用了,如果能分出DOM层也是可以的,毕竟不同于企业应用.但是往往很多人都是三者同上,搞得相当复杂不说,就连调试时都要麻烦好几个级别.不同的配置文件,不同的异常处理.其实有什么必要啊?
对于Spring 很多人其实就只是用到了控制反转[IOC]而已,对于切面编程我想很多人没有用到吧.对于新手切记不要将做站和做企业应用混在一块,根本就不是一个层级的东西.所以做出来的东西往往又慢又无效率.在说如果使用企业级应用服务器,对于大多数的中小型公司来说可能真的拿不出这样一笔钱来购置.记得UNIX有个哲学:简单就是美.
本人在接JAVA网站任务的时候其实就仅仅用到Spring这一个框架[而且也只用到它的IOC和JDBC模板],其他的前台的设计个人还是喜欢JS+CSS来做,并未用到它的MVC框架,而是使用它的IOC来配合单一入口实现了一个小小的跳转机制.呵呵呵
不过感觉做站最好的其实是PHP这个语言,因为她是我赚老婆本的东西,动态的脚本语言.反正很好用.话不多说,见代码.这里的代码仅仅抓取了企业名称和网站,其他的尚未实现...完整版本见后续文章....
与以往一样,这里主要使用FleaPHP框架,其实无论哪种框架,原理差不多,何况我这个代码没有用到这个框架的什么东西,就只是smarty的加载而已 这里没有使用到数据库,主要仅仅是一个测试,后期再加入....
本代码纯粹原创,转载请附上作者信息....
CompanyInfo.php
company.get.html
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=gb2312"> <title>CompanyInfo List</title> </head> <body> 采集源路径: <a href="<% $res_url %>" target="_blank"><% $res_url %></a> <hr/> <table border=1> <thead> <tr> <%foreach from=$dataArr_head item=curr_field_title%> <th> <% $curr_field_title %> </th> <%/foreach%> </tr> </thead> <tbody> <%section name=company loop=$dataArr %> <tr> <td><%$smarty.section.company.index%></td> <%foreach from=$dataArr[company] item=curr_id%> <td> <% $curr_id %> </td> <%/foreach%> </tr> <%/section%> </tbody> </table> </body> </html>