php -- 写一个简单的网页爬行器来收集数据

philp找我,说比较忙,让我给写个程序来收集两个网站上的数据。其实早就想用PHP搞一两个试试。因为事实上,做外贸的朋友应该这方面的需求比较大。经常有人找我说想搞个综合站,问我说有没有办法直接收集别人网站上的数据。创建一个拥有海量数据的网站,再通过SEO来销售。所以就答应下来,写一两个试试。

 

今天搞了半天,终于爬行了一个网站的1W多个网页,收集了1W多条记录。这些数据最终可以形成zen cart或magento的数据格式,直接上线的。

 

只是比较仓促,写的好像执行效率慢,当然可能和我的网络也有关系,网通的实在太烂了,便宜或许真没好货。也不便宜了。

 

 

之前听的比较多的是用CURL,不过我用的是pear的http request和pear db来操作数据库,用simple html dom来分析。

 

 

 

后记:

 

基于此,我们可以对外提供网站数据收集的服务.如果你想要收集哪个网站的数据,请email联系.注意,目前我只提供将数据收集成magento后台批量导入的格式,如果要同时收集图片,则价格不一样.

你可能感兴趣的:(html,PHP,数据库,网络,email,Magento)