php采集

PHP采集时被限制服务器IP如何解决？

我在用PHP采集一个网站时（其实是一个实时抓取的程序），如果一段时间内有较多的人访问我的站（也就会多次访问目标站），那么目标站就会自动限制我服务器的IP，请问这个有什么方法可以解决不？
Jewel_M·2011-04-26 20:00

PHP采集、模拟登陆论坛小程序

 $url,     CURLOPT_HEADER=>0,     CURLOPT_NOBODY=>0,     CURLOPT_PORT=>80,     CURLOPT_POST=>1,     CURLOPT_POSTFIELDS=>$postfields,     CURLOPT_RETURNTRANSFER=>1,     CURLOPT_FOLLOWLOCATION=>1,     C
p3i5w0g8s6·2011-04-12 13:31

PHP采集程序中常用的函数

//获得当前的脚本网址functionget_php_url(){       if(!empty($_SERVER["REQUEST_URI"])){               $scriptName=$_SERVER["REQUEST_URI"];               $nowurl=$scriptName;       }else{               $scriptNam
p3i5w0g8s6·2011-04-12 11:03

php采集利器snoopy应用技巧

来源：http://www.phpzy.com/PHPjichu/.htmlsnoopy采集phpchina示例submit($submit_url,$submit_vars);$snoopy->fetchlinks("http://www.phpchina.com/bbs");$url=array();$url=$snoopy->results;//print_r($url);foreach($
veswf46·2011-04-09 13:37

php仿jQuery控制dom | php采集

有段时间在制作PHP采集相关的程序，突然搜索到有一个比较好用的，外国人开发的类包，名叫"phpQuery",是否听这个名字就已经感觉很熟悉呢，这是一个PHP仿jQuery控制dom的好工作
kk48323201·2011-03-13 15:00

网站采集器介绍

两大类采集器孰优孰劣不言而喻 PHP采集程序中常用的函数 <?php
hudeyong926·2011-02-09 10:00

snoopy（强大的PHP采集类） 实例应用

Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单。下载地址： http://sourceforge.net/project/showfiles.php?group_id=2091Snoopy的一些特点:1抓取网页的内容fetch2抓取网页的文本内容(去除HTML标签)fetchtext3抓取网页的链接，表单fetchlinksfetchform4支持代理主机5支持基本的
疯狂的流浪·2010-12-10 19:00

snoopy 强大的PHP采集类使用实例代码

下载地址：//www.jb51.net/codes/33397.htmlSnoopy的一些特点:1抓取网页的内容fetch2抓取网页的文本内容(去除HTML标签)fetchtext3抓取网页的链接，表单fetchlinksfetchform4支持代理主机5支持基本的用户名/密码验证6支持设置user_agent,referer(来路),cookies和headercontent(头文件)7支持浏览
·2010-12-09 22:29

php采集网站时，获取Javascript里某个变量的值

转自： http://www.baiyuxiong.com/?p=423 下面的代码可以在采集其它网站的数据时，取得JS里某个变量的值。针对下两种JS的写法，利用两个不同的正则先取到JS部分的代码，然后再在代码里取需要的变量。 <script>function test(){}</script> <script type="text/java
baiyuxiong·2010-10-08 10:00

采集 利器

这里介绍两个php采集能
seng3018·2010-09-27 11:00

PHP采集程序中常用的函数

//获得当前网址 function get_php_url(){ if(!empty($_SERVER["REQUEST_URI"])){ $scriptName = $_SERVER["REQUEST_URI"]; $nowurl = $scriptName;
jimphei·2010-09-18 22:00

php采集时被封ip的解决方法

在网上找了一些资料都没有找到，功夫不负有心人啊，在找的时侯有一个人提到了用搜索引擎爬虫蜘蛛的USERAGENT。虽然只提到一点点我还是想到了，列出我的解决方法,1.使用Snoopy或curl传搜索引擎爬虫的USERAGENT值。查看搜索引擎爬虫的USERAGENT值：//www.jb51.net/yunying/29357.html2.使用Snoopy或curl传referer值。如：$snoop
·2010-08-29 14:23

PHP采集、模拟登陆论坛小程序

PHP采集、模拟登陆论坛小程序set_time_limit(0);//cookie保存目录$cookie_jar='/tmp/cookie.tmp';/*函数----------------------
刘赤龙·2010-06-08 16:00

PHP采集相关教程之一 CURL函数库

先写一个简单的抓取页面函数复制代码代码如下:PHP中的CURL函数库（ClientURLLibraryFunction）curl_close―关闭一个curl会话；curl_copy_handle―拷贝一个curl连接资源的所有内容和参数；curl_errno―返回一个包含当前会话错误信息的数字编号；curl_error―返回一个包含当前会话错误信息的字符串；curl_exec―执行一个curl会
·2010-02-15 16:09

php采集（php小偷）程序设计教程

目录什么是php采集程序？为什么要采集？采集些什么？如何采集？采集范例程序一些常用的函数对一个目标网站的全面采集什么是php采集程序？   
gumanren·2009-10-10 14:00

PHP采集程序中相对地址转换为绝对地址的函数

前一段时间在做PHP的采集时，发现有些网页采用相对地址来表示，这给采集带来了许多不便，需要一个可以将相对地址转换为绝对地址的函数，从网上找了一个，如下：发现这个函数太简单了，不是代码简洁，而是功能简单，完全不够自己用，因为发现网页源文件有很多种格式的链接地址，比如：0ABCDCDE……于是不得已，只好自己写了一个函数，代码如下：/**函数名：url_relative_to_absolute($co
cnisme·2009-07-28 12:00

PHP采集利器：Snoopy 试用心得

Snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。Snoopy的一些特点:*方便抓取网页的内容*方便抓取网页的文本内容(去除HTML标签)*方便抓取网页的链接*支持代理主机*支持基本的用户名/密码验证*支持设置user_agent,referer(来路),cookies和headercontent(头文件)*支持浏览器转向，并能控制转向深度*能把网页中的
jiedushi·2009-05-14 15:00

php采集书

版权声明：原创作品，允许转载，转载时请务必以超链接形式标明文章原始出版、作者信息和本声明。否则将追究法律责任。http://blog.csdn.net/mayongzhan - 马永占,myz,mayongzhan 记得上次有过一个叫采集后的处理这个就是它的升级版本连采再处理，合成一本书txt的。 <?php/*** @name 采集书.php* @date Sun Mar 01 22:
txf2004·2009-03-01 22:00

php采集

PHP简单采集器制作     采集器，通常又叫小偷程序，主要是用来抓取别人网页内容的。关于采集器的制作，其实并不难，就是远程打开要采集的网页，然后用正则表达式将需要的内容匹配出来，只要稍微有点正则表达式的基础，都能做出自己的采集器来的。     前几天做了个小说连载的程序，因为怕更新麻烦，顺带就写了个采集器，采集八
node·2009-02-21 11:00

php采集学习

嗯，采集我想应该就是文件操作和正则的知识了。 1.看看几个可能用到的函数吧。file_get_contents()读取一个文件的内容并返回字符串，然后你就可以利用正则提取你感兴趣的内容啦。  这个只是原原本本的把源文件直接copy过来了。  2.fopen()打开远程文件  这里还把它存了下来--baidu.html  
xcf007·2008-11-03 17:50

php采集速度探究总结（原创）

注意：下面的所有函数都没有用正则。以上为取出第一个匹配的三个函数，实现相同的目的functionstr_cut($str,$start,$end){//取出第一个匹配,效率最高，先分割再替换$content=strstr($str,$start);$content=substr($content,strlen($start),strpos($content,$end)-strlen($start)
·2008-04-18 23:05

php采集后的处理

版权声明：原创作品，允许转载，转载时请务必以超链接形式标明文章原始出版、作者信息和本声明。否则将追究法律责任。http://blog.csdn.net/mayongzhan - 马永占,myz,mayongzhan <?php /** * @name 采集后的处理 .php * @date Sat Dec 22 02:07:45 CST 2007 * @copyright 马
txf2004·2007-12-24 13:00

php采集器分析功能实现

php采集器分析功能实现 a)URL地址分析 根据数据库中采集规则的定义字段，分为一页地址，多页地址，**—**页地址三种形式。
wapysun·2007-07-31 13:00
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他