php获取网页内容

2019独角兽企业重金招聘Python工程师标准>>>

$filename="http://www.edeng.cn/index.html"; //设定开始抓取的网页地址
$content=file_get_contents($filename); //获取html内容
$filename = 'index1.htm'; //取名字
$handle=fopen($filename,'w');//打开文件并确认可写
fwrite($handle,$content);
echo "";
?>
附带fopen操作说明：

fopen
(PHP 3, PHP 4 )
fopen -- 打开文件或者 URL说明
resource fopen ( string filename, string mode [, int
use_include_path [, resource zcontext]])

fopen() 将 filename 指定的名字资源绑定到一个流上。如果 filename 是 "scheme://..."
的格式，则被当成一个 URL，PHP 将搜索协议处理器（也被称为封装协议）来处理此模式。如果该协议尚未注册封装

协议，PHP
将发出一条消息来帮助检查脚本中潜在的问题并将 filename 当成一个普通的文件名继续执行下去。
如果 PHP 认为 filename 指定的是一个本地文件，将尝试在该文件上打开一个流。该文件必须是 PHP
可以访问的，因此需要确认文件访问权限允许该访问。如果激活了安全模式或者 open_basedir 则会应用进一步的

限制。
如果 PHP 认为 filename 指定的是一个已注册的协议，而该协议被注册为一个网络 URL，PHP 将检查并确认
allow_url_fopen 已被激活。如果关闭了，PHP 将发出一个警告，而 fopen 的调用则失败。
注: 所支持的协议列表见附录 J。某些协议（也被称为 wrappers）支持 context 和 php.ini
选项。参见相应的页面哪些选项可以被设定。（也就是 php.ini 的值 user_agent 用在 http 协议中。）有关
contexts 和 zcontext 参数的说明，参见参考 CV, Stream Functions。
mode 参数指定了所要求到该流的访问类型。可以是以下：
表格 1. fopen() 中的 mode 的可能值列表
mode说明
'r'只读方式打开，将文件指针指向文件头。
'r+'读写方式打开，将文件指针指向文件头。
'w'写入方式打开，将文件指针指向文件头并将文件大小截为零。如果文件不存在则尝试创建之。
'w+'读写方式打开，将文件指针指向文件头并将文件大小截为零。如果文件不存在则尝试创建之。
'a'写入方式打开，将文件指针指向文件末尾。如果文件不存在则尝试创建之。
'a+'读写方式打开，将文件指针指向文件末尾。如果文件不存在则尝试创建之。
'x'创建并以写入方式打开，将文件指针指向文件头。如果文件已存在，则 fopen() 调用失败并返回 FALSE，

并生成一条
E_WARNING 级别的错误信息。如果文件不存在则尝试创建之。这和给底层的 open(2) 系统调用指定
O_EXCL|O_CREAT 标记是等价的。此选项被 PHP 4.3.2 以及以后的版本所支持，仅能用于本地文件。
'x+'创建并以读写方式打开，将文件指针指向文件头。如果文件已存在，则 fopen() 调用失败并返回
FALSE，并生成一条 E_WARNING 级别的错误信息。如果文件不存在则尝试创建之。这和给底层的 open(2)
系统调用指定 O_EXCL|O_CREAT 标记是等价的。此选项被 PHP 4.3.2
以及以后的版本所支持，仅能用于本地文件。

注: 不同的操作系统家族具有不同的行结束习惯。当你写入一个文本文件并想插入一个新行时，你需要使用符合你

操作系统的行结束符号。基于
Unix 的系统使用 \n 作为行结束字符，基于 Windows 的系统使用 \r\n 作为行结束字符，基于 Macintosh
的系统使用 \r 作为行结束字符。
如果写入文件时使用了错误的行结束符号，则其它应用程序打开这些文件时可能会表现得很怪异。
Windows 下提供了一个文本转换标记（'t'）可以透明地将 \n 转换为 \r\n。与此对应你还可以使用 'b'
来强制使用二进制模式，这样就不会转换你的数据。要使用这些标记，要么用 'b' 或者用 't' 作为 mode 参数的

最后一个字符。
默认的转换模式依赖于 SAPI 和你使用的 PHP 版本，因此为了便于移植鼓励你总是指定恰当的标记。当操作以 \n
作为行结束定界符的纯文本文件时，如果你还期望这些文件可以用于其它应用程序例如 Notepad，则应该在脚本中

使用 't'
模式。在所有其它情况下使用 'b'。
在操作二进制文件时如果没有指定 'b' 标记，可能会碰到一些奇怪的问题，包括坏掉的图片文件以及关于 \r\n 字

符的奇怪问题。
为移植性考虑，强烈建议在用 fopen() 打开文件时总是使用 'b' 标记。
再一次，为移植性考虑，强烈建议你重写那些依赖于 't' 模式的代码使其使用正确的行结束符并改成 'b' 模式。
自 PHP 4.3.2 起，对所有区别二进制和文本模式的平台默认模式都被设为二进制模式。如果你在升级后脚本碰到问

题，尝试暂时使用
't' 标记，直到所有的脚本都照以上所说的改为更具移植性以后。
如果也需要在 include_path 中搜寻文件的话，可以将可选的第三个参数 use_include_path 设为 '1' 或
TRUE。
如果打开失败，本函数返回 FALSE。
例子 1. fopen() 例子
$handle = fopen ("/home/rasmus/file.txt", "r");
$handle = fopen ("/home/rasmus/file.gif", "wb");
$handle = fopen ("http://www.example.com/", "r");
$handle = fopen
("ftp://user:[email protected]/somefile.txt", "w");
?>

如果在用服务器模块版本的 PHP 时在打开和写入文件上遇到问题，记住要确保所使用的文件是服务器进程所能够访问

的。
在 Windows 平台上，要小心转义文件路径中的每个反斜线，或者用斜线。
$handle = fopen ("c:\\data\\info.txt", "r");
?>

fwirte例子：
例子 1. 一个简单的 fwrite 范例
$filename = 'test.txt';
$somecontent = "添加这些文字到文件\n";

// 首先我们要确定文件存在并且可写。
if (is_writable($filename)) {

// 在这个例子里，我们将使用添加模式打开$filename，
// 因此，文件指针将会在文件的开头，
// 那就是当我们使用fwrite()的时候，$somecontent将要写入的地方。
if (!$handle = fopen($filename, 'a')) {
print "不能打开文件 $filename";
exit;
}

// 将$somecontent写入到我们打开的文件中。
if (!fwrite($handle, $somecontent)) {
print "不能写入到文件 $filename";
exit;
}

print "成功地将 $somecontent 写入到文件$filename";

fclose($handle);

} else {
print "文件 $filename 不可写";
}
?>

========================================================
基于PHP抓取MSN SPACE的RSS信息
http://hi.baidu.com/meloidea/blog/item/db1d18306fef1d9da9018e92.html
RSS(也叫聚合内容，Really Simple
Syndication)是一种描述和同步网站内容的格式，是目前使用最广泛的XML应用，可以有效的实现网络内容信息资源的共享。
基于PHP有很多现成的RSS聚合类，下面以lastRSS为例介绍一下如何去抓取微软的MSN SPACE日志信息。
首先需要下载lastRSS类，地址是：http://lastrss.oslab.net/。下载下来解压，就一个文件lastRSS.php，非常简单，使用

代码如下，比如要抓取RSS种子是'http://meloidea.spaces.live.com/feed.rss'，代码如下：
//指定PHP文件输出的编码，避免乱码
header('content-type:text/html;charset=utf-8');
// 加载 lastRSS 类
include "lastRSS.php";
// 创建 lastRSS 对象
$rss = new lastRSS;
//设置缓存目录
$rss->cache_dir = './temp';
//缓存保留时间1200秒
$rss->cache_time = 1200;
// 加载RSS源
if ($rs = $rss->get('http://meloidea.spaces.live.com/feed.rss')) {
// 显示网站标识图
if ($rs[image_url] != '') {
echo " alt=\"$rs[image_title]\" vspace=\"1\" border=\"0\" />
\n";
}
//显示网站标题
echo "$rs[title]
\n";
//显示网站描述
echo "$rs[description]
\n";
//显示最新的日志 (标题，链接和描述)
echo "

";
foreach($rs['items'] as $item) {

echo "

".$item[title]."
/>".html_entity_decode($item['description'])."

";
}
echo "

";
}
else {
echo "错误: 找不到RSS源文件信息\n";
}
?>
注意：MSN SPACE需要使用html_entity_decode($item['description']，否则日志内容将显示成HTML的代码
当然除了lastRSS还有magpierss和gregarius也可以实现RSS的聚合
========================================================
PHP抓取远程网站数据的代码
http://hi.baidu.com/kaxi/blog/item/071c513dd94477ea3c6d97da.html
现在可能还有很多程序爱好者都会遇到同样的疑问,就是要如何像搜索引擎那样去抓取别人网站的HTML代码,然后把代码收集

整理成为自己有用的数据!今天就等我介绍一些简单例子吧.

Ⅰ.抓取远程网页标题的例子:
以下是代码片段：
/*
+-------------------------------------------------------------
+抓取网页标题的代码,直接拷贝本代码片段,另存为.php文件执行即可.
+-------------------------------------------------------------
*/

error_reporting(7);
$file = fopen ("http://www.dnsing.com/", "r");
if (!$file) {
echo "Unable to open remote file.\n";
exit;
}
while (!feof ($file)) {
$line = fgets ($file, 1024);
if (eregi ("(.*)", $line, $out)) {
$title = $out[1];
echo "".$title."";
break;
}
}
fclose($file);

//End
?>

Ⅱ.抓取远程网页HTML代码的例子:
以下是代码片段：
/*
+----------------
+DNSing Sprider
+----------------
*/

$fp = fsockopen("www.dnsing.com", 80, $errno, $errstr, 30);
if (!$fp) {
echo "$errstr ($errno)
\n";
} else {
$out = "GET / HTTP/1.1\r\n";
$out .= "Host: www.dnsing.com \r\n";
$out .= "Connection: Close \r\n\r\n";
fputs($fp, $out);
while (!feof($fp)) {
echo fgets($fp, 128);
}
fclose($fp);
}
//End
?>

以上两个代码片段都直接Copy回去运行就知道效果了,上面的例子只是抓取网页数据的雏形,要使其更适合自己的使用,情况有

各异.所以,在此各位程序爱好者自己好好研究一下吧.
这篇文章介绍了两个比较基础的例子
========================================================
用PHP抓取百度空间的文章标题、内容及分类列表
http://hi.baidu.com/antsnet/blog/item/7efb5043387a8b179213c636.html

获取分类
function getSort($url = 'http://hi.baidu.com/antsnet')
{
$contents = file_get_contents($url);
if($contents)
{
//$contents = preg_replace("/[\r\n|\n]/", "", $contents);
$exp_match = "/