E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
php采集
《利用Java框架实现Restful接口》
2.需求
php采集
程序,通过post请求将json数据格式发至该restful接口,负责提供该接口的程序,接收到
BlackEnn
·
2016-11-01 16:00
java
Web
springMVC
hbase
Restful
PHP采集
类snoopy使用教程
Snoopy是一个php类,用来模拟浏览器的功能,可以获取网页内容,发送表单,可以用来开发一些采集程序和小偷程序。Snoopy的一些特点:抓取网页的内容fetch抓取网页的文本内容(去除HTML标签)fetchtext抓取网页的链接,表单fetchlinksfetchform支持代理主机支持基本的用户名/密码验证支持设置user_agent,referer(来路),cookies和headerco
Arvin9i
·
2016-08-04 20:28
snoopy
PHP 中转换 SGML 类语言为真实中文字符
昨天在用PHP在做一个数据采集项目的时候遇到了一个特殊的问题,就是中文被特殊的字符转化,用
PHP采集
过来还是保持原来的字符,但在浏览器会被编译成正常的中文字符显示在页面上,但你打开源代码查看时还是会保持原来的字符
zhangh8627
·
2016-07-25 11:11
php
sgml
网站采集器介绍
两大类采集器孰优孰劣不言而喻
PHP采集
程序中常用的函数Java代码 ",">
mocha
·
2016-03-10 10:00
一个简单
PHP采集
器
/is",$r,$booktitle);//匹配此页面的标题$bookname=$booktitle[1];//取第二层数组$preg='//isU';preg_match_all($preg,$r,$zj);//将此页面的章节连接匹配出来$bookzj=count($zj[1]);//计算章节标题数量if($ver=="new"){$content_start="";$content_end="
myideatt
·
2016-02-23 16:17
PHP
实例
采集
采集器
php采集
神器cURL使用方法详解
对于做过数据采集的人来说,cURL一定不会陌生。虽然在PHP中有file_get_contents函数可以获取远程链接的数据,但是它的可控制性太差了,对于各种复杂情况的采集情景,file_get_contents显得有点无能为力。因此,本文将为你介绍采集神器cURL的使用。先给大家补充一下file_get_contents函数可以获取远程链接数据的方法。这段代码会直接使用curl显示文件内容,但是
Zjmainstay
·
2016-02-19 17:30
Linux---Cacti插件之Spine健步日飞
安装完cacti之后一直使用默认的cmd.php来完成数据采集,可是后来发现cmd.
php采集
存在很大的延迟平均一次需要2秒,执行效率太低了,而spine只用了0.7秒,差距实在太大了。
EzioAuditor
·
2016-01-28 13:14
linux
cacti
Spine
PHP采集
利器:Snoopy 试用心得
Snoopy是什么? (下载 snoopy) Snoopy是一个php类,用来模仿web浏览器的功能,它能完成获取网页内容和发送表单的任务。 Snoopy的一些特点: * 方便抓取网页的内容 * 方便抓取网页的文本内容 (去除HTML标签) * 方便抓取网页的链接 * 支持代理主机 * 支持基本的用户名/密码验证 * 支持设置 us
·
2015-11-13 10:24
PHP
php采集
采集思路 采集程序的思路很简单大体可以分为以下几个步骤: 1. 获取远程文件源代码(file_get_contents或用fopen). 2.分析代码得到自己想要的内容(这里用正则匹配,一般是得到分页)。 3.跟根得到
·
2015-11-13 08:07
PHP
自己写的一个简单
PHP采集
器
自己写的一个简单
PHP采集
器 <?
·
2015-11-13 08:07
PHP
PHP采集
库-Snoopy.class.php
Snoopy是一个php类,用来模拟浏览器的功能,可以获取网页内容,发送表单。 Snoopy的特点: 1、抓取网页的内容 fetch 2、抓取网页的文本内容 (去除HTML标签) fetchtext 3、抓取网页的链接,表单 fetchlinks fetchform 4、支持代理主机 5、支持基本的用户名/密码验证 6、支持设置 user_agent, referer(来路), co
·
2015-11-12 15:08
Class
采集入库程序原理
php开发通用采集程序(一)
php采集
程序构建基本步骤:采集程序是什么?获取远程数据(文字、图片、图片)并快速保存到本地或指定地址。
·
2015-11-12 15:12
原理
php开发通用采集程序
php采集
程序构建基本步骤: 采集程序是什么?获取远程数据(文字、图片、图片)并快速保存到本地或指定地址。
·
2015-11-12 15:02
PHP
PHP采集
利器:Snoopy 试用心得
Snoopy是什么? (下载 snoopy) Snoopy是一个php类,用来模仿web浏览器的功能,它能完成获取网页内容和发送表单的任务。 Snoopy的一些特点: * 方便抓取网页的内容 * 方便抓取网页的文本内容 (去除HTML标签) * 方便抓取网页的链接 * 支持代理主机 * 支持基本的用户名/密码验证 * 支持设置 user_agent
·
2015-11-12 12:06
PHP
php读取html并截取字符串
一般
php采集
代码能用的到,这里只是简单的实现代码。 <?
·
2015-11-11 03:30
截取字符串
PHP采集
程序常用函数分享
分享一些
php采集
程序中的常用函数,省得以后满地找了,想用时来这里看看,哈哈。 //当前的脚本网址 function get_php_url(){ if(!
·
2015-11-11 00:32
常用函数
php数据采集
这里介绍两个
php采集
能用到的好工具。一个是Snoopy,一个是simple_html_dom。采集还有很多方式(其实本质就2-3种,其他的都是衍生的),php自带了几个方法也能直接进行采集。
·
2015-11-07 14:18
PHP
PHP采集
抓取
什么是
php采集
程序?
php采集
程序,也叫php小偷,主要是用于自动搜集网络上web页里特定内容,用php语言写的web程序,运行于支持php的平台上。
·
2015-11-07 13:55
PHP
php采集
远程文章简单类
<?php /** * 采集类 * @author Milkcy * @copyright (C) 2012-2015 TCCMS.COM * @lastmodify 2012-07-10 14:00 */ class gather { public $pagestring = ''; priva
·
2015-11-02 19:12
PHP
snoopy(强大的
PHP采集
类) 详细介绍
Snoopy是一个php类,用来模拟浏览器的功能,可以获取网页内容,发送表单,可以用来开发一些采集程序和小偷程序,本文章详细介绍snoopy的使用教程。 Snoopy的一些特点: 抓取网页的内容 fetch 抓取网页的文本内容 (去除HTML标签) fetchtext 抓取网页的链接,表单 fetchlinks fetc
·
2015-11-02 19:12
PHP
PHP函数库07:
PHP采集
程序中常用的函数
<? // 获得当前的脚本网址 function get_php_url(){ if ( ! empty ( $_SERVER [ " REQUEST_URI " ])){ &n
·
2015-10-31 13:14
PHP
PHP采集
利器:Snoopy
source地址:http://sourceforge.net/projects/snoopy/ Snoopy是什么? Snoopy是一个php类,用来模仿web浏览器的功能,它能完成获取网页内容和发送表单的任务。 Snoopy的一些特点: * 方便抓取网页的内容 * 方便抓取网页的文本内容 (去除HTML标签) * 方便抓取网页的链接 * 支持代理主机
·
2015-10-31 09:26
PHP
命令行下使用curl,采集数据遇到的问题。
前几天遇到这样一个问题,写了一段
php采集
程序,里面用到了curl_init()等,在浏览器里可以获得数据,但在命令行里不可以用的php环境是wamp,加载了php_curl, php.ini文件里面加载的
·
2015-10-31 09:50
curl
PHP采集
利器:Snoopy 试用心得
引用:http://mengdejun.iteye.com/blog/1070544 Snoopy是一个php类,用来模拟浏览器的功能,可以获取网页内容,发送表单。Snoopy正确运行需要你的服务器的PHP版本在4以上,并且支持PCRE(Perl Compatible Regular Expressions),基本的LAMP服务都支持。 一、Snoopy的一些特点: 1.抓取网页的内容
·
2015-10-31 08:33
PHP
php采集
一、 什么是
php采集
程序? 二、 为什么要采集? 三、 采集些什么? 四、 如何采集?
·
2015-10-30 18:23
PHP
snoopy(强大的
PHP采集
类) 实例应用
Snoopy是一个php类,用来模拟浏览器的功能,可以获取网页内容,发送表单。 下载地址: http://sourceforge.net/project/showfiles.php?group_id=2091 Snoopy的一些特点: 1抓取网页的内容 fetch2 抓取网页的文本内容 (去除HTML标签) fetchtext3抓取网页的链接,表单 fetchlinks fetchform4
·
2015-10-27 15:00
PHP
简单的
PHP采集
网页图片
public $domain = ''; /** * 获取图片 * @param string $targetUrl * @author wuzhc 2015-10-23 */ public function actionGetImgs($targetUrl = ''){ set_time_limit(0);
开发者007号
·
2015-10-23 12:00
PHP采集
利器:Snoopy
下载地址:http://sourceforge.net/projects/snoopy/ Snoopy是一个php类,用来模拟浏览器的功能,可以获取网页内容,发送表单。Snoopy正确运行需要你的服务器的PHP版本在4以上,并且支持PCRE(Perl Compatible Regular Expressions),基本的LAMP服务都支持。 一、Snoopy的一些特点: 1.抓取网页的内
·
2015-10-21 11:07
PHP
PHP采集
程序大全
在论坛好久了没有怎么正式的发表过东西,今天给大家共享一下我的采集代码! 思路: 采集程序的思路很简单大体可以分为以下几个步骤: 1.获取远程文件源代码(file_get_contents或用fopen). 2.分析代码得到自己想要的内容(这里用正规匹配,一般是得到分页)。 3
·
2015-10-21 10:03
PHP
php采集
远程文章简单类
db=$db;}functiongeturlfile($url){$url=trim($url);$content='';if(extension_loaded('curl')){$ch=curl_init();curl_setopt($ch,CURLOPT_URL,$url);curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);curl_setopt($ch,CU
weixingo
·
2015-08-25 11:00
php采集
windows 10 app的信息
/isU',$content,$match)){ $d[]=$match[1]; $pfn=$match[1]; echo"pfn:".$pfn."\n"; }else{ echo'pfnerror:',$url,"\n"; exit(); } //newurl if(preg_match('/\[url:(.*)\]/is',$content,$match)){ $newurl=$match[
babygo
·
2015-08-07 10:00
PHP采集
相关教程之一 CURL函数库
先写一个简单的抓取页面函数 [php] viewplaincopy PHP中的CURL函数库(ClientURLLibraryFunction) curl_close―关闭一个curl会话; curl_copy_handle―拷贝一个curl连接资源的所有内容和参数; curl_errno―返回一个包含当前会话错误信息的数字编号; curl_error―返回一个包含当前会话错误信息的字符串; c
mocha
·
2015-06-26 13:00
php采集
中国代理服务器网的方法
本文实例讲述了
php采集
中国代理服务器网的方法。分享给大家供大家参考。
Midnight
·
2015-06-16 11:47
PHP采集
利器:根据开始字符串和结束字符串截取需要的采集内容数据,纯PHP函数高性能实现,支持多种
function strCutByStr(&$str, $findStart, $findEnd = false, $encoding = 'utf-8'){ if(is_array($findStart)){ if(count($findStart) === count($findEnd)){ foreach($findSt
hanbingtel
·
2015-06-13 12:00
《CURL技术知识教程》系列技术教程整理
《CURL技术知识教程》系列技术教程整理 有时间会不断更新,大家有什么好的推荐的可以在下面回复,我会酌情收录 1
PHP采集
相关教程之一CURL函数库2php中通过curl模拟登陆discuz论坛的实现代码
开元中国2015
·
2015-05-07 09:00
curl
PHP使用DOMDocument采集
PHP采集
一般方式有:正则采集。使用DOM对象采集。使用字符串函数提取。这里只说下DOM对象采集的一些问题:PHP有DOM对象专门用来处理HTML或XML文件,非常方便。
ttlxihuan
·
2015-03-11 11:33
采集
DOMDocument
DOMXPath
php
PHP使用DOMDocument采集
PHP采集
一般方式有:正则采集。使用DOM对象采集。使用字符串函数提取。这里只说下DOM对象采集的一些问题:PHP有DOM对象专门用来处理HTML或XML文件,非常方便。
ttlxihuan
·
2015-03-11 11:33
采集
domdocument
DOMXPath
php查词采集器
/** *dict.class.
php采集
百度词典翻译内容 * *@copyright (C)2014widuu *@license http://www.widuu.com *@lastmodify
qcyhzwq001
·
2015-01-30 12:07
PHP
采集器
查词
php查词采集器
/** *dict.class.
php采集
百度词典翻译内容 * *@copyright (C)2014widuu *@license http://www.widuu.com *@lastmodify
qcyhzwq001
·
2015-01-30 12:07
PHP
采集器
查词
php采集
远程图片的思路与实现代码
基本流程:1、获取目标网站图片地址。2、读取图片内容。3、创建要保存图片的路径并命名图片名称。4、写入图片内容。5、完成。我们自定义几个函数,实现采集远程图片的功能。1、make_dir()建立目录。判断要保存的图片文件目录是否存在,如果不存在则创建目录,并且将目录设置为可写权限。1file_exists($path)){//不存在则建立4 $mk=@mkdir($path,0777
jinyeweiyang
·
2014-12-24 17:00
snoopy(强大的
PHP采集
类) 详细介绍
Snoopy是一个php类,用来模拟浏览器的功能,可以获取网页内容,发送表单,可以用来开发一些采集程序和小偷程序,本文章详细介绍snoopy的使用教程。Snoopy的一些特点:抓取网页的内容 fetch抓取网页的文本内容 (去除HTML标签) fetchtext抓取网页的链接,表单 fetchlinks fetchform支持代理主机支持基本的用户名/密码验证支持设置 user_agent, re
bushiyao_
·
2014-12-22 15:00
PHP
安全
验证码
curl
Nagios&Cacti篇七:Cacti调优
CACTI默认使用cmd.php来完成数据采集,但发现cmd.
php采集
存在很大的延迟,执行效率太低了。从添加device好到设备up等待的时间较长,超过10分钟。
feng88780
·
2014-11-02 12:08
linux
cacti
Think
PHP采集
图片
http://img.12gang.com/portal/201410/13/511151tfr4xivlbi3eieft.jpg对这张图怎么采集都采不了,原代码是$temp_dir = sys_get_temp_dir (); $download_img = new \Org\Net\Http(); $path_info = pathinfo ($img_url); $save_name = u
半醉人间
·
2014-10-21 11:00
php采集
类库:Snoopy.class.php
Snoopy的一些特点:抓取网页的内容fetch抓取网页的文本内容(去除HTML标签)fetchtext抓取网页的链接,表单fetchlinksfetchform支持代理主机支持基本的用户名/密码验证支持设置user_agent,referer(来路),cookies和headercontent(头文件)支持浏览器重定向,并能控制重定向深度能把网页中的链接扩展成高质量的url(默认)提交数据并且获
lixiaokai2008
·
2014-10-02 10:00
Snoopy
采集
php 获取301跳转后真实的url
在
php采集
中经常遇到有URL301重定向的情况,如果出现了这样的情况,有可能出现造成未知的结果,因为主机名不一样了。我们的采集中主机名不能用301重定向前的URL,要用重定向之后的URL。
何浩译
·
2014-08-08 11:00
我的php学习笔记:php通用采集程序
php采集
程序构建基本步骤:采集程序是什么?获取远程数据(文字、图片、图片)并快速保存到本地或指定地址。
aiyunyisheng
·
2014-06-13 18:44
PHP
php采集
程序的方法
php采集
程序的方法在我们程序开发的过程中是经常要遇到的,那我们常用的采集方法有哪些呢,下面我们一起来看具体的方法,还附带有具体实例,让大家一看就明白,会用。
liuzp111
·
2014-06-09 16:00
《电影记忆》-又拍云比赛作品总结
使用技术bootstrap2.3.1uionethinkcmf框架curlQueryList
php采集
组件又拍云存储功能介绍搜索电影媒体看了电影后台列表(搜索、删除)编辑观看状态、观看时间使用方法后台插件列表中安装
杨维杰
·
2014-05-03 12:00
开发者大赛
Upyun
onethink
电影记忆
MovieLog
PHP采集
利器:Snoopy 试用心得
Snoopy是一个php类,用来模拟浏览器的功能,可以获取网页内容,发送表单。Snoopy正确运行需要你的服务器的PHP版本在4以上,并且支持PCRE(PerlCompatibleRegularExpressions),基本的LAMP服务都支持。 服务器不支持curl时候的最好选择一、Snoopy的一些特点:1.抓取网页的内容fetch2.抓取网页的文本内容(去除HTML标签)fetchtext
wang_quan_li
·
2014-01-10 22:00
Snoopy
采集
PHP采集
程序原理分析篇
由于需要,要写一个简单的
PHP采集
程序,照例是到网上找了一堆教程,然后照猫画虎,可是发现网上的教程全是似是而非,没有一个真正能用的。苦想了几天,终于弄明白了里面的道理。在这里写出来,请高手指正。
jinxingfeng_cn
·
2014-01-09 18:00
上一页
1
2
3
4
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他