user_agent

2.4-nginx禁止指定user_agent

user_agent用来识别访问者的操作系统(包括版本号)浏览器(包括版本号)和用户个人偏好的代码比如我们的服务器网站，会被一些搜索引擎的爬虫程序访问，这对服务器压力造成了一定的影响。
llzdwyp·2015-09-13 19:40

2.6-Apache禁止指定user_agent

user_agent用来识别访问者的操作系统(包括版本号)浏览器(包括版本号)和用户个人偏好的代码。由于也是用到rewrite模块。
llzdwyp·2015-08-23 19:39

LNMP--Nginx禁止指定user_agent

编辑虚拟主机配置文件[root@LampLinux~]#vim/usr/local/nginx/conf/vhosts/test.conf在上一节全局访问控制配置deny192.168.137.0/24；下面添加：#deny127.0.0.1;#deny192.168.137.0/24； if($http_user_agent~*'curl|baidu|yyyyy')  #~*表示“不区分大小”写
ln286577399·2015-08-12 12:28

PHP 获取浏览器版本及操作系统版本

PHP 获取浏览器版本及操作系统版本 偶然间搜索用php截取ua中的浏览器及操作系统信息，发现比较麻烦于是自己写了一个 $user_agent = $_SERVER['HTTP_USER_AGENT
nomandia·2015-08-11 17:00

PHP 获取浏览器版本及操作系统版本

阅读更多PHP获取浏览器版本及操作系统版本偶然间搜索用php截取ua中的浏览器及操作系统信息，发现比较麻烦于是自己写了一个$user_agent=$_SERVER['HTTP_USER_AGENT'];
nomandia·2015-08-11 15:00

web请求判断客户端类型

  user_agent是Http协议中的一部分属于头域的组成部分。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。
wait106427·2015-07-30 22:00

apache禁止指定user_agent和禁止解析php

        RewriteEngineon     RewriteCond%{HTTP_USER_AGENT} ^.*curl.*[NC,OR]     RewriteCond%{HTTP_USER_AGENT} ^.*chrom*[NC]      RewriteRule  .*  -  [F]  测试：[root@www~]#curl-x127.0.0.1:80www.test.com/f
万俊俊·2015-07-28 20:29

[python爬虫] 抓取糗事百科的爬虫程序

等假期回家了把过程写一写#-*-coding:utf-8-*-importreimporturllib2page=1url='http://www.qiushibaike.com/hot/page/'+str(page)user_agent
GYZhe·2015-07-24 10:05

thinkphp判断是否为手机登陆的方法

 //判断是否手机访问  publicfunctionis_mobile(){    $user_agent=$_SERVER['HTTP_USER_AGENT'];    if(strstr($_SERVER
wenjing521·2015-07-19 17:00

thinkphp判断是否为手机登陆的方法

 //判断是否手机访问  publicfunctionis_mobile(){    $user_agent=$_SERVER['HTTP_USER_AGENT'];    if(strstr($_SERVER
wenjing521·2015-07-19 17:00

thinkphp判断是否为手机登陆的方法

 //判断是否手机访问  publicfunctionis_mobile(){    $user_agent=$_SERVER['HTTP_USER_AGENT'];    if(strstr($_SERVER
wenjing521·2015-07-19 17:00

apache‘禁止指定user_agent’ 和 ‘禁止用户通过浏览器访问某个目录’

禁止指定user_agent本节介绍如何通过rewrite实现限制指定user_agent的请求：即禁掉不想让那些引擎访问的请求编辑虚拟主机配置文件[root@LAMPLINUX~]#vim/usr/local
ln286577399·2015-07-11 14:35

linux下查看外网出口IP

~]#curlifconfig.me124.193.193.25 [root@movie~]#curlifconfig.me/allip_addr:124.193.193.25remote_host:user_agent
xoyabc·2015-07-04 22:24

linux下查看外网出口IP

~]#curlifconfig.me124.193.193.25 [root@movie~]#curlifconfig.me/allip_addr:124.193.193.25remote_host:user_agent
xoyabc·2015-07-04 22:24

linux下查看外网出口IP

movie~]#curlifconfig.me124.193.193.25[root@movie~]#curlifconfig.me/allip_addr:124.193.193.25remote_host:user_agent
xoyabc·2015-07-04 22:24

在ruby 2 和rails 4 里面使用send_file 下载文件的时候。在IE下面中文名出现乱码的处理方式

处理方法如下：user_agent=request.user_agent.downcase@escaped_file_name=user_agent.include?("msie")?
remote_roamer·2015-07-01 19:00

判断是否属手机

 //判断是否属手机     protected function isMobile() {         $user_agent = $_SERVER['HTTP_USER_AGENT'];         
陈映亮·2015-06-30 22:00

nginx rewrite不支持if 嵌套也不支持逻辑或和逻辑并

现在出一个简单的需求： 要求访问uri以 /abc/开头的请求，并且user_agent带有ie6或者firefox关键词的请求需要禁止访问。 实现方法为：     set $r
wangdi250·2015-06-09 14:10

nginx rewrite不支持if 嵌套也不支持逻辑或和逻辑并

现在出一个简单的需求： 要求访问uri以 /abc/开头的请求，并且user_agent带有ie6或者firefox关键词的请求需要禁止访问。 实现方法为：     set $r
wangdi250·2015-06-09 14:10

编译PHP并与nginx整合

apache一般是把php当做自己的一个模块来启动的.而nginx则是把http请求变量(如get,user_agent等)转发给php进程,即php独立进程,与nginx进行通信.称为fastcgi运行方式
freedomai·2015-05-27 08:00

curl伪造reffer抓取图片资源的方法

functionbaiduSpider($url$reffer){ $ch=curl_init(); $user_agent=“Baiduspider+(+http://www.b
hechurui·2015-05-20 13:00

常用浏览器user_agent大全

浏览器User-Agent的详细信息PC端：safari5.1–MACUser-Agent:Mozilla/5.0(Macintosh;U;IntelMacOSX10_6_8;en-us)AppleWebKit/534.50(KHTML,likeGecko)Version/5.1Safari/534.50safari5.1–WindowsUser-Agent:Mozilla/5.0(Windows
HTCKF·2015-05-10 11:00

Apache配置访问控制、禁用php解析、rewrite伪静态、限定user_agent

访问控制以下针对apache虚拟主机配置网站访问，限制指定ip才可以访问。只允许内网登录，不允许其他地址登录。Order定义顺序，先deny，然后执行下面的denyfromall，然后执行allow，再执行allowfrom127.0.0.1，意思是拒绝所有的，只允许本地可以访问。Orderdeny,allowDenyfromallAllowfrom127.0.0.1针对请求的url去限制，只允许
模范生·2015-05-07 14:24

Apache配置访问控制、禁用php解析、rewrite伪静态、限定user_agent

访问控制以下针对apache虚拟主机配置网站访问，限制指定ip才可以访问。只允许内网登录，不允许其他地址登录。Order定义顺序，先deny，然后执行下面的denyfromall，然后执行allow，再执行allowfrom127.0.0.1，意思是拒绝所有的，只允许本地可以访问。   Orderdeny,allow   Denyfromall   Allowfrom127.0.0.1针对请求的u
模范生·2015-05-07 14:24

scrapy 爬虫

添加user-agent:setting中添加 USER_AGENT="Mozilla/5.0(WindowsNT6.2;WOW64)AppleWebKit/537.36(KHTML,likeGecko
落花非有意·2015-05-02 13:48

scrapy 爬虫

添加user-agent:setting中添加 USER_AGENT="Mozilla/5.0(WindowsNT6.2;WOW64)AppleWebKit/537.36(KHTML,likeGecko
落花非有意·2015-05-02 13:48

百度蜘蛛、Google蜘蛛、360蜘蛛如何辨别？

/**  * 蜘蛛控制  */ function spiderControl() {     $user_agent = strtolower ( $_SERVER ['HTTP_USER_AGENT'
lixiaokai2008·2015-04-15 15:00

跳转PHP判断手机访问

functionis_mobile(){$user_agent=$_SERVER['HTTP_USER_AGENT']; $mobile_agents=Array("240x320","acer","acoon
真是杨晓光·2015-04-13 21:00

批量抓取数据容易遇到的瓶颈

防屏蔽 设置ip，user_agent sleep 延迟，降低抓取频率   大数据量采集 4. 并发 利用消息队列，例如 httpsqs 多进程  
ww111·2015-01-15 18:00

snoopy（强大的PHP采集类） 详细介绍

的一些特点:抓取网页的内容 fetch抓取网页的文本内容 (去除HTML标签) fetchtext抓取网页的链接，表单 fetchlinks fetchform支持代理主机支持基本的用户名/密码验证支持设置 user_agent
bushiyao_·2014-12-22 15:00

[Python]爬取糗事百科

self.page=1 #从网页获取糗事 defGetQiuShis(self,page): #网址 url="http://www.qiushibaike.com/hot/page/"+page #伪装浏览器 user_agent
SunnyYoona·2014-12-21 14:00

php采集类库：Snoopy.class.php

Snoopy的一些特点：抓取网页的内容fetch抓取网页的文本内容(去除HTML标签)fetchtext抓取网页的链接，表单fetchlinksfetchform支持代理主机支持基本的用户名/密码验证支持设置user_agent
lixiaokai2008·2014-10-02 10:00

file_get_contents伪造user_agent curl设置useragent的方法

file_get_contents和curl这俩强悍的函数,在远程抓取时候相当有用处.不过一些网站会根据来访ip是否携带user_agent来判断是正常的浏览器客户端还是机器.所以,我们的任务就是给他们伪造
JK_OPERA·2014-08-26 17:00

php工具类之【浏览器模拟类】

/** * 浏览器模拟工具类 * @version 1.0 20140724 */ class cURL { var $headers; var $user_agent;
student_lp·2014-08-17 14:00

解决php无法通过file_get_contents或curl采集页面内容

这是因为服务器上做了设置，通过php$_SERVER["HTTP_USER_AGENT"]获取User_agent判断是否为正常的浏览器请求,因为默认php的file_get_contents函数
小果果x·2014-08-05 16:00

Perl

useLWP::UserAgent;$user_agent=newLWP::UserAgent;$request=newHTTP::Request('GET','http://www.chengxuyuans.com
十月的星空·2014-06-30 23:00

exosip的安装与使用（转载）/SDP的解析

2）eXosip_set_user_agent()设置user_agent()，
sword_c·2014-06-28 14:31

模拟灌水机器人

/* Host tencent.com User_Agent Mozilla/5.0 (windows;U; windows NT 6.1 ;ZH-CN;rv:1.9.2.13 Accept text
风起云涌57·2014-06-19 08:00

CI::user_agent类方法奇葩的参数设计

程序中需要判断浏览器是否为微信webview，于是考虑直接使用CI的user_agent类库方法：$this->agent->is_browser()根据用户代理是否是一个已知的web浏览器，返回TRUE
mark35·2014-05-21 19:00

Ruby：Mechanize的使用教程

小技巧   puts Mechanize::AGENT_ALIASES 可以打印出所有可用的user_agent puts Mechanize.instance_methods(
·2014-04-29 13:00

php判断页面是否是微信打开的示例(微信打开网页)

复制代码代码如下:$user_agent=$_SERVER['HTTP_USER_AGENT'];if(strpos($user_agent,'MicroMessenger')===false){//非微信浏览器禁止浏览
·2014-04-25 10:05

Nodejs + request + zlib 处理压缩格式http返回数据

请求被拒绝，应该是目标网站做了限制，解决方案：   模拟浏览器请求， var options = {url:url,headers:{ ' User-Agent ' :user_agent
zj_oschina·2014-04-21 22:00

nginx 使用 user_agent 控制客户端访问

nginx的日志格式中，有一个字段叫做$http_user_agent 这个其实是客户端浏览器的一个信息，比如咱们平时使用IE浏览器的话，nginx的日志中会记录类似于这样的信息：Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1)这一段信息就是$http_user_agent了。咱们可以根据这个特点来控制客户端的请求访问。比如，现在有这样一个需求把使用IE6.
1415699306·2014-04-05 21:57

Rails 根据 user_agent 判断请求端

在http请求时，user_agent这个字段会记录用户所用的设备和浏览器。所以就得对user_agent进行解析，来获取是什么设备。
小嗷喏·2014-03-05 19:00

js判断ie版本号的简单实现代码

一般做法都是：正则搜索USER_AGENT；但因为历史原因，USER_AGENT一直都不准确，而且被各大厂商改的乱七八糟。
·2014-03-05 08:06

实现获取http内容的php函数分享

null,$method="GET",$timeout=60){$options=array();$options['http']['method']=$method;$options['http']['user_agent
·2014-02-16 15:35

解决某些服务器只允许微信自带浏览器访问！

php $user_agent = $_SERVER['HTTP_USER_AGENT']; if (strpos($user_agent, 'MicroMessenger
eddysoft·2013-12-28 23:00

判断页面是否是微信打开的

$user_agent=$_SERVER['HTTP_USER_AGENT'];if(strpos($user_agent,'MicroMessenger')===false){//非微信浏览器禁止浏览
Deacyn·2013-10-11 11:00

PHP函数检测客户端是否为手机

functionisMobile(){ $user_agent=$_SERVER['HTTP_USER_AGENT']; $mobile_agents=Array("240x320","acer",
谢了·2013-09-29 01:00

php实现的一个很好用HTML解析器类可用于采集数据

复制代码代码如下:_xpath=$xpath;$this->_nodePath=$nodePath;}publicfunctionloadHtml($url){ini_set('user_agent',
·2013-09-23 17:33
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他