curl打开网页403或者302的解决方法（详细总结）

curl打开网页403或者302的解决方法

这里我以大众点评网为例

1、浏览器访问：http://www.dianping.com/shop/65334856

我们先说说如何查看Headers的信息

（1）打开对应的网站

（2）按F12键打开调试

（3）选择Network

（4）按F5刷新网页

（5）然后选择左面名称，一般是第一个数字的

2、直接curl访问

curl -v "http://www.dianping.com/shop/65334856" 

-v：显示请求详细信息

[root@jerry ~]# curl -v "http://www.dianping.com/shop/65334856"
* About to connect() to www.dianping.com port 80 (#0)
*   Trying 203.76.216.1... connected
* Connected to www.dianping.com (203.76.216.1) port 80 (#0)
> GET /shop/65334856 HTTP/1.1
> User-Agent: curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.14.0.0 zlib/1.2.3 libidn/1.18 libssh2/1.4.2
> Host: www.dianping.com
> Accept: */*
> 
< HTTP/1.1 403 Forbidden
< Date: Thu, 20 Dec 2018 03:32:42 GMT
< Content-Type: text/html;charset=UTF-8
< Transfer-Encoding: chunked
< Connection: keep-alive
< Keep-Alive: timeout=5
< Vary: Accept-Encoding
< X-Forbid-Reason: .
< Vary: Accept-Encoding
< Content-Language: en-US
< Pragma: no-cache
< Cache-Control: no-cache
< Server: DPweb
< 



    
    
    
    
        
    
    
        
    
    
    


    


    
    

        

            

            

                

			
				
		    
                    


                    
                
            
            

                
                

                    
手机点评
                    

                
            
        
    

    

        

            

                全部分类
                团购
                霸王餐
                
                社区论坛
            
        
        


    



    

        

        

            
抱歉！页面无法访问......
            
错误信息：
            
    currentDate:2018-12-20 11:32:42
            
    userIp:111.196.130.106, 10.69.93.5
            
    userAgent:curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.14.0.0 zlib/1.2.3 libidn/1.18 libssh2/1.4.2
            
                去大众点评首页
            
        
    



    

        
 关于大众点评| 诚信公约| 网站帮助| 网站地图| 推广服务| 媒体报道| 人才招聘|
              最新咨询|  站务论坛| 联系我们| 开发者| 聚宝盆餐饮开放平台 
        

            

                结婚问答
                家装问答
                家装图库
                家装图库手机版
                结婚资讯
                整形项目大全
                丽人问答
                点评电影
                育儿问答
            
        
        
 ©2003-2018 dianping.com, All Rights Reserved. 本站发布的所有内容，未经许可，不得转载，详见 《知识产权声明》。  
    
    
* Connection #0 to host www.dianping.com left intact
* Closing connection #0

以上数据中有两个点很重要：

（1）HTTP/1.1 403 Forbidde    #表示资源不可用，没有权限访问此站

（2）

抱歉！页面无法访问......

     #可以看出页面没有加载
         

错误信息：

3、先解决403的问题

添加User-Agent（创建请求的浏览器和用户代理名称等信息传达给服务器）信息就可以访问了。

注意：User-Agent信息在浏览器前面打开的Headers的信息最下面

[root@jerry ~]# curl -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36" -v "http://www.dianping.com/shop/65334856" 
* Hostname was NOT found in DNS cache
> Host: www.dianping.com
> Accept: */*
> 
< HTTP/1.1 302 Found
< Date: Thu, 20 Dec 2018 04:08:57 GMT
< Content-Length: 0
< Connection: keep-alive
< Keep-Alive: timeout=5
< Location: http://www.dianping.com/citylist
< Content-Language: en-US
< Pragma: no-cache
< Cache-Control: no-cache
* Server DPweb is not blacklisted
< Server: DPweb
< 
* Connection #0 to host www.dianping.com left intact
jerrywang@transfer:~$ curl -v "http://www.dianping.com/shop/65734326"                                                                                                                        
* Hostname was NOT found in DNS cache
*   Trying 203.76.216.1...
* Connected to www.dianping.com (203.76.216.1) port 80 (#0)
> GET /shop/65734326 HTTP/1.1
> User-Agent: curl/7.38.0
> Host: www.dianping.com
> Accept: */*
> 
< HTTP/1.1 302 Found
< Date: Thu, 20 Dec 2018 04:09:53 GMT
< Content-Length: 0
< Connection: keep-alive
< Keep-Alive: timeout=5
< M-Appkey: com.sankuai.rc.mtsi.optimus
< M-SpanName: OptimusController.optimusAuthorize
< M-TraceId: 7369567874137451512
< Location: https://verify.meituan.com/v2/web/general_page?action=spiderindefence&requestCode=fb54aba8c15c40088b52a764e8d3bbdf&platform=1000&adaptor=auto&succCallbackUrl=https%3A%2F%2Foptimus-mtsi.meituan.com%2Foptimus%2FverifyResult%3ForiginUrl%3Dhttp%253A%252F%252Fwww.dianping.com%252Fshop%252F65734326&theme=dianping
< Pragma: no-cache
< Cache-Control: no-cache
* Server DPweb is not blacklisted< Server: DPweb
< 
* Connection #0 to host www.dianping.com left intact

这次还是有两个重要信息：

（1）< HTTP/1.1 302 Found  #302代表暂时性转移

（2）< Location: https://verify.meituan.com/v2/web/general_page?action=spiderindefence&requestCode=fb54aba8c15c40088b52a764e8d3bbdf&platform=1000&adaptor=auto&succCallbackUrl=https%3A%2F%2Foptimus-mtsi.meituan.com%2Foptimus%2FverifyResult%3ForiginUrl%3Dhttp%253A%252F%252Fwww.dianping.com%252Fshop%252F65734326&theme=dianping     #这个就是跳转的网页

我们浏览器打开跳转的网页看看，原来是让验证，如何跳过验证呢，继续往下看

https://verify.meituan.com/v2/web/general_page?action=spiderindefence&requestCode=fb54aba8c15c40088b52a764e8d3bbdf&platform=1000&adaptor=auto&succCallbackUrl=https%3A%2F%2Foptimus-mtsi.meituan.com%2Foptimus%2FverifyResult%3ForiginUrl%3Dhttp%253A%252F%252Fwww.dianping.com%252Fshop%252F65734326&theme=dianping

4、解决302跳转

添加cookie信息就可以访问了。

注意：cookie信息在浏览器前面打开的Headers的信息Request Headersview source下  #请求头视图源

[root@jerry ~]# curl -cookie "_lxsdk_cuid=167c9aa6114c8-0a767bfa958c85-6313363-1fa400-167c9aa61154e; _lxsdk=167c9aa6114c8-0a767bfa958c85-6313363-1fa400-167c9aa61154e; _hc.v=e410126e-1782-9469-7026-539f8d9d3d56.1545276646; cy=2; cye=beijing; s_ViewType=10; _lxsdk_s=167c9aa6119-9a2-e70-bcb%7C%7C226" -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36" -v "http://www.dianping.com/shop/22974252"
* getaddrinfo(3) failed for _lxsdk_cuid=167c9aa6114c8-0a767bfa958c85-6313363-1fa400-167c9aa61154e; _lxsdk=167c9aa6114c8-0a767bfa958c85-6313363-1fa400-167c9aa61154e; _hc.v=e410126e-1782-9469-7026-539f8d9d3d56.1545276646; cy=2; cye=beijing; s_ViewType=10; _lxsdk_s=167c9aa6119-9a2-e70-bcb%7C%7C226:80
* Couldn't resolve host '_lxsdk_cuid=167c9aa6114c8-0a767bfa958c85-6313363-1fa400-167c9aa61154e; _lxsdk=167c9aa6114c8-0a767bfa958c85-6313363-1fa400-167c9aa61154e; _hc.v=e410126e-1782-9469-7026-539f8d9d3d56.1545276646; cy=2; cye=beijing; s_ViewType=10; _lxsdk_s=167c9aa6119-9a2-e70-bcb%7C%7C226'
* Closing connection #0
curl: (6) Couldn't resolve host '_lxsdk_cuid=167c9aa6114c8-0a767bfa958c85-6313363-1fa400-167c9aa61154e; _lxsdk=167c9aa6114c8-0a767bfa958c85-6313363-1fa400-167c9aa61154e; _hc.v=e410126e-1782-9469-7026-539f8d9d3d56.1545276646; cy=2; cye=beijing; s_ViewType=10; _lxsdk
* About to connect() to www.dianping.com port 80 (#0)
*   Trying 203.76.216.1... connected
* Connected to www.dianping.com (203.76.216.1) port 80 (#0)
> GET /shop/22974252 HTTP/1.1
> User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36
> Host: www.dianping.com
> Accept: */*
> 
< HTTP/1.1 200 OK
< Date: Thu, 20 Dec 2018 04:18:05 GMT
< Content-Type: text/html;charset=utf-8
< Transfer-Encoding: chunked
< Connection: keep-alive
< Keep-Alive: timeout=5
< M-SpanName: /shop/{num}
< M-TraceId: 1068949537692350265
< Accept-Ranges: bytes
< Content-Encoding: UTF-8
< ETag: "5844cbf24132f867d91746a71dbfb653"
< Last-Modified: Thu, 20 Dec 2018 01:00:11 GMT
< X-Mss-Trace-Id: 5485949940881798827
< x-amz-storage-class: 3R
< Pragma: no-cache
< Cache-Control: no-cache
< Server: DPweb
< Vary: User-Agent, Accept-Encoding
< 
                      
                       
 
 
 
 大众点评首页 
 
 写点评 |  你好，请登录 免费注册  | 个人中心 | 商户服务 | 帮助中心 | 最近浏览 网站导航 
 
 
 
 商户中心 商户合作 旺铺宝 免费使用美团排队 招募餐饮代理 招募非餐饮代理 
 
 平台规则 联系客服 
 
 
 
 
 
 
  北京 
 
 
国内城市
 
 上海 北京 广州 深圳 天津 杭州 南京 苏州 成都 武汉 重庆 西安 
 
 
 
国外城市
 
 东京 首尔 曼谷 巴黎 
 
 更多城市 > 
 
 
       搜美食 搜全站   
 
 
 
 
  
 
手机点评
 
 
 
 
 
 
 
 
 全部美食分类   霸王餐  社区论坛 
 
 
 
 
 
 
 
 
 
  异国料理 西餐 日本菜  
 
 
 
 
 异国料理 
 
 西餐 日本菜 韩国料理 东南亚菜 自助餐 
 
 
 
 
 
 
  中式料理 火锅 本帮江浙菜  
 
 
 
 
 中式料理 
 
 火锅 本帮江浙菜 川菜 粤菜 湘菜 新疆菜 云南菜 东北菜 贵州菜 西北菜 台湾菜 江西菜 
 
 
 
 
 
 
  小吃夜宵 烧烤 海鲜  
 
 
 
 
 小吃夜宵 
 
 烧烤 海鲜 小龙虾 蟹宴 小吃快餐 
 
 
 
 
 
 
  饮品甜点 咖啡厅 面包甜点  
 
 
 
 
 饮品甜点 
 
 咖啡厅 面包甜点 下午茶 Brunch 
 
 
 
 
 
 
  其他 素菜 面馆  
 
 
 
 
 其他 
 
 素菜 面馆 家常菜 其他 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
  北京美食  >  小吃快餐  >  朝阳区  >  三里屯  > 脑馋粉儿(三里屯店) 
 
 
  
 脑馋粉儿(三里屯店)  
手机买单 积分抵现
 
 
 
 
 
  其它3家分店 
 
   1 条评论  
星级来自业内综合评估
 人均:  元  口味: .  环境: .  服务: .   
 
 地址：  院里屯SOHO商B1B1-  
 
 电话： 1-1 
 
 更多信息 
 
 营业时间：   11:-:  1--11--    修改  
 
 
 
 
 
 
  写点评 
      
 添加图片  
  
 
 
 
 
 
 
  京荟广场店  
 
  小屯村梅市口路133号京荟广场文化产业园B座 
 
 
 
  四惠店  
 
  建国路力源里北街2号院4号楼1层106 
 
 
 
  朝阳门店  
 
  朝阳门外大街19号华普大厦福满格美食广场二层CY202-12 
 
  查看全部3家分店 
 
 
 
 
修改时间
  
 取消 保存修改 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 网友点评(1923) 
 
 
 全部 图片(1029) 好评(1648) 中评(205) 差评(70) 
 
 
 
    
 MirrorJane   
 
 
  人均：0元 
 
出差北京，看温低-10，立里屯逛逛，偶这家四川冒菜馆。本来抱什么希望，觉得在广州吃太多四川冒菜，果吃惊，超级错哟。食材比较新鲜，肉和菜分开摆放，分开称，肉也是提前有酱拌，调了。煮出来道常好，，强烈推。尤其是和牛肉，两个道煮出来别棒。
 
 
       
 
 
 
   赞(1) 回应 收藏 投诉 
 2018-12-11 13:45 脑馋粉儿 
 
 
    
 piupiuhas   
 
 
  人均：0元 
 
 
中午来三里团办事，正中午，是乎来心心***粉，真是有一阵不吃甚是想啊，

?置：三里屯soho下广场，门脸不是很大，但是很找，在边<......
 展开评论 
 
 
中午三里团办事，正好中午，于乎心心念念的***粉，真一吃念，

?位置：三里soho沉广场，门脸很，但很好，上

?品：自选的，肉类要类分开单独选，麻牛肉、掌中肚错，对于肉食说必能，，类很多，蘑菇、菠、木耳、海带、银耳必品[开心]选好两盘，瞬间觉吃，要的正常，本吃脑花，选的多，次吧，他家脑花也错的，最后剩将一，次要制

?服，好，对于这自助的很要求服


?推荐推荐，喜欢吃冒的真心要哦
 收起评论 
 
 
喜欢的菜：
 
 麻辣牛肉 麻辣掌中宝 
 
该店适合：
 
 性价比高 
 
foodShopFitIds：
 
 315550.0 
 
 
 
    
 
 
 
   赞(3) 回应 收藏 投诉 
 2018-12-16 23:45 脑馋粉儿 
 
 
    
 tina田田  
 
 
  人均：40元 
 
位置在里屯SOHO5场西角脑粉儿。说他家冒菜是老重饭馆味道。人均40，较，荤素分开计，种多样，较生。香辣牛肉 肥肠 百叶 金针菇最好吃。店面大，女士居多，生意还挺红火。
 
 
喜欢的菜：
 
 麻辣牛肉 冒菜 肥肠 
 
该店适合：
 
 性价比高 回头客多 
 
foodShopFitIds：
 
 315550.0 318915.0 
 
 
 
          
 
 
 
   赞(1) 回应 收藏 投诉 
 2018-12-17 22:53 脑馋粉儿 
 
 
    
 来日方长Ei   
 
 
  人均：0元 
 
 
下层广那边 不算很大 不难找
的脑花儿感觉一般 糍粑也一般
冒菜很吃 尤其肥肠 洗的很干净 虽然小卫生挺......
 展开评论 
 
 
在层场那边 门算大 但是难
这家脑感觉一般 糍粑一般
但是冒菜吃 尤其是肥 干 然小卫生挺

服务态 可以自己择辣 荤素是分开装然后称重 价格高 能吃饱 肉类都是提前腌制过味
 收起评论 
 
 
     
 
 
 
   赞(1) 回应 收藏 投诉 
 2018-12-18 08:26 脑馋粉儿 
 
 
    
 安颜  
 
 
  人均：0元 
 
东西味道很不错、置相对说也比较好找！主要就品卫生不太好、看到一个阿姨然不戴手套直接用手去抓?天哪！们选完之、收银也写了个单子、直接放到们面了！样很不卫生！希多加意⚠️
 
 
    
 
 
 
   赞 回应 收藏 投诉 
 2018-12-17 00:29 脑馋粉儿 
 
 
    
 飞天大宝宝是我   
 
 
  人均：0元 
 
 
打卡➕拔草～
确实去的点儿 周六的上点钟

人多 坐的置 
自选择菜…荤分开放

因一个人去的 吃的并......
 展开评论 
 
 
打卡➕拔～
实儿 周上八钟

人多 坐位置 
自助择…荤素分开

因人 并多 了?
还要了柠檬

共十钱 柠檬八儿贵 因就全以买～

「麻辣肉」候经罄了 再吧

「鸡脆骨」欢 但知道什么 太脆哦

「午餐肉」特 推

「鸭血」超爱鸭血 推

「冬瓜」入儿 而且大

另外还些「土豆」「豆芽」「藕片」「脆豆腐」「原生」「花」
每多 怕浪费

?也满满  因饿

调料香 麻酱 花生碎 干辣椒 自助
桌上 蚝～

颗星因曲 当店里只人 和 付调料 务给了饮料 就找桌等了 过会儿 务着问了前面桌 他 人看了 ：“冬瓜” 然就声：“冬瓜了 ” 着务声音大 啊  然给了……之也直在 实 但实 务嗓门儿大到所人看…………
而只想人口而[][]
就在收银台弄料 人给弄好像忘样

[环境]好 欢暖暖光～

[务]言尽 还和朋吧[羞][羞]
 收起评论 
 
 
喜欢的菜：
 
 鸡脆骨 
 
该店适合：
 
 价格实惠 
 
foodShopFitIds：
 
 316499.0 
 
 
 
         
 
 
 
   赞 回应(4) 收藏 投诉 
 2018-12-09 01:30 脑馋粉儿 
 
 
    
 Crazy   
 
 
  人均：0元 
 
 
说走就走，脑馋粉儿。不是***粉是脑馋粉，家正宗传四川冒菜店。冒菜、米粉、脑花……
以前三里屯总路过家店，中人，环境吵吵，本排不......
 展开评论 
 
 
走就走，去吃儿去。***，家正宗传统冒菜店。冒菜、米、花……
前去吃三里总路这家店，中午人又多，环境嚷嚷，根排队去品尝。在终于分店了，工作在惠近，家有福了，对于无欢孩子简直必探啊！鬼新店初体，给你带样惊喜！
店，但洁干净，满柜，里放了牛、翅尖、脆骨、掌中、肥肠、虾丸、鱼豆腐等原料，还有满菜菜柜，起码有20余，看起都干净爽，该效了传统麻烫售卖式，荤素分装盛，可微—中—。份菜送米饭。
 收起评论 
 
 
    
 
 
 
   赞 回应 收藏 投诉 
 2018-11-15 23:19 脑馋粉儿 
 
 
    
 泡沫9377   
 
 
  
 
 
之以拔草完全是冲店名，本来是来这吃，但是搭很多奶油太腻，吃口实在吃下，就想着吃点小吃类，***粉儿就在店斜对面，店面大，只有张小......
 展开评论 
 
 
以去拔草完全是冲名，本是这边吃松，是松搭配很多奶腻，吃几口实吃不下，就着吃点小吃，***粉就松斜对面，面不大，只几张小桌加张长桌，老板不知道是不是四川，主打，酸粉和，如果你吃搭配酸粉，你必须分别单独点酸粉和，点，些，21/斤，荤38/斤，基本和烫差不多，，也是红红层，是，味道个没觉吃，般吧，是挺，其实也是很，般都是搭配米饭吃，免费酱和香小料，体说个觉除没觉吃吧，能还是看个喜，
 收起评论 
 
 
        
 
 
 
   赞 回应 收藏 投诉 
 2018-11-16 11:40 脑馋粉儿 
 
 
    
 红黑116   
 
 
  
 
 
位置：三里屯soho的，就在中间广处，门儿显眼的，比好。
第一次来他家，说实觉得名字起的有趣，***粉儿，应该家比有意思的店，便进去品尝。<......
 展开评论 
 
 
位置：里屯soho地下，中广场处，门脸儿挺显，找。
一家，说实话觉名字挺趣，***儿，该家意思店，于便品。
一了冒菜，菜都放冰柜里，自选，菜单，可以点糖糍粑，酥肉等等。家菜，肉类丰，个人喜欢掌中宝，肚等，量还可以，，辣我觉刚刚。家还脑，一点，些店没个。
二路过家打包了酸辣，没要辣，为听说家汤用大棒骨熬，所以想原，果然没让人失望。酸辣仅汤，劲，一点都糟，里面配生，豆芽菜，小油菜等等，东西丰。
服务，小店，推。
 收起评论 
 
 
     
 
 
 
   赞(2) 回应 收藏 投诉 
 2018-11-06 15:51 脑馋粉儿 
 
 
    
 啊卟啦啦噜   
 
 
  人均：40元 
 
 
好喜欢这哦，特别是近，像着魔样总想着吃。
品很多，有两大冰柜，肉和分开放两盆。

?麻辣肉是首推！！冰柜上层全都是！！棒棒！
 展开评论 
 
 
喜欢这家哦，特别是最近，像样总想。
菜品很多，两个大柜，菜分开两个。

?麻辣牛定是首！！柜最上层全都是！！棒棒！
?午餐的品质也很棒，但是里面应该是两种的，的时要注意下，那个的那种，是点的。就过次淀，很。

?鱿荐！比较腥，而煮来没道。
?肥肠荐！处的是很干净，而也是没吸麻辣汤汁，如肥肠火里的。

素菜本没什么雷，就是笋要季节，然啊时的的很老。
 收起评论 
 
 
喜欢的菜：
 
 麻辣牛肉 午餐肉 
 
 
 
    
 
 
 
   赞(2) 回应 收藏 投诉 
 2018-12-03 17:27 脑馋粉儿 
 
 
 
 
  
 更多点评(1923) 
 
 
 
 
 
 
 App专享优惠 
 
 
 
 大众点评北京快餐简餐频道为您提供脑馋粉儿(三里屯店)地址，电话，最新菜单等最新商户信息，找北京美食，就上大众点评。 
 
 
 热门商圈推荐 热门快餐简餐推荐 品牌商户推荐 推荐导航 
 
 
  国贸快餐简餐   三里屯快餐简餐   南锣鼓巷/鼓楼东大街快餐简餐   王府井/东单快餐简餐   中关村快餐简餐   五道口快餐简餐   亚运村快餐简餐   远大路快餐简餐   五棵松快餐简餐   工人体育场快餐简餐  
 
  虾小士·小龙虾轻食(西单大悦城店)   老北京柴氏   日上三甘(三里屯店)   蚂蚁圈圈·奇幻森林(合生汇店)   食之六七.面(朝阳大悦城店)   东四裴占君肉夹馍   北27號·廿七禾尚   斗誌炸研所(三里屯soho店)   独鸡汤煎粉(食宝街店)   老张拉面  
 
  脑馋粉儿(京荟广场店)   脑馋粉儿(四惠店)   脑馋粉儿(朝阳门店)  
 
  北京美食   北京休闲娱乐   北京周边游   北京购物   北京丽人   北京结婚   北京亲子   北京家居   北京运动健身   北京学习培训   北京酒店   北京爱车   北京生活服务   北京医疗健康   北京宠物   北京K歌   北京电影演出赛事   北京宴会  
 
 
 
 
 
 
 
 
 
 
 
 
 
 关于大众点评| 诚信公约| 网站帮助| 网站地图| 推广服务| 媒体报道| 人才招聘|   最新咨询|  站务论坛| 联系我们| 开发者| 聚宝盆餐饮开放平台 
  
 
 家装图库 家装图库手机版 结婚资讯 整形项目大全 点评电影 
 
 
 ©2003-2018 dianping.com, All Rights Reserved. 本站发布的所有内容，未经许可，不得转载，详见 《知识产权声明》。