robots.txt 第4页

urllib3

处理所有的连接池细节和线程安全事宜.http=urllib3.PoolManager()#request()返回一个HTTPResponse对象.r=http.request('GET','http://httpbin.org/robots.txt

金刚_30bf·2023-10-13 13:10

VulnHub 兰皮昂 1 Lampiao

一、信息收集发现开发了22、80、1898端口访问1898端口：2.目录扫描dirbhttp://192.168.103.179:1898访问robots.txt目录发现版本是Drupal7.54,2017

hacker-routing·2023-10-13 07:04

BUUCTF[web][p6][[羊城杯 2020]Easyphp2]

file=GWHT.php第2步:使用dirsearch-master扫描网站:得robots.txt内容为:Disallow:/?

qq_29060627·2023-10-12 01:20

[RootersCTF2019]I_＜3_Flask

第一次遇到参数爆破记录一下确实我扫目录robots.txt啥都没有功能点都没有.....但是确实没有想到参数爆破pip3installarjun代码为arjun-uurl-m-c100-d5-d选项来延迟请求发送的间隔时间

双层小牛堡·2023-10-11 16:56

[NCTF2019]SQLi regexp 盲注

/robots.txt访问一下$black_list="/limit|by|substr|mid|,|admin|benchmark|like|or|char|union|substring|select

双层小牛堡·2023-10-10 14:55

vulnhub_Empire_LupinOne靶机渗透测试

VulnHub文章目录Empire_LupinOne靶机信息收集web渗透获取权限横向移动权限提升靶机总结信息收集通过nmap扫描得到靶机开放22和80端口，进行全扫描得到了一些服务版本信息等，web端有robots.txt

生而逢时·2023-10-10 07:21

靶机渗透练习Vulnhub DriftingBlues-6

得到靶机ip:192.168.159.144扫描端口nmap-sS-A-sV-T4-p-192.168.159.144访问网页192.168.159.144没发现什么有用的信息目录扫描使用dirb发现了robots.txt

墨言ink·2023-10-10 07:50

ctfshow-web9（奇妙的ffifdyop绕过）

尝试万能密码登录，没有任何回显尝试扫描目录，这里不知道为啥御剑什么都扫不到，使用dirsearch可以扫到robots.txt查看robots协议访问下载index.phps查看index.phps简单审计一下

kali-Myon·2023-10-10 03:48

[CISCN2019 总决赛 Day2 Web1]Easyweb 盲注 \\0绕过文件上传文件名木马

首先开局登入我们开始目录扫描扫除robots.txt现在只有三个文件最后发现只有image.php.bak存在这里主要的地方是\\0因为第一个\会被转义这里就会变为\0表示空白那我们sql语句就会变为了

双层小牛堡·2023-10-09 14:51

[羊城杯 2020]easyser - 反序列化+SSRF+伪协议(绕过死亡die)

[羊城杯2020]easyser一、解题过程（一）、一阶段（二）、二阶段二、思考总结一、解题过程（一）、一阶段可以直接使用ctf-wscan扫描一下有什么文件，或者直接试试robots.txt能不能行直接打开

Hillain·2023-10-09 03:55

练[WUSTCTF2020]朴实无华

抓包放包，代码审计，php函数特性的了解：intval函数，md5特性绕过，RCE一些bypass方法解题思路打开题目链接，发现页面就显示一句hacker，源码也没有hint，但是通过第三兄弟目录扫描得到了robots.txt

生而逢时·2023-10-06 06:48

ctfshow web入门 php特性 web131-web135

importrequestsurl=""data={'f':'very'*250000+'360Dctfshow'}r=requests.post(url,data=data)print(r.text)2.web132通过扫描发现robots.txt

mushangqiujin·2023-10-05 17:13

Discuz！X 3.4任意文件删除漏洞

复现过程：1.访问http://x.x.x/robots.txt（文件存在）2.登录弱口令账号：admin密码：admin3.来到个人设置页面找到自己的formhash：4.点击保存，抓包来到这个参数：

儒道易行·2023-10-05 13:46

web buuctf [BJDCTF2020]Mark loves cat1

考点：1.git泄露2.变量覆盖1.打开靶机，先看robots.txt,并用dirsearch进行扫描pydirsearch.py-uf190ddaf-3db0-48c2-a858-4accf0783a69

半杯雨水敬过客·2023-10-04 23:53

【攻防世界】十九 --- fakebook --- ssrf

题目—fakebook一、writeup使用dirsearch扫描目录flag应该在flag.php文件中访问robots.txt文件，得到了一个目录下来了一个文件，user.php.bak。

通地塔·2023-10-04 22:58

攻防世界-web-fakebook

打开网页，只有注册和登录选项，先看看robots.txt有什么直接下载一个user.php.bak文件，打开分析设定了姓名，年龄，博客，博客地址利用了正则表达式其实也没有https://无所谓选择join

mlws1900·2023-10-04 22:27

攻防世界--fakebook

进入环境，发现是一个账户登录注册的界面，使用dirsearch进行扫描，扫描到了login.php,robots.txt,view.php均访问一下，看到robots.txt文件中存在一个user.php.bak

珉珉珉·2023-10-04 22:56

wp-fakebook(攻防世界/buuctf)【多解法详解】

信息概览题目本身大致有注册和登陆两个入口注册并登陆后情况如下：用扫描工具非常容易就能找到robots.txt（随便用一个都可）找到备份源码：name=$name;$this->age=(int)$age

sayo.·2023-10-04 22:55

攻防世界-fakebook-网鼎杯2018

访问/robots.txt发现备份文件，下载下来得到源码。

mirror4s·2023-10-04 22:24

【robots.txt】

最近在看一个开源项目，在根目录下发现了一个robots.txt文件，内容很简单。User-agent:*Disallow:/就这么两行，也好理解。

___Jing___·2023-10-04 00:35

[GWCTF 2019]我有一个数据库

一开始打开是乱码之前题目做过修复乱码的，得到这个用dirsearch扫一下一开始我是看到robots.txt访问一下访问一下phpinfo也没啥，看到phpmyadimin访问一下没啥思路，看了wp看到

木…·2023-10-01 19:34

BUUCTF web [MRCTF2020]套娃 1 wp

考点：①$SERVER数组的各个元素的含义②%0a绕过preg_match()③data://text/plain;base64的利用进去之后还是先看看有没有robots.txt文件（自己做题的习惯），

是路酒呀·2023-10-01 06:51

Python网络爬虫——urllib库的使用

urllib.request——用于打开url和读取urlurllib.error——包含urllib.request引发的异常urllib.parse——用于解析urlurllib.robotparse——用于解析robots.txt

General_单刀·2023-09-28 13:32

【Nuxt】04 Nuxt2-SEO： sitemap.xml、seo优化、robots.txt

1SiteMap设置环境准备注意生成sitemap依赖于@nuxtjs/sitemap，并且需要用axios进行请求，不要使用@nuxtjs/axios，不然会报错sitemap.xml配置在nuxt.config.js中配置下面的内容npminstall@nuxtjs/sitemapnpminstallaxios在static/sitemap.js中配置下面的内容constwebConfig={

Chx.zhang·2023-09-28 09:17

设置禁止或允许爬虫访问

方法一：在标签内加nofollow禁止爬虫//声明在head标签里方法二：声明robots.txt文件禁止或允许爬虫1，robots.txt文件要放到哪里？

·2023-09-27 16:26

XCTF之新手Web题目

新手第一题：Training-WWW-Robots图片提示：解题流程：具体操作：打开菜单-->Web开发者-->查看器（或者快捷键ctrl+shift+c）robots.txt文件被网络爬虫使用，以检查它们是否被允许抓取和索引您的网站或仅部分网站

咩了个咩咩·2023-09-24 13:25

Vulnhub靶机Bob_v1.0.1 writeup

下载地址：https://www.vulnhub.com/entry/bob-101,226/信息搜集扫描IP地址扫描端口及端口信息访问80端口并没有发现有用的信息扫描目录看到有熟悉的robots.txt

Sword-豪·2023-09-24 13:46

攻防世界 Web Writeup Part1 <简单部分>

攻防世界Web进阶部分题解FlatScience通过这题学到一些SQLite的语法，wget的应用robots.txt找到两个隐藏文件。

Arklight·2023-09-23 14:55

新手攻防：Web

由评论区得在网址后面输入：/robots.txt发现隐藏文件f1ag_1s_h3re.php地址栏中输入

江东弟弟·2023-09-23 14:06

buuctf-[WUSTCTF2020]朴实无华

但是没有什么查看了下网络看到gzip和php我试了试www.zip还有index.phps，也是一样的，都没找到文件于是我想到用御剑扫，但是我好像线程太长了，一个没扫到，我就想到用dirsearch扫到robots.txt

木…·2023-09-22 22:36

屏蔽常见垃圾蜘蛛和扫描工具的两种办法

下面给大家带来两种屏蔽垃圾蜘蛛的方法方法一通过网站Robots.txt来屏蔽User-agent:AhrefsBotDisallow:/User-agent:DotBotDisallow:/User-agent

通知风来过·2023-09-22 14:41

ctfshow web入门（2）

web11打开这个网站，到网站诊断分析模块搜索域名web12提示有时候网站上的公开信息，就是管理员常用密码打开，就是个购物网站因为昨天刚做robots.txt我就搜了一下真的有，提示admin这个页面访问一下

木…·2023-09-22 13:04

python爬虫——使用urllib爬取网页

urllib库包含4大模块：（1）urllib.request:请求模块（2）urllib.error:异常处理模块（3）urllib.parse:URL解析模块（4）urllib.robotparser:robots.txt

w_sunset·2023-09-21 10:51

Vulnhub系列靶机---XXE Lab: 1

文章目录信息收集主机发现端口扫描目录扫描漏洞利用靶机文档：XXELab:1下载地址：Download(Mirror)告诉了利用点：http://your-ip/xxe信息收集主机发现端口扫描目录扫描访问robots.txt

过期的秋刀鱼-·2023-09-19 07:47

vulnhub靶机--y0usef（难度：easy）

arp-scan-l扫描得到靶机的IP地址为10.0.2.4信息搜集通过nmap扫描，可以得到靶机只开启了22,80端口（ssh,Apache服务）打开浏览器访问，发现这个站点还在建设中，但是服务器在运行中尝试了robots.txt

Ability~·2023-09-17 20:42

使用python爬取股票信息

基本思路首先查看robots.txt，文档说明是允许爬虫的查找接口：第一次对整个页面进行了爬取，发现返回的内容并不包含我们所需要的信息。说明这部分的信息是通过AJAX渲染的，这就需要我们去查找接口。

叫我moonchild·2023-09-16 10:49

ctfshow web入门（1）

web1查看页面源代码web2ctr+uweb3因为查看源码没有东西，网络查看下数据包，找到flagweb4robots协议其他都没啥信息，就看下robots.txt,这个文件可能会泄露部分网站目录访问下

木…·2023-09-15 02:20

一场练习赛

[NCTF2019]SQLi-1.访问robots.txt获取提示2.爆破三、[SUCTF2019]EasySQL-堆叠注入重置操作符四、[GXYCTF2019]PingPingPing-名利执行绕过五

名为逗比·2023-09-11 07:04

攻防世界-WEB进阶篇（二）

一、PHP2从题目就能看到提示，应该是和Robots.txt文件相关的。直接在URL后面输入/robots.txt。可以看到提升我们网站中有fl0g.php这个文件。我们直接访问就能得到flag。

晓德·2023-09-08 16:32

Vulnhub: Masashi: 1靶机

192.168.111.111靶机：192.168.111.236信息收集端口扫描nmap-A-sC-v-sV-T5-p---script=http-enum192.168.111.236查看80端口的robots.txt

ctostm·2023-09-08 08:12

爬虫系统以及robots协议

只要爬虫爬出来的东西给力，用户搜索出来的东西给很有用robots协议搜索引擎里面有一个很重要的东西robots协议，就是一个正常的文本文件，只要建一个txt文件，名为robots.txt，放到网站的根目录下

RexingLeung·2023-09-07 14:13

爬虫：从入门到入狱,进去一起做兄弟

什么是爬虫二、爬虫的分类搜索引擎：百度、谷歌数据采集：天眼查、企查查薅羊毛：抢票机器人、秒杀软件，比价软件，微博僵尸粉……三、爬虫与反爬虫1.君子协议：robots.txtwww.baidu.com/robots.txt

Python_P叔·2023-09-07 01:27

Tartarsauce

wpscan扫描插件漏洞linux命令提权(https://gtfobins.github.io/)ln-sstty的连接diff会访问链接地址端口扫描只开放了80,简单的目录扫描发现只有一个robots.txt

__周__·2023-09-05 11:40

vulnhub靶机EvilBox---One

192.168.21.153扫描端口信息nmap-sV-sT-O-p22,80192.168.21.153漏洞扫描nmap--script=vuln-p22,80192.168.21.153访问网站再去看看robots.txt

himobrinehacken·2023-09-02 21:25

攻防世界-php_rce

ls查看文件没什么东西，robots.txt和index.php有可能有，不过看了也没什么可疑的。一

mysmartwish·2023-09-02 11:45

NSS [羊城杯 2020]easyser

/index.php/robots.txt访问/star1.php，一说到百度，就猜测是否存在SSRF。源码中有提示，更加确定是SSRF了。SSRF进内网读取ser.php，成功读取。

Jay 17·2023-08-31 01:21

SemrushBot蜘蛛爬虫屏蔽方式

查看访问日志时候发现有SemrushBot爬虫屏蔽方法：使用robots.txt文件是一种标准的协议,用于告诉搜索引擎哪些页面可以和不能被爬取,如想禁止Googlebot爬取整个网站的话,可以在该文件中添加以下内容

stand_forever·2023-08-28 11:27

攻防世界fakebook

解题思路：1、御剑扫描--未发现线索2、发现隐藏的robots.txt、flag.php，访问发现站点就login和join，login一通sql注入未果注册后查询发现“http://159.138.137.79

polo00·2023-08-25 15:39

Python爬虫库之urllib使用详解

urllib.robotparser-解析robots.txt文件。二、url

Rocky006·2023-08-24 09:09

Python爬虫入门 - 规则、框架和反爬策略解析

这包括遵守网站的Robots.txt文件、设置适当的User-Agent、合理控制请求频率等

qq^^614136809·2023-08-22 09:11

推荐频道

robots.txt