urlopen

【Python】python3保存网页到本地指定目录

定时保存网页到本地的功能，用python实现，脚本如下：importurllib.requestimportdatetimeimportosdefgetHtml(url):html=urllib.request.urlopen
Tinko123·2023-08-23 01:36

[python爬虫] 爬取图片无法打开或已损坏的简单探讨

本文主要针对python使用urlretrieve或urlopen下载百度、搜狗、googto（谷歌镜像）等图片时，出现"无法打开图片或已损坏"的问题，作者对它进行简单的探讨。
进击的雷神·2023-08-22 09:06

urllib3

1.快速请求urlopen返回对象提供
Arsenic一觉到天亮·2023-08-22 03:25

Python简单爬取网页图片

http协议常用库BeautifulSoup库，它是xml格式处理库fromurllibimportrequesturl="http://www.baidu.com"response=request.urlopen
angeliur·2023-08-21 19:51

urllib

urlopen方法的使用#导入urllib.request库importurllib.request#向指定的url发送请求，并返回服务器响应的类文件对象response=urllib.request.urlopen
你猜_e00d·2023-08-21 10:08

python爬取需要登陆的页面

1、登陆后查看如下信息：importurllib.requestimporthttp.cookiejarimporturllib.parsefromurllib.requestimporturlopenurl
奋斗小牛·2023-08-21 04:00

Ubuntu16.0.4下安装gitlab

1.安装依赖包sudoapt-getupdatesudoapt-getinstall-ycurlopenssh-serverca-certificates2.邮件配置选择Internet那一项,不带Smarthost
梦工厂丶MJ·2023-08-21 01:16

urllib爬虫模块

urllib爬取数据importurllib.requestasrequest#定义urlurl="https://www.baidu.com"#模拟浏览器发起请求获取响应对象response=request.urlopen
小趴菜不能喝·2023-08-17 02:06

【NLP环境nltk.download遇到bug问题】[nltk_data] Error loading punkt: ＜urlopen error [Errno 11004] [nltk_data]

最近遇到一个问题，甚是头疼，nltk库想要正常运行会有非常多的不会自动download依赖需要download，运行时便会如此报错：这个指令是对的，但是如果当我们运行这个代码：importnltknltk.download()出现了这样的输出：Out[22]：Flase 那我们不得不怀疑人生了，这其实是网络配置的问题。按照接下来我的方法，包你小小bug，束手就擒。解决方案Step1:打开一个文件夹
大气层煮月亮·2023-08-14 22:45

作业

importurllib.requestimportgeventfromgeventimportmonkeymonkey.patch_all()defdownloader(img_name,img_url):req=urllib.request.urlopen
爱抽烟的臭屁虫·2023-08-13 20:10

python爬虫(七)_urllib2：urlerror和httperror

python爬虫(七)_urllib2：urlerror和httperrorurllib2的异常错误处理在我们用urlopen或opener.open方法发出一个请求时，如果urlopen或opener.open
python 筱水花·2023-08-11 11:08

查天气（2）

打开一个链接和打开一个文件有点像：importurllib2web=urllib2.urlopen('http分割://www分割.bai
af4c8197e922·2023-08-10 22:04

python爬虫 笔记

http.client.HTTPResponse文件的基本信息importurllib.requestasrequest#给定urlurl='https://www.baidu.com/'#模拟游览器像服务器发送请求#urlopen
屋顶上的蓝胖子·2023-08-09 09:19

python代理ip怎么写_python代理ip怎么写

python写代理ip的方法：首先创建代理ip对象，并定制一个opener对象；然后安装opener对象，以后的urlopen就一直使用这个代理地址。
孙建康·2023-08-08 19:17

python爬虫——https请求

python爬虫——https请求fromurllib.requestimportRequest,urlopenfromfake_useragentimportUserAgentimportsslurl
健身的杰Ray·2023-08-07 23:50

python requests请求上传大文件报BrokenPipeError(32, 'Broken pipe')

File"/Users/ivanli/git/own/ci-test/lib/python3.8/site-packages/urllib3/connectionpool.py",line670,inurlopenhttplib_response
Ivanlfli·2023-08-07 04:30

如何用python把json转为列表,Python：将JSON（由URL返回）转换为列表

butamhavingahardtimeconvertingtheURLresponseintoaproperformat.Inmy(Django/Python)viewIdo:data2=urllib2.urlopen
要点控·2023-08-06 20:56

关于调用urllib.request.urlopen()返回空白内容问题解决

在爬取一个网页内容时我的程序什么也没有返回，并且一直处于urlopen运行状态未结束，最后发现原来是因为我的网络开着代理，把它关掉就能正常返回了#-*-codeing=utf-8-*-#@Time:2022
Xi_Ting Fro·2023-08-06 02:06

Handler处理器 和 自定义Opener

Handler处理器和自定义Openeropener是urllib2.OpenerDirector的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。
WenErone·2023-08-05 13:08

urllib，正则

基本用法urllib有:fromurllib.requestimporturlopenRequestreq=Request(url,headers=headers)pic_req=urlopen(req
秋殇灬·2023-08-05 01:49

【Pytorch】下载CIFAR10数据集报错： urllib.error.URLError: ＜urlopen error name: https＞

在使用Pytorch下载CIFAR10的时候，遇到一个报错，可能是网络特别慢导致的，一般情况下都会遇到这个报错。解决办法：1、到官网直接下载这个压缩包，解压。http://www.cs.utoronto.ca/~kriz/cifar.html解压后，放到对应的目录文件中，再次运行代码就成功了。
NeilNiu·2023-08-04 01:45

AttributeError: module 'urllib' has no attribute 'request'/'urlopen'解决办法

python3运行脚本出错：importurllib2defgetHtml(url,headers):req=urllib2.Request(url,headers=headers)page=urllib2.urlopen
释梦燃·2023-08-03 07:51

python实现简易网络爬虫

CreatedonSunOct1118:10:272015@author:ccl"""importurllibimportredefgetHtml(url):#得到指定url中的页面的内容page=urllib.urlopen
追智的·2023-08-02 18:00

爬虫学习-urllib.request信息发送

爬虫信息发送是一个比较复杂的过程，接下来就简单学习一下信息发送的几个简单实例，接下来我们主要使用的是urlopenAPI：urllib.request.urlopen(url,data=None,[timeout
亮话科研·2023-08-02 14:03

urllib

什么是urllib:Urllib是python内置的HTTP请求库常用模块urllib.request请求urllib.parser解析urllib.request.urlopendata={'name
儿懵·2023-08-01 04:33

python爬虫01-get请求，post请求，参数拼接，re正则解析，bs解析，xpath解析xml及html文件，requests进阶模拟登录，反盗链zhuanqu，代理

1、一个简单的读取网页的小案例#导入一个url库fromurllib.requestimporturlopenurl='http://www.baidu.com'#读取并解析url地址response=
心湖中的石子·2023-07-31 21:08

urllib下载文件

之前在做网易云爬虫的时候就在纠结怎么来进行音乐下载，python2里面的很多模块python3里面已经不能够再使用了，比如urllib.urlretrieve和urllib2.urlopen等等，这里是小编查阅资料找到的一个可用的模块
MA木易YA·2023-07-30 15:45

urllib、request 网络请求包使用

什么是urllib:Urllib是python内置的HTTP请求库常用模块urllib.request请求urllib.parser解析urllib.request.urlopendata={'name
迷路了吗_67f1·2023-07-29 23:41

urllib用法

简单方法importurllib2response=urllib2.urlopen("http://www.baidu.com")printresponse.read()构造requestimporturllib2request
Crld·2023-07-29 10:30

python处理API返回的JSON数据

1处理JSON数据假设存在如下JSON格式数据：使用python编写代码处理JSON请求，拿到response里的result数据：importjsonfromurllib.requestimporturlopendefgetInformation
凌木LSJ·2023-07-29 01:27

urllib.error.URLError: urlopen error [SSL: CERTIFICATE_VERIFY_FAILED]

学习Pytorch时（参照：https://zhuanlan.zhihu.com/p/339777736）碰到报错urllib.error.URLError:参照https://blog.csdn.net/mouday/article/details/86441234解决,解决方法如下：#全局取消证书验证importsslssl._create_default_https_context=ssl.
zyhthinking·2023-07-28 22:51

2023最新Ubuntu安装部署Gitlab详细教程（每个步骤均配图）

Ubuntu安装配置Gitlab详细步骤安装依赖打开终端，运行如下命令：sudoaptupdatesudoapt-getupgradesudoapt-getinstallcurlopenssh-serverca-certificatespostfix
Palp1tate·2023-07-28 11:51

Python第一个爬虫

1.获取整个网页的源码就以下代码：importurllib.requesturl='http://www.baidu.com'response=urllib.request.urlopen(url)info
wenling54321·2023-07-27 14:06

Centos7搭建Gitlab私有服务器

sudoyuminstallcurlopenssh-serveropenssh-clientspostfixcroniesudoservicepostfixstartsudochkconfigpostfixonsudolokkit-shttp-sssh
写代码的杰西·2023-07-26 02:37

《零基础入门学习Python》第054讲：论一只爬虫的自我修养2：实战

如果你认为上节课我只是简单介绍了一下urlopen()函数的用法，那你就错了，上节课我已经说了，相关的文档在哪里，要教你的东西在文档里都有，OK，我们来第一个例子吧。（一）使
XILALIKE·2023-07-24 19:06

python 发送请求 request、urllib模块

Urllib模块Request请求Rep=request.Request(请求地址，请求参数，请求头，请求方法)设置请求信息Response=request.Urlopen(请求信息,ssl验证)发送请求
fuchto·2023-07-22 18:42

网页机器人备忘

/user/bin/envpython*coding:utf-8*auther:李树朋importurllibimportjsondefgetHtml(url):page=urllib.urlopen(
无忘客·2023-07-22 13:02

如何用python爬取数据_如何利用Python爬取网站数据？

这样就装载进一个cookie，用urlOpener去open登录以后就可以记住信息。3.断线重连如果只是做到上面的程度，不对o
weixin_39997795·2023-07-21 22:30

urllib、request 网络请求包使用

什么是urllib:Urllib是python内置的HTTP请求库常用模块urllib.request请求urllib.parser解析urllib.request.urlopendata={'name
回忆在美也是曾经·2023-07-21 02:18

phtyon读取pdf的远程地址解析内容

_create_unverified_context()#读取pdf地址获取pdf内容req=urllib.request.urlopen(contract_download_url,c
西贝爷·2023-07-20 14:28

爬取一只喵

//placekitten.com/456/456就可以得到一张喵图现在开始爬取这个网站的毛图：step1:导入访问网页的模块urllib.requeststep2:通过urllib.request.urlopen
超人不会飞_9664·2023-07-20 09:36

图片

importurllib.requestimportgeventfromgeventimportmonkeymonkey.patch_all()defdownloader(img_url):req=urllib.request.urlopen
Python黑户·2023-07-18 03:59

python3urllib常见使用_python3使用urllib示例详解

最简单的例子importurllib.requestwithurllib.request.urlopen('http://python.org/')asresponse:html=response.read
weixin_39880666·2023-07-18 03:13

python正则表达式提取电话号码_利用正则表达式编写python 爬虫，抓取网页电话号码！...

/usrweilie/bin/python#coding=utf-8importreimporturllibdefgethtml(url):#获取网页htmljiuaoopage=urllib.urlopen
苏远岫·2023-07-17 13:17

python爬虫-全国列车信息查询

列车信息代码：pythonimporturllibfromurllib.requestimporturlopenfrombs4importBeautifulSoupimportpymysqlimportrequestsimportFromAToBdefgetHtml
空巷丨·2023-07-16 06:48

简单的爬虫程序（详解）

目录扒网页urllib的基本使用requset.urlopen(url,data,timeout)response.read()response.getcode()response.geturl()response.info
我还可以熬_·2023-07-16 03:13

使用python获取各种手机的User-Agent，测试用

importrequests,json,re,os,sys,datetime,time,traceback,randomfromcontextlibimportclosingfromurllib.requestimporturlopenfrombs4importBeautifulSoupimportschedule
liangblog·2023-07-16 00:41

爬虫报错：LookupError: unknown encoding: application/json

源代码importjsonfromurllib.requestimportRequest,urlopenfromurllib.parseimporturlencodeimportsslssl.
Nzhi·2023-07-15 09:20

爬虫笔记

最基本网页抓取importurllib2response=urllib2.urlopen("http://www.baidu.com")printresponse.read()调用函数urlopen(url
Cabcab·2023-07-14 06:30

关于如何用python下载文件

文件的事例，只不过目前还无法获取动态文件的文件名https://github.com/zhangbaji/PythonDownloader手动操作版源码：fromurllib.requestimporturlopen
BlazefireStudio·2023-07-13 22:34
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他