E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Asyncio
python爬虫爬取各个城市历史天气及数据可视化
代码实现：1import
asyncio
2importaiohttp3fromlxmlimportetree4importre5fromcollectionsimportnamedtuple6importmatplotlib.pyplotasplt78
donggou4575
·
2020-07-11 05:04
python 多线程与
asyncio
下载文件
下面使用了concurrent.future:并发入门例子中的ThreadPoolExecutor可以改成ProcessPoolExecutor试试看,接口统一另外ProcessPoolExecutor的参数默认值:os.cpu_count()map,submit,as_completed的参数及返回.参考文档分别使用了map以及submit和as_completed完成下载;注意:as_comp
dashoumeixi
·
2020-07-11 04:28
py
使用
asyncio
+aiohttp爬取数据并拼装返回的数据
使用
asyncio
+aiohttp爬取数据并拼装返回的数据#-*-coding:utf-8-*-importjsonimport
asyncio
fromaiohttpimportClientSessionfromaiohttp.client_exceptionsimportClientConnectionError
cui_yonghua
·
2020-07-11 04:36
python经典编程案例
aiohttp官方教程翻译（2）—— 客户端编程之快速开始
ClientQuickstart1、MakeaRequest（制作一个请求）首先导入库importaiohttpimport
asyncio
然后，让我们尝试获取一个网页页面。
Leafccc
·
2020-07-11 03:11
aiohttp
我不懂Python的
Asyncio
RecentlyIstartedlookingintoPython’snew
asyncio
moduleabitmore.ThereasonforthisisthatIneededtodosomethingthatworksbetterwitheventedIOandIfiguredImightgivethenewhotthinginthePythonworldatry.PrimarilywhatI
cumei1658
·
2020-07-10 21:15
编程语言
python
人工智能
java
面试
Python学习笔记 - aiohttp
上一个笔记总结了
asyncio
的一些知识点，这次就来应用一下。如果使用协程的方式来写爬虫，网络相关的请求就要将requests库替换成aiohttp这个库。
weixin_34128237
·
2020-07-10 19:11
python 爬虫多进程+异步 示例代码
frommultiprocessingimportPoolimportrequests,
asyncio
,aiohttpimportosimporturllib.requestfromtimeimportsleepclassCartoon
戴国进
·
2020-07-10 16:02
#
爬虫
pyppeteer登陆淘宝
import
asyncio
frompyppeteerimportlaunchwidth,height=2000,1000asyncdefmain():browser=awaitlaunch(headless
15868720119
·
2020-07-10 15:37
Python并发编程——多线程与协程
3.3多线程的缺点4.python协程——
asyncio
4.1概念4.2
Asyncio
原理4.3如何使用？4.4.协程的优点6.选择多线程
东何
·
2020-07-10 08:00
Python爬虫 使用协程
python协程使用Python中使用协程最常用的库莫过于
asyncio
，所以本文会以
asyncio
为基础来介绍协程的使用。
凛冬&已至
·
2020-07-10 00:01
python
【python】接口测试中的异步调用
接口测试中可以可以使用httpx进行异步调用，下面对比一下异步调用和同步调用的速度异步调用的代码如下#异步调用importhttpximport
asyncio
importtimeasyncdefrequest
只宅不技术
·
2020-07-09 23:00
python--web--让python提供api服务--aiohttp
aiohttp介绍官网上有这样一句话介绍：AsyncHTTPclient/serverfor
asyncio
andPython翻译过来就是基于
asyncio
和Python实现的异步HTTP客户端/服务器
asyncio
张小凡vip
·
2020-07-09 21:01
python
web
Flink读写系列之-读mysql并写入mysql
/O)专门用于访问外部数据，详细可看：https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/stream/operators/
asyncio
Running-小猛
·
2020-07-09 19:37
Flink
Python实现的异步代理爬虫及代理池
本文主要介绍了Python实现异步代理爬虫及代理池的相关知识，具有很好的参考价值，下面跟着小编一起来看下吧使用python
asyncio
实现了一个异步代理池，根据规则爬取代理网站上的免费代理，在验证其有效后存入
程序员arlly
·
2020-07-09 16:36
python爬虫
python异步
asyncio
测试
协程框架基础任何一个协程框架都首先必须是一个异步框架，
asyncio
也不例外。
张ruxiang
·
2020-07-08 20:10
简单了解一下事件循环(Event Loop)
0x00事件循环(EventLoop)在前文《为何你还不懂得如何使用Python协程》中提到协程是通过
asyncio
包中的高级API来启动的。
weixin_34408624
·
2020-07-08 18:35
asyncio
aiohttp 异步爬虫 实例
Pythonimporturllib.requestasrequestfrombs4importBeautifulSoupasbsimport
asyncio
importaiohttp,re@
asyncio
.coroutineasyncdefgetPage
songhao8080
·
2020-07-08 06:05
InnoDB---体系架构
IOThread：负责InnoDB存储引擎中使用的AIO(
AsyncIO
异步非阻塞)请求的回调(callback)处理。PurgeThread：负责回收已经使用并分配的undo页。Pag
我爱双面奶
·
2020-07-07 22:30
InnoDB
WebSocket - 基于 Python 的主流实现方式总结
网络通信协议1-1简介二、WebsocketsserversandclientsinPython2-0connect2-0-1建立一对一短连接2-0-2建立一对一长连接2-0-3建立一对多长连接2-1
asyncio
LSYHhhhh
·
2020-07-07 22:45
WebSocket
python如何创建websocket服务
python如何创建websocket服务WebSocket是什么样的协议，具体有什么优点服务端客户端
asyncio
是干什么的？
m笑忘书
·
2020-07-07 20:20
python
websocket
mitmdump 报错之 解决方案 AttributeError: module ‘
asyncio
‘ has no attribute ‘WindowsSelectorEventLoopPolicy
文章目录问题：1、我的配置：解决思路：解决代码问题：今天安装mitmdump，安装没有任何问题，然后发现使用mitmdump却报错了，之前我使用的时候却没有问题。1、我的配置：window电脑64位python3.6解决思路：第一步，我肯定先去网上搜索，看看是否有解决之法：然后来到了知乎，说是python版本的原因，知乎的文章地址：可是，我去年使用还没有问题呢，然后有了些经验的你，是否想到另一个方
奋斗吧-皮卡丘
·
2020-07-07 17:40
mitmproxy
问题解决（解决bug）
python里使用Future对象进行回调别的函数
Future对象也可以像协程一样，当它设置完成结果时，就可以立即进行回调别的函数，例子如下：import
asyncio
importfunctoolsdefcallback(future,n):print
caimouse
·
2020-07-07 04:30
milang(小语）
并发编程—协程
目录协程总结原理+特点优点开启模块gevent模块
asyncio
模块进程/线程/协程比较协程总结原理+特点协程本质就是线程，指在一条线程上来回切换以规避I/O操作特点：数据共享，数据安全，不能利用多核，
yyyzh
·
2020-07-06 14:00
Python
asyncio
文档翻译--运行一个消息循环EventLoop
AbstractEventLoop.run_forever()轮询I/O选择器直到遇到一个“0”超时，调用所有已排程的回调函数以响应I/O事件（以及那些已经排程的），然后退出。如果stop（）在run_forever时，就会运行当下的一批回调函数然后退出。注意回调函数被回调函数排程不会运行，他们会在下一次run_forever时被调用。在3.5.1版本发生改变AbstractEventLoop.r
zoe9698
·
2020-07-06 13:07
python
python 异步优势和劣势(比较的原生的
asyncio
)
下面使用代码来进行说明import
asyncio
importt
yangxiaodong88
·
2020-07-06 10:34
异步
python
python 实时获取股票行情脚本 协程版
1.aiohttp介绍AsyncHTTPclient/serverfor
asyncio
andPython.
asyncio
和Python的异步HTTP客户端/服务器，其实aiohttp就是基于
asyncio
xu7065
·
2020-07-06 09:47
Python aiohttp多线程并发爬虫
代码：importre,requests,aiohttp,time,random,threading,
asyncio
,async_timeouturl=r'http://www.xbiquge.la/13
望向缸外的大眼睛
·
2020-07-06 05:28
Python
第十章：使用进程、线程和协程提供并发性-
asyncio
:异步I/O、事件循环和并发工具-同步原语-锁
10.5.7同步原语尽管
asyncio
应用通常作为单线程的进程运行，不过仍被构建为并发应用。由于I/O以及其他外部事件的延迟和中断，每个协程或任务可能按一种不可预知的顺序执行。
学习中的编程老菜鸟
·
2020-07-06 04:49
Python标准库
python多任务—协程（一）
写在前面：花了一周的时间，对协程做了一个简单的梳理，特别是异步编程
asyncio
库的使用，做了详细的说明。
夜风晚凉
·
2020-07-06 03:19
网络通信
python学习笔记(三十九) -- yield from 、
asyncio
、async/await 、aiohttp
TableofContents前言yieldfrom
asyncio
async/awaitaiohttp前言由于cpu和磁盘读写的效率有很大的差距，往往cpu执行代码，然后遇到需要从磁盘中读写文件的操作，
苝花向暖丨楠枝向寒
·
2020-07-06 02:05
python学习笔记
Fluent Python读后感
2017.10.7断断续续地,花了应该有个把月读完FluentPython.当然,并非真正读完.Chapter16coroutine,Chapter17,18Concurrencywithfutures/
asyncio
Daniel2333
·
2020-07-06 01:05
Python
python异步编程之
asyncio
（百万并发）
2019独角兽企业重金招聘Python工程师标准>>>一、
asyncio
下面通过举例来对比同步代码和异步代码编写方面的差异，其次看下两者性能上的差距，我们使用sleep(1)模拟耗时1秒的io操作。
weixin_34221073
·
2020-07-06 00:33
Python有了
asyncio
和aiohttp在爬虫这类型IO任务中多线程/多进程还有存在的必要吗？...
最近正在学习Python中的异步编程，看了一些博客后做了一些小测验：对比
asyncio
+aiohttp的爬虫和
asyncio
+aiohttp+concurrent.futures(线程池/进程池)在效率中的差异
weixin_34163553
·
2020-07-06 00:50
[Python]在一段Python程序中使用多次事件循环
背景我们在Python异步程序编写中经常要用到如下的结构import
asyncio
asyncdefdoAsync():await
asyncio
.sleep(0)#...if__name__=="__main
weixin_33805743
·
2020-07-05 23:39
asyncio
协程与并发
并发编程Python的并发实现有三种方法。多线程多进程协程（生成器）基本概念串行：同时只能执行单个任务并行：同时执行多个任务在Python中，虽然严格说来多线程与协程都是串行的，但其效率高，在遇到阻塞时会将阻塞任务交给系统执行，通过合理调度任务，使得程序高效。最高效的当然是多进程了，但由于多进程依赖硬件配置，并且当任务量超过CPU核心数时，多进程会有进程上下文切换开销，而这个开销很大，所以不是最佳
weixin_30807677
·
2020-07-05 22:34
深入
Asyncio
（二）从线程到协程
线程的真相多线程并不是一无是处，在实际问题中，要权衡优劣势来选择多线程、多进程或是协程。协程为多线程的某些问题提供了一种解决方案，所以学习协程首先要对线程有一定了解。多线程优点代码可读性多线程代码即使是并发执行的，但依然可以线性阅读，可读性高。共享内存在多核CPU中仍然共享内存数据，这对解决某些问题很重要，避免了数据通信。很容易对现有代码进行改造有很多多线程编程的实例，也有很多阻塞程序依赖多线程的
weixin_30687051
·
2020-07-05 21:35
通过pyppeteer来爬取今日头条
import
asyncio
frompyppeteerimportlaunchasyncdefmain():browser=awaitlaunch()page=awaitbrowser.newPage()
weixin_30606669
·
2020-07-05 21:50
python入门三十二天——协程 异步IO\
asyncio
、async/await、aiohttp
asyncio
asyncio
是Python3.4版本引入的标准库，直接内置了对异步IO的支持。
asyncio
的编程模型就是一个消息循环。
weixin_30553777
·
2020-07-05 21:40
async 异步抓取 花瓣网高清大图 30s爬取500张
直接上代码，不懂得看注释先安装pipinstallaiohttp1"异步抓取花瓣网图片"23#pipinstallaiohttp4importrequests5importaiohttp6import
asyncio
7importtime8importos910headers
weixin_30386713
·
2020-07-05 20:51
asyncio
并发编程
目录
asyncio
简介事件循环基本使用获取协程的返回值回调wait和gathertask取消和子协程调用原理task取消子协程其他方法call_sooncall_latercall_atcall_soon_threadsafeThreadPollExecutor
weixin_30363981
·
2020-07-05 20:00
使用Future、
asyncio
处理并发
在I/O密集型应用中，如果代码写得正确，那么不管是用哪种并发策略（使用线程或
asyncio
包），吞吐量都比依序执行的代码高很多。
R芮R
·
2020-07-05 20:00
linux五种IO模型与事件驱动模型
linux五种IO模型与事件驱动模型前言Linux下主要的IO主要分为：阻塞IO(BlockingIO)，非阻塞IO(Non-blockingIO)，同步IO(SyncIO)和异步IO(
AsyncIO
)
云崖先生
·
2020-07-05 16:00
理解Python协程:从yield/send到yield from再到async/await
Python中的协程大概经历了如下三个阶段：1.最初的生成器变形yield/send2.引入@
asyncio
.coroutine和yieldfrom3.在最近的Python3.5版本中引入async/await
唐大麦
·
2020-07-05 13:02
●
Python
python协程——3、
asyncio
、await
fromcollections.abcimportCoroutineimport
asyncio
asyncdefhello(name):await1print("hello",name)#@
asyncio
.coroutine
释晓
·
2020-07-05 12:17
python
python核心技术与实战（十四）：
Asyncio
实现并发
14.
Asyncio
实现并发14.1
Asyncio
简介14.2
Asyncio
的工作原理14.3
Asyncio
使用示例14.4
Asyncio
的缺陷14.4选择多线程还是
Asyncio
总结14.1
Asyncio
Andrewings
·
2020-07-05 11:23
python
python并发编程
Asyncio
python async 使用过程中可变参数，主线程，子线程问题
hereisnocurrenteventloopinthread'Thread-1'First,you'regettingAssertionError:Thereisnocurrenteventloopinthread'Thread-1'.because
asyncio
requireseachthreadinyourprogramtohaveitsowneventloop
ronon77
·
2020-07-05 11:09
python&nodejs
爬取链家租房数据，数据处理，进行可视化分析
lianjiaspider.pyimport
asyncio
importaiohttpimportpandasaspdfromlxmlimportetreeclassLianjiaSpider(object
疯牧瑾
·
2020-07-05 08:43
爬虫
数据分析
数据可视化
windows中pytorch可视化工具visdom加载时间过长的解决办法。
Lib/site-packages/visdom/server注释掉download_scripts()在第1917行第二步：打开Lib/site-packages/tornado/platform/
asyncio
qq_38863729
·
2020-07-05 07:01
pytorch
visdom
python协程系列（七）——
asyncio
结合多线程解决阻塞问题以及timer模拟
声明：python协程系列文章的上一篇，即第六篇，详细介绍了
asyncio
的几个底层API概念，
asyncio
的事件循环EventLoop，Future类的详细使用，以及集中回答了关于异步编程的一些疑问
LoveMIss-Y
·
2020-07-05 03:51
python
Python学习:异步IO:协程和
asyncio
所谓协程就是在一个线程中切换子进程,相比多线程有如下好处:最大的优势就是协程极高的执行效率。因为子程序切换不是线程切换，而是由程序自身控制，因此，没有线程切换的开销，和多线程比，线程数量越多，协程的性能优势就越明显。第二大优势就是不需要多线程的锁机制，因为只有一个线程，也不存在同时写变量冲突，在协程中控制共享资源不加锁，只需要判断状态就好了，所以执行效率比多线程高很多。python的协程通过gen
PYB不开心
·
2020-07-05 02:26
Python
上一页
16
17
18
19
20
21
22
23
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他