asyncio+aiohttp实现的爬虫如何查看返回的数据

是这样的,有时候,大多时候,写爬虫程序的时候需要返回值的.

大家知道,协程的高并发性能是能够提高爬虫的效率的,好让程序有其他的时间去执行其他的代码.

但是我最近在猜测,如何查看爬虫的返回值呢？

详细代码就不写了,后面上贴图吧...
loop = asyncio.get_event_loop()
task = asyncio.ensure_future(self.Request())
result = loop.run_until_complete(task) 

result 返回值直接就是你的返回值!

这个是单个协程的情况.

我们来讲讲多个协程...

loop = asyncio.get_event_loop()
task = [self.Request() for i in range(3)]
result = loop.run_until_complete(asyncio.wait(task)) # result返回为元组,第一个是数据包,包含很多的数据(我们想要的数据段就在这个位置), 第二个是一个空的set()
for i in result[0]:
    print(i.result()) 

通过debug我们可以看到一个_result的dict()

因为我的返回值就是一个dict,所以我们可以用for迭代来取出里面的数据

for data in result[0]:#注意是第一个!

    print(data.result()) #他会有一个api给你调用.

今天无意发现的,看来debug NB!

 

代码: