异步爬虫

Jetpack Compose 中 Kotlin 协程的使用

1.为什么在Compose中离不开协程传统View系统就离不开异步：网络请求、数据库I/O、动画……进入声明式UI时代，异步需求不仅没减少，反而更复杂——状态驱动让数据变化更加频繁。
儿歌八万首·2025-07-20 17:19

网络爬虫——python爬取豆瓣评论

网络爬虫——python爬取豆瓣评论一、网络爬虫概述1.1网络爬虫定义网络爬虫，又被称为网络蜘蛛（WebSpider）、网络机器人等。
SSeaflower·2025-07-20 16:42

标题 “Python 网络爬虫 —— selenium库驱动浏览器

一、Selenium库核心认知Selenium库是Web应用程序测试与自动化操作的利器，能驱动浏览器（如Edge、Firefox等）执行点击、输入、打开、验证等操作。与Requests库差异显著：Requests库仅能获取网页原始代码，而Selenium基于浏览器驱动程序工作，浏览器可渲染网页源代码，借此能轻松拿到渲染后的数据信息（如JS动态加载内容），完美解决Requests库无法处理的动态页面
WeiJingYu.·2025-07-20 16:41

Python网络爬虫实现selenium对百度识图二次开发以及批量保存Excel

一.百度识图自动上传图片fromseleniumimportwebdriverfromselenium.webdriver.edge.optionsimportOptionsfromselenium.webdriver.common.byimportByedge_options=Options()edge_options.binary_location=r"C:\ProgramFiles(x86)
WeiJingYu.·2025-07-20 16:41

Python 网络爬虫 —— 代理服务器

一、会话（Session）（一）核心逻辑HTTP本身无记忆，每次请求独立。会话（Session）就是为解决这问题，让客户端（浏览器）和服务器“记住”交互状态（比如登录态），常用Cookie实现：服务器发Cookie给客户端存着，下次请求带着，服务器就知道“是同一用户”。（二）创建会话（requests实现）用requests库的Session类，自动维持会话、管理Cookie，代码形式：impor
WeiJingYu.·2025-07-20 16:09

python爬虫技术——基础知识、实战

参考文献：Python爬虫入门(一)（适合初学者）-CSDN博客一、常用爬虫工具包Scrapy语言:Python特点:高效、灵活的爬虫框架，适合大型爬虫项目。
南瓜AI·2025-07-20 15:09

分享两个爬虫练习网站

Python爬虫案例|ScrapeCenterSpiderbuf|Python爬虫练习靶场
高质量海王哦·2025-07-20 15:08

Python爬虫实战：研究psd-tools库相关技术

一、引言1.1研究背景AdobePhotoshop是目前最流行的图像处理软件之一，其原生文件格式PSD（PhotoshopDocument）包含了丰富的图像信息和编辑历史。PSD文件不仅在设计领域广泛使用，还在数字营销、版权保护和安全分析等领域具有重要价值。然而，手动分析大量PSD文件是一项繁琐且耗时的工作，因此开发自动化的PSD文件分析工具具有重要的现实意义。1.2研究目的本文旨在开发一个基于P
ylfhpy·2025-07-20 13:49

【实时Linux实战系列】实时任务与信号处理

信号是一种软件中断，用于在任务之间传递异步事件。实时任务需要能够快速响应信号，以确保系统的实时性和可靠性。掌握信号处理技能对于开发者来说至关重要，它可以帮助开发者设计出更加高效和可靠的实时系统。
望获linux·2025-07-20 13:48

RK356x-10：串口(uart)配置与调试

本文记录RK3566/RK3568通用异步串口(uart)的配置与调试过程1.配置uart节点1.1在rk3568.dtsi中已经定义了uart0,uart1...
初心_2024·2025-07-20 13:47

Node.js基础用法

bash#运行JS文件nodescript.js#进入交互式环境（REPL）node2.核心模块示例文件系统（fs模块）javascriptconstfs=require('fs').promises;//异步
Komorebi_9999·2025-07-20 12:42

学习 Python 爬虫需要哪些基础知识？

学习Python爬虫需要掌握一些基础技术和概念。
广州山泉婚姻·2025-07-20 12:41

python爬虫--爬去300个租房信息页

爬去300个租房信息页代码如下#--coding:utf-8--importtime,requestsfrombs4importBeautifulSouppage=0limit_count=300crawl_list=[]headers={'Content-type':'text/html;charset=UTF-8','User-Agent':'Mozilla/5.0(Macintosh;Int
朝畫夕拾·2025-07-20 11:48

Day17: Spring响应变形记：透视返回值处理的魔法工厂 —— 从POJO到JSON响应的高阶转换术

核心变形车间：HandlerMethodReturnValueHandler生态1.1变形车间流水线架构二、@ResponseBody的魔法解析流水线2.1JSON变形主设备解剖2.2实战调试技巧三、异步处理时空门
zhysunny·2025-07-20 09:23

Django 实战：Celery 异步任务从环境搭建到调用全掌握

合集-Django从入门到实战(11)1.Django实战：I18N国际化与本地化配置、翻译与切换一步到位07-182.Django数据库配置避坑指南：从初始化到生产环境的实战优化06-303.Django实战：自定义中间件实现全链路操作日志记录06-274.Django实战：HTTP状态码与业务状态码的分层设计与实战应用07-025.Django+DRF实战：从异常捕获到自定义错误信息07-04
·2025-07-20 08:48

Node.js全栈开发指南：从基础到进阶

Node.js将所有I/O任务非阻塞化和异步化，从而使得服务器能够
码字仙子·2025-07-20 07:09

python爬虫运行_Python爬虫杂记 - python运行js

selenium+ChromeHeadless必然是爬虫的一大利器，可是缺点依然存在，性能问题不可忽视。但这构不成舍弃它而不用的理由。
weixin_39727402·2025-07-20 07:39

python 安装PyV8 和 lxml

近来在玩python爬虫，需要使用PyV8模块和lxml模块。但是执行pipinstallxx或者easy_installxx指令都会提示一些错误。
·2025-07-20 07:09

MySQL高可用集群架构：主从复制、MGR与读写分离实战

以下是主流的高可用方案对比：方案原理优点缺点适用场景主从复制基于binlog的异步复制简单易用，对性能影响小数据一致性弱，故障切换复杂读写分离、备份MHA监控主库并自动故障转移自动切换，减少停机时间需要
软考和人工智能学堂·2025-07-20 07:39

HC165并转串

parts/wokwi-74hc165**/`timescale1ns/1psmoduleHC165(inputwirei_clk,//全局系统时钟（用于串行输出寄存）inputwirei_rst_n,//异步复位
·2025-07-20 07:08

聊一聊接口测试编码和工具有哪些优缺点

像数据加密验签、异步回调这些场景，工具往往很吃力。维护性方面，虽然代码需要持续投入，但版本管理确实规范。不过作为测试管理者应该注意，这对团队技术水平要求不低，新人上手可能需要时间。
·2025-07-20 06:03

Python爬虫实战：高效提取与解析JSON格式数据

1.JSON数据爬取概述在当今互联网时代，JSON(JavaScriptObjectNotation)已成为最流行的数据交换格式之一。相比传统的HTML页面，JSON格式数据具有结构清晰、体积小、解析方便等优势，使得它成为API接口的首选数据格式。1.1为什么选择JSON数据爬取数据结构化：JSON数据本身就是结构化的，不需要像HTML那样进行复杂的解析传输高效：JSON通常比HTML体积小，传输
Python爬虫项目·2025-07-20 06:31

爬虫小知识（二）网页进行交互

一、提交信息到网页1、模块核心逻辑“提交信息到网页”是网络交互关键环节，借助requests库的post()函数，能模拟浏览器向网页发数据（如表单、文件），实现信息上传，让我们能与网页背后的服务器“沟通”，像改密码、传文件等操作，都可通过它完成。2、浏览器提交请求流程（以改密码为例）操作触发：登录账户进改密码页面，填“当前密码”“新密码”等表单。抓包分析：网页空白处右键→检查→Network窗口，
AI 嗯啦·2025-07-20 05:57

阿里云 RabbitMQ 可观测性最佳实践

它提供消息队列功能，能够实现应用间的消息解耦和异步通信，提升系统扩展性和稳定性。
观测云·2025-07-20 05:56

nodeJs笔记（一）

nodejs的生态系统结构nodejs的工作原理V8JavaScript引擎：libuv：异步I/O与事件循环引擎：事件循环(EventLoop)的详细阶段：非阻塞I/O的工作流程(以fs.readFile
a_xiaotaotao·2025-07-20 03:14

AJAX概述

AJAX，全称异步JavaScript和XML（AsynchronousJavaScriptandXML）
出门撞大运·2025-07-20 03:13

async await详解_async await会阻塞吗

本文目录一、简介二、async三、await四、案例附：直接量/字面量一、简介async/await是ES20717引入的，主要是简化Promise调用操作，实现了以异步操作像同步的方式去执行，async
·2025-07-20 03:42

什么是 WebClient？

WebClient是SpringWebFlux提供的一个非阻塞、响应式的HTTP客户端，可以在异步和同步场景下发起HTTP请求，支持RESTfulAPI调用，适用于微服务间通信、第三方接口访问等。
·2025-07-20 03:11

Vert.x逆袭指南：像外卖小哥一样高效的异步编程哲学 —— 每秒处理百万消息的轻量级响应式引擎

目录一、核心装备：Vert.x工具箱全景1.1灵魂组件：EventLoop（永不堵车的快递站）二、基础订单处理：Future与Promise模式2.1基础异步操作流程2.2并行订单冲刺三、全栈式快餐车：
zhysunny·2025-07-20 01:55

python高并发web框架_Python3中tornado高并发框架

封装了:1.asyncio协程，异步处理2.epoll模型：水平触发（状态改变就询问，select(),poll()），边缘触发（一直询问，epoll()）3.poll模型：I/O多路复用技术4.BSD
weixin_39788969·2025-07-20 01:53

Promise与Axios：异步编程

一、解决回调嵌套/回调地狱（代码1-展示axios链式调用）1.1传统回调-回调地狱如果没有Promise，我们可能需要这样写：axios({url:'http://hmajax.itheima.net/api/province'}).then((provinceResult)=>{constpname=provinceResult.data.list[0];console.log('省份:',p
evergreen198·2025-07-20 00:45

python分布式爬虫打造搜索引擎--------scrapy实现

http://www.cnblogs.com/jinxiao-pu/p/6706319.html最近在网上学习一门关于scrapy爬虫的课程，觉得还不错，以下是目录还在更新中，我觉得有必要好好的做下笔记
weixin_30515513·2025-07-19 23:40

Java大厂面试实录：从电商场景到AIGC的深度技术拷问

小曾：秒杀嘛，主要是高并发，我一般会用SpringBoot搭后端，数据库用Redis做缓存，消息队列用Kafka异步处理订单。具体技术细节……呃，好像没细想。
remCoding·2025-07-19 23:37

Java大厂面试实录：从Spring Boot到AI微服务架构的深度拷问

小曾：（搓手）额……我会用SpringCloudAlibaba，搞个Nacos做服务注册，网关用Zuul，然后订单服务用SpringBoot+Redis缓存，秒杀请求走消息队列，比如Kafka吧，异步处理
remCoding·2025-07-19 23:37

Java大厂面试实录：从Spring Boot到AI微服务架构的层层递进

小曾（自信）：我参与过电商平台的订单系统，用了SpringBoot+SpringCloudAlibaba，数据库是MySQL+Redis缓存，消息队列用Kafka处理异步任务。
remCoding·2025-07-19 23:07

Java大厂面试实录：从Spring Boot到AI微服务架构的深度技术挑战

我们使用了SpringCloudGateway做网关路由，服务间通过Kafka异步通信，并引入Redis缓存热点数据。面试官：很好，能具体说说你们如何解决订单超卖问题的吗
remCoding·2025-07-19 23:37

JavaScript 性能优化实战指南

本文将从多个方面详细探讨JavaScript性能优化的实战技巧，包括代码优化、内存管理、异步编程、资源加载优化等，旨在为开发者提供一份全面
·2025-07-19 23:04

网络爬虫-07

网络爬虫-07）**Spider06回顾****scrapy框架****完成scrapy项目完整流程****我们必须记住****爬虫项目启动方式****数据持久化存储****Spider07笔记****
YEGE学AI算法·2025-07-19 22:31

爬虫初认识

关于爬虫你是否在夜深人静的时候，想看一些让你更睡不着的图片你是否在考试前夕或者面试前夕，想看一些具有针对性的题目和面试题你是否想在杂乱的网络世界中获取你想要的数据什么是爬虫：通过编写程序，模拟浏览器，去互联网上抓取我们想要的数据的过程爬虫的合法性爬虫不被法律禁止快播王欣技术本无罪但有法律风险爬虫干扰被访问网站的正常运营爬取受法律保护的特定类型的数据和信息如何避免法律风险时常优化爬虫程序
老杨玩python·2025-07-19 22:29

python大数据论文_大数据环境下基于python的网络爬虫技术

软件开发大数据环境下基于python的网络爬虫技术作者/谢克武，重庆工商大学派斯学院软件工程学院摘要：随着互联网的发展壮大，网络数据呈爆炸式增长，传统捜索引擎已经不能满足人们对所需求数据的获取的需求，作为搜索引擎的抓取数据的重要组成部分
weixin_39775976·2025-07-19 22:29

【Python爬虫(26)】Python爬虫进阶：数据清洗与预处理的魔法秘籍

【Python爬虫】专栏简介：本专栏是Python爬虫领域的集大成之作，共100章节。从Python基础语法、爬虫入门知识讲起，深入探讨反爬虫、多线程、分布式等进阶技术。
奔跑吧邓邓子·2025-07-19 22:29

第二十四篇 Requests+BeautifulSoup，秒抓网站信息！你的智能信息收集器！

python爬虫序言：手动复制粘贴网页数据？效率太低了1.网页数据抓取基础：HTTP请求与网页结构速览1.1HTTP请求：浏览器如何和网页交互？
爱分享的飘哥·2025-07-19 22:27

缓存三兄弟和布隆过滤器

需要结合异步线程定期清理无效空值，避免长期占用内存。缓存空对象缓存空对象：是一种解决缓存穿透问题的策略，当查询某个不存
想躺平的咸鱼干·2025-07-19 21:21

Python爬虫博客：使用Selenium模拟登录并抓取需要身份验证的网站内容

引言在爬虫开发的过程中，我们常常遇到需要身份验证才能访问的网站。例如，很多社交媒体、新闻网站、电商平台等都要求用户登录才能访问一些特定内容。
Python爬虫项目·2025-07-19 21:21

RN 新架构到底牛在哪？一张图看懂「砍线程、省 Bridge、帧率拉满」

新旧架构的核心区别“新架构把原来基于Bridge的异步JSON通信，变成了基于JSI的同步直接调用，并拆掉了启动时全量初始化、按需加载模块”。下面从6个维度把差异展开说明。
wayne214·2025-07-19 19:36

Redux-thunk：10行代码重构异步控制权

redux-thunk作为Redux生态中最精简的异步处理中间件，其核心价值源于对“函数型Action”的设计突破。
止观止·2025-07-19 13:32

【C# in .NET】9. 探秘委托：函数抽象的底层机制

它不仅是事件驱动编程的核心，更是LINQ、异步编程等现代C#特性的基础。与类和结构体相比，委托的底层实现融合了引用类型的内存管理与函数指针的调用特性，涉及CLR对方法调度的深度优化。
阿蒙Armon·2025-07-19 13:59

scrapy 一定要自定义USER_AGENT

原因是因为有的网站设置的是不允许爬虫请求，而srapy默认请求是带着一个标识告诉网站我就是爬虫，网站当然不允许爬去了偶然间在一个网站上看到的内容并且也跳过坑USER_AGENT='Mozilla/5.0
魔童转世·2025-07-19 12:19

网络爬虫：技术原理、应用场景与合法使用全攻略

爬虫是什么？网络爬虫（WebScraping或WebCrawling）是一种通过自动化方式从网站上抓取公开数据的程序。
程序小武·2025-07-19 11:11

阻塞非阻塞和同步异步

本文转自该处，由于这篇文章写的非常好就没有再单独总结。感谢作者！！！作者：凉拌姨妈好吃链接：https://www.jianshu.com/p/6a6845464770来源：著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。首先引用levin的回答让我们理清楚五种IO模型1.阻塞I/O模型(同步阻塞)老李去火车站买票，排队三天买到一张退票。耗费：在车站吃喝拉撒睡3天，其他事一件没干。
大金叶子·2025-07-19 11:18
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他