python爬虫自动化

【python爬虫】爬虫编程技术的解密与实战

个人主页：SarapinesProgrammer系列专栏：爬虫】网络爬虫探秘⏰诗赋清音：云生高巅梦远游，星光点缀碧海愁。山川深邃情难晤，剑气凌云志自修。目录实验目的实验要求️实验代码1.爬取并下载当当网某一本书的网页内容2.在豆瓣网上爬取某本书的前50条短评内容并计算评分的平均值3.从长沙房产网爬取长沙某小区的二手房信息实验结果1.爬取并下载当当网某一本书的网页内容2.在豆瓣网上爬取某本书的前50
Sarapines Programmer·2024-01-30 03:05

docker file 初体验-nginx server

本文主要记录使用自动化编译环境的dockerfile部署nginxserver1.写dockerfiledockfile文中提到的repofile则需要在和Dockerfile的同级目录下，并命名为nginx.reponginx.repo2
wangxiaoxi·2024-01-30 03:06

如何使用Docker安装Spug并实现远程访问本地运维管理界面

Docker安装Spug2.本地访问测试3.Linux安装cpolar4.配置Spug公网访问地址5.公网远程访问Spug管理界面6.固定Spug公网地址前言Spug面向中小型企业设计的轻量级无Agent的自动化运维平台
江城开朗的豌豆·2024-01-30 03:54

如何找回与身体的联结——读《遇见未知的自己》13、14、15、16章

文中提到，我们一般人对自己的身体只有5%的了解和控制，身体的95%是在潜意识的状态下由自动化导航系统操作的。所以，找回与身体的联结就可以帮助我们把5%的“版图”扩大，找回更多的自己。
抒羽晴·2024-01-30 03:32

python爬虫demo——爬取历史平均房价

简单爬取历史房价需求爬取的网站汇聚数据的城市房价https://fangjia.gotohui.com/功能选择城市https://fangjia.gotohui.com/fjdata-3需要爬取年份的数据，等等https://fangjia.gotohui.com/years/3/2018/使用bs4模块使用bs4模块快速定义需要爬取的表格代码fromurllib.requestimportur
菜鸡学安全·2024-01-30 03:45

# Python调用C++类库 (踩坑日志)

Python调用C++类库(踩坑日志)起因开发自动化工具过程中，需要使用专业的测试射频参数的仪器IQmeasure，厂家提供的API只用C++版本。
言午日尧耳总·2024-01-30 02:23

【大厂AI课学习笔记】1.2 人工智能的应用（2）

MORE：设计应用场景：自动化设计辅助：利用AI技术自动生成产品草图、设计方案或提供设计灵感。个性化推荐：基于消费者偏好和历史数据，为消费者提供定制化的产品设计建议。
giszz·2024-01-30 02:31

pytest教程-6-skip跳过测试用例

在我们自动化过程中，经常会遇到功能阻塞、功能未实现、环境等一系列外部因素问题导致的一些用例执行不了，这时我们就可以用到跳过skip用例，如果我们注释掉或删除掉这段代码，当然也能达到效果，但是后面还要进行恢复操作
测试米兔er·2024-01-30 02:50

自动化测试框架pytest教程(一)pytest用例编写和pytest前后置方法

自动化测试框架pytest教程(一)pytest用例编写和pytest前后置方法目录：导读一、入门使用1、环境安装2、用例编写3、执行测试二、前后置方法和fixture机制1、xunit风格的前后置方法函数用例的前后置方法测试类中用例的前后置方法模块级别的前后置方法
软件测试凡哥·2024-01-30 02:19

pytest入门 ----- 测试用例前后置，固件

例如：上面代码打印的部分就是setup、setup_class、teardown、teardown_class每个方法的说明可是如果还有另一个文件，也需要这些操作【比如ui自动化每个用例都要打开浏览器执行
测试界的彭于晏·2024-01-30 02:49

Python爬虫

一、爬虫的基本原理1、网页请求的过程（1）Request（请求）。每个展示在用户面前的网页都必须经过这一步，也就是向服务器发送访问请求。（2）Response（响应）。服务器在接收到用户的请求后，会验证请求的有效性，然后向用户（客户端）发送响应的内容；客户端接收服务器响应的内容，将内容展示出来，这就是我们所熟悉的网页请求。2、网页请求的方式（1）GET：最常见的方式，一般用于获取或查询资源信息，参
酷飒de小姐姐·2024-01-30 02:52

服务器运维小技巧（二）——如何进行监控告警

但是“及时”的这一点很难做到，需要通过优化工作流程、建立预警系统，搭建自动化等行为快速响应。今天主要介绍如何通过服务器运维工具搭建监控预警的手段来辅助缩短响应时间。
lelelelele12·2024-01-30 01:03

Pytest fixture机制

装饰的函数可以作为参数传入到测试用例中，当执行这个测试用例时会优先执行fixture装饰的函数，方便代码复用，减少冗余，可理解成公共方法的封装场景：在执行把商品加入购物车的测试用例时，先要完成用户登录；接口自动化测试
老孟说禅·2024-01-30 01:30

2021奥斯汀 Pwn2Own黑客大赛落幕，Master of Pwn 诞生

大赛的核心关注点是手机，新增类别是路由器和打印机类别，总类别包括移动手机类、打印机类、NAS类、外部存储设备类、家庭自动化类、路由器、电视类共7个类别。
奇安信代码卫士·2024-01-30 00:35

Python之MD5码编译+一个实用工具

背景我们在进行python爬虫的时候可能会用到JS逆向，有些逆向过程是通过对字符串进行MD5加密得到一个密钥，因此我们得学会如何在python中实现MD5码加密。
码了个顶大·2024-01-30 00:21

Python自动化测试-使用Pandas来高效处理测试数据

一、思考1.Pandas是什么？功能极其强大的数据分析库可以高效地操作各种数据集csv格式的文件Excel文件HTML文件XML格式的文件JSON格式的文件数据库操作2.经典面试题通过面试题引出主题，读者可以思考，如果你遇到这题，该如何解答呢？二、使用pandas来操作Excel文件安装a.通过Pypi来安装pipinstallpandasb.通过源码来安装gitclonegit://github
程序员雷子·2024-01-29 21:14

Python：关于引用python_ics无法生成Windows可执行文件问题

在公司写自动化诊断脚本的时候，在pycharm中调试正常，但是生成的可执行文件运行时出现以下画面（一闪而过，截图神器）。
Indigo_Fly·2024-01-29 21:11

基于深度学习的安全帽检测系统（YOLOv5清新界面版，Python代码）

安全帽检测系统用于自动化监测安全帽佩戴情况，在需要佩戴安全帽的场合自动安全提醒，实现图片、视频和摄像头等多种形式监测。
AI小白龙*·2024-01-29 21:05

前端开发中的容器化与容器编排

容器化技术可以帮助前端开发人员更好地管理和部署应用程序，而容器编排则提供了一种自动化和可扩展的方式来管理容器化的应用程序集群。
KwyxLibrary·2024-01-29 20:55

python222网站实战(SpringBoot+SpringSecurity+MybatisPlus+thymeleaf+layui)-自定义帖子管理实现

锋哥原创的Springboot+Layuipython222网站实战：python222网站实战课程视频教程（SpringBoot+Python爬虫实战）(火爆连载更新中...)
java1234_小锋·2024-01-29 20:44

史上最全 Appium 自动化测试从入门到框架实战精华学习笔记（三）

本系列文章汇总了从Appium自动化测试从基础到框架高级实战中，所涉及到的方方面面的知识点精华内容（如下所示），希望对大家快速总结和复习有所帮助。
霍格沃兹测试开发学社·2024-01-29 20:02

对自己最好的投资就是：终身成长

据有关部门统计，预计到2025年，全球将有8500万个岗位的人将因数字化的变化趋势而失业；而麦肯锡咨询公司预计，到2030年，中国或有2.81亿个工作岗位因数字化和自动化消失；花旗集团也发布了数据，到2025
石昔有言与书同行·2024-01-29 19:51

服务器运维小技巧（二）——如何进行监控告警

但是“及时”的这一点很难做到，需要通过优化工作流程、建立预警系统，搭建自动化等行为快速响应。今天主要介绍如何通过服务器运维工具搭建监控预警的手段来辅助缩短响应时间。
caomengde233·2024-01-29 18:01

JavaScript+Selenium自动化测试

Seleniumisabrowserautomationlibrary.Mostoftenusedfortestingweb-applications,Seleniummaybeusedforanytaskthatrequiresautomatinginteractionwiththebrowser.Selenium是一个浏览器自动化测试库
咖啡加剁椒.·2024-01-29 18:14

让游戏云原生化别再「左右为难」

在此现象的背后，是云原生技术带来的先进生产力推动着行业向前发展：容器化提升了游戏交付的效率；声明一致性带来游戏开服效率、更新效率、以及可用性的提升；弹性伸缩使得资源可自动化地应对游戏高峰期与波谷期，在保证游戏服务质量的同时提高资源利用率
阿里云云原生·2024-01-29 18:06

postman自动化测试如何设置环境变量教程

在接口测试中，我们经常会用到一些通用请求参数，或者需要使用某个接口的返回参数作为另一个接口的请求参数，静态的参数还好，如果是经常变动的参数，那么操作起来，就特别的麻烦，这时候，我们就可以利用postman工具中的环境变量，来简化流程操作，可以节省非常多不必要花费的时候，而且还不容易出现错误。目录一、创建环境变量目录二、创建接口测试目录三、设置环境变量1、设置全局变量2、设置环境变量3、在请求接口中
Roc-xb·2024-01-29 18:01

shell脚本自动化备份网络设备配置教程

由于局域网内存在多台网络设备，如防火墙、路由器、交换机等，数量众多，且品牌不同，手工备份配置需要相当长的时间，现需要实现自动化导出备份配置。
mysoy_airsupport·2024-01-29 18:24

python-自动化篇-运维-监控-如何使⽤Python处理和解析⽇志⽂件？-实操记录

文章目录1.选择日志文件格式：确定要处理的日志文件的格式。不同的日志文件可能具有不同的格式，如文本日志、CSV、JSON、XML等。了解日志文件的格式对解析⾮常重要。2.打开日志文件：使⽤Python的文件操作功能打开日志文件，以便读取其中的内容。可以使⽤open()函数来打开文件并创建⼀个文件对象。3.逐行读取日志内容：通常，会逐行读取日志文件内容，以便分析每⼀行的日志信息。这可以使⽤循环来实现
fo安方·2024-01-29 18:21

python-自动化篇-运维-语音识别

文章目录理论文本转换为语音使用pyttsx使用SAPI使用SpeechLib语音转换为文本代码和效果01使用pyttsx实现文本_语音02使用SAPI实现文本_语音03使用SpeechLib实现文本_语音04使用PocketSphinx实现语音转换文本理论语音识别技术，也被称为自动语音识别，目标是以电脑自动将人类的语音内容转换为相应的文字和文字转换为语音。文本转换为语音使用pyttsx使用名为py
fo安方·2024-01-29 18:51

python-自动化篇-办公-文件-加解密

解说要使⽤Python进⾏⽂件的加密和解密，可以使⽤第三⽅加密库，如cryptography或pycryptodome。⼀个基本的⽰例，演⽰如何使⽤cryptography库对⽂件进⾏加密和解密：安装cryptography库：pipinstallcryptography⽂件加密：fromcryptography.fernetimportFernet#⽣成加密密钥key=Fernet.genera
fo安方·2024-01-29 18:50

python-自动化篇-运维-监控-简单实例-道出如何使⽤Python⾃动化数据库备份？

使⽤Python⾃动化数据库备份是⼀种有效的⽅式，可以确保数据库数据的安全性和可恢复性。以下是⼀般步骤，说明如何使⽤Python⾃动化数据库备份：选择数据库备份⼯具：⾸先，选择适合数据库类型的备份⼯具。不同的数据库系统有不同的备份⽅法，以下是⼀些常⻅数据库类型以及相应的备份⼯具：（1）MySQL：使⽤mysqldump⼯具或mysqlbackup⼯具进⾏备份。（2）PostgreSQL：使⽤pg_
fo安方·2024-01-29 17:49

Python从 Word 文档中提取文本和图片

当需要单独处理文档中的文本或图像，尤其是需要处理大文档或自动化提取时，通过编程工具从Word文档中提取是一种最优选择。
程序员晓晓·2024-01-29 17:49

自动化测试在美团外卖的实践与落地

1.项目背景美团外卖的业务场景比较多元化，除了外卖自身的业务，还作为平台承接了闪购、团好货、医药、跑腿等其他业务。除此之外，在全链路动态化的大基调下，外卖各个页面的技术形态也变得越来越复杂，除了Native代码，还包括Mach（外卖自研动态化框架）、ReactNative、美团小程序、H5等，不同技术栈的底层技术实现不同，渲染机制不同，进而对测试方式要求也有所不同，这也在无形中增加了测试的难度。下
架构未来·2024-01-29 17:07

专业的编程和数学计算：MATLAB R2023b 中文

MATLABR2023b相较于之前的版本，增加了一些新的功能和改进，例如增加了自动化的功能向量化、并行计算、机器学习、信号处理等方面的新算法；改进了图形界面和性能，提供
lx53mac·2024-01-29 17:31

硬件基础知识-电机知识

5.电机编码器：光思编码器，磁性铜码器，蚕尔锅码影等6.电机应用：机器人、航空航天、汽车、家电、工业自动化等领线7.电机故障排除：电机损杯电机接线错误、电机驱动故障等8.
若忘即安·2024-01-29 17:25

放弃了国企铁饭碗，离开了民企 996，我在外企做测试开发

艳子在聊天中得知，六月是个妥妥的斜杠青年：除了自动化测试开发这个本职工作
小道消息播客·2024-01-29 16:24

【爬虫】Python爬虫实战，Python实现中国地铁数据可视化arcmap

临近过年，无心上班，只好摸鱼，偶然看见，这篇文章，觉得有趣，便来写一写Python爬虫实战，pyecharts模块，Python实现中国地铁数据可视化_Python_xiaowu的博客-CSDN博客前言利用
fivemm·2024-01-29 15:12

关于电商平台API接口|Vue电商后端管理API接口测试

引言最近有人在学习电商API接口自动化测试时没有接口练手，其实接口的话，要么找第三方提供的，要么自己开发。第三方在线电商API接口需要认证，并且普通的话每天调用次数有一定的限制。
大数据girl·2024-01-29 15:54

python网络安全论文题目_自动化毕业论文题目119个免费参考

自动化毕业论文题目119个免费参考时间：2016-06-12来源：未知作者：chunt本文字数：2522字自动化专业有三个方向，工业自动化控制、电气自动化及自动化嵌入系统设计，选题可从这些方向着手。
weixin_39967598·2024-01-29 15:50

邢台市工业机器人集成商_2019中国智能工厂自动化集成商百强及工业机器人系统集成商排行榜...

智汇+整理分享2019中国智能工厂自动化集成商百强榜，及4大工序的中国机器人系统集成商竞争力排行榜，供各大制造企业、技术方了解选择。
weixin_39743722·2024-01-29 15:20

流水线三维可视化运维，装配自动化提质增效

大家带来智慧生产线/设备流水线合集。智慧仓储产线智慧仓储产线通过对仓储现场的数字化建模，利用先进的物联网、大数据、人工智能等技术，对仓储现场设备、环境、人员进行全流程数字化管理。为贯彻仓储行业应用的全面性，图扑HT应用Web端前沿技术，将运行状态、环境变化、突发扰动等物理实况数据，与统计分析、仿真预测、领域知识等信息空间数据，进行全面交互与深度融合，实现智能物流仓储产线当前难监测、维修报备不及时等
图扑数字孪生·2024-01-29 15:17

机器人自动化焊接工作站助力制造业实现新升级

在当今高度自动化的制造业环境中，机器人技术已经成为不可或缺的一部分。其中，机器人自动化焊接工作站以其高效、精确和稳定的特性，正逐渐改变传统焊接工艺的面貌。
Fuweizn·2024-01-29 15:15

欢迎来到Jira自动化社区！

JiraAutomation是一种无代码自动化引擎，可用于所有Jira产品中的每个JiraCloud实例（还有一个适用于Server的应用程序）。
互联网PMO·2024-01-29 15:12

自动化测试面试官：浅拷贝和深拷贝有什么区别?

那我们今天再来看一下这个面试问题：浅拷贝和深拷贝有什么区别?你如果说到Python，这个问题会经常被问到（方便理解我们就可以直接把它理解成Ctrl+C/Ctrl+V复制copy）当然在代码里面复制粘贴不仅仅是大家看到的，就是说在代码的世界里面，有很多的东西。就好像代码里面有一个is==看起来这两个没有区别比如说aisba==b看起来没什么区别，看起来相等。但其实它们有很大的区别。就好像我们的深复制
程序员阿沐·2024-01-29 15:44

【AIGC】Diffusers：AutoPipeline自动化扩散生图管道

前言扩散器能够完成许多不同的任务，并且您通常可以将相同的预训练权重用于多个任务，例如文本到图像、图像到图像和修复。但是，如果您不熟悉库和扩散模型，可能很难知道将哪个管道用于任务。例如，如果您将runwayml/stable-diffusion-v1-5模型用于文本到图像，您可能不知道也可以通过分别使用StableDiffusionImg2ImgPipeline和StableDiffusionInp
资料加载中·2024-01-29 14:22

读中科院博士论文致谢有感

今晨在‘央视新闻’上再次看到此篇致谢，才知道这是2017年中国科学院自动化所的一位学生写的博士论文致谢。
如渊_e6bb·2024-01-29 14:01

无人超市货物自动上架系统（源码+开题）

系统程序文件列表开题报告内容研究背景：随着科技的不断进步，自动化和智能化成为了现代商业发展的重要趋势。传统的超市运营模式，依赖于大量的人工进行货物的上架和整理，不仅效率低下，而且成本高昂。
便捷程序设计·2024-01-29 13:12

无人售货机管理系统（源码+开题）

特别是在零售行业中，无人售货机因其便利性、自动化和24小时服务的特点，正逐渐成为城市生活中不可或缺的一部分。
便捷程序设计·2024-01-29 13:12

windows服务器搭建appium+MuMu模拟器实现自动化运维测试

1.安装MUMU安卓模拟器：http://mumu.163.com/2.安装node.js到官网下载node.js：https://nodejs.org/download/node-vnpm安装cnpm:npminstall-gcnpm--registry=https://registry.npm.taobao.org安装appium:cnpminstall-gappium3.安装javasdk在
HAO延WEI·2024-01-29 11:03

服务器基础知识（IP地址与自动化技术的使用）

如何查看ip地址Windows的命令提示符图形化版本：自动化技术的应用与意义ip地址是什么？IP地址的主要作用是**为互联网上的每个网络和每台主机分配一个逻辑地址**。
Srlua·2024-01-29 10:58
上一页 48 49 50 51 52 53 54 55 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他