E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
爬虫-Selenium
Python学习之路-初识
爬虫
:数据提取
Python学习之路-初识
爬虫
:数据提取什么是数据提取简单的来说,数据提取就是从响应中获取我们想要的数据的过程
爬虫
中数据的分类结构化数据:json,xml等处理方式:直接转化为python类型非结构化数据
geobuins
·
2024-02-11 12:06
python
学习
爬虫
Python学习之路-初识
爬虫
:requests
Python学习之路-初识
爬虫
:requestsrequests的作用作用:发送网络请求,返回响应数据中文文档:http://docs.python-requests.org/zh_CN/latest/
geobuins
·
2024-02-11 12:35
python
学习
爬虫
Python一个神奇的库,无论代码遇到什么报错都可以正常运行!
我们经常会看到几行代码写一个
爬虫
,封装10行代码就能写出一个人脸识别等等。今天小编给大家介绍一个特别暴力的Python库。
妄心xyx
·
2024-02-11 11:32
python+
selenium
+webdriver+requests实现抓取页面指定内容并推送至企业微信
from
selenium
.webdriverimportChromeimporttimeimportpandasaspdfrom
selenium
.webdriver.common.byimportByimportrequestsimportjsonbrowser
jokerj
·
2024-02-11 11:17
Python
爬虫
下载小说
Tip这是一个非常简单的小说网站,读者可以拿来练习
爬虫
,练习xpath,文章内不让带网址,私信我获取网址。代码里有详细注释。
数据艺术家.
·
2024-02-11 11:31
python
爬虫
Python之多线程
爬虫
抓取网页图片的示例代码
本篇文章主要介绍了Python之多线程
爬虫
抓取网页图片的示例代码,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧目标嗯,我们知道搜索或浏览网站时会有很多精美、漂亮的图片。
Python芸芸
·
2024-02-11 10:56
Python
爬虫
——请求库安装
目录1.打开AnacondaPrompt创建环境2.安装resuests3.验证是否安装成功4.安装
Selenium
5.安装ChromeDriver5.1获取chrom的版本5.1.1点击浏览器右上三个点
ymchuangke
·
2024-02-11 09:50
Spider
python
爬虫
开发语言
Python
爬虫
之文件存储#5
爬虫
专栏:http://t.csdnimg.cn/WfCSx文件存储形式多种多样,比如可以保存成TXT纯文本形式,也可以保存为JSON格式、CSV格式等,本节就来了解一下文本文件的存储方式。
仲君Johnny
·
2024-02-11 08:55
python爬虫逆向教程
python
爬虫
网络爬虫
数据分析
《Python3 网络
爬虫
开发实战》:关系型数据库 MySQL 存储
关系型数据库是基于关系模型的数据库,而关系模型是通过二维表来保存的,所以它的存储方式就是行列组成的表,每一列是一个字段,每一行是一条记录。表可以看作某个实体的集合,而实体之间存在联系,这就需要表与表之间的关联关系来体现,如主键外键的关联关系。多个表组成一个数据库,也就是关系型数据库。关系型数据库有多种,如SQLite、MySQL、Oracle、SQLServer、DB2等,本节我们主要来了解下My
Hi Bomb!
·
2024-02-11 08:55
mysql
数据库
sql
Python
爬虫
pyquery库详解#4
爬虫
专栏:http://t.csdnimg.cn/WfCSx使用pyquery在上一节中,我们介绍了BeautifulSoup的用法,它是一个非常强大的网页解析库,你是否觉得它的一些方法用起来有点不适应
仲君Johnny
·
2024-02-11 08:54
python爬虫逆向教程
python
爬虫
开发语言
网络爬虫
数据分析
Python
爬虫
之关系型数据库存储#5
关系型数据库是基于关系模型的数据库,而关系模型是通过二维表来保存的,所以它的存储方式就是行列组成的表,每一列是一个字段,每一行是一条记录。表可以看作某个实体的集合,而实体之间存在联系,这就需要表与表之间的关联关系来体现,如主键外键的关联关系。多个表组成一个数据库,也就是关系型数据库。关系型数据库有多种,如SQLite、MySQL、Oracle、SQLServer、DB2等。MySQL的存储本节中,
仲君Johnny
·
2024-02-11 08:24
python爬虫逆向教程
python
爬虫
数据库
mysql
网络爬虫
数据分析
<网络安全>《25 工业脆弱性扫描与管理系统》
1概念工业脆弱性扫描与管理系统以综合的漏洞规则库(本地漏洞库、ActiveX库、网页木马库、网站代码审计规则库等)为基础,采用深度主机服务探测、Web智能化
爬虫
、SQL注入状态检测、主机配置检查以及弱口令检查等方式相结合的技术
Ealser
·
2024-02-11 07:03
#
网络安全
web安全
安全
工业脆弱性扫描与管理系统
Xray 工具笔记
Xray官方文档扫描单个url(非
爬虫
)并输出文件(不同文件类型).
KEEPMA
·
2024-02-11 05:11
网络安全
xray
房屋租赁系统的Java实战开发之旅
专业做Java、Python、微信小程序、安卓、大数据、
爬虫
、Golang、大屏等实战项目。⛽⛽实战项目:有源码或者技术上的问题欢迎在评论区一起讨论交流!
计算机编程指导师
·
2024-02-11 05:40
Java实战集
大数据实战集
Python实战集
java
开发语言
vue.js
spring
boot
后端
房屋租赁
Java进销存系统:实战经验与技巧分享
专业做Java、Python、微信小程序、安卓、大数据、
爬虫
、Golang、大屏等实战项目。⛽⛽实战项目:有源码或者技术上的问题欢迎在评论区一起讨论交流!
计算机编程指导师
·
2024-02-11 05:40
Python实战集
大数据实战集
Java实战集
java
开发语言
spring
boot
vue.js
spring
进销存系统
《Python 网络
爬虫
简易速速上手小册》第5章:Python 数据存储与管理(2024 最新版)
文章目录5.1选择数据存储方案5.1.1重点基础知识讲解5.1.2重点案例:使用SQLite存储博客文章数据5.1.3拓展案例1:使用MongoDB存储社交媒体动态5.1.4拓展案例2:使用Elasticsearch存储和检索日志数据5.2数据清洗与预处理5.2.1重点基础知识讲解5.2.2重点案例:清洗抓取的评论数据5.2.3拓展案例1:格式化日期数据5.2.4拓展案例2:处理缺失值5.3数据存
江帅帅
·
2024-02-11 03:04
《Python
网络爬虫简易速速上手小册》
python
爬虫
web安全
网络安全
数据分析
数据挖掘
人工智能
Python测试框架之pytest(一)-晒酷学院
pytest是一个非常成熟的全功能的python测试框架,主要有以下几个特点:简单灵活,容易上手支持参数化能够支持简单的单元测试和复杂的功能测试,还可以用来做
selenium
/appium等自动化测试,
晒酷学院
·
2024-02-11 03:27
使用
selenium
与无头Chrome爬取携程酒店信息
#-*-coding:UTF-8-*-importrefrom
selenium
importwebdriverimporttimefrom
selenium
.webdriver.chrome.optionsimportOptionsfrom
selenium
.webdriver.common.byimportByfrom
selenium
.webdriver.support.uiimportWebDriv
时四123
·
2024-02-11 02:19
go
爬虫
并解决中文乱码
go
爬虫
并解决中文乱码packagemainimport("fmt""io/ioutil""net/http""github.com/axgle/mahonia")funcmain(){url:="http
沫明
·
2024-02-11 01:25
基于springboot的反诈宣传平台
博主介绍:java高级开发,从事互联网行业六年,熟悉各种主流语言,精通java、python、php、
爬虫
、web开发,已经做了六年的毕业设计程序开发,开发过上千套毕业设计程序,没有什么华丽的语言,只有实实在在的写点程序
汤姆yu
·
2024-02-10 23:35
成套网站程序
spring
boot
后端
java
反诈平台
Python WEB UI自动化测试(1)-
Selenium
基础(史上最详细,一篇就够)
一、环境准备
Selenium
安装命令行安装pipinstall
selenium
浏览器驱动安装找到本地chrome的浏览器的版本下载相应版本的驱动器chrome浏览器驱动下载地址:chromedriver.storage.googleapis.com
Yasar.l
·
2024-02-10 22:54
UI自动化测试
自动化
pytest
【UI自动化测试技术】自动化测试研究:Python+
Selenium
+Pytest+Allure,详解UI自动化测试,编写线性脚本+WEB自动化各种场景的处理(精)(二)
一、序言在上一篇文章,带领伙伴们认识了WEB中的UI自动化,同时,也讲解了网页元素的八大定位方式。关于定位方式,我们常用的也就是ID、NAME、CSS以及XPATH,所以在练习的时候,同时要重点练习这几个定位方式。这篇文章,我们继续研究和学习WEB自动化。二、WEB自动化的思路首先,做WEB自动化,我要首先讲一下思路,思路对于编写代码来讲,也是不可或缺的一个思考过程。首先,我们要打开浏览器,以谷歌
梦断南楼
·
2024-02-10 21:12
UI自动化测试技术研究
ui
python
selenium
UI自动化之python+pytest+allure+
selenium
一、基础搭建1.下载pycharm,配置环境变量2.安装对应版本的webdriver,将webdriver放在项目根目录3.pipinstallpytest4.pipinstallallure二、框架设计三、目录详解1.common读取yaml文件yaml_handle.py2.config路径及环境配置1)config.yaml2)path.py3.pages页面方法封装包括url打开,页面元素
Gia_ouyang
·
2024-02-10 21:11
python
python
ui
自动化
【UI自动化测试技术】自动化测试研究:Python+
Selenium
+Pytest+Allure,详解UI自动化测试,自动化入门+元素的八大定位方式(精)(一)
一、走进自动化测试想写一些技术文章,一是记录自己的成长过程,二是如果文章能够为初学者带去一点帮助,也是倍感欣慰的。下面开始我们的第一个课题:自动化测试技术其中的一个大模块:UI自动化测试。什么是UI自动化测试,所谓UI自动化测试,是将一些重复的功能测试的步骤,使用工具或者代码的方式实现,实现无人值守,自动执行我们重复的测试用例,提高测试效率。UI自动化测试,常常被用来回归测试,或者一些页面元素变动
梦断南楼
·
2024-02-10 21:41
UI自动化测试技术研究
ui
python
selenium
python+
selenium
UI 自动化测试用例如何实现?
Python+
Selenium
是一种常用的UI自动化测试工具,它可以模拟用户操作浏览器,执行测试用例,并生成测试报告。本文将介绍如何使用Python+
Selenium
实现UI自动化测试。
测试店小二
·
2024-02-10 21:41
python
selenium
自动化
pytest
软件测试
大数据毕业设计django+vue.js+scrapy租房推荐系统 租房大屏可视化 租房
爬虫
hadoop spark 58同城租房
爬虫
房源推荐系统 计算机毕业设计
博主介绍:✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌由于篇幅限制,想要获取完整文章或者源码,或者代做,可以给我留言或者找我聊天。感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助更多的人。文章包含:项目选题+项目展示图片(必看)计算机毕业设计吊
B站计算机毕业设计超人
·
2024-02-10 20:52
大数据毕业设计
大数据
课程设计
scrapy
hadoop
大数据毕业设计
计算机毕业设计
爬虫
分享41个Python
爬虫
源代码总有一个是你想要的
分享41个Python
爬虫
源代码总有一个是你想要的下载链接:https://pan.baidu.com/s/1nDDv5DrYPylFFF-hke2kFg?
亚丁号
·
2024-02-10 20:40
python
爬虫
开发语言
python从入门到精通(十):python
爬虫
的初级使用
python数据分析和可视化基础python
爬虫
分析python的4种
爬虫
方法第一种:基于urllib库的方法(一)任务介绍(二)认识
爬虫
2.1了解
爬虫
的商业价值2.2
爬虫
的原理(三)基本流程3.1准备工作
HACKNOE
·
2024-02-10 19:44
python
python
爬虫
开发语言
python从入门到精通(十):python
爬虫
的BeautifulSoup4
python
爬虫
的BeautifulSoup4BeautifulSoup4导入模块解析文件创建对象python解析器beautifulsoup对象的种类Tag获取整个标签获取标签里的属性和属性值Navigablestring
HACKNOE
·
2024-02-10 19:12
python
python
beautifulsoup
pycharm
requests实验
2.1代码展示2.2效果展示2.3注意事项3.在人邮教育官网上搜索“
爬虫
”的图书信息,结果保存起来。
临风.
·
2024-02-10 19:09
爬虫
爬虫
网络爬虫
python
selenium
元素定位与操作
说明:本篇博客基于
selenium
4.1.0在
selenium
中,想要对元素进行操作,一般需要如下步骤:在浏览器中查看元素属性,便于
selenium
在页面中找到该元素在代码中创建元素对象元素操作、获取元素信息查看元素属性浏览器中进入开发者模式方法
咖啡 加剁椒
·
2024-02-10 16:08
软件测试
selenium
python
测试工具
软件测试
自动化测试
功能测试
程序人生
Selenium
自动化测试框架的搭建
说起自动化测试,我想大家都会有个疑问,要不要做自动化测试?自动化测试给我们带来的收益是否会超出在建设时所投入的成本,这个嘛别说是我,即便是高手也很难回答,自动化测试的初衷是美好的,而测试工程师往往在实现过程中花费了很多成本、精力,而最终以失败告终。失败的原因会很多,我总结几项:1.太过依赖测试工具,高估了工具的力量,最终会以失望告终。2.项目紧急的情况,为了规避那些多余的环节,干脆人工测试,结果整
咖啡 加剁椒
·
2024-02-10 16:08
软件测试
selenium
测试工具
软件测试
自动化测试
功能测试
程序人生
职场和发展
《最新出炉》系列初窥篇-Python+Playwright自动化测试-16-处理模态对话框弹窗
宏哥在java+
selenium
系列文章中介绍过这部分内容。那么,playwright对于弹框的处理是怎样的?是否比
selenium
更加简单呢?下面我们就来介绍一下playwright对于弹框的处理。
北京-宏哥
·
2024-02-10 14:56
python
开发语言
测试工具
前端
网络
《最新出炉》系列初窥篇-Python+Playwright自动化测试-17-处理鼠标悬停
关于鼠标悬停,
selenium
把这个方法放在了Actions.java文件中,因此也被称之为Actions的相关操作
北京-宏哥
·
2024-02-10 14:56
python
开发语言
测试工具
前端
网络
Python
爬虫
| 数据分析小能手:JSON库的用法
如何使用Python语言来编码和解码JSON对象?JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式,易于人阅读和编写。JSON函数使用JSON函数需要导入json库:importjson。函数描述:json.dumps将Python对象编码成JSON字符串json.loads将已编码的JSON字符串解码为Python对象语法:json.dumps(obj,sk
七喜c4d
·
2024-02-10 13:27
Python常用的15个数据库
1、数据收集:(1)Scrapy:协助使用者自动提取网页所需信息,并将其整理为表格或JSON格式的数据结构;(2)
Selenium
:使用者在感兴趣的网站上已经进行了交互行为之后,
Selenium
n一般能派上用场
棒冰爱吃芹菜
·
2024-02-10 13:32
aiohttp——异步
爬虫
发起请求asyncdeffetch():asyncwithaiohttp.ClientSession()assession:asyncwithsession.get('https://www.baidu.com')asresposne:print(awaitresposne.text())loop=asyncio.get_event_loop()tasks=[fetch(),]loop.run_u
派派森森
·
2024-02-10 12:31
https://ssr1.scrape.center/ 简单练习网站requests、
selenium
两种方式爬取
ssr1(电影数据网站,无反爬,T)总结(requests实现):'''1、/text()获取指定标签下的文本内容,//text()获取指定标签下的文本内容,包括子标签下的文本内容这一点在标签数量不确定时用处较大如每个电影的类型标签数量不一,而每个类型又位于html文档的不同标签里,这时可以将包含这些类型的大标签拿出来,然后读取文本内容,包括子标签下的2、去除列表中的空格与换行data_list=
qq_53401451
·
2024-02-10 12:46
爬虫
selenium
python
爬虫
edge
计算机毕业设计Python+Spark+LSTM微博大屏情感分析 微博大数据分析 微博情感分析 微博
爬虫
可视化 微博数据分析 微博采集分析平台
开发技术前端:vue.jsechartswebsocket后端API:springboot+spark+mybatis
爬虫
/算法:python、lstm情感分析(python实现)数据库:mysql创新点
计算机毕业设计大神
·
2024-02-10 12:42
初学python
爬虫
, 爬什么网站比较简单?
本文就初学者来说,教大家怎么
爬虫
。
黑客大白
·
2024-02-10 12:15
python
爬虫
Python爬虫
python入门
速看,关于Python的17个学习网站,从基础到机器学习【建议收藏】
目录一、基础学习网站Python官方教程Python官方安装包地址PyCharm下载地址anaconda3清华开源下载地址二、
爬虫
学习网站requests官方学习网站BeautifulSoup文档网站
selenium
帅帅的Python
·
2024-02-10 12:45
python
学习
机器学习
爬虫
代码中的mysql使用
defget_data(item):mysqlinfo={"goods_name":"","goods_id":"","url":"","sales":"","normal_price":"","market_price":"","price_info":"","imgone":"","imgtwo":"","imgthree":"","tag_list":"","mall_name":"","m
吕正日
·
2024-02-10 11:58
mysql
数据库
爬虫
计算机毕业设计PyFlink+Hadoop+Hive民宿数据分析可视化大屏 民宿推荐系统 民宿
爬虫
民宿大数据 知识图谱 机器学习 大数据毕业设计
流程1.
selenium
自动化
爬虫
框架采集民宿数据约10万条存入.csv文件作为数据集;2.使用pandas+numpy或MapReduce对数据进行数据清洗,生成最终的.csv文件并上传到hdfs;3
计算机毕业设计大神
·
2024-02-10 10:56
大数据相关技术
1数据获取方式
爬虫
:分布式
爬虫
java的jsoup(操作方式基于选择器),pythoon,八爪鱼日志收集:log4j(可以控制级别和放置的位置)(可以输出数据到flume)(可以输出到mq),flume
ssttIsme
·
2024-02-10 08:43
Python
爬虫
获取op.gg英雄联盟英雄对位胜率的源码示例
文章目录前言主要思路源码关于Python技术储备一、Python所有方向的学习路线二、Python基础学习视频三、精品Python学习书籍四、Python工具包+项目源码合集①Python工具包②Python实战案例③Python小游戏源码五、面试资料六、Python兼职渠道前言通过第三方BeautifulSoup库来爬取op.gg网页静态数据主要思路op.gg网站网站以出场率高低排名,并且列出对
只存在于虚拟的King
·
2024-02-10 08:39
python
爬虫
开发语言
网络
计算机
经验分享
python爬取b站弹幕_用python爬取B站弹幕并制作词云
运行必要库:urllib.request,re,io,gzip,
selenium
必要浏览器:火狐(版本不能太新)主体代码如下,因为se
weixin_39975683
·
2024-02-10 07:55
python爬取b站弹幕
Selenium
常见异常分析及解决方案
pycharm中导入
selenium
报错现象:pycharm中输入from
selenium
importwebdriver,
selenium
标红原因1:pycharm使用的虚拟环境中没有安装
selenium
琉璃_233a
·
2024-02-10 07:35
python股票接口_Python实现股票数据
爬虫
和数据接口
这篇文章主要介绍如何使用Python爬取股票数据和实现数据接口。1.定时抓取和解析数据2.存储数据到MongoDB3.缓存数据到Redis4.配置Nginx和数据接口1.定时抓取和解析数据url="http://quotes.money.163.com/trade/lsjysj_"+key+".html?year="+year+"&season="+season拼接好链接后,使用requests库
weixin_39642998
·
2024-02-10 04:48
python股票接口
Python获取全部股票数据
Python可以通过以下几种方式获取全部股票数据:使用
爬虫
技术获取股票数据。这种方式需要自己编写
爬虫
程序,通过爬取相关网站上的数据来获取股票数据,需要花费一定的时间和精力。使用第三方库获取股票数据。
愚公搬程序
·
2024-02-10 04:47
python
开发语言
Java编程构建高效二手交易平台
专业做Java、Python、微信小程序、安卓、大数据、
爬虫
、Golang、大屏等实战项目。⛽⛽实战项目:有源码或者技术上的问题欢迎在评论区一起讨论交流!
计算机编程指导师
·
2024-02-10 04:44
大数据实战集
Java实战集
Python实战集
java
开发语言
vue.js
课程设计
mysql
二手物品交易
上一页
11
12
13
14
15
16
17
18
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他