python--爬虫学习

python--调用系统命令

使用os.system()调用系统命令,程序中无法获得到输出和返回值>>>importos>>>os.system('ls-l/proc/cpuinfo')>>>os.system("ls-l/proc/cpuinfo")-r--r--r--1rootroot03月2916:53/proc/cpuinfo0使用os.popen()调用系统命令,程序中可以获得命令输出，但是不能得到执行的返回值>>>
lynn_kong·2020-08-23 17:26

python--应用场景--scapy

一、环境搭建安装：pipinstallscapy官方文档：https://scapy.readthedocs.io/en/latest/index.html二、应用举例ping#!/usr/bin/envpython#*-*coding:utf-8-*-fromscapy.allimport*#TCPSYNPingans,unans=sr(IP(dst="192.168.2.101-103")/T
chidouhu7991·2020-08-23 16:13

python--应用场景--pytest

一、环境搭建安装：pipinstall-Upytest官方参考文档：https://docs.pytest.org/en/latest/contents.html二、应用举例脚本1：test.py#!/usr/bin/envpython#*-*coding:utf-8-*-importpytestdefadd(a,b):returna+bdefminus(a,b):returna-b#测试add方
chidouhu7991·2020-08-23 16:12

python--应用场景--邮件发送

一、简单邮件发送参考文档：https://docs.python.org/3.5/library/smtplib.html#!/usr/bin/envpythonimportsmtplibfromemail.mime.textimportMIMETextclassSmtpClient(object):def__init__(self,server_host,email_me,email_passw
chidouhu7991·2020-08-23 16:12

python--应用场景--Robot Framework

一、环境搭建安装：pipinstallrobotframework官方文档：http://robotframework.org/robotframework/#standard-libraries二、应用举例python脚本：RobotFrameworkDemo.py#!/usr/bin/envpythonclassRobotFrameworkDemo(object):def__init__(se
chidouhu7991·2020-08-23 16:12

python--应用场景--selenium

一、搭建环境1.按装selenium库：pipinstallselenium2.根据当前chrome浏览器的版本下载支持的chromeDriver，下载链接二、应用举例Demo链接#!/usr/bin/envpython#-*-coding:utf-8-*-importtimefromseleniumimportwebdriver#根据指定的chromedriver,获取一个dirver对像dri
chidouhu7991·2020-08-23 16:12

python--基础知识点--赋值、浅拷贝、深拷贝

变量的赋值操作只是形成两个变量，实际还是指向同一个对象。浅拷贝Python拷贝一般都是浅拷贝。拷贝时，对象包含的子对象内容不拷贝。因此，源对象和拷贝对象会引用同一个子对象。深拷贝使用copy模块的deepcopy函数，递归拷贝对象中包含的子对象。源对象和拷贝对象所有的子对象也不同。importcopyclassMobilePhone(object):def__init__(self,cpu,scr
Chasing__Dreams·2020-08-23 09:57

【Python3.6爬虫学习记录】（十）爬取教务处成绩并保存到Excel文件中（哈工大）

前言：基本上每天都会产生一点小想法，在实现的过程中，一步步解决问题，并产生新的想法，就比如，这次是保存为Excel文件。这感觉很美妙！目录：一，安装并简单使用xlwt1.1安装xlwt1.2写入Excel代码1.3拓展二，登陆教务处爬取成绩2.1实现图解2.2代码及注释2.3相关问题三，More3.1关于教务处的遐想一，安装并简单使用xlwt1.1安装xlwt命令行输入pipinstallxlwt
子耶·2020-08-23 06:10

学习python--写的copyfile例子

importosimportshutilimportstringos.chdir('/home/yijunjun/boost_1_36_0/bin.v2')printos.getcwd()os.system("find/home/yijunjun/boost_1_36_0/bin.v2-name*1.36.0*>name.txt")file=open("name.txt")forlineinfil
易军军·2020-08-23 04:35

Python爬虫学习9-非登录爬取网站

以http://blog.jobbole.com/all-posts/页面为例1、提取列表页获取一个列表页首页获得页面文章列表，使用css选择器进行：article_list=response.css('#archive.floated-thumb.post-thumba::attr(href)').extract()Paste_Image.png在文件中引入Request库fromscrapy.
MingSha·2020-08-23 03:04

python--之np.delete

1.numpy.delete(arr,obj,axis=None)arr:输入向量obj:表明哪一个子向量应该被移除。可以为整数或一个int型的向量axis:表明删除哪个轴的子向量，若默认，则返回一个被拉平的向量a=np.array(np.arange(12).reshape(3,4))aOut[301]:array([[0,1,2,3],[4,5,6,7],[8,9,10,11]])np.del
zxyhhjs2017·2020-08-23 00:13

Python--自动添加标签

一、项目介绍利用Python，使用包括正则表达式给txt纯文本文件简单地添加HTML标记，得到html文件，让浏览器去显示它。二、功能及实现1.util：把一个文本分成很多文本块，文本块之间以一行空行分隔。一个文本块在后面会附上一种标签。这个文件里面有两个生成器，一个是负责在文本末尾生成一个空行（否则无法确定最后一个文本块到哪里结束），另一个是负责将文本块里面的所有行、段落合并，生成一个文本块字符
喷子莫bb·2020-08-22 22:54

Scrapy高级爬虫学习教程

Scrapy高级爬虫一、基于CrawlSpider全站数据爬取（阳光问政数据爬取）1、需求：爬取sun网站中的编号，新闻标题，新闻内容，标号。2、全站数据爬取的方式：(1)基于Spider的手动请求(2)基于CrawlSpider的使用3、项目实操二、分布式爬虫概念：我们需要搭建一个分布式机群，让其对一组资源进行联合爬取。作用：提升爬取数据的作用。如何实现分布式呢？安装一个`scrapy-redi
随遇而安886·2020-08-22 19:13

Python爬虫学习------爬取搭建在云服务上的静态网页

现在很多网站都采取了反爬防护，对于初学者来说很难找到合适的网站来练习，所以干脆用云服务器自己写个页面再来爬取相关的信息。这里我使用的是阿里云服务器，CentOS系统，phpstudy集成环境因为自己也是第一次使用云服务器，对Linux操作系统也很不熟悉，所以直接安装了phpstudy，将写好的网页放到phpstudy的www目录下即可运行。在本机输入云服务器的网址，出现以上页面则表明搭建成功PS：
用笔者·2020-08-22 15:46

python--两个队列实现一个栈

classTwoQueueOneStack(object):   def__init__(self):       self.queue1=[]       self.queue2=[]   defpush(self,item):       #正常进队列1       self.queue1.append(item)   defpop(self):       #弹出时，把队列1中元素取出到只剩
白菜先森·2020-08-22 15:19

python--两个栈实现一个队列

classTwoStackOneQueue(object):def__init__(self):self.stack1=[]self.stack2=[]defpush(self,item):self.stack1.append(item)defpop(self):ifself.stack2:returnself.stack2.pop()else:ifself.stack1:whileself.st
白菜先森·2020-08-22 15:19

爬虫学习笔记（十八）模拟登录 2020.5.22

前言本节学习模拟登录cookies和session的区别：cookie数据存放在客户的浏览器上，session数据放在服务器上；cookie不是很安全，别人可以分析存放在本地的COOKIE并进行COOKIE欺骗，考虑到安全应当使用session；session会增加服务器的负载；1、post请求importrequestsdata={'name':'germey','age':'22'}r=req
思源湖的鱼·2020-08-22 14:50

【python爬虫学习】cookie模拟登陆

近期学校要求登陆一个网站学习，要计算在线时长，长时间不对这个页面进行操作的话就会停止计时。就想着能不能写个程序模拟登陆并进行一些操作。模拟登陆的话有很多方法，因为有验证码比较麻烦，所以我是自己先登陆一下，抓取cookie给程序用。首先F12，再登陆一下网站，选择Network，看到下图可以看到在RequestHeaders中有cookie字段，把它复制下来。下面开始写爬虫fromfake_user
zzllg·2020-08-22 14:21

PYTHON--一些函数

1.numpy.c_[]和np.r_[]可视为兄弟函数，两者的功能为np.r_[]添加行，np.c_[]添加列。a1=np.array([[1,2,3],[4,5,6]])b1=np.array([[0,0,0]])print(np.r_[a1,b1])#>>>[[123][456][000]]a1=np.array([[1,2],[3,4],[5,6]])b1=np.array([[0],[0]
Jia_11·2020-08-22 13:27

python--通过可变参数计算n个数的乘积

通过可变参数计算n个数的乘积：代码如下：list=[]defthe_input(count=eval(input("输入乘数的总个数:"))):foriinrange(count):N=eval(input("依次输入乘数:"))list.append(N)print("一共有",count,"个要相乘的数")print("把这些乘放在列表里面:",list)the_input()defget_m
周作业·2020-08-22 13:23

Python爬虫学习笔记之requests库实战（与嵩天老师课程同步）

总结：1.模拟浏览器访问一些被爬取的网站在收到get请求时会检查get头部信息，默认python会设为requests库，当网站检测到这个请求是一个爬虫的时候，就会拒绝此次响应。解决方法：我们可以使用requests.get()的可选参数headers，将我们的请求头部模拟成一个真实的浏览器。（由于很多浏览器请求头都是mozilla/5.0）所以我们就模拟这个。·构造一个字典kv={‘user-a
LitaVadaski·2020-08-22 12:10

Python爬虫学习--WIN10下定时获取CSDN个人的访问量并保存到文件中2018/01/19

实现首先应该先了解怎么获取相关信息：Python爬虫学习–获取CSDN个人的访问量：http://blog.cs
sayWhat_sayHello·2020-08-22 10:55

Python爬虫学习--WIN10下定时获取CSDN个人的访问量并保存到文件中2018/04/30

CSDN的源码又更新了，现在的最新版本的代码如下：importrequests,timefrombs4importBeautifulSoupres=requests.get('http://blog.csdn.net/sayWhat_sayHello?ref=toolbar')res.encoding='utf-8'soup=BeautifulSoup(res.text,"html.parser"
sayWhat_sayHello·2020-08-22 10:24

python爬虫学习笔记 2.9 （使用bs4得案例）

python爬虫学习笔记2.9（使用bs4得案例）python爬虫学习笔记1.1（通用爬虫和聚焦爬虫）python爬虫学习笔记1.2（HTTP和HTTPS）python爬虫学习笔记1.3str和bytes
还算小萌新？·2020-08-22 09:24

爬虫学习笔记8.1——pyspider的坑：pyspider all命令之后的报错

网上很多朋友已经解决了如下几个问题1.python3.7的async为新增关键字问题2.wsgidav的版本过高问题给出链接：1和2的解决办法我自己的问题：cannotimportname'DispatcherMiddleware'from'werkzeug.wsgi'(c:\python\lib\site-packages\werkzeug\wsgi.py)site:blog.csdn.netD
过气老娼·2020-08-22 04:46

爬虫学习笔记6——selenium库的简单使用

selenium库可以模拟浏览器打开网页，做到可见即可爬selenium支持chrome，Firefox，Edge浏览器。步骤0.导入相关库fromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium.webdriver.common.keysimportKeysfromselenium.webdri
过气老娼·2020-08-22 04:45

爬虫学习笔记7——使用matplotlib和pygal进行数据分析及可视化

1.绘制简单的折线图#plot()绘制折线图importmatplotlib.pyplotaspltinput_values=[1,2,3,4,5]squares=[1,4,9,16,25]#plot方法默认X轴是从0开始的，因此有时要给它提供输入值，输出值两个参数plt.plot(input_values,squares,linewidth=5)#linewidth决定了绘制线条的粗细plt.t
过气老娼·2020-08-22 04:45

爬虫学习笔记1——基本思路

爬虫学习笔记1——基本思路获取网页html从html中提取所需信息存储信息主函数中给出要爬取的网页的url,将各部分连接源代码来自崔庆才《python3网络爬虫开发实战》获取网页html使用requests
过气老娼·2020-08-22 04:45

python--真气网监测站点数据的抓取

笔者从事环保行业，因为最近的项目需要从真气网拿监测站点的数据，所以开发了下面的爬虫抓取数据。下图每一个红色的框就是每一个站点的AQI值，单机鼠标，显示如图亦庄开发区的AQI值及污染因子6参数、首要污染物、空气等级、站点类型等信息，我们本次只拿AQI值及污染因子6参数。打开F12看一下，红色的框Data是一串字母，怀疑是被网站加密了，得找加密的算法了。下图就是我在Sources中找到网页动态加载的方
weixin_38753890·2020-08-22 04:50

python--真气网城市空气质量数据抓取

红色框内的数据就是笔者需要的数据，使用selenium+python+chrome浏览器的方式抓取，这种方法比较简单，成功率很高，几乎没有什么阻碍。chrome_options=Options()chrome_options.add_argument('--headless')##设置浏览器不显示prefs={"profile.managed_default_content_settings.im
weixin_38753890·2020-08-22 04:50

【Python爬虫学习笔记8-2】MongoDB数据库操作详解

上一篇学习笔记8-1中介绍了MySQL和MongoDB的安装、启动和配置，本节我们接着学习有关MongoDB的一些概念、基本操作和在python中的使用。MongoDB常用概念为更好地了解MongoDB地概念，下表以SQL术语进行对照说明。MongoDB术语SQL术语说明databasedatabase数据库collectiontable数据集合/表documentrow数据记录文档/行field
weixin_34372728·2020-08-22 04:25

【Python爬虫学习笔记8-1】MySQL数据库和MongoDB数据库存储概述

之前学习的JSON和CSV两种数据存储方式，都是基于文件的存储，有时候运用起来或许不是那么方便，为此本节来介绍基于数据库管理的存储方式。在日常工作中，常用的数据库分为关系型数据库和非关系型数据库。关系型数据库关系型数据库是基于关系模型的数据库，而关系模型是通过二维表来保存的，即其存储方式是由若干行和列组成的表，每一列为一个字段，每一行为一条记录。我们可以把表看成是具有相同数据结构的实体(记录)的集
weixin_34205076·2020-08-22 04:41

python爬虫学习笔记（一）——环境配置（windows系统）

在进行python爬虫学习前，需要进行如下准备工作：python3+pip官方配置1.Anaconda（推荐，包括python和相关库）【推荐地址：清华镜像】https://mirrors.tuna.tsinghua.edu.cn
weixin_34234829·2020-08-22 04:41

Python--进阶处理1

#===============Python进阶=======================#---------第一章：数据结构和算法-----------#----------解压序列赋值给多个变量---------------p=(4,5)x,y=pprint('x:'+str(x)+'y:'+str(y))data=['qf',50,91.1,(2012,12,21)]name,share
weixin_30855099·2020-08-22 03:24

爬虫学习笔记：爬取百度贴吧（美女吧）图片

1、摘要目的：爬虫项目学习，使用requests方法，爬取百度贴吧美女吧每个帖子的图片，并保存到本地中。方法：首先，通过requests请求美女吧网页内容；其次，通过xpath方法清洗数据，获取到每个帖子的url地址；再次，请求每个帖子的地址，并从每个帖子地址中爬取图片链接；最后，请求图片数据，以二进制格式保存数据到本地。2、网页分析如下图所示，为本次爬取的目标网站，百度美女吧，需求：爬取每个帖子
明的大世界·2020-08-22 02:47

web爬虫学习（五）——使用PhantomJS爬取数据

笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。我的公众号为：livandata数据爬取的方式有很多种，scrapy非常方便，但是毕竟存在一些复杂度，因此需要有一个简单的工
livan1234·2020-08-22 02:41

【Python3 爬虫学习笔记】爬虫基础 4 ——爬虫的基本原理

三、爬虫的基本原理1.爬虫概述简单来说，爬虫就是获取网页并提取和保存信息的自动化程序。1.1爬取网页爬虫首先要做的工作就是获取网页，这里就是获取网页的源代码。源代码包含了网页的部分有用信息，所以只要把源代码获取下载，就可以从中提取想要的信息。可以使用urllib、requests来爬取页面。1.2提取信息获取网页源代码后，接下来就是分析网页源代码，从中提取我们想要的数据。首先，最通用的方法便是采用
htsait4113·2020-08-22 01:34

Skr-Eric的MongoDB课堂（六）——MongoDB的游标和与Python交互

将返回结果赋给一个js变量，作为查找结果游标varcursor=db.class0.find()查看是否有下一个结果cursor.hasNext()获取下一个结果cursor.next()python-
Skr-Eric·2020-08-22 00:54

爬虫学习笔记5——mongoDB的简单使用

1.导入pymongoimportpymongo2.连接数据库连接数据库,两种方式,生成两个连接数据库对象：#1.连接数据库,两种方式,生成两个连接数据库对象client_1=pymongo.MongoClient('mongodb://localhost:27017/')client_2=pymongo.MongoClient(host='localhost',port=27017)3.连接具体
过气老娼·2020-08-22 00:23

python--大一期末测试题（含答案）

一、填空题（15分）使用print()函数将多个字符串’How’、’are’、’you’一起输出出来，语句为__Print(“How”,”are”,”you”)_。使用input()函数将“请输入您的姓名：”语句输出并从键盘获取数据，语句为_input(“请输入您的姓名：”)_。__列表_____、___元组____是Python的有序数据类型；__集合_____、__字典_____是无序数据类型
我说、·2020-08-21 23:37

Python--获取电脑配置信息--完整代码及过程

需求公司准备搬迁，需要统计一下公司IT固定资产，打开前任的统计表格，里面没有详细配置。根据自己的现有知识跟想法来进行设计主动上传各个电脑及服务器的配置信息到指定路径。想法：设计软件——域服务器（部署软件ou）——软件自动运行（bat启动ou）——软件运行保存配置信息，并上传到FTP服务器——删除软件——手动从FTP服务器获取带有电脑名的文档（it.txt）里面含有配置信息思路是可以的，想了解一下的
"淡淡的忧伤"·2020-08-21 21:24

Python--获取电脑配置信息--设计代码

获取电脑配置信息环境：win7x64（pycharm+wmi模块+os模块）说明：准备获取域控环境下所有局域网客户端的电脑配置的准备设计，获取信息并保存下来。代码部分：importwmiimportosw=wmi.WMI()globallistlist=[]definfo():list.append("电脑信息")forBIOSsinw.Win32_ComputerSystem():list.ap
"淡淡的忧伤"·2020-08-21 21:24

xpath使用text()失效

我的爬虫学习xpath使用text()失效xpath使用text()失效今天分析网页的时候，想用xpath获取一下一页里每一个二级url的标题，发现xpath写的没错，不写xpath之前也能得到标题，当然是用谷歌里的
Jayj1997·2020-08-21 18:42

Python爬虫学习3-正则表达式

正则表达式想学爬虫不想学正则可以不可以：不可以。比如：1天前中提取出1，必须使用正则实现特殊字符:^：代表以该字符为开头。如^b就是b为开头。.:代表任意一个字符。如^b.就是b开头后面一个字母任意*:代表前一个字符可以出现任意次（0个也可以）。如^b.*就是b开头后面可有任意数个任意字母$:代表前一个字符为结尾符合。如:.*3$就是以3为结尾的任意字符串?：非贪婪匹配。一般情况从右往左匹配正则，
MingSha·2020-08-21 18:14

python--大一下期中考试试题及答案

一.选择题(36分,每小题2分)1.python不支持的数据类型有：(A)A.charB.intC.floatD.list2.x=‘foo’y=2print(x+y)(E)A.fooB.foofooC.foo2D.2E.Anexceptionisthrown3.关于字符串下列说法错误的是(B)A.字符应该视为长度为1的字符串B.字符串以\0标志字符串的结束C.既可以用单引号，也可以用双引号创建字符
我说、·2020-08-21 18:50

python--集成算法例子

以下内容笔记出自‘跟着迪哥学python数据分析与机器学习实战’，外加个人整理添加，仅供个人复习使用。对于数据X,分别选择两种预处理方案，在不同预处理方案中再建立不同模型，最终汇总所有模型结果。importnumpyasnpimportpandasaspdimportmatplotlib.pyplotasplt%matplotlibinlineimportos#os.chdir('')导入数据#设
小白自留地·2020-08-21 17:55

爬虫学习笔记3-Json-path、Xpath数据提取

1、数据提取-响应内容的分类（1）结构化响应json字符串：使用re、json、jsonpath等模块来提取特定数据（高频出现）xml字符串：使用re、lxml等模块来提取特定数据（低频出现）（2）非机构化响应html字符串：可以使用re、lxml等模块来提取特定数据1、xml和html的区别：html：超文本标记语言为了更好的显示数据，侧重点是为了显示xml：可扩展标记语言为了传输和存储数据，侧
陈弟弟·2020-08-21 12:51

山东创睦网络科技有限公司：从零开始的爬虫学习（一）

本文介绍了爬虫的环境搭建，一个简单的图片爬取例子，最后介绍两个常见的小错误，AttributeError:'NoneType’objecthasnoattribute'find“requests.exceptions.InvalidSchema:Noconnectionadapterswerefoundfor…”什么是爬虫？这是一篇解释的比较容易理解的博文。从零学习爬虫，逃不开安装环境。山东创睦网
wx5f30bcdc7cc7a·2020-08-21 10:35

Python--‘No module named natsort’问题解决

一、问题1、.py文件中有一行代码“importnatsort”，在python3工程.py时报错如下二、分析1、之前没有安装natsort包，解决思路安装natsort包。2、可以使用pip工具安装或者是下载对应的安装包然后命令用python安装。三、解决步骤方法一1、查看是否安装了对应python版本的pip工具，如果没有或者是pip工具和python版本不对应请看链接傻瓜式安装pip（1）查
worthsen·2020-08-21 10:20

python--实现微信自动回复机器人和定时发送每日一句与天气预报

目录关于wxpy安装wxpy利用机器人实现微信自动回复获取金山词霸每日一句获取天气预报数据定时发送每日一句与天气预报结束关于wxpywxpy其实是通过微信网页版的api实现对微信的一些相应操作，所支持的功能也局限于微信网页版，有些微信账号可能登录不了网页版，那么也就无法使用了。关于wxpy，官方文档是这样介绍的：wxpy:用Python玩微信微信机器人/可能是最优雅的微信个人号APIwxpy在it
@花蛤与蟹·2020-08-21 09:45
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他