文盲的Python入门日记：第二十八天，封装一个自定义爬虫类，用来执行日常的采集（二）

1、实例化采集类后，自带一些header信息，类似user-agent、accept之类的，能不手动添加就不手动添加（已实现）

2、在执行了采集后，获取采集到的响应头，解析其中的数据，该记录的记录该执行的执行，在下次调用采集方法时继承获取到的信息（已实现）

3、可以采集纯文本内容，也可以采集二进制流，方便采集页面和下载相关文档（已实现）

4、支持不同的字符编码，响应编码，比如gbk、utf8等，比如gzip、deflate等（已实现）

5、支持不同的请求方法，比如get、put、post、delete、head等（已实现）

6、不管是否采集异常，都能返回状态码（已实现）

7、可以伪造、添加各种头信息，伪造、添加cookie之类的信息，类似 Oauth:xxxx，Signture:xxx等

8、支持301、302之类的自动跳转采集，支持meta自动跳转采集

9、自动完成网址补全，不需要我们在根据采集目标，提取到链接后自己再计算

10、如果可以，尽量支持异步采集

11、如果可以，尽量支持事件委托

12、如果可以，尽量支持proxy

13、如果可以，尽量支持断点续传下载和上传

前一片文章我们建立了一个自定义的爬虫类，已经实现了部分需求了，本文将继续实现剩余的需求。在继续修改我们的类之前，先谈谈spyder。

-----------------------------

为什么要先聊聊spyder呢，主要是因为，老顾找不到一个完整的python包的使用手册，资料都是太零碎的东西，整理起来很麻烦，没有像php手册，或者msdn命名空间介绍一样的东西。就像之前几篇文章一样，每次想做的什么，都要先百度半天，结果本系列文章极度难产。那么spyder有什么好聊的呢？我们来看看。。。

打开spyder，如界面所示，他分成了几个不同的区域，通常，我们都在左边输入py代码，右下可以看输出结果，右上。。。没好好利用起来啊

比如左侧，我们输入一段代码

[n for n in range(1,100)]

选中并执行这段代码（F9），右下控制台就可以出现反馈信息

这是一个很方便的调试方法了，当代码中存在交互指令，例如input的时候，右下控制台可以进行交互操作，录入一些信息，这个就不多说了，大家都会用

然后，来想办法利用上右上区域，来辅助我们的学习和工作

在代码区域输入代码

import requests
req = requests()

然后将鼠标指向 requests()这个方法，界面发生变动了

当我们在浮动的这个提示上点一下后，右上区域就发生了内容改变，Help页里出现了好多信息

嗯。。。这就很方便了，可以查看方法的具体使用方式了，可惜的是，他并没有像vs里一样，将类的方法全部列出，只能靠类.，然后等待spyder响应后，出现可以使用的属性或方法，然后去选择我们可能需要的内容

现在，我们把指令修改下

import requests
req = requests.Request(url='https://www.baidu.com',method='GET')

运行这些代码，将右上的区域切换到变量资源管理器里（Variable Explorer）

我们在左侧运行的代码所产生的变量，都会在这里列出，只要没有清除，关闭，一直就保留在这里了，比如刚才的req，我们就可以看到的他描述，用鼠标双击这个变量看看

这个就是一个比较完整的实例属性和方法了，他里面将这个实例所有可用的方法和属性列出，并可展开查看，这样，就能避免之前我们找不到方法的问题了，直接给一个变量赋值成该类，然后到这边查看，是不是可以代替了vs里的对象浏览器了。

嗯，就简单的说两句spyder，毕竟老顾学python完全是自己摸索，而且岁数大了，看其他视频感觉很不适应，所以就慢慢来吧。至于其他的python 相关的IDE有没有提供这样的查阅方式，老顾也不了解，刚转行的同学们可以自行摸索。然后，我们回归主题，继续搞我们的爬虫类。

------------------------------------------------

7、可以伪造、添加各种头信息，伪造、添加cookie之类的信息，类似 Oauth:xxxx，Signture:xxx等

一般来说，同一个站点很少有需要频繁改动头信息，cookie信息的地方，反爬的网站咱们另说，等进入采集实战的时候再进行应对，咱先说普通的网站。所以，实例化一次，并设置好这些信息，基本上这个实例就可以进行整站采集了，线程问题以后再说。

那么，我们这次把目光瞄准到天眼查这个站，试着根据他的响应，来调整我们的代码，使之能伪造cookie，接收header

先来次没调整前的采集

from spider import Ajax

ajax = Ajax()
html = ajax.Http('https://www.tianyancha.com',Ajax.Method.GET)
print(ajax.status,html)

很好，可以正常采集天眼查首页，但我们知道，天眼查会返回一些cookie信息，我们现在并没有接收，所以，进行下查找，看看cookie到底存放在哪里

因为对各种包都不熟悉，所以先在爬虫类里面添加两个属性

	@property
	def ResposeHeader(self):
		return self.__headers
	
	@property
	def Session(self):
		return self.__session

一个是用来返回响应头信息的，一个是用来返回会话信息的，让我们看看

好家伙。。。响应头居然有这么多数据么？548个？哦，展开一看，没那么多，548字节啊，吓我一大跳。

把响应头信息粘贴出来，整理一下看看

{
'Date': 'Wed, 30 Jun 2021 02:25:43 GMT', 
'Content-Type': 'text/html; charset=utf-8', 
'Transfer-Encoding': 'chunked', 
'Connection': 'keep-alive', 
'Set-Cookie': 'aliyungf_tc=8e44b1cb0fc5f37d29864918aa197ec6ed802b989655bf8732efdcd291861558; Path=/; HttpOnly, acw_tc=76b20f8c16250199433016427e4b75bd21ba7840934a083d22e010ebf1aedd;path=/;HttpOnly;Max-Age=1800, csrfToken=s4i4TN-WIKaLgWAXW3qHwbK5; path=/; secure, TYCID=784de430d94a11eb8216f7b2b73bb5b3; path=/; expires=Fri, 30 Jun 2023 02:25:43 GMT; domain=.tianyancha.com', 
'Content-Encoding': 'gzip'
}

哦吼，发现第一个关键信息，Set-Cookie，这个就是服务器发给浏览器的cookie信息了，Set-Cookie是其中的一种方式，记下，一会处理

然后，再看看会话里都有什么

很显然，会话里也保持了cookies的信息，里面有4个cookie了

print(ajax.Session.cookies)

, , , ]>

得到了一个不知道什么对象的列表，先不管，总之，这里也有cookies，所以，现在我们需要自己定义一个cookies变量，存储这些信息，并在下次采集时继承进来，嗯，也得支持从外边添加cookie。另外，老顾注意到了这个cookie里的domain问题，伪造cookie，domain信息也很重要哦，参考老顾的另一个文章https://blog.csdn.net/superwfei/article/details/9198283?spm=1001.2014.3001.5502，部分网站对cookie验证时，会更严格一些，对不再特定domian的cookie是不予承认的，期待python的cookie处理。。。。

在__init__里，追加一个属性

self.cookies = requests.utils.cookiejar_from_dict({})

然后，我们就可以通过实例添加cookie了

import re
from spider import Ajax

ajax = Ajax()
# 为了获取初始cookie，先访问下天眼查首页
ajax.Http('https://www.tianyancha.com')
ajax.cookies.set('tyc-user-info', '{***********}', domain='.tianyancha.com')
ajax.cookies.set('auth_token', '****************', domain='.tianyancha.com')
html = ajax.Http('https://www.tianyancha.com/company/2968548568',Ajax.Method.GET)
# 显示现在已有cookies
print(ajax.cookies)
print(re.findall(r'
[\s\S]*?(?=
)',html,re.I))

很好，cookie伪造成功了，对于域名带前缀点的问题直接就不是问题，证据就是，他没提示登录，其次，电话号码没有星号隐藏。

在这段代码中，我们使用了两次Http方法，第一次是获取初始cookie，如果没有初始cookie，那么我们就需要通过cookies.set方法，自己添加初始cookie，老顾懒得添加，让他自动获取好了，然后第二次采集前，我们追加了两个cookie，并继承了第一次采集的cookie，所以，正确得到了我们的期望结果，而cookie在同一实例内，只需要添加一次，我们这个ajax实例再次使用Http访问天眼查其他企业信息时，就不需要再关注cookie信息了。

剩下的就是伪造请求头了，之前，我们的Header定义，是一个固定的词典，现在要对他进行改装一下，变成动态的词典，同样，在__init__里追加两个赋值

		self.__requestHeaders = {}
		self.__refreshRequestHeaders()

调整Header属性的实现

	@property
	def Header(self):
		return self.__requestHeaders

然后，增加一个私有方法，用来初始化请求头信息

	def __refreshRequestHeaders(self):
		self.__requestHeaders.update({'refer':self.refer
			,'user-agent':self.agent
			,'accept':self.accept
			,'accept-encoding':self.encoding
			,'accept-language':self.lang
			,'cache-control':self.cache})

最后，我们给Ajax类增加一个公开的方法，AddHeader，用来将信息添加到请求头中

	def AddHeader(self,key:str = None,val:str = None,dic:dict = None):
		if dic != None and isinstance(dic,dict):
			self.__requestHeaders.update(dic)
		if key != None and val != None:
			self.__requestHeaders.update({key:val})

from spider import Ajax

ajax = Ajax()
ajax.AddHeader(dic={'oauth':'userinfo'})
ajax.AddHeader('pwd','***')
print(ajax.Header)

运行一下，看看结果

很好，请求头信息已更新了，虽然有时候需要删除一些请求头，我这里就不去实现了，大家有需求的话，自行实现就可以了，那么第七个需求也告一段落了，下边开始处理跳转问题。

8、支持301、302之类的自动跳转采集，支持meta自动跳转采集

让我们找一个带跳转的网址，比如：http://m6z.cn/6uVNKg，一个用短链接生成器生成的地址

来，我们尝试下，这个请求会发生什么

from spider import Ajax
ajax = Ajax()
html = ajax.Http('http://m6z.cn/6uVNKg')
print(ajax.status,ajax.ResposeHeader)
print(html)

他自动跳过去了！返回的状态码也是200！中间301、302的过程省略掉了！https://blog.csdn.net/qq_36145663/article/details/101703090，原来，你不想自动301、302，还得设置这个参数allow_redirects=False，算了，让他自动跳吧，不过，我们还是加一个开关，可以用来关闭这个自动跳转，在__init__里追加一个属性

self.redirect = True

在发送请求位置修改 send 参数

res = self.__session.send(request=pre,allow_redirects=self.redirect)

然后就可以成功的禁止自动301，302了

然后，自动跳转，还需要支持meta的跳转，这个稍后再说吧，因为不管是meta跳转，还是js跳转，都涉及到一个网址补全的问题，咱们先解决了这个，再回来支持meta跳转和js跳转

9、自动完成网址补全，不需要我们在根据采集目标，提取到链接后自己再计算

在日常采集过程中，我们经常会碰到页面内链接地址缺少域名，有的则是有域名但没有协议。。。还有其他各种不应该出现的协议。。。。HMMMMMMM，反正经历的多了，自然就知道

这次，我们用政采网ccgp.gov.cn的首页来实验一下

from spider import Ajax
ajax = Ajax()
#html = ajax.Http('http://news.baidu.com/ns?word=school&ie=gb2312&cl=2&rn=20&ct=0&tn=newsrss&class=0')
html = ajax.Http('http://www.ccgp.gov.cn/')
print(html)

可以看到，页面内N多的链接都是没有网址的，所以，我们需要在采集的时候就处理掉，得到的完整的链接地址，方便我们后续处理。这个时候，该正则大显身手了。对了，在做这个补全之前，我们看看scrapy有没有补全，好像用scrapy的人很多。

行吧，咱也来次最简单的 scrapy 采集，不管那么多，只采集各首页看看

先在命令行运行几个指令

d:\>pip install scrapy

d:\>scrapy startproject ccgp

d:\>cd ccgp

d:\ccgp>scrapy genspider ccgp_gather www.ccgp.gov.cn

的确是很简单就建立了一个针对 ccgp 的采集

然后修改其中一些文件

找到 settings.py，修改 robotstxt_obey，不验证robots.txt

找到 middlewares.py，修改 process_request 方法，在这里追加上 user-agent 信息

找到 ccgp_gather.py，修改 parse 方法，保存我们采集到的首页内容

然后回到命令行，运行采集

d:\ccgp>scrapy crawl ccgp_gather

很好，这个页面被采集下来了，我们来瞅瞅看

得嘞，他也没有进行url补全，顺带一说，感觉用 scrapy 做采集相对来说更麻烦了一点，我以前已经建立了n多的xml，针对自己的采集规则有完整的内容了，什么翻页采集，什么时间范围内采集，什么标题过滤，我们做采集，很少有整站采集，也很少有无脑采集，所以这个scrapy如果要实现以上这些需求，感觉还是挺麻烦的，每个站点都这么搞一次。。。我不如把所有站点信息放到一个xml里，用统一的规则，使用自己的爬虫解析器来一次采集多个站点。总而言之，scrapy和老顾是有缘无分了。但是，如果使用scrapy也并不影响阅读本文哦，大家可不要放弃继续阅读哦。

回到我们自己的url补全上来，再在 Ajax 类里追加一个私有方法 __url_complemented，在 http方法，return html 前，用这个方法修正一下再返回

嗯。。。。。分析下，哪些地方是url？同学们自己列举下哦

。

。

。

。

。

。

有 href ，很常见的，a标签，link 标签

有 src ，也很常见的，script标签，img标签，embed等

还有一些容易被忽略的，url，存在于style中，样式文件中，meta中。。。。

以及更不容易发现的，location，open，存在于 js 之中。。。。action，存在于 form 标签

好了好了，越说越复杂了。。。我这里仅仅先实现前两个啊，再加一个meta，其他的我不考虑哦

做url补全其实也很简单，用正则把 url 提取出来，验证 url 是否是合法的 url，当然特例要排除，什么 about:blank 啦，什么 file:/// 这种本地文件啦，什么 base64 数据（图片src可能会有这个情况）啦。。。总之，只对需要进行补全的 url 进行计算，人本身已经是带协议的就不再操作了

哪些需要补全呢？

1、没有带协议的，比如 //blog.csdn.net，鬼知道他是 http还是https。。。其实这个是由当前页面协议决定的，你在 http域名页面点这个链接，这个结果就是 http://blog.csdn.net，你在https域名页面点开这个链接，结果就是 https://blog.csdn.net

2、链接地址路径不全的，比如 /superwfei，需要补全上域名，得到 blog.csdn.net/superwfei。这种情况相对来说比较复杂，有可能会碰到需要路径计算的时候，比如 ../../../image/xxx.shtml，也有可能碰到不太规范的路径 ..../image/xxx.shtml

老顾碰到的基本就这两种情况，如果有其它情况的，可以告知老顾，再继续研究研究

下面是实现代码 

	def __url_complemented(self,html):
		html = re.sub('''(url|src|href)\\s*=\\s*(['"]?)([^'"]*)(\\2|[\\s\\r\\n\\t])''',self.__url_replace,html,count=0,flags=re.I)
		return html

	def __url_replace(self,m):
		url = m.group(3).strip()
		# about:setting、about:blank 类型的，javascript:void(0) 类型的，#类型的，原样返回
		if re.search('^(#.*|javascript:.*|[a-z_-]+:[a-z_-]+)$',url,re.I):
			return m.string[m.span()[0]:m.span()[1]]
		# 带有协议的，原样返回，例如 https://、ftp://、file://、tencent://等
		if re.search('^[a-z]+://',url,re.I):
			return m.string[m.span()[0]:m.span()[1]]
		# base64 格式，原样返回
		if re.search('^base64',url,re.I):
			return m.string[m.span()[0]:m.span()[1]]
		root = re.sub(r'^([a-z]+:/{2,}[^/]+).*','\\1/',self.current_url.strip(),re.I)
		if re.search('^/(?!/)',url,re.I):
			url = re.sub('^/',root,url,re.I)
		elif re.search('^//',url):
			url = re.sub('^([a-z]+:)//.*$','\\1',root,re.I) + url
		else:
			path = re.sub('/[^/]*$','',self.current_url) + '/'
			p = re.search(r'^[\./]+',url,re.I)
			if p:
				# 具有 ./ 计算路径
				# 获取开头的全部计算路径
				p = p.string[p.span()[0]:p.span()[1]]
				# 去掉路径中 ./ 后，剩余的点的数量，就是路径向上路径的层级
				p = re.sub(r'\./','',p)
				# 获得剩余点的数量，得到层级
				p = len(p)
				pth = path
				for i in range(p):
					pth = re.sub('[^/]+/','',pth,re.I)
				if len(pth)

Python基础---Dict（字典） grace666 Python

1.字典以键值对组成，包含在{}中，字典的键必须为hashable，即不可变（字符串、元组、数字），并且唯一；值可以是任何类型#dict1={[1]:1}#报错：TypeError:unhashabletype:'list'#dict1={{1}:1}#报错：TypeError:unhashabletype:'set'dict1={(1,):1}print(dict1)#{(1,):1}dict1

Markdown 到 PowerPoint 转换工具——md2pptx 伍盛普Silas

Markdown到PowerPoint转换工具——md2pptxmd2pptxMarkdownToPowerPointconverter项目地址:https://gitcode.com/gh_mirrors/md/md2pptxmd2pptx是一个开源项目，它可以将Markdown格式的文本转换为PowerPoint演示文稿。该项目主要使用Python编程语言实现。项目基础介绍md2pptx是一个

Python网络爬虫-WebSocket数据抓取 程序小勇 faiss爬虫python网络协议websocket开发语言

目录前言1、WebSocket请求的分析通常涉及以下几个方面：2、利用WebSocket爬取数据总结最后，创作不易！非常感谢大家的关注、点赞、评论啦！谢谢三连哦！好人好运连连，学习进步！工作顺利哦！博主介绍：✌专注于前后端、机器学习、人工智能应用领域开发的优质创作者、秉着互联网精神开源贡献精神，答疑解惑、坚持优质作品共享。本人是掘金/腾讯云/阿里云等平台优质作者、擅长前后端项目开发和毕业项目实战，

python 山脊图_（数据科学学习手札98）纯Python绘制满满艺术感的山脊地图 weixin_39780255 python山脊图

1简介下面的这幅图可能很多读者朋友们都看到过，这是英国摇滚乐队JoyDivision在1979年发行的其第一张录音室专辑UnknownPleasures的封面，由艺术家PeterSaville基于射电脉冲星信号的数据图创作而成，成为了一种流行文化的符号标志。图1类似图1的风格，在地图制作中也存在着一种山脊地图，基于记录地表海拔信息的高程数据，我们可以利用水平方向上的基于实际位置海拔高度的曲线，来对

【Python 学习 / 5】函数详解（定义、参数、作用域、lambda、内置函数） 卜及中 Python基础python学习开发语言

文章目录一、函数1.定义函数1.1基本函数定义1.2带参数的函数1.3带返回值的函数2.参数传递2.1位置参数2.2默认参数2.3可变参数2.3.1使用`*args`2.3.2使用`**kwargs`2.4参数的混合使用3.作用域3.1局部和全局变量3.2`global`关键字输出：3.3`nonlocal`关键字输出：4.lambda表达式4.1基本用法4.2与`map()`、`filter()

leetcode简单(181-200)python 九日火 leetcodepython

762.PrimeNumberofSetBitsinBinaryRepresentation(e-181)GiventwointegersLandR,findthecountofnumbersintherange[L,R](inclusive)havingaprimenumberofsetbitsintheirbinaryrepresentation.(Recallthatthenumberofs

Qt Creator用法详解 不如温暖过生活 C++界面开发框架Qt最新资讯Qtqtcreator

Qt自带集成开发环境（IDE），名为QtCreator。它可以在Linux、OSX和Windows上运行，并提供智能代码完成、语法高亮、集成帮助系统、调试器和剖析器集成，还集成了所有主要的版本控制系统（如git、Bazaar）。除了QtCreator外，Windows上的开发人员还可以使用Qt的VisualStudio插件。也可以使用其他的IDE（如KDE上的KDevelop）。但当然绝不是必须使

PaddleOCR面板恢复python脚本--针对pdf的面板恢复 zsh669 paddlepaddleocr百度pythonpdf

问题在做一个项目的时候，使用PaddleOCR提供的模型，实现对图片或者pdf进行面板恢复，并保存为.docx文档。但是，官方的文档只提供了针对图片进行面板恢复的python脚本，没有提供pdf进行面板恢复的python脚本，官方只提供了pdf面板恢复的命令行使用方法，因此，我去看了PaddleOCR的源码，将命令行方法转换为python脚本准备工作环境配置和文档请参考：\ppstructure/

Python库 - transformers 司南锤 PYTHON库python机器学习python开发语言

transformers库是由HuggingFace开发的一个非常流行的Python库，用于自然语言处理（NLP）任务。它提供了大量的预训练模型，这些模型可以用于各种NLP任务，如文本分类、问答、翻译、摘要生成等。以下是关于transformers库的详细介绍：1.主要特点预训练模型：transformers库包含了多种预训练的语言模型，如BERT、GPT、T5、XLNet等。这些模型在大规模文本

【NLP-04】tranformers库保姆级使用教程---以BERT模型为例 云天徽上 NLPbert人工智能深度学习自然语言处理机器学习numpy信息可视化

安装要安装一个非常轻量级的Transformers库，您可以执行以下步骤：1、打开终端或命令提示符。2、运行以下命令来安装Transformers库：pipinstalltransformers这将使用pip工具从PythonPackageIndex（PyPI）下载并安装Transformers库。请确保您的计算机上已经安装了pip。然后，您可以在Python代码中导入Transformers库：

利用 OpenCV 进行棋盘检测与透视变换 萧鼎 python基础到进阶教程opencv人工智能计算机视觉

利用OpenCV进行棋盘检测与透视变换1.引言在计算机视觉领域，棋盘检测与透视变换是一个常见的任务，广泛应用于摄像机标定、文档扫描、增强现实（AR）等场景。本篇文章将详细介绍如何使用OpenCV进行棋盘检测，并通过透视变换将棋盘区域转换为一个标准的矩形图像。我们将基于一段Python代码进行分析，代码的主要任务包括：读取图像并进行预处理（灰度转换、自适应直方图均衡化、去噪）检测边缘并提取棋盘区域计

conda更换环境版本（比如torch版本） 挨打且不服66 pythonpython

找到想要的torch版本pytorch官网torch过往的版本创建新环境condacreate--namemyenvpython=3.8condaactivatemyenvconda虚拟环境中安装CUDA和CUDNN深度学习用显卡训练的时候，需要安装与显卡对应的cuda和cudnn。但不同的项目所支持的pytorch版本是不一样的，而pytorch版本和cuda版本之间又是互相依赖的，所以如果可以

流行编程语言全解析：优势、应用与短板 a小胡哦 pythonjavac++c语言javascriptswiftr语言

Python：优势Python以其简洁、易读的语法闻名，新手能快速上手。丰富的库和框架，能极大地提高开发效率。适用领域数据科学与分析：处理和分析大规模数据集，进行数据可视化。典型示例：Google用Python进行数据分析，处理海量数据以支持各种业务决策。机器学习与人工智能：构建和训练模型。典型示例：OpenAI在很多人工智能项目中广泛使用Python，如GPT系列模型的研发。网络爬虫：轻松从网页

用conda虚拟环境解决py+torch环境问题 SevenZS Noteanacondapython

要事先安装wheelpipinstallwheelcondainstallnb_conda安装nb_conda这样可以在shell切换虚拟环境启动jupyternotebook后切换到虚拟环境创建虚拟环境condacreate-npython36python=3.6condaactivatepython36加载后再pip安装torch1.4+cu101所有版本torch放在某个文件夹，比如桌面后p

【报错】ImportError: cannot import name ‘get_refined_artifact_map‘ from ‘basicsr.losses.loss_util‘ 之群害马 python深度学习pytorch

ImportError:cannotimportname'get_refined_artifact_map'from'basicsr.losses.loss_util'(xxx/lib/python3.10/site-packages/basicsr/losses/loss_util.py)解决办法：找到basicsr库网站缺失的部分如下，补充到原来的xxx/lib/python3.10/site

Python 用pytorch从头写Transformer源码，一行一解释；机器翻译实例代码；Transformer源码解读与实战 医学小达人 NLPLLMsGPT深度学习人工智能transformerpython机器学习

1.Transformer简介Transformer模型被提出的主要动机是解决序列处理任务的长距离依赖问题。传统的RNN和LSTM虽然能够处理序列任务，但因为它们在处理序列时需要一步步前进，因此其他信息无法立即对其产生影响，当序列变长时，长距离依赖的信息很可能会被丢失。为了解决这个问题，Transformer模型被设计出来，内核思想是利用自注意力机制，这样模型可以直接对输入序列的任意两个位置建立直

从入门到精通：Postman 实用指南 a小胡哦 postmanlua测试工具

Postman是一款超棒的API开发工具，能用来测试、调试和管理API，大大提升开发效率。下面就给大家详细讲讲它的安装、使用方法，再分享些实用技巧。一、安装Postman你能在Postman官网（https://www.postman.com）下载对应版本，它支持Windows、macOS和Linux系统。Windows系统安装：下载好安装包后，直接双击运行。安装向导出现，点击“Next”，阅读并

python正则表达式快速入门_Python 正则表达式入门 weixin_39955938 python正则表达式快速入门

本文主要为没有使用正则表达式经验的新手入门所写。转载请写明出处引子首先说正则表达式是什么？正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法(英语：RegularExpression，在代码中常简写为regex、regexp或RE)，计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那

python正则表达式必知必会的基础 豆子前端 python基础python正则表达式

文章目录正则表达式re.match()和re.search()SRE_Matchobjectre.match()re.search()（重点）re.flags小结re.sub()re.split()re.findall()re.fullmatch()re.compile()小结方法分类注意细节正则表达式网站参考资料正则表达式本文主要讲的是正则表达式在python中的简单使用，只介绍关键的几个方法函

在conda虚拟环境中安装jupyter lab-----deepseek问答记录 溯源006 deepseek回答记录condajupyteride

在Conda虚拟环境中安装JupyterLab的步骤如下：1.创建并激活Conda虚拟环境如果你还没有创建虚拟环境，可以使用以下命令创建一个新的虚拟环境并激活它：condacreate-nmyenvpython=3.x#将`myenv`替换为你的环境名称，`3.x`替换为所需的Python版本condaactivatemyenv2.安装JupyterLab在激活的虚拟环境中，使用以下命令安装Jup

单片机、嵌入式Linux开发大学自学路径 Oriental Son 嵌入式MCU单片机单片机学习stm32mculinux

笔者所修读的专业为物联网工程，物联网工程是一门新兴的、热门的专业，其所涉及的学科更是又多又杂，既有计算机方向的编程语言（如C、C++、Java、Python等）、数据结构与算法、操作系统、移动端应用开发、机器学习等；软硬结合的方向有数字电路单片机开发、嵌入式Linux开发等；硬件、电路方向有电路分析、数字电路、模拟电路、传感器原理、RFID、FPGA开发等；涉及信号处理的有信号与系统、通信原理等。

Log4j在Spring项目中的应用与实践 t0_54program log4jspringjava个人开发

在现代Java开发中，日志记录是不可或缺的一部分。它不仅帮助开发者调试和监控应用程序的运行状态，还能在出现问题时快速定位原因。今天，我们就来探讨如何在Spring项目中使用Log4j进行日志管理，并通过具体的实例来展示其强大的功能。一、Log4j简介Log4j是Apache提供的一个开源日志框架，广泛应用于Java项目中。它提供了灵活的日志记录方式，支持多种日志级别和输出格式。通过配置文件，开发者

深入解析 Poetry：Python 项目依赖管理的新宠，安装、使用及最佳实践 潘智祥 pythonjava人工智能

在Python的世界里，管理项目依赖和虚拟环境一直是一个令人头疼的问题。虽然有pip和virtualenv这样的工具，但随着项目的复杂性增加，它们的局限性也逐渐显露出来。这时候，Poetry作为一个现代化的依赖管理工具应运而生。它不仅解决了项目依赖管理的问题，同时也集成了虚拟环境管理、发布等功能，成为了Python开发者的新宠。Poetry是什么？Poetry是一个用于管理Python项目依赖和构

【JAVA工程师从0开始学AI】，第二步：从强类型到动态语言：Java工程师的Python语法避坑指南 架构默片 JAVA工程师从0开始学AIpythonjavawindows

这是一篇介绍Python语法与JAVA语法区别文章，让我们以对比的方式，来学习一下Python的语法。首先我们看一下下面的Python代码，和具体在java当中分别代表了什么意思numbers=[1,2,3,4,5,6,7,8,9]#①创建数字列表（像Java的ArrayList，但不用写泛型）odd_numbers=[]#②准备装奇数的空列表（类似Java的newArrayListnumbers

052_爬虫_爬虫相关概念（引用《尚硅谷Python爬虫教程（小）小 白零基础速通》052章） 一个有趣的昵称 python爬虫开发语言

爬虫解释：通过程序，根据url（http://taobao.com）进行网页的爬取获取有用的信息实用程序模拟浏览器，去向服务发送请求，获取响应信息爬虫的核心爬取网页：爬取整个网页包含了网页中所的内容解析数据：将网页中得到的数据进行解析难点：爬虫和但爬虫之间的博弈爬虫的类型实例通用爬虫百度，360，Google，搜狗等搜索引擎功能访问网页-》抓取数据-》数据储存-》数据处理-》提供检索服务robot

为一位经验丰富的程序员量身定制Python学习路线 人工智能首选语言：python Python新技术 小黄人软件 chatGPTpython学习人工智能

人工智能首选语言：python必学。解释型语言(无编译这个环节)，直接执行代码，面向对象，脚本语言没基础在这里学为一位经验丰富的程序员量身定制Python学习路线，主要应关注于深化已有的编程知识和技能，并探索Python特有的高级特性。以下是推荐的学习路线：基础复习：如果对Python基础不熟悉，先从Python的基础语法、数据类型、控制流程等开始复习。高级语言特性：深入理解装饰器、上下文管理器、

强化学习：原理、概念与代码实践 AndrewHZ 深度学习新浪潮人工智能深度学习强化学习机器学习算法deepseek

一、引言强化学习（ReinforcementLearning）作为机器学习的一个重要分支，旨在通过智能体（agent）与环境的交互，学习到最优的行为策略，以最大化长期累积奖励。它在机器人控制、游戏、自动驾驶、资源管理等众多领域都取得了显著的成功。本文将深入介绍强化学习的数学原理、核心概念，并通过公式推导来加深理解，同时结合一个具体的实例，使用Python语言进行代码实现，帮助读者全面掌握强化学习的

【Python基础】Python闭包：如何让你的代码拥有‘读心术’？ 陈序不懂程序 python服务器apache网络开发语言数据库学习

第1章闭包概念与背景1.1闭包定义与理论基础闭包，这一术语源自数学逻辑，如今在计算机科学中占据着核心地位，尤其在面向对象和函数式编程领域中发挥着无可替代的作用。它是一种特殊的函数对象，不仅包含自身的代码逻辑，还携带着其定义时所处环境的部分状态，即对外部自由变量的引用。这种独特的“携带状态”特性赋予了闭包强大的功能和灵活性，使其成为实现抽象、封装、数据隐藏以及控制程序执行的关键工具。1.1.1闭包的

python学习 列表 字典 集合 面对对象编程 闭包 装饰器 函数式编程 作用域 异常处理 Scikit-learn 机器学习python算法python学习开发语言

SIGIA_4Ppython学习列表字典集合面对对象编程闭包装饰器函数式编程作用域异常处理本文连接简介SIGIA_4P网址a.课程OKRObjectivesandKeyResults即目标与关键成果法目标，Objectives：掌握AI领域的Python开发成果1KR1linux目录结构[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-r864ykpN-16917885

矩阵求逆（JAVA）利用伴随矩阵 qiuwanchi 利用伴随矩阵求逆矩阵

package gaodai.matrix; import gaodai.determinant.DeterminantCalculation; import java.util.ArrayList; import java.util.List; import java.util.Scanner; /** * 矩阵求逆(利用伴随矩阵) * @author 邱万迟

单例（Singleton）模式 aoyouzi 单例模式Singleton

3.1           概述 如果要保证系统里一个类最多只能存在一个实例时，我们就需要单例模式。这种情况在我们应用中经常碰到，例如缓存池，数据库连接池，线程池，一些应用服务实例等。在多线程环境中，为了保证实例的唯一性其实并不简单，这章将和读者一起探讨如何实现单例模式。 3.2

[开源与自主研发]就算可以轻易获得外部技术支持,自己也必须研发 comsci 开源

      现在国内有大量的信息技术产品，都是通过盗版，免费下载，开源，附送等方式从国外的开发者那里获得的。。。。。。        虽然这种情况带来了国内信息产业的短暂繁荣，也促进了电子商务和互联网产业的快速发展，但是实际上，我们应该清醒的看到，这些产业的核心力量是被国外的

页面有两个frame,怎样点击一个的链接改变另一个的内容 Array_06 UIXHTML

<a src="地址"  targets="这里写你要操作的Frame的名字" />搜索 然后你点击连接以后你的新页面就会显示在你设置的Frame名字的框那里 targerts="",就是你要填写目标的显示页面位置 ===================== 例如： <frame src=&

Struts2实现单个/多个文件上传和下载 oloz 文件上传struts

struts2单文件上传：     步骤01:jsp页面 <!--在进行文件上传时，表单提交方式一定要是post的方式，因为文件上传时二进制文件可能会很大，还有就是enctype属性，这个属性一定要写成multipart/form-data，不然就会以二进制文本上传到服务器端--> 　　<form action="fileUplo

推荐10个在线logo设计网站 362217990 logo

在线设计Logo网站。 1、http://flickr.nosv.org（这个太简单） 2、http://www.logomaker.com/?source=1.5770.1 3、http://www.simwebsol.com/ImageTool 4、http://www.logogenerator.com/logo.php?nal=1&tpl_catlist[]=2 5、ht

jsp上传文件 香水浓 jspfileupload

1. jsp上传 Notice： 1. form表单 method 属性必须设置为 POST 方法 ，不能使用 GET 方法 2. form表单 enctype 属性需要设置为 multipart/form-data 3. form表单 action 属性需要设置为提交到后台处理文件上传的jsp文件地址或者servlet地址。例如 uploadFile.jsp 程序文件用来处理上传的文

我的架构经验系列文章 - 前端架构 agevs JavaScriptWeb框架UIjQuer

框架层面：近几年前端发展很快，前端之所以叫前端因为前端是已经可以独立成为一种职业了，js也不再是十年前的玩具了，以前富客户端RIA的应用可能会用flash/flex或是silverlight，现在可以使用js来完成大部分的功能，因此js作为一门前端的支撑语言也不仅仅是进行的简单的编码，越来越多框架性的东西出现了。越来越多的开发模式转变为后端只是吐json的数据源，而前端做所有UI的事情。MVCMV

android ksoap2 中把XML(DataSet) 当做参数传递 aijuans android

我的android app中需要发送webservice ，于是我使用了 ksop2 进行发送，在测试过程中不是很顺利,不能正常工作.我的web service 请求格式如下     [html]  view plain copy   <Envelope xmlns="http://schemas.

使用Spring进行统一日志管理 + 统一异常管理 baalwolf spring

统一日志和异常管理配置好后，SSH项目中，代码以往散落的log.info() 和 try..catch..finally 再也不见踪影！ 统一日志异常实现类： [java]  view plain copy   package com.pilelot.web.util;      impor

Android SDK 国内镜像 BigBird2012 android sdk

一、镜像地址： 1、东软信息学院的 Android SDK 镜像，比配置代理下载快多了。 配置地址， http://mirrors.neusoft.edu.cn/configurations.we#android 2、北京化工大学的： IPV4:ubuntu.buct.edu.cn  IPV4:ubuntu.buct.cn IPV6:ubuntu.buct6.edu.cn

HTML无害化和Sanitize模块 bijian1013 JavaScriptAngularJSLinkySanitize

一.ng-bind-html、ng-bind-html-unsafe         AngularJS非常注重安全方面的问题，它会尽一切可能把大多数攻击手段最小化。其中一个攻击手段是向你的web页面里注入不安全的HTML，然后利用它触发跨站攻击或者注入攻击。         考虑这样一个例子，假设我们有一个变量存

[Maven学习笔记二]Maven命令 bit1129 maven

mvn compile compile编译命令将src/main/java和src/main/resources中的代码和配置文件编译到target/classes中，不会对src/test/java中的测试类进行编译 MVN编译使用 maven-resources-plugin:2.6:resources maven-compiler-plugin:2.5.1:compile &nbs

【Java命令二】jhat bit1129 Java命令

jhat用于分析使用jmap dump的文件，，可以将堆中的对象以html的形式显示出来，包括对象的数量，大小等等，并支持对象查询语言。 jhat默认开启监听端口7000的HTTP服务，jhat是Java Heap Analysis Tool的缩写 1. 用法： [hadoop@hadoop bin]$ jhat -help Usage: jhat [-stack <bool&g

JBoss 5.1.0 GA:Error installing to Instantiated: name=AttachmentStore state=Desc ronin47

进到类似目录 server/default/conf/bootstrap，打开文件 profile.xml找到： Xml代码<bean    name="AttachmentStore"  class="org.jboss.system.server.profileservice.repository.AbstractAtta

写给初学者的6条网页设计安全配色指南 brotherlamp UIui自学ui视频ui教程ui资料

网页设计中最基本的原则之一是，不管你花多长时间创造一个华丽的设计，其最终的角色都是这场秀中真正的明星——内容的衬托     我仍然清楚地记得我最早的一次美术课，那时我还是一个小小的、对凡事都充满渴望的孩子，我摆放出一大堆漂亮的彩色颜料。我仍然记得当我第一次看到原色与另一种颜色混合变成第二种颜色时的那种兴奋，并且我想，既然两种颜色能创造出一种全新的美丽色彩，那所有颜色

有一个数组，每次从中间随机取一个，然后放回去，当所有的元素都被取过，返回总共的取的次数。写一个函数实现。复杂度是什么。 bylijinnan java算法面试

import java.util.Random; import java.util.Set; import java.util.TreeSet; /** * http://weibo.com/1915548291/z7HtOF4sx * #面试题#有一个数组，每次从中间随机取一个，然后放回去，当所有的元素都被取过，返回总共的取的次数。 * 写一个函数实现。复杂度是什么

struts2获得request、session、application方式 chiangfai application

1、与Servlet API解耦的访问方式。 a.Struts2对HttpServletRequest、HttpSession、ServletContext进行了封装，构造了三个Map对象来替代这三种对象要获取这三个Map对象，使用ActionContext类。 ----->   package pro.action; import java.util.Map; imp

改变python的默认语言设置 chenchao051 python

import sys sys.getdefaultencoding()  可以测试出默认语言，要改变的话，需要在python lib的site-packages文件夹下新建： sitecustomize.py， 这个文件比较特殊，会在python启动时来加载，所以就可以在里面写上： import sys sys.setdefaultencoding('utf-8') &n

mysql导入数据load data infile用法 daizj mysql导入数据

我们常常导入数据！mysql有一个高效导入方法，那就是load data infile 下面来看案例说明 基本语法： load data  [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name [fields [terminated by't'] [OPTI

phpexcel导入excel表到数据库简单入门示例 dcj3sjt126com PHPExcel

跟导出相对应的，同一个数据表，也是将phpexcel类放在class目录下，将Excel表格中的内容读取出来放到数据库中 <?php error_reporting(E_ALL); set_time_limit(0); ?> <html> <head> <meta http-equiv="Content-Type"

22岁到72岁的男人对女人的要求 dcj3sjt126com

22岁男人对女人的要求是：一，美丽，二，性感，三，有份具品味的职业，四，极有耐性，善解人意，五，该聪明的时候聪明，六，作小鸟依人状时尽量自然，七，怎样穿都好看，八，懂得适当地撒娇，九，虽作惊喜反应，但看起来自然，十，上了床就是个无条件荡妇。 32岁的男人对女人的要求，略作修定，是：一，入得厨房，进得睡房，二，不必服侍皇太后，三，不介意浪漫蜡烛配盒饭，四，听多过说，五，不再傻笑，六，懂得独

Spring和HIbernate对DDM设计的支持 e200702084 DAO设计模式springHibernate领域模型

A：数据访问对象     DAO和资源库在领域驱动设计中都很重要。DAO是关系型数据库和应用之间的契约。它封装了Web应用中的数据库CRUD操作细节。另一方面，资源库是一个独立的抽象，它与DAO进行交互，并提供到领域模型的“业务接口”。    资源库使用领域的通用语言，处理所有必要的DAO，并使用领域理解的语言提供对领域模型的数据访问服务。

NoSql 数据库的特性比较 geeksun NoSQL

Redis 是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。目前由VMware主持开发工作。   1. 数据模型 作为Key-value型数据库，Redis也提供了键（Key）和值（Value）的映射关系。除了常规的数值或字符串，Redis的键值还可以是以下形式之一： Lists （列表） Sets

使用 Nginx Upload Module 实现上传文件功能 hongtoushizi nginx

转载自： http://www.tuicool.com/wx/aUrAzm   普通网站在实现文件上传功能的时候，一般是使用Python，Java等后端程序实现，比较麻烦。Nginx有一个Upload模块，可以非常简单的实现文件上传功能。此模块的原理是先把用户上传的文件保存到临时文件，然后在交由后台页面处理，并且把文件的原名，上传后的名称，文件类型，文件大小set到页面。下

spring-boot-web-ui及thymeleaf基本使用 jishiweili springthymeleaf

视图控制层代码demo如下：   @Controller @RequestMapping("/") public class MessageController { private final MessageRepository messageRepository; @Autowired public MessageController(Mes

数据源架构模式之活动记录 home198979 PHP架构活动记录数据映射

hello!架构 一、概念 活动记录（Active Record）：一个对象，它包装数据库表或视图中某一行，封装数据库访问，并在这些数据上增加了领域逻辑。 对象既有数据又有行为。活动记录使用直截了当的方法，把数据访问逻辑置于领域对象中。   二、实现简单活动记录 活动记录在php许多框架中都有应用，如cakephp。 <?php /** * 行数据入口类 *

Linux Shell脚本之自动修改IP pda158 linuxcentosDebian脚本

作为一名 Linux SA，日常运维中很多地方都会用到脚本，而服务器的ip一般采用静态ip或者MAC绑定，当然后者比较操作起来相对繁琐，而前者我们可以设置主机名、ip信息、网关等配置。修改成特定的主机名在维护和管理方面也比较方便。如下脚本用途为：修改ip和主机名等相关信息，可以根据实际需求修改，举一反三！ #!/bin/sh #auto Change ip netmask ga

开发环境搭建 独浮云 eclipsejdktomcat

       最近在开发过程中，经常出现MyEclipse内存溢出等错误，需要重启的情况，好麻烦。对于一般的JAVA+TOMCAT项目开发，其实没有必要使用重量级的MyEclipse，使用eclipse就足够了。尤其是开发机器硬件配置一般的人。         &n

操作日期和时间的工具类 vipbooks 工具类

   大家好啊，好久没有来这里发文章了，今天来逛逛，分享一篇刚写不久的操作日期和时间的工具类，希望对大家有所帮助。 /* * @(#)DataFormatUtils.java 2010-10-10 * * Copyright 2010 BianJing,All rights reserved. */ package test; impor

按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他

首页 - 关于我们 - 站内搜索 - Sitemap - 侵权投诉

版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.