一、背景
网上对于爬取股票数据有相对完善的教程。不过大部分教程都是只能够爬取一段时间的股票数据,针对某一只股票的历史数据爬取,目前还没有看到比较好的教程。下面对近期学的东西进行一点点小结。
二、股票数据爬取网站
网上更多推荐的是东方财富的股票数据,链接为:http://quote.eastmoney.com/stocklist.html
东方财富上能够获得所有股票的编号信息,有助于股票数据的爬取,但是每天的股票数据,大多都在百度股票数据上进行的爬取,爬取数据的网址为:https://gupiao.baidu.com/stock/
对于某一只股票的所有历史数据,这里推荐网易财经,以600000浦发银行为例,查找600000,然后查看其历史数据即可,且历史数据可以直接手动下载。其历史数据的链接为:http://quotes.money.163.com/trade/lsjysj_600000.html#01b07
三、股票数据爬取的一点小技巧
股票数据的量非常大,这里在爬取股票数据的时候,需要注意的就是反爬虫的工作。参考了很多代码,总结出比较好的思路有两个:
一是设置很多header,每次随机抽取一个header进行数据访问。下面给出这些header供参考。
import urllib
import urllib.request
import re
import random
user_agent = ["Mozilla/5.0 (Windows NT 10.0; WOW64)", 'Mozilla/5.0 (Windows NT 6.3; WOW64)',
'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',
'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',
'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',
'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',
'Opera/9.27 (Windows NT 5.2; U; zh-cn)',
'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',
'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1 ',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 ',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11']
url='http://quote.stockstar.com/stock/ranklist_a_3_1_'+str(page)+'.html'
request=urllib.request.Request(url=url,headers={"User-Agent":random.choice(user_agent)})#随机从user_agent列表中抽取一个元素
二是每抓一页随机休眠几秒,数值可根据实际情况改动。可参考:
import time
time.sleep(random.randrange(1,4))
四、爬取股票代码
试验了很多代码,有两个代码还不错,能够爬取出部分股票数据。下面直接给出相关代码:
import requests
from bs4 import BeautifulSoup
import traceback
import re
def getHTMLText(url):
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def getStockList(lst, stockURL):
html = getHTMLText(stockURL)
soup = BeautifulSoup(html, 'html.parser')
a = soup.find_all('a')
for i in a:
try:
href = i.attrs['href']
lst.append(re.findall(r"[s][hz]\d{6}", href)[0])
except:
continue
def getStockInfo(lst, stockURL, fpath):
count = 0
for stock in lst:
url = stockURL + stock + ".html"
html = getHTMLText(url)
try:
if html == "":
continue
infoDict = {}
soup = BeautifulSoup(html, 'html.parser')
stockInfo = soup.find('div', attrs={'class': 'stock-bets'})
name = stockInfo.find_all(attrs={'class': 'bets-name'})[0]
infoDict.update({'股票名称': name.text.split()[0]})
keyList = stockInfo.find_all('dt')
valueList = stockInfo.find_all('dd')
for i in range(len(keyList)):
key = keyList[i].text
val = valueList[i].text
infoDict[key] = val
with open(fpath, 'a', encoding='utf-8') as f:
f.write(str(infoDict) + '\n')
count = count + 1
print("\r当前进度: {:.2f}%".format(count * 100 / len(lst)), end="")
except:
count = count + 1
print("\r当前进度: {:.2f}%".format(count * 100 / len(lst)), end="")
continue
def main():
stock_list_url = 'http://quote.eastmoney.com/stocklist.html'
stock_info_url = 'https://gupiao.baidu.com/stock/'
output_file = 'D:/BaiduStockInfo.txt'
slist = []
getStockList(slist, stock_list_url)
getStockInfo(slist, stock_info_url, output_file)
if __name__ == '__main__':
mian()
测试过上述代码,能够下载部分股票数据的当日情况,但存在的问题是下载一阵之后就不再下载数据,且下载数据的效果并不理想,排版很乱。下面是爬取股票数据的结果:
另一个比较好的代码为:
import urllib
import urllib.request
import re
import random
import time
#抓取所需内容
user_agent = ["Mozilla/5.0 (Windows NT 10.0; WOW64)", 'Mozilla/5.0 (Windows NT 6.3; WOW64)',
'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',
'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',
'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',
'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',
'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1 ',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 ',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11']
stock_total=[] # 所有页面的股票数据
for page in range(1,8): # 下载1-7页的股票数据
url='http://quote.stockstar.com/stock/ranklist_a_3_1_'+str(page)+'.html'
request=urllib.request.Request(url=url,headers={"User-Agent":random.choice(user_agent)})#随机从user_agent列表中抽取一个元素
try:
response=urllib.request.urlopen(request)
except urllib.error.HTTPError as e: #异常检测
print('page=',page,'',e.code)
except urllib.error.URLError as e:
print('page=',page,'',e.reason)
content=response.read().decode('gbk') #读取网页内容
print('get page',page) #打印成功获取的页码
pattern=re.compile('')
body=re.findall(pattern,str(content))
pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #正则匹配
stock_total.extend(stock_page)
time.sleep(random.randrange(1,4)) #每抓一页随机休眠几秒,数值可根据实际情况改动
#删除空白字符
stock_last=stock_total[:] #stock_last为最终所要得到的股票数据
for data in stock_total:
if data=='':
stock_last.remove('')
#打印部分结果
print('代码','\t','简称',' ','\t','最新价','\t',' ','涨跌幅','\t',' ','涨跌额','\t',' ','5分钟涨幅')
for i in range(0,len(stock_last),13): #原网页有13列数据,所以步长为13
print(stock_last[i],'\t',stock_last[i+1],' ','\t',stock_last[i+2],' ','\t',stock_last[i+3],' ','\t',stock_last[i+4],' ','\t',stock_last[i+5])
该代码可以直接下载股票的相应数据,存在的问题也是只能下载一部分数据。
目前关于如何下载一支股票的所有历史数据,还在学习中。。。。。。
你可能感兴趣的:(数据集制作与课程收集)
Python制作【大麦网】抢票程序,看演唱会再也不怕没票了
中年猿人
python 开发语言 爬虫
前言大麦网,是中国综合类现场娱乐票务营销平台,业务覆盖演唱会、话剧、音乐剧、体育赛事等领域。但是因为票数有限,还有黄牛们不能丢了饭碗,所以导致了,很多人都抢不到票那么,今天带大家用Python来制作一个自动抢票的脚本小程序知识点:面向对象编程selenium操作浏览器pickle保存和读取Cookie实现免登陆time做延时操作os创建文件,判断文件是否存在开发环境:版本:anaconda5.2.
PLM项目管理软件的核心价值与企业应用场景
程序员
PLM(ProductLifecycleManagement)项目管理软件作为企业数字化转型进程中的关键工具,正发挥着越来越重要的作用。它围绕产品从概念诞生到退役的全生命周期,整合了各种数据、流程和资源,为企业提供了一个统一的管理平台,助力企业提升效率、降低成本、增强创新能力。PLM项目管理软件的核心价值PLM项目管理软件的核心价值首先体现在数据的集中管理与共享上。在传统的企业运作模式下,产品相关
GitHub Copilot两期连看:开发流程全览及 Copilot 在 SQL 开发中的妙用
microsqlgithub
GitHubCopilot,这款备受瞩目的AI开发助手,正以前所未有的姿态重塑开发流程。而现在,专为开发者和技术团队精心打造的GitHubCopilotFridays系列课程,正持续为大家解锁Copilot的无限潜能。今天,我们迎来了第五期和第六期课程,这将是两场不容错过的技术盛宴,深度探索Copilot在更多复杂场景、特定角色工作流中的卓越应用,准备好与我们一同深入挖掘其中的奥秘了吗?GitHu
BioDeepAV:一个多模态基准数据集,包含超过1600个深度伪造视频,用于评估深度伪造检测器在面对未知生成器时的性能。
数据集
2024-11-29,由罗马尼亚布加勒斯特大学创建BioDeepAV数据集,它专门设计来评估最先进的深度伪造检测器在面对未见过的深度伪造生成器时的泛化能力,这对于提高检测器的鲁棒性和适应性具有重要意义。一、研究背景:随着生成模型的快速发展,深度伪造内容的逼真度不断提高,人们越来越难以在线检测出被操纵的媒体内容,从而容易受到各种诈骗的欺骗。这不仅对个人隐私构成威胁,也对社会信任和民主构成挑战。目前遇
编程:人类与机器对话的「通用语言」
javascript
——从0和1到智能时代的思维革命一、编程的本质:用逻辑驯服机器的艺术2024年,NASA「毅力号」火星车在杰泽罗陨石坑钻取岩芯时,依靠的是地球上工程师编写的120万行C语言代码。这些代码的本质,是将「避障→识别→调整」等复杂指令,转化为机器能理解的0和1序列。编程的核心不是写代码,而是把现实问题拆解为机器可执行的逻辑步骤。1.1从打孔纸带到图形化编程的进化1842年:AdaLovelace为差分机
HarmonyNext实战:基于ArkTS的高性能数据流处理框架设计与实现
harmonyos-next
HarmonyNext实战:基于ArkTS的高性能数据流处理框架设计与实现引言在HarmonyNext生态系统中,数据流处理是构建高性能应用的关键技术之一。本文将深入探讨如何基于ArkTS构建一个高效的数据流处理框架,并适配HarmonyNext平台。我们将从架构设计、核心组件实现、性能优化等多个维度进行详细讲解,并通过实战案例展示如何在实际工程中应用这些技术。1.数据流处理框架的架构设计1.1框
HarmonyNext实战:基于ArkTS的高效文件加密与解密系统开发
harmonyos-next
HarmonyNext实战:基于ArkTS的高效文件加密与解密系统开发在现代应用开发中,数据安全是一个不可忽视的重要议题。随着HarmonyNext生态系统的不断发展,ArkTS为开发者提供了强大的工具来构建高效且安全的文件加密与解密系统。本文将详细讲解如何利用ArkTS12+语法,开发一个基于HarmonyNext的文件加密与解密系统。通过本案例,您将掌握如何设计加密算法、管理文件操作,以及优化
Tomcat 新手入门指南:从零开始掌握安装与配置
超级小狗
tomcat java
Tomcat新手入门指南:从零开始掌握安装与配置一、Tomcat是什么?ApacheTomcat是一个开源的轻量级Web应用服务器,专为运行JavaServlet和JSP设计。它是初学JavaWeb开发的必备工具,也是企业级应用的常见选择。核心功能:处理HTTP请求、管理Servlet生命周期、支持动态网页渲染。适用场景:开发测试环境、中小型Web应用部署、微服务架构中的容器化组件。二、快速安装T
国密系列加密技术及其在爬虫逆向中的应用研究
ylfhpy
爬虫项目实战 python javascript 逆向 反爬 爬虫
一、引言在当今数字化飞速发展的时代,互联网已深入到社会生活的各个层面,数据的流通与交互变得极为频繁。与此同时,数据安全问题日益成为人们关注的焦点。加密技术作为保障数据安全的核心手段,其重要性不言而喻。国密系列加密算法是我国自主研发的一套具有高安全性、高性能特点的加密标准,它为我国金融、政务、医疗等关键领域的数据安全提供了坚实的保障。对于爬虫逆向分析而言,随着网站对数据保护意识的增强,越来越多的网站
Apache Tomcat 新手入门指南:从安装到部署的全流程解析
小志开发
服务 apache tomcat java
ApacheTomcat作为一款轻量级的JavaServlet容器,被广泛应用于开发和运行基于Java的Web应用程序(如Servlet和JSP)。对于刚接触Tomcat的开发者来说,快速掌握其基本操作至关重要。本文将从零开始,详细介绍Tomcat的安装、配置、部署及常见问题的解决方法,助你轻松入门。第一部分:环境准备与安装1.确认JDK环境Tomcat依赖Java运行环境,因此需提前安装JDK8
百度Java面试题前200页都在这里了
Java烟雨
面试 后端 java java 正则表达式 开发语言 算法 数据结构
基本概念操作系统中heap和stack的区别什么是基于注解的切面实现什么是对象/关系映射集成模块什么是Java的反射机制什么是ACIDBS与CS的联系与区别Cookie和Session的区别fail-fast与fail-safe机制有什么区别get和post请求的区别Interface与abstract类的区别IOC的优点是什么IO和NIO的区别,NIO优点Java8/Java7为我们提供了什么新
深入理解MySQL索引:原理、数据结构与优化策略
大骨熬汤
mysql 数据结构 数据库
深入理解MySQL索引:原理、数据结构与优化策略MySQL是当今最流行的开源关系型数据库管理系统之一,其强大的性能与灵活的可扩展性使得它广泛应用于各种规模的应用程序中。在数据库的日常操作中,索引起着至关重要的作用,能够极大地提高查询效率。然而,索引的设计与使用并不总是那么直观,尤其是在面对复杂查询、海量数据和频繁更新时,如何有效地设计和优化索引成为一项重要的挑战。本文将深入探讨MySQL索引的底层
智能汽车:驶向未来的革命
智能设备
一、引言汽车,作为现代文明的标志,正经历着一场前所未有的变革。人工智能、大数据、云计算等技术的飞速发展,正推动着汽车从单纯的交通工具向智能移动空间转变。智能汽车,作为这场变革的主角,正悄然改变着我们的出行方式和生活方式。二、智能汽车的定义与发展现状智能汽车,是指搭载先进传感器、控制器、执行器等装置,并融合现代通信与网络技术,实现车与X(人、车、路、云端等)智能信息交换、共享,具备复杂环境感知、智能
【33】单片机编程核心技巧:Switch驱动跑马灯速度控制
智木芯语
【编程技巧】 单片机 #STC8 #STM32
【33】单片机编程核心技巧:Switch驱动跑马灯速度控制七律·速度分支控速显神通,按键轻触改时钟。计数器值随心变,LED流自从容。状态迁移分快慢,标志联动定西东。单片机中真王者,一招一式定乾坤。摘要本文以STC8H单片机为例,通过Switch语句结合按键输入实现跑马灯速度的动态调节。系统阐述按键扫描、计数器阈值管理及代码实现,重点解析Switch如何通过状态变量与速度标志位联动,实现LED流动速
海外仓是什么?有哪些好用的海外仓管理软件?
2025年,中国海外仓数量突破2500个,总面积超3000万平方米,成为支撑跨境电商发展的核心基础设施。从亚马逊FBA到独立站自建仓,海外仓模式已从"选配"变为"标配"。本文从基础概念解析到管理软件选型,助你快速掌握2025年海外仓运营的关键密码。一、海外仓的定义与运作流程(一)海外仓是什么?有什么优势?海外仓,简单来说,是指建立在海外的仓储设施。跨境电商企业将货物提前存储到目标市场国家或地区的仓
智能家居与互联网:技术演进、生态重构与未来图景
ssl证书
——2025年智能家居产业发展全景透视引言:从“连接”到“智能”的跨越智能家居的进化史,本质上是互联网技术与家居场景深度融合的历史。从早期的手机远程控制灯光,到如今AI大模型驱动的全屋智能系统,智能家居已从“物物连接”迈入“主动服务”时代。据预测,2030年全球智能家居支出将达1950亿美元,中国市场增速领跑全球。这一变革背后,是物联网、5G、AI技术的协同突破,也是消费需求从“功能满足”向“体验
云原生架构设计理论与实践(14)
系统架构
1.云原生背景业务快速发展与开发、运维、运营之间落后的生产关系与生产力的矛盾企业内部各占山头与企业总体战略规划的矛盾企业内部改革,降本增效的需求企业实现数字孪生,数字资产的必然需求企业外部环境,如人工智能发展、安全合规等大环境的要求2.云原生架构的设计原则服务化原则(拆分为微服务、小服务,非功能特性委托)弹性原则(可伸可缩)可观测原则(基于sla,slo,在log,trace,metric三个维度
Tomcat新手入门指南,从零开始,快速掌握Tomcats安装与基本配置技巧
日记成书
反正看不懂系列 tomcat firefox java
以下是Tomcat新手入门指南,从零开始快速掌握安装与基本配置技巧:一、安装前准备确认Java环境Tomcat依赖JDK运行,需提前安装JDK8及以上版本。验证Java环境:命令行输入java-version和javac,若无报错则配置成功。下载Tomcat访问Tomcat官网,选择与系统匹配的版本(如Windows解压版)。二、安装步骤解压安装包将下载的Tomcat压缩包解压至无中文路径的目录(
介绍 Apache Spark 的基本概念和在大数据分析中的应用
佛渡红尘
apache
ApacheSpark是一个开源的集群计算框架,最初由加州大学伯克利分校的AMPLab开发,用于大规模数据处理和分析。相比于传统的MapReduce框架,Spark具有更快的数据处理速度和更强大的计算能力。ApacheSpark的基本概念包括:弹性分布式数据集(RDD):是Spark中基本的数据抽象,是一个可并行操作的分区记录集合。RDD可以在集群中的节点间进行分布式计算。转换(Transform
CSP-J备考冲刺必刷题(C++) | AcWing 5367 不合群数
热爱编程的通信人
c++ 算法 开发语言
本文分享的必刷题目是从蓝桥云课、洛谷、AcWing等知名刷题平台精心挑选而来,并结合各平台提供的算法标签和难度等级进行了系统分类。题目涵盖了从基础到进阶的多种算法和数据结构,旨在为不同阶段的编程学习者提供一条清晰、平稳的学习提升路径。欢迎大家订阅我的专栏:算法题解:C++与Python实现!附上汇总贴:算法竞赛备考冲刺必刷题(C++)|汇总【题目来源】AcWing:5367.不合群数-AcWing
Java学习总结归纳
eyes______
java 学习 开发语言
202402150625卢芊涵一、第一章:初始java与面向对象程序设计1.1java概述1.1.1计算机编程语言发展史:编程语言从早期的机器语言,逐步发展到汇编语言,再到高级语言。机器语言是二进制代码,直接由计算机硬件执行,但可读性和可维护性极差;汇编语言使用助记符代替二进制指令,一定程度上提高了可读性;高级语言如Java则更接近人类语言,提高了开发效率。例如,机器语言可能是一串010101,而
[Unity] 实现AssetBundle资源加载管理器
ThousandPine
unity 游戏引擎
实现UnityAssetBundle资源加载管理器AssetBundle是实现资源热更新的重要功能,但Unity为其提供的API却十分基(jian)础(lou)。像是自动加载依赖包、重复加载缓存、解决同步/异步加载冲突,等基础功能都必须由使用者自行实现。因此,本篇博客将会介绍如何实现一个AssetBundle管理器以解决以上问题。1成员定义与初始化作为典型的"Manager"类,我们显然要让其成为
Postman接口测试工具详解
金枪鱼net
测试工具 postman
Postman接口测试工具详解一、引言在当今软件开发领域,接口测试是确保软件质量的重要一环。随着微服务架构和API经济的兴起,接口测试的重要性日益凸显。Postman作为一款强大的接口测试工具,凭借其简单易用、功能丰富的特点,受到了广大开发者和测试人员的青睐。本文将对Postman进行详细的介绍,包括安装与配置、界面介绍、基础操作、请求构造、响应处理、高级功能以及团队协作等方面,旨在帮助读者更好地
iphone新机官网验机流程
金枪鱼net
iphone ios
iPhone新机官网验机流程一、快递检查收到快递包裹后,首先确认包裹外观是否完好,无明显破损或挤压痕迹。核对快递单上的寄件人信息、收件人信息以及运单号是否准确无误。二、包装确认打开快递包裹,检查iPhone新机包装是否完整,无破损、撕裂等现象。查看包装上的标签,确认产品型号、颜色、存储容量等信息与购买时所选一致。三、序列号验证在包装上找到iPhone的序列号,通常位于包装盒的侧面或底部。访问App
目前主要虚拟世界平台在单一实例承载人数和伺服器架构的综合比较分析(从开资料和技术推估):
微网兔子
後端技術 服务器 c++ 架构 虚拟现实 数据库
目前主要虚拟世界平台在单一实例承载人数和伺服器架构的综合比较分析(从开资料和技术推估):1.《Fortnite》(EpicGames)一般游戏模式约100人/场,但大型活动(如演唱会)采用分层串流与动态扩容让数十万人同步"观看"。伺服器架构:使用AWS云端伺服器,配合UnrealEngine的专用伺服器架构。大型活动时会动态扩展至数千台伺服器实例。2.《Roblox》通常10-100人/伺服器,但
嵌入式硬件篇---PWM输出通道&定时器
Ronin-Lotus
嵌入式硬件篇 程序代码篇 上位机知识篇 嵌入式硬件 单片机 stm32 c PWM 定时器
文章目录前言一、PWM通道与定时器的关系1.简介2.定时器作为PWM的时基发生器3.通道作为PWM的输出接口4.协同工作流程5.关键公式二、输出PWM的设置步骤(通用流程)1.选择定时器与通道2.配置时钟源3.初始化定时器参数预分频器自动重装载4.配置PWM模式5.配置GPIO为复用功能6.启动定时器与通道7.动态调整占空比8.关键注意事项频率与分辨率的权衡中央对齐模式死区电压9.示例应用:呼吸灯
嵌入式硬件篇---龙芯UART通信
Ronin-Lotus
嵌入式硬件篇 上位机知识篇 程序代码篇 嵌入式硬件 c UART 龙芯 2k1000 pwm
文章目录前言一、代码结构解析1.头文件部分作用2.宏定义与全局变量龙芯特性3.主函数流程关键点4.UART发送函数龙芯实现5.串口配置函数(set_port)龙芯注意事项6.GPIO控制函数龙芯GPIO特性7.PWM控制函数龙芯PWM实现二、龙芯UART深度解析1.硬件架构控制器类型时钟源寄存器映射2.关键寄存器3.驱动配置内核配置设备树配置4.波特率计算公式示例三、代码优化建议错误处理增强非阻塞
网络爬虫【爬虫库urllib】
不三不四୭
爬虫 爬虫 python 网络爬虫
我叫不三不四,很高兴见到大家,欢迎一起学习交流和进步今天来讲一讲爬虫urllib介绍Urllib是Python自带的标准库,无须安装,直接引用即可。Urllib是一个收集几个模块来使用URL的软件包,大致具备以下功能。●urllib.request:用于打开和读取URL。●urllib.error:包含提出的例外urllib.request。●urllib.parse:用于解析URL。●urlli
天地图WMTS GetTile(地图API)请求参数深度解析
喆星时瑜
# 天地图 arcgis
以下针对天地图API影像底图瓦片请求URL进行逐项参数拆解,结合OGCWMTS1.0.0标准与天地图技术规范进行专业解读:http://t0.tianditu.gov.cn/img_w/wmts?SERVICE=WMTS&REQUEST=GetTile&VERSION=1.0.0&LAYER=img&STYLE=default&TILEMATRIXSET=w&FORMAT=tiles&TILEMA
以下功能模块助力企业实现流程智能化、降本增效:
牛油果爱编程
云计算 开源软件 开源
1⃣智能流程设计器拖拽式建模:可视化搭建流程节点,支持条件分支、并行任务等复杂逻辑。AI辅助优化:自动检测流程瓶颈,推荐优化路径(2024版新增AI引擎)。模板库:预置财务审批、采购管理等行业模板,开箱即用。2⃣自动化触发与执行事件驱动:支持数据库变更、API调用、表单提交等触发条件。机器人流程自动化(RPA):无缝集成外部系统操作(如自动填表、数据抓取)。动态分配规
异常的核心类Throwable
无量
java 源码 异常处理 exception
java异常的核心是Throwable,其他的如Error和Exception都是继承的这个类 里面有个核心参数是detailMessage,记录异常信息,getMessage核心方法,获取这个参数的值,我们可以自己定义自己的异常类,去继承这个Exception就可以了,方法基本上,用父类的构造方法就OK,所以这么看异常是不是很easy
package com.natsu;
mongoDB 游标(cursor) 实现分页 迭代
开窍的石头
mongodb
上篇中我们讲了mongoDB 中的查询函数,现在我们讲mongo中如何做分页查询
如何声明一个游标
var mycursor = db.user.find({_id:{$lte:5}});
迭代显示游标数
MySQL数据库INNODB 表损坏修复处理过程
0624chenhong
tomcat mysql
最近mysql数据库经常死掉,用命令net stop mysql命令也无法停掉,关闭Tomcat的时候,出现Waiting for N instance(s) to be deallocated 信息。查了下,大概就是程序没有对数据库连接释放,导致Connection泄露了。因为用的是开元集成的平台,内部程序也不可能一下子给改掉的,就验证一下咯。启动Tomcat,用户登录系统,用netstat -
剖析如何与设计人员沟通
不懂事的小屁孩
工作
最近做图烦死了,不停的改图,改图……。烦,倒不是因为改,而是反反复复的改,人都会死。很多需求人员不知该如何与设计人员沟通,不明白如何使设计人员知道他所要的效果,结果只能是沟通变成了扯淡,改图变成了应付。
那应该如何与设计人员沟通呢?
我认为设计人员与需求人员先天就存在语言障碍。对一个合格的设计人员来说,整天玩的都是点、线、面、配色,哪种构图看起来协调;哪种配色看起来合理心里跟明镜似的,
qq空间刷评论工具
换个号韩国红果果
JavaScript
var a=document.getElementsByClassName('textinput');
var b=[];
for(var m=0;m<a.length;m++){
if(a[m].getAttribute('placeholder')!=null)
b.push(a[m])
}
var l
S2SH整合之session
灵静志远
spring AOP struts session
错误信息:
Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'cartService': Scope 'session' is not active for the current thread; consider defining a scoped
xmp标签
a-john
标签
今天在处理数据的显示上遇到一个问题:
var html = '<li><div class="pl-nr"><span class="user-name">' + user
+ '</span>' + text + '</div></li>';
ulComme
Ajax的常用技巧(2)---实现Web页面中的级联菜单
aijuans
Ajax
在网络上显示数据,往往只显示数据中的一部分信息,如文章标题,产品名称等。如果浏览器要查看所有信息,只需点击相关链接即可。在web技术中,可以采用级联菜单完成上述操作。根据用户的选择,动态展开,并显示出对应选项子菜单的内容。 在传统的web实现方式中,一般是在页面初始化时动态获取到服务端数据库中对应的所有子菜单中的信息,放置到页面中对应的位置,然后再结合CSS层叠样式表动态控制对应子菜单的显示或者隐
天-安-门,好高
atongyeye
情感
我是85后,北漂一族,之前房租1100,因为租房合同到期,再续,房租就要涨150。最近网上新闻,地铁也要涨价。算了一下,涨价之后,每次坐地铁由原来2块变成6块。仅坐地铁费用,一个月就要涨200。内心苦痛。
晚上躺在床上一个人想了很久,很久。
我生在农
android 动画
百合不是茶
android 透明度 平移 缩放 旋转
android的动画有两种 tween动画和Frame动画
tween动画;,透明度,缩放,旋转,平移效果
Animation 动画
AlphaAnimation 渐变透明度
RotateAnimation 画面旋转
ScaleAnimation 渐变尺寸缩放
TranslateAnimation 位置移动
Animation
查看本机网络信息的cmd脚本
bijian1013
cmd
@echo 您的用户名是:%USERDOMAIN%\%username%>"%userprofile%\网络参数.txt"
@echo 您的机器名是:%COMPUTERNAME%>>"%userprofile%\网络参数.txt"
@echo ___________________>>"%userprofile%\
plsql 清除登录过的用户
征客丶
plsql
tools---preferences----logon history---history 把你想要删除的删除
--------------------------------------------------------------------
若有其他凝问或文中有错误,请及时向我指出,
我好及时改正,同时也让我们一起进步。
email : binary_spac
【Pig一】Pig入门
bit1129
pig
Pig安装
1.下载pig
wget http://mirror.bit.edu.cn/apache/pig/pig-0.14.0/pig-0.14.0.tar.gz
2. 解压配置环境变量
如果Pig使用Map/Reduce模式,那么需要在环境变量中,配置HADOOP_HOME环境变量
expor
Java 线程同步几种方式
BlueSkator
volatile synchronized ThredLocal ReenTranLock Concurrent
为何要使用同步? java允许多线程并发控制,当多个线程同时操作一个可共享的资源变量时(如数据的增删改查), 将会导致数据不准确,相互之间产生冲突,因此加入同步锁以避免在该线程没有完成操作之前,被其他线程的调用, 从而保证了该变量的唯一性和准确性。 1.同步方法&
StringUtils判断字符串是否为空的方法(转帖)
BreakingBad
null StringUtils “”
转帖地址:http://www.cnblogs.com/shangxiaofei/p/4313111.html
public static boolean isEmpty(String str)
判断某字符串是否为空,为空的标准是 str==
null
或 str.length()==
0
编程之美-分层遍历二叉树
bylijinnan
java 数据结构 算法 编程之美
import java.util.ArrayList;
import java.util.LinkedList;
import java.util.List;
public class LevelTraverseBinaryTree {
/**
* 编程之美 分层遍历二叉树
* 之前已经用队列实现过二叉树的层次遍历,但这次要求输出换行,因此要
jquery取值和ajax提交复习记录
chengxuyuancsdn
jquery取值 ajax提交
// 取值
// alert($("input[name='username']").val());
// alert($("input[name='password']").val());
// alert($("input[name='sex']:checked").val());
// alert($("
推荐国产工作流引擎嵌入式公式语法解析器-IK Expression
comsci
java 应用服务器 工作 Excel 嵌入式
这个开源软件包是国内的一位高手自行研制开发的,正如他所说的一样,我觉得它可以使一个工作流引擎上一个台阶。。。。。。欢迎大家使用,并提出意见和建议。。。
----------转帖---------------------------------------------------
IK Expression是一个开源的(OpenSource),可扩展的(Extensible),基于java语言
关于系统中使用多个PropertyPlaceholderConfigurer的配置及PropertyOverrideConfigurer
daizj
spring
1、PropertyPlaceholderConfigurer
Spring中PropertyPlaceholderConfigurer这个类,它是用来解析Java Properties属性文件值,并提供在spring配置期间替换使用属性值。接下来让我们逐渐的深入其配置。
基本的使用方法是:(1)
<bean id="propertyConfigurerForWZ&q
二叉树:二叉搜索树
dieslrae
二叉树
所谓二叉树,就是一个节点最多只能有两个子节点,而二叉搜索树就是一个经典并简单的二叉树.规则是一个节点的左子节点一定比自己小,右子节点一定大于等于自己(当然也可以反过来).在树基本平衡的时候插入,搜索和删除速度都很快,时间复杂度为O(logN).但是,如果插入的是有序的数据,那效率就会变成O(N),在这个时候,树其实变成了一个链表.
tree代码:
C语言字符串函数大全
dcj3sjt126com
c function
C语言字符串函数大全
函数名: stpcpy
功 能: 拷贝一个字符串到另一个
用 法: char *stpcpy(char *destin, char *source);
程序例:
#include <stdio.h>
#include <string.h>
int main
友盟统计页面技巧
dcj3sjt126com
技巧
在基类调用就可以了, 基类ViewController示例代码
-(void)viewWillAppear:(BOOL)animated
{
[super viewWillAppear:animated];
[MobClick beginLogPageView:[NSString stringWithFormat:@"%@",self.class]];
window下在同一台机器上安装多个版本jdk,修改环境变量不生效问题处理办法
flyvszhb
java jdk
window下在同一台机器上安装多个版本jdk,修改环境变量不生效问题处理办法
本机已经安装了jdk1.7,而比较早期的项目需要依赖jdk1.6,于是同时在本机安装了jdk1.6和jdk1.7.
安装jdk1.6前,执行java -version得到
C:\Users\liuxiang2>java -version
java version "1.7.0_21&quo
Java在创建子类对象的同时会不会创建父类对象
happyqing
java 创建 子类对象 父类对象
1.在thingking in java 的第四版第六章中明确的说了,子类对象中封装了父类对象,
2."When you create an object of the derived class, it contains within it a subobject of the base class. This subobject is the sam
跟我学spring3 目录贴及电子书下载
jinnianshilongnian
spring
一、《跟我学spring3》电子书下载地址:
《跟我学spring3》 (1-7 和 8-13) http://jinnianshilongnian.iteye.com/blog/pdf
跟我学spring3系列 word原版 下载
二、
源代码下载
最新依
第12章 Ajax(上)
onestopweb
Ajax
index.html
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/
BI and EIM 4.0 at a glance
blueoxygen
BO
http://www.sap.com/corporate-en/press.epx?PressID=14787
有机会研究下EIM家族的两个新产品~~~~
New features of the 4.0 releases of BI and EIM solutions include:
Real-time in-memory computing –
Java线程中yield与join方法的区别
tomcat_oracle
java
长期以来,多线程问题颇为受到面试官的青睐。虽然我个人认为我们当中很少有人能真正获得机会开发复杂的多线程应用(在过去的七年中,我得到了一个机会),但是理解多线程对增加你的信心很有用。之前,我讨论了一个wait()和sleep()方法区别的问题,这一次,我将会讨论join()和yield()方法的区别。坦白的说,实际上我并没有用过其中任何一个方法,所以,如果你感觉有不恰当的地方,请提出讨论。
&nb
android Manifest.xml选项
阿尔萨斯
Manifest
结构
继承关系
public final class Manifest extends Objectjava.lang.Objectandroid.Manifest
内部类
class Manifest.permission权限
class Manifest.permission_group权限组
构造函数
public Manifest () 详细 androi
Oracle实现类split函数的方
zhaoshijie
oracle
关键字:Oracle实现类split函数的方
项目里需要保存结构数据,批量传到后他进行保存,为了减小数据量,子集拼装的格式,使用存储过程进行保存。保存的过程中需要对数据解析。但是oracle没有Java中split类似的函数。从网上找了一个,也补全了一下。
CREATE OR REPLACE TYPE t_split_100 IS TABLE OF VARCHAR2(100);
cr