一、背景
网上对于爬取股票数据有相对完善的教程。不过大部分教程都是只能够爬取一段时间的股票数据,针对某一只股票的历史数据爬取,目前还没有看到比较好的教程。下面对近期学的东西进行一点点小结。
二、股票数据爬取网站
网上更多推荐的是东方财富的股票数据,链接为:http://quote.eastmoney.com/stocklist.html
东方财富上能够获得所有股票的编号信息,有助于股票数据的爬取,但是每天的股票数据,大多都在百度股票数据上进行的爬取,爬取数据的网址为:https://gupiao.baidu.com/stock/
对于某一只股票的所有历史数据,这里推荐网易财经,以600000浦发银行为例,查找600000,然后查看其历史数据即可,且历史数据可以直接手动下载。其历史数据的链接为:http://quotes.money.163.com/trade/lsjysj_600000.html#01b07
三、股票数据爬取的一点小技巧
股票数据的量非常大,这里在爬取股票数据的时候,需要注意的就是反爬虫的工作。参考了很多代码,总结出比较好的思路有两个:
一是设置很多header,每次随机抽取一个header进行数据访问。下面给出这些header供参考。
import urllib
import urllib.request
import re
import random
user_agent = ["Mozilla/5.0 (Windows NT 10.0; WOW64)", 'Mozilla/5.0 (Windows NT 6.3; WOW64)',
'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',
'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',
'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',
'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',
'Opera/9.27 (Windows NT 5.2; U; zh-cn)',
'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',
'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1 ',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 ',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11']
url='http://quote.stockstar.com/stock/ranklist_a_3_1_'+str(page)+'.html'
request=urllib.request.Request(url=url,headers={"User-Agent":random.choice(user_agent)})#随机从user_agent列表中抽取一个元素
二是每抓一页随机休眠几秒,数值可根据实际情况改动。可参考:
import time
time.sleep(random.randrange(1,4))
四、爬取股票代码
试验了很多代码,有两个代码还不错,能够爬取出部分股票数据。下面直接给出相关代码:
import requests
from bs4 import BeautifulSoup
import traceback
import re
def getHTMLText(url):
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def getStockList(lst, stockURL):
html = getHTMLText(stockURL)
soup = BeautifulSoup(html, 'html.parser')
a = soup.find_all('a')
for i in a:
try:
href = i.attrs['href']
lst.append(re.findall(r"[s][hz]\d{6}", href)[0])
except:
continue
def getStockInfo(lst, stockURL, fpath):
count = 0
for stock in lst:
url = stockURL + stock + ".html"
html = getHTMLText(url)
try:
if html == "":
continue
infoDict = {}
soup = BeautifulSoup(html, 'html.parser')
stockInfo = soup.find('div', attrs={'class': 'stock-bets'})
name = stockInfo.find_all(attrs={'class': 'bets-name'})[0]
infoDict.update({'股票名称': name.text.split()[0]})
keyList = stockInfo.find_all('dt')
valueList = stockInfo.find_all('dd')
for i in range(len(keyList)):
key = keyList[i].text
val = valueList[i].text
infoDict[key] = val
with open(fpath, 'a', encoding='utf-8') as f:
f.write(str(infoDict) + '\n')
count = count + 1
print("\r当前进度: {:.2f}%".format(count * 100 / len(lst)), end="")
except:
count = count + 1
print("\r当前进度: {:.2f}%".format(count * 100 / len(lst)), end="")
continue
def main():
stock_list_url = 'http://quote.eastmoney.com/stocklist.html'
stock_info_url = 'https://gupiao.baidu.com/stock/'
output_file = 'D:/BaiduStockInfo.txt'
slist = []
getStockList(slist, stock_list_url)
getStockInfo(slist, stock_info_url, output_file)
if __name__ == '__main__':
mian()
测试过上述代码,能够下载部分股票数据的当日情况,但存在的问题是下载一阵之后就不再下载数据,且下载数据的效果并不理想,排版很乱。下面是爬取股票数据的结果:
另一个比较好的代码为:
import urllib
import urllib.request
import re
import random
import time
#抓取所需内容
user_agent = ["Mozilla/5.0 (Windows NT 10.0; WOW64)", 'Mozilla/5.0 (Windows NT 6.3; WOW64)',
'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',
'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',
'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',
'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',
'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1 ',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 ',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11']
stock_total=[] # 所有页面的股票数据
for page in range(1,8): # 下载1-7页的股票数据
url='http://quote.stockstar.com/stock/ranklist_a_3_1_'+str(page)+'.html'
request=urllib.request.Request(url=url,headers={"User-Agent":random.choice(user_agent)})#随机从user_agent列表中抽取一个元素
try:
response=urllib.request.urlopen(request)
except urllib.error.HTTPError as e: #异常检测
print('page=',page,'',e.code)
except urllib.error.URLError as e:
print('page=',page,'',e.reason)
content=response.read().decode('gbk') #读取网页内容
print('get page',page) #打印成功获取的页码
pattern=re.compile('')
body=re.findall(pattern,str(content))
pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #正则匹配
stock_total.extend(stock_page)
time.sleep(random.randrange(1,4)) #每抓一页随机休眠几秒,数值可根据实际情况改动
#删除空白字符
stock_last=stock_total[:] #stock_last为最终所要得到的股票数据
for data in stock_total:
if data=='':
stock_last.remove('')
#打印部分结果
print('代码','\t','简称',' ','\t','最新价','\t',' ','涨跌幅','\t',' ','涨跌额','\t',' ','5分钟涨幅')
for i in range(0,len(stock_last),13): #原网页有13列数据,所以步长为13
print(stock_last[i],'\t',stock_last[i+1],' ','\t',stock_last[i+2],' ','\t',stock_last[i+3],' ','\t',stock_last[i+4],' ','\t',stock_last[i+5])
该代码可以直接下载股票的相应数据,存在的问题也是只能下载一部分数据。
目前关于如何下载一支股票的所有历史数据,还在学习中。。。。。。
你可能感兴趣的:(数据集制作与课程收集)
Python数据可视化与地理空间分析
CrMylive.
信息可视化 python 开发语言
数据可视化是数据分析的一个关键环节,它将数据转化为可视化的图形和图表,帮助人们更好的理解和分析数据。Python作为一种通用的编程语言,也可以用于数据可视化和地理空间分析。本文将深入探讨Python在数据可视化和地理空间分析方面的应用。一、Python数据可视化Python数据可视化的核心工具是matplotlib,它是一个开源的绘图库,可以帮助用户创建高质量的静态、动态和交互式图形。除了matp
python 判断两个矩形是否重叠(Find if two rectangles overlap)
csdn_aspnet
Python python
给定两个矩形,判断这两个矩形是否重叠。注意,一个矩形可以用两个坐标表示,左上角和右下角。所以我们主要给出以下四个坐标。l1:第一个矩形的左上角坐标。r1:第一个矩形的右下角坐标。l2:第二个矩形的左上角坐标。r2:第二个矩形的右下角坐标。我们需要编写一个函数booldoOverlap(l1,r1,l2,r2),如果两个给定的矩形重叠,则返回true。注意:可以假设矩形与坐标轴平行。一种解决方案是逐
jetson xavier nx 开启usb bulk 模式
超级无敌霹雳破坏龙
嵌入式硬件 arm开发
一、参考资料与信息:jetsonxaviernx使用jetpacksdk5.0.2,20.04ubantu。CONFIG_USB_CONFIGFS_F_FS=y(通过ConfigFS的FunctionFS支持)。在较新的内核版本中,CONFIG_USB_FUNCTIONFS已被CONFIG_USB_CONFIGFS_F_FS替代。请连接host设备后再启动程序https://developer.d
linux 安装anaconda与jupyter notebook配置
土豆土豆,我是洋芋
python
一、anaconda安装在官网或清华镜像下载anaconda在载前看一下自己的系统版本,下载对应的anaconda版本。在系统中输入:cat/proc/version,如下图所示##下载地址1)官网:https://www.anaconda.com/distribution/2)清华镜像:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/安
那些让我绞尽脑汁的 数组例题
祁同伟.
# C语言 c语言
目录一.两个有序数组的合并思路1:思路2:(复杂,不做代码演示)代码演示:(支持C99变长数组)注意:二.调整数组使奇数全部都位于偶数前面思路1:代码演示:思路2:代码演示:三.矩阵式的输入一.两个有序数组的合并输入两个升序排列的序列,将两个序列合并为一个有序序列并输出。数据范围:1≤n,m≤1000,序列中的值满足0≤val≤30000例如:这里的思想与“两个有序链表合并”相似思路1:数组1从i
Java 代码的重构技巧:从混乱到整洁的蜕变
叶间清风1998
java 重构 python
目录一、重构的概念与重要性二、常见的重构手法提取方法(ExtractMethod)引入多态(IntroducePolymorphism)三、重构的实施步骤制定重构计划编写单元测试逐步重构与验证在Java项目的生命周期中,随着业务的不断发展和功能的持续迭代,代码往往会逐渐变得复杂和混乱。代码中可能出现重复逻辑、不合理的类与方法设计以及难以理解的复杂算法等问题,这不仅增加了开发人员的理解成本,还使得后
Go语言的智能合约
崔婉凝
包罗万象 golang 开发语言 后端
Go语言与智能合约的结合随着区块链技术的快速发展,智能合约作为其重要组成部分,正在逐渐改变传统行业的运作方式。作为区块链上的一种自执行程序,智能合约的出现为信任机制的构建提供了新的解决方案。在众多开发语言中,Go语言因其高效性、并发性和良好的可维护性,越来越受到智能合约开发者的青睐。本文将深入探讨Go语言在智能合约开发中的优势、应用以及实现方法。1.智能合约概述智能合约是一种自动执行、控制或文档的
使用 labelImg 制作YOLO系列目标检测数据集(
2401_89791028
YOLO 目标检测 人工智能
文章转载自K同学,谨防原文失效可参考link1和link2和link3LabelImg介绍LabelImg支持文件夹的导入,在标完一张后,在左侧选择NextImage就可以切换到下一张继续了。输出格式部分,目前LabelImg支持YOLO和PascalVOC2种格式,前者标签文件后缀是.txt件,而后者标签文件后缀是.xml件。标签保存在对应的labels文件夹下,与images中的图片文件名一一
新手必看——ctf六大题型介绍及六大题型解析&举例解题
沛哥网络安全
web安全 学习 安全 udp 网络协议
CTF(CaptureTheFlag)介绍与六大题型解析一、什么是CTF?CTF(CaptureTheFlag),意为“夺旗赛”,是一种信息安全竞赛形式,广泛应用于网络安全领域。CTF竞赛通过模拟现实中的网络安全攻防战,让参赛者以攻防对抗的形式,利用各种信息安全技术进行解决一系列安全问题,最终获得“旗帜(Flag)”来获得积分。CTF赛事一般分为两种形式:Jeopardy(解题模式):参赛者通过解
2025年入职/转行网络安全,该如何规划?网络安全职业规划
教网络安全的毛老师
web安全 安全 运维 云计算 python
网络安全是一个日益增长的行业,对于打算进入或转行进入该领域的人来说,制定一个清晰且系统的职业规划非常重要。2025年,网络安全领域将继续发展并面临新的挑战,包括不断变化的技术、法规要求以及日益复杂的威胁环境。以下是一个关于网络安全职业规划的详细指南,涵盖了从入门到高级岗位的成长路径、技能要求、资源获取等方面的内容。第一部分:网络安全行业概述1.1网络安全的现状与未来网络安全已经成为全球企业和政府的
2024年HarmonyOS鸿蒙最新鸿蒙应用开发当前支持的颜色枚举值(2),2024年最新社招面试题目
2401_84850323
程序员 鸿蒙 面试 学习
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上鸿蒙开发知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化的资料的朋
侯捷 C++ 课程学习笔记:C++常用标准库
Three~stone
c++ 学习 笔记
标准库#include万能头是一个简写方式,用来一次性包含C++标准库中的许多常用部分,比如输入输出流(iostream)、算法(algorithm)、向量(vector)、列表(list)、队列(queue)、栈(stack)、映射(map)、集合(set)等。使用它可以让程序员在编写解决特定问题的代码时,不必一一列出所需的所有头文件,简化了代码的编写过程。在实际的工程项目或更专业的编程实践中,
蓝耘智算|从静态到动态:探索Maas平台海螺AI图片生成视频功能的强大能力
小馒头学python
资讯 人工智能 python 学习 AIGC 算法
文章目录一、技术介绍二、平台注册三、功能体验四、总结随着人工智能技术的快速发展,视频处理和生成技术已经成为了众多行业关注的热点。最近,我有机会体验了蓝耘智算平台的Maas平海螺AI视频产品,它不仅是一个强大的AI视频处理工具,更是一个为用户带来极致体验的智能平台。在这篇博客中,我将详细分享我在使用Maas平海螺AI视频平台时的体验与测评,帮助大家更好地了解它的优势与不足。一、技术介绍图片生成视频(
08-单链表-单链表基本操作2
哆啦A梦阳
2025算法机试 算法 c++
题目来源18.链表的基本操作思路与上一份的最大区别就是要先判断一下要处理的k是否是合法的,也就是要先将指针能够指向k;上一份的idx是一个全局的指针,由于链表天生就是物理位置不用连续,所以idx可以在任意位置,只要该节点能够和整个链表连接起来就行;掌握数组模拟链表的基本用法,其他详见代码。init函数:初始化链表,将头指针head置为-1,表示链表为空,同时将节点索引idx置为0。add2head
利用 Python 打包 DLL 供 C# 调用的实现与解析
汪子熙
Python python c# microsoft
在现代软件开发中,跨语言调用是一项十分常见的需求。比如题主需求提到的把Python应用打包成dll,供C#程序调用。Python提供了多个模块和工具支持与其他语言的交互。利用ctypes或cffi模块,以及pybind11,我们可以将Python函数封装为C接口。同时,借助pyinstaller等工具,我们可以将Python程序打包为独立运行的二进制文件。技术选择ctypes和cffi:提供了与C
笔记:代码随想录算法训练营day55:LeetCode42. 接雨水、84.柱状图中最大的矩形
jingjingjing1111
算法
学习资料:代码随想录42.接雨水力扣题目链接暴力解法超时了,直接从双指针开始双指大概思路为创立两个数组记录两侧的最大值,这里的最大值是真正的最大的值,而不是最近的那个比较大的值,即所谓的按列计算,后面单调栈方法找到的是上一个较大值和下一个较大值,是所谓的按行计算,这样这个凹槽可能身处更大的凹槽中,所以每次都要乘一个宽度,类似与按层往上摞classSolution{public:inttrap(ve
解锁C++异常秘籍:自定义类与安全保障全解析
大雨淅淅
C++开发 算法 开发语言 c++ 数据结构
目录一、C++异常处理初印象二、探索C++标准异常类三、自定义异常类的构建与应用3.1自定义异常类的必要性3.2自定义异常类的实现步骤3.3实际应用场景四、异常安全保证:守护代码的坚固防线4.1异常安全的重要性4.2异常安全的三个级别4.3实现异常安全的策略与技巧五、总结与展望一、C++异常处理初印象在C++编程的世界里,我们常常会遇到各种意外情况,比如除零错误、内存分配失败、数组越界等。这些运行
《票多多元宇宙:科技与娱乐的融合,开启精彩生活新纪元》
wen1.
人工智能
《票多多元宇宙:科技与娱乐的融合,开启精彩生活新纪元》票多多元宇宙,作为虚拟现实技术与娱乐产业理念的深度融合,正以其独特的优势,为我们的生活带来了一系列显著的好处。一、虚拟娱乐体验票多多元宇宙利用虚拟现实技术,为用户提供了沉浸式的娱乐体验。用户可以在虚拟环境中,身临其境地享受各种娱乐活动,如虚拟音乐会、虚拟电影、虚拟游戏、虚拟旅游等,这种虚拟娱乐体验,使得娱乐过程更加直观、生动,增强了用户对娱乐内
《京晨阳元宇宙:科技与生活的融合,开启智能生活新纪元》
wen1.
人工智能
《京晨阳元宇宙:科技与生活的融合,开启智能生活新纪元》京晨阳元宇宙,作为虚拟现实技术与生活服务理念的深度融合,正以其独特的优势,为我们的生活带来了一系列显著的好处。一、虚拟生活体验京晨阳元宇宙利用虚拟现实技术,为用户提供了沉浸式的生活体验。用户可以在虚拟环境中,身临其境地进行各种生活活动,如虚拟旅游、虚拟购物、虚拟社交等,这种虚拟生活体验,使得生活过程更加直观、生动,增强了用户对生活的兴趣和参与度
智能未来,程易科技引领AI新纪元——全新云智AI人工智能平台产品发布
DSP数字化服务平台
科技 人工智能
在数字化浪潮的推动下,人工智能(AI)正以前所未有的速度改变着我们的世界。从自动驾驶汽车到个性化推荐系统,从智能客服到医疗诊断,AI的应用场景日益广泛,其背后的技术支撑也变得越来越重要。在这个背景下,程易科技专注于企业数字化、高性能计算、前后处理、AI技术研究与应用等领域的创新企业,2024年6月正式推出其最新的人工智能平台V5.0产品,云智AI人工智能平台,旨在为企业和开发者提供一站式的AI解决
如果我想成为一名大数据和算法工程师,我需要学会哪些技能,获取大厂的offer
红豆和绿豆
杂谈 大数据 算法
成为一名大数据和算法工程师并获取大厂Offer,需要掌握一系列核心技能,并具备丰富的项目经验与扎实的理论基础。以下是详细的技能要求和建议:---###**1.数学与理论基础**-**数学知识**:掌握线性代数、微积分、概率论和统计学,这些是设计和理解算法的基础。-**机器学习理论**:深入理解常见机器学习算法(如线性回归、逻辑回归、决策树、随机森林、SVM、K-means等),了解其原理、优缺点及
(Kotlin)BaseActivity 和 BaseFragment 的现代化架构:ViewBinding 与 ViewModel 的深度整合
tangweiguo03051987
Kotlin语法 kotlin 架构 开发语言
BaseActivity和BaseFragment实现,集成了ViewBinding,并增加了对Lifecycle和ViewModel的支持,同时进一步简化了代码结构,使其更易用、更灵活。1.启用ViewBinding在build.gradle中启用ViewBinding:android{...viewBinding{isEnabled=true}}2.BaseActivityimportandr
数据挖掘:第二章、认识数据
initial- - -
数据挖掘 数据挖掘 人工智能
第二章认识数据2.1数据类型与统计汇总数据集与数据对象一个数据集由多个数据对象组成,每个数据对象代表一个实体。例如,在销售数据库中,数据对象可以是客户、商品、销售额等;在医疗数据库中,数据对象可以是患者、治疗信息等;在大学数据库中,数据对象可以是学生、教授、课程信息等。数据对象也被称为样品、示例、实例、数据点、对象、元组。数据对象所描述的属性即数据集中的列,而数据对象则是数据库中的行。属性属性是数
智能科技助力健康生活:开启体育与健身的新纪元
inscode_010
最新接入DeepSeek-V3模型,点击下载最新版本InsCodeAIIDE智能科技助力健康生活:开启体育与健身的新纪元在现代社会,科技的迅猛发展不仅改变了我们的生活方式,也深刻影响了体育与健身领域。从智能穿戴设备到虚拟现实训练系统,技术的进步为人们提供了前所未有的健身体验。而今天,我们将探讨一款强大的智能化工具——它不仅仅适用于编程开发,更能在体育与健身领域发挥巨大作用,帮助我们实现更加高效、科
大模型与自然语言理解(NLU):差异与联系
技术流 Gavin
AIoT python 语言模型 ai
近年来,人工智能领域取得了显著进展,尤其是在自然语言处理(NLP)方面。大模型和自然语言理解(NLU)作为NLP的两个重要分支,常常被提及,但它们之间存在着本质区别。1.定义与目标大模型:通常指拥有庞大参数规模(数十亿甚至数千亿)的深度学习模型,例如GPT-3、LaMDA等。它们通过海量文本数据进行训练,旨在学习语言的统计规律,并能够生成流畅、连贯的文本。NLU:是NLP的一个子领域,专注于让机器
入门笔记STA1.C++的编译,变量,new,引用
逐梦云间
c++ c++ java 开发语言
目录1.简介1、C++简介2、书写一个C++的helloworld程序。3、编译代码。4、变量。5、常量。六、字符串。七、数据的输入八、递增递减运算符九、内存分区模型。十、程序运行前。十一、程序运行后。十二、new操作符开辟堆空间。十三、引用的基本使用。十四、引用注意事项。十五、引用做函数参数。十六、引用做函数返回值。1.简介1、C++简介1、C语言与C++区别?C语言是一种面向过程的开发语言。-
论文笔记:Deep Algorithm Unrolling for Blind Image Deblurring
爱学习的小菜鸡
论文笔记 去模糊 图像处理 神经网络
这是一篇CVPR2020的去模糊论文,主要是通过传统与深度相结合,将迭代次数变成神经网络的层数,使网络结构的网络结构更加具有解释性。主要贡献:DeepUnrollingforBlindImageDeblurring(DUBLID):提出一种可解释的神经网络结构叫做DUBLID,首先提出一种迭代算法,该算法被认为是梯度域中传统的广义全变分正则方法(generalizedTV-regularizeda
用户模块——redis工具类
ktkiko11
IM项目记录 redis 数据库
1.Redis工具类与基础配置1.1什么是Redis,为什么使用它?Redis(RemoteDictionaryServer)是一个开源的高性能键值对存储数据库,通常用于缓存数据、存储会话信息等场景。它的主要优点是速度快,支持多种数据结构(如字符串、哈希、列表、集合等)。在开发中,我们经常使用Redis来加速数据读取,减轻数据库压力,提升应用性能。1.2为什么要使用Redis工具类?在实际开发中,
Hyperlane:解锁并发编程的未来
LTPP
java 前端 网络 rust 开发语言 服务器 数据库
Hyperlane:解锁并发编程的未来Hyperlane框架以其简洁高效的设计理念,致力于解决多线程并发开发中的常见问题。它充分利用了Rust与Tokio的强大能力,为开发者提供了一种安全、简便的数据共享方式。本文将介绍Hyperlane在锁管理和异步编程方面的实践,展示如何规避死锁问题,从而构建高效可靠的并发程序。死锁问题在并发环境中,不正确的锁管理容易引发死锁问题。Hyperlane框架推荐通
计算机网络实验:实验三 路由器的基本配置
予安nv
计算机网络 网络 服务器
一、实验目的掌握路由器几种常用配置方法;掌握采用Console线缆配置路由器的方法;掌握采用Telnet方式配置路由器的方法;熟悉路由器不同的命令行操作模式以及各种模式之间的切换;掌握路由器的基本配置命令。二、实验内容学习路由器的配置方法;使用路由器配置命令实现路由器的基本配置。三、实验仪器与材料Router_28111台;PC1台;交叉线;配置线说明:交叉线:路由器与计算机相连路由器与交换机相连
异常的核心类Throwable
无量
java 源码 异常处理 exception
java异常的核心是Throwable,其他的如Error和Exception都是继承的这个类 里面有个核心参数是detailMessage,记录异常信息,getMessage核心方法,获取这个参数的值,我们可以自己定义自己的异常类,去继承这个Exception就可以了,方法基本上,用父类的构造方法就OK,所以这么看异常是不是很easy
package com.natsu;
mongoDB 游标(cursor) 实现分页 迭代
开窍的石头
mongodb
上篇中我们讲了mongoDB 中的查询函数,现在我们讲mongo中如何做分页查询
如何声明一个游标
var mycursor = db.user.find({_id:{$lte:5}});
迭代显示游标数
MySQL数据库INNODB 表损坏修复处理过程
0624chenhong
tomcat mysql
最近mysql数据库经常死掉,用命令net stop mysql命令也无法停掉,关闭Tomcat的时候,出现Waiting for N instance(s) to be deallocated 信息。查了下,大概就是程序没有对数据库连接释放,导致Connection泄露了。因为用的是开元集成的平台,内部程序也不可能一下子给改掉的,就验证一下咯。启动Tomcat,用户登录系统,用netstat -
剖析如何与设计人员沟通
不懂事的小屁孩
工作
最近做图烦死了,不停的改图,改图……。烦,倒不是因为改,而是反反复复的改,人都会死。很多需求人员不知该如何与设计人员沟通,不明白如何使设计人员知道他所要的效果,结果只能是沟通变成了扯淡,改图变成了应付。
那应该如何与设计人员沟通呢?
我认为设计人员与需求人员先天就存在语言障碍。对一个合格的设计人员来说,整天玩的都是点、线、面、配色,哪种构图看起来协调;哪种配色看起来合理心里跟明镜似的,
qq空间刷评论工具
换个号韩国红果果
JavaScript
var a=document.getElementsByClassName('textinput');
var b=[];
for(var m=0;m<a.length;m++){
if(a[m].getAttribute('placeholder')!=null)
b.push(a[m])
}
var l
S2SH整合之session
灵静志远
spring AOP struts session
错误信息:
Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'cartService': Scope 'session' is not active for the current thread; consider defining a scoped
xmp标签
a-john
标签
今天在处理数据的显示上遇到一个问题:
var html = '<li><div class="pl-nr"><span class="user-name">' + user
+ '</span>' + text + '</div></li>';
ulComme
Ajax的常用技巧(2)---实现Web页面中的级联菜单
aijuans
Ajax
在网络上显示数据,往往只显示数据中的一部分信息,如文章标题,产品名称等。如果浏览器要查看所有信息,只需点击相关链接即可。在web技术中,可以采用级联菜单完成上述操作。根据用户的选择,动态展开,并显示出对应选项子菜单的内容。 在传统的web实现方式中,一般是在页面初始化时动态获取到服务端数据库中对应的所有子菜单中的信息,放置到页面中对应的位置,然后再结合CSS层叠样式表动态控制对应子菜单的显示或者隐
天-安-门,好高
atongyeye
情感
我是85后,北漂一族,之前房租1100,因为租房合同到期,再续,房租就要涨150。最近网上新闻,地铁也要涨价。算了一下,涨价之后,每次坐地铁由原来2块变成6块。仅坐地铁费用,一个月就要涨200。内心苦痛。
晚上躺在床上一个人想了很久,很久。
我生在农
android 动画
百合不是茶
android 透明度 平移 缩放 旋转
android的动画有两种 tween动画和Frame动画
tween动画;,透明度,缩放,旋转,平移效果
Animation 动画
AlphaAnimation 渐变透明度
RotateAnimation 画面旋转
ScaleAnimation 渐变尺寸缩放
TranslateAnimation 位置移动
Animation
查看本机网络信息的cmd脚本
bijian1013
cmd
@echo 您的用户名是:%USERDOMAIN%\%username%>"%userprofile%\网络参数.txt"
@echo 您的机器名是:%COMPUTERNAME%>>"%userprofile%\网络参数.txt"
@echo ___________________>>"%userprofile%\
plsql 清除登录过的用户
征客丶
plsql
tools---preferences----logon history---history 把你想要删除的删除
--------------------------------------------------------------------
若有其他凝问或文中有错误,请及时向我指出,
我好及时改正,同时也让我们一起进步。
email : binary_spac
【Pig一】Pig入门
bit1129
pig
Pig安装
1.下载pig
wget http://mirror.bit.edu.cn/apache/pig/pig-0.14.0/pig-0.14.0.tar.gz
2. 解压配置环境变量
如果Pig使用Map/Reduce模式,那么需要在环境变量中,配置HADOOP_HOME环境变量
expor
Java 线程同步几种方式
BlueSkator
volatile synchronized ThredLocal ReenTranLock Concurrent
为何要使用同步? java允许多线程并发控制,当多个线程同时操作一个可共享的资源变量时(如数据的增删改查), 将会导致数据不准确,相互之间产生冲突,因此加入同步锁以避免在该线程没有完成操作之前,被其他线程的调用, 从而保证了该变量的唯一性和准确性。 1.同步方法&
StringUtils判断字符串是否为空的方法(转帖)
BreakingBad
null StringUtils “”
转帖地址:http://www.cnblogs.com/shangxiaofei/p/4313111.html
public static boolean isEmpty(String str)
判断某字符串是否为空,为空的标准是 str==
null
或 str.length()==
0
编程之美-分层遍历二叉树
bylijinnan
java 数据结构 算法 编程之美
import java.util.ArrayList;
import java.util.LinkedList;
import java.util.List;
public class LevelTraverseBinaryTree {
/**
* 编程之美 分层遍历二叉树
* 之前已经用队列实现过二叉树的层次遍历,但这次要求输出换行,因此要
jquery取值和ajax提交复习记录
chengxuyuancsdn
jquery取值 ajax提交
// 取值
// alert($("input[name='username']").val());
// alert($("input[name='password']").val());
// alert($("input[name='sex']:checked").val());
// alert($("
推荐国产工作流引擎嵌入式公式语法解析器-IK Expression
comsci
java 应用服务器 工作 Excel 嵌入式
这个开源软件包是国内的一位高手自行研制开发的,正如他所说的一样,我觉得它可以使一个工作流引擎上一个台阶。。。。。。欢迎大家使用,并提出意见和建议。。。
----------转帖---------------------------------------------------
IK Expression是一个开源的(OpenSource),可扩展的(Extensible),基于java语言
关于系统中使用多个PropertyPlaceholderConfigurer的配置及PropertyOverrideConfigurer
daizj
spring
1、PropertyPlaceholderConfigurer
Spring中PropertyPlaceholderConfigurer这个类,它是用来解析Java Properties属性文件值,并提供在spring配置期间替换使用属性值。接下来让我们逐渐的深入其配置。
基本的使用方法是:(1)
<bean id="propertyConfigurerForWZ&q
二叉树:二叉搜索树
dieslrae
二叉树
所谓二叉树,就是一个节点最多只能有两个子节点,而二叉搜索树就是一个经典并简单的二叉树.规则是一个节点的左子节点一定比自己小,右子节点一定大于等于自己(当然也可以反过来).在树基本平衡的时候插入,搜索和删除速度都很快,时间复杂度为O(logN).但是,如果插入的是有序的数据,那效率就会变成O(N),在这个时候,树其实变成了一个链表.
tree代码:
C语言字符串函数大全
dcj3sjt126com
c function
C语言字符串函数大全
函数名: stpcpy
功 能: 拷贝一个字符串到另一个
用 法: char *stpcpy(char *destin, char *source);
程序例:
#include <stdio.h>
#include <string.h>
int main
友盟统计页面技巧
dcj3sjt126com
技巧
在基类调用就可以了, 基类ViewController示例代码
-(void)viewWillAppear:(BOOL)animated
{
[super viewWillAppear:animated];
[MobClick beginLogPageView:[NSString stringWithFormat:@"%@",self.class]];
window下在同一台机器上安装多个版本jdk,修改环境变量不生效问题处理办法
flyvszhb
java jdk
window下在同一台机器上安装多个版本jdk,修改环境变量不生效问题处理办法
本机已经安装了jdk1.7,而比较早期的项目需要依赖jdk1.6,于是同时在本机安装了jdk1.6和jdk1.7.
安装jdk1.6前,执行java -version得到
C:\Users\liuxiang2>java -version
java version "1.7.0_21&quo
Java在创建子类对象的同时会不会创建父类对象
happyqing
java 创建 子类对象 父类对象
1.在thingking in java 的第四版第六章中明确的说了,子类对象中封装了父类对象,
2."When you create an object of the derived class, it contains within it a subobject of the base class. This subobject is the sam
跟我学spring3 目录贴及电子书下载
jinnianshilongnian
spring
一、《跟我学spring3》电子书下载地址:
《跟我学spring3》 (1-7 和 8-13) http://jinnianshilongnian.iteye.com/blog/pdf
跟我学spring3系列 word原版 下载
二、
源代码下载
最新依
第12章 Ajax(上)
onestopweb
Ajax
index.html
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/
BI and EIM 4.0 at a glance
blueoxygen
BO
http://www.sap.com/corporate-en/press.epx?PressID=14787
有机会研究下EIM家族的两个新产品~~~~
New features of the 4.0 releases of BI and EIM solutions include:
Real-time in-memory computing –
Java线程中yield与join方法的区别
tomcat_oracle
java
长期以来,多线程问题颇为受到面试官的青睐。虽然我个人认为我们当中很少有人能真正获得机会开发复杂的多线程应用(在过去的七年中,我得到了一个机会),但是理解多线程对增加你的信心很有用。之前,我讨论了一个wait()和sleep()方法区别的问题,这一次,我将会讨论join()和yield()方法的区别。坦白的说,实际上我并没有用过其中任何一个方法,所以,如果你感觉有不恰当的地方,请提出讨论。
&nb
android Manifest.xml选项
阿尔萨斯
Manifest
结构
继承关系
public final class Manifest extends Objectjava.lang.Objectandroid.Manifest
内部类
class Manifest.permission权限
class Manifest.permission_group权限组
构造函数
public Manifest () 详细 androi
Oracle实现类split函数的方
zhaoshijie
oracle
关键字:Oracle实现类split函数的方
项目里需要保存结构数据,批量传到后他进行保存,为了减小数据量,子集拼装的格式,使用存储过程进行保存。保存的过程中需要对数据解析。但是oracle没有Java中split类似的函数。从网上找了一个,也补全了一下。
CREATE OR REPLACE TYPE t_split_100 IS TABLE OF VARCHAR2(100);
cr