- agoda获取酒店数据
风云路上想改名
笔记pythonagoda爬取报错重启
最近改了改代码,正好解决了一些报错问题,更新出来。个别处会加蜜数据库以及线程控制fromDBUtils.PooledDBimportPooledDBimportrequestsimportdemjsonimporttimeimportrandomimportjsonimportpymysqlimportdatetimeimportthreadingb={"user":"root","passwd"
- Python-tkinter自制登录界面(含注册)
GCHEK
python开发语言
简单的用户登录、注册界面importtkinterastkimporttimeimportsubprocessimportsysimportosimporttkinter.messageboxwindow=tk.Tk()window.title('GCHEK')window.geometry('400x300')#设置储存用户信息的容器,这里用的txt。ifnotos.path.exists('U
- 【干货】视频文件抽帧(opencv和ffmpeg方式对比)
zkFun
超硬干货Pythonopencvffmpeg人工智能
1废话不多说,直接上代码opencv方式importtimeimportsubprocessimportcv2,osfrommathimportceildefextract_frames_opencv(video_path,output_folder,frame_rate=1):"""使用OpenCV从视频中抽取每秒指定帧数的帧,并保存到指定文件夹。如果视频长度不是整数秒,则会在最后一帧时补充空白
- 【Windows_办公自动化_日报日期自动生成】自动生成带有中国节假日、调休、补休的日期
铜锣烧1号
办公自动化pythonwindows
importdatetimeimportrefromholidaysimportCN#导入中国的节假日库#开始日期start_date=datetime.date(2024,8,5)end_date=datetime.date(2024,12,31)#当前日期current_date=start_date#节假日和调休的详情holidays_cn=CN(years=2024)#存储调休日期及其对应
- Python爬虫实战:获取笔趣阁图书信息,并做数据分析
ylfhpy
爬虫python爬虫数据分析
注意:以下内容仅供技术研究,请遵守目标网站的robots.txt规定,控制请求频率避免对目标服务器造成过大压力!1.环境准备与反爬策略pythonimportrequestsfrombs4importBeautifulSoupimportpandasaspdimportreimporttimeimportrandomfromfake_useragentimportUserAgent#需安装:pip
- python aiohttp_Python-异步之aiohttp
weixin_39864101
pythonaiohttp
什么是aiohttp?一个异步的HTTP客户端\服务端框架,基于asyncio的异步模块。可用于实现异步爬虫,更快于requests的同步爬虫。aiohttp和requestsrequests版爬虫requests同步方式连续30次简单爬取http://httpbin.org网站importrequestsfromdatetimeimportdatetimedeffetch(url):r=requ
- GAN网络
Wzongming
pycharmpython
"""ModuleimplementingGANwhichwillbetrainedusingtheProgressivegrowingtechnique->https://arxiv.org/abs/1710.10196"""importdatetimeimportosimporttimeimporttimeitimportnumpyasnpimporttorchasthclassGenerat
- js判断当前时间是否在指定范围内
i'm wxm
前端javascript开发语言
一、js判断当前时间是否在指定范围内利用js的Date对象,获得三个时间戳,分别为当前时间、开始时间、结束时间,通过比对当前时间是否在开始时间和结束时间之间,来判断是否在一个时间区间内方法一:functionisTimeInRange(startTime:any,endTime:any){//获取当前时间、开始时间、结束时间的时间戳constnow=newDate();constcurrentTi
- Py-imaplib读取163邮箱
侃看网Ayong
pythonpython开发语言
Py-imaplib读取163邮箱引入包#-*-coding:utf-8-*-importosimportemailimportimaplibimportquopriimportdatetimeimportrequestsimportjsonimporttimeimporthmacimporthashlibimportbase64importurllib.parsefromoptparseimpo
- 使用python imapclient访问163邮箱
锅炉房刘大爷
python2.7imapclient
#coding=utf8"""python2.7"""importreimportosimportsysimporttimeimportjsonimportemailimportloggingfromimapclientimportIMAPClientlogging.basicConfig(level=logging.DEBUG,format='[%(asctime)s][%(levelname)
- 第三章 回归训练实战(以预测新冠感染人数为例)
不吃香菜(扣1复活版)
深度学习入门笔记深度学习人工智能
完整项目代码(预测第三天的新冠感染人数)fromsklearn.feature_selectionimportSelectKBestfromsklearn.feature_selectionimportchi2importcsv#读CSVimportnumpyasnpimporttimeimportmatplotlib.pyplotaspltimportpandasaspdfromtorchimp
- 浅聊MQ之Kafka、RabbitMQ、ActiveMQ、RocketMQ持久化策略
天天向上杰
kafkarabbitmqactivemqrocketmqjava
以下是主流消息队列(Kafka、RabbitMQ、ActiveMQ、RocketMQ)的持久化策略详解及实际场景示例:1.Kafka持久化策略核心机制:日志分段存储:每个Topic分区对应一个物理日志文件(顺序写入)分段策略:默认每1GB或7天生成新Segment(log.segment.bytes/log.roll.hours)索引文件:.index(偏移量索引)和.timeindex(时间戳索
- 支持Windows和Linux系统的Python定时关机脚本
星河776(重名区分)
python
以下是一个支持Windows和Linux系统的Python定时关机脚本,允许设置定时关机或取消关机计划:importsysimportosimportdatetimeimportctypesimportredefis_admin():"""检查是否具有管理员权限"""ifos.name=='nt':try:returnctypes.windll.shell32.IsUserAnAdmin()exc
- 分享一个基于需要天数获取开始跟结束股票日期的方法
不叫蓝鸽叫啥子
python开发语言
问题每次想要获取指定天数的股票数据的时候。要么指定前几个月导致数据量太大获取太慢,要么就是数据量不够。非常麻烦。话不多说,创建一个函数就能解决这个问题。代码需要的模块importdatetimeimporttushareastsimportpandasaspd为了避免再次执行代码而产生额外的计算可以将日期保存为csv,需要直接读取defworkday_cal(days):date_today=da
- oracle 误删恢复教程
高级盘丝洞
oracle数据库
--查看执行sql时间SELECTsql_text,last_load_timeFROMv$sqlWHERElast_load_timeISNOTNULLandsql_textlike'select%'ORDERBYlast_load_timeDESC;--查看时间前数据select*fromDEMOasoftimestampto_timestamp('2022-04-0216:26:11','y
- C++ 中的 函数
ElseWhereR
c++开发语言
*************C++topic:function*************Imagineaprogramisjustlikeaschool.Namespaceisdifferentcollugesandclassisdifferentclasses.Amemberfunctionofaclasscanbedefinedatthesametimeitisdeclared.Itisimpe
- IPython使用技巧整理
AI普惠行者
IT基础ipython
以下是一些常见且有用的IPython使用技巧,整理如下:一、基本功能1.启动IPython:在终端输入`ipython`命令即可启动IPython环境。2.自动补全:使用`Tab`键进行变量和函数名的自动补全。例如,输入`pri`后按`Tab`键,会自动补全为`print`。二、魔法命令(MagicCommands)1.%timeit:用来计时小段代码的执行时间。```python%timeits
- fastapi 里面的同步异步问题
m0_75101866
fastapi
资料https://zhuanlan.zhihu.com/p/720868393实践将数据库查询操作的函数全部改为异步的即可附本地起一个简单的fastapi服务,定义4个接口,代码如下:fromfastapiimportFastAPIimporttimeimportasynciorouter=FastAPI()@router.get("/a")asyncdefa():time.sleep(1)re
- python 摄像头 异常,opencvpython摄像头读取错误
weixin_39580564
python摄像头异常
我有个错误VIDEOIOERROR:V4L2:PixelformatofincomingimageisunsupportedbyOpenCVUnabletostopthestream:DeviceorresourcebusyVIDEOIOERROR:V4L:can'topencamerabyindex0尝试运行代码时importtimeimportdatetimeimportcv2importbo
- python 常见日期转换、excel时间转化、日期加N天、减N天等操作
大蛇王
python
importdatetimeimporttimefromdatetimeimporttimedelta"""小知识:Excel的日期是从1900年1月1日开始是”0“然后过一天累加一天的方式确定的"""#获取当天的日期,例如:2019-08-08,返回类型为strdefget_now_date():now_date=datetime.datetime.today()now_date_=now_da
- Kafka 中基于 Segment 和 Offset 查找消息的过程
小句
kafka数据库分布式
Kafka中基于Segment和Offset查找消息的过程假设我们有一个KafkaTopic,其Partition划分为多个Segment文件。每个Segment文件包含.log、.index和.timeindex文件。现在我们需要查找Offset为368801的消息。假设条件Partition:partition-0Segment文件:segment-1:起始Offset0,结束Offset36
- Python脚本向MongoDB中批量写入数据
犀牛_2046
Python脚本写入数据MongoDB数据库MongoDB
1.Python脚本写入数据库#!/usr/bin/python3importpymongoimportjsonfrombsonimportjson_utilimportuuidfromdatetimeimportdatetimemyclient=pymongo.MongoClient("mongodb://10.8.20.137:27017/")mdb=myclient.wdlacsmycol=
- 小猿口算pk脚本(基础版)
HoRain云小助手
pythonpython开发语言
实现原理:安卓adb截图传到电脑,然后用python裁剪获得两张数字图片,使用ddddocr识别数字,比较大小,再用adb命令模拟安卓手势实现importosimportddddocrfromtimeimportsleepfromPILimportImage#定义一个函数用于从连接的设备截取屏幕截图,并保存到指定的文件路径deftake_screenshot(path):#使用adb命令截屏并保存
- Python神器!WEB自动化测试集成工具 DrissionPage
测试涛叔
自动化测试软件测试软件测试面试python开发语言职场和发展软件测试面试
案例跟踪商品价格,降价自动推送消息到微信咱买不起还等不起吗?fromDrissionPageimport*importrefromtimeimportsleepimportcsvimportosimportdatetime#写入时间p=MixPage()p.get('http://xxxxxxx')#快快买网址p.to_iframe('iframeId')txt=p.ele('@class=cur
- 8.flask+websocket
卷土重来…
flaskflaskwebsocketpython
http是短连接,无状态的。websocket是长连接,有状态的。flask中使用websocketfromflaskimportFlask,requestimportasyncioimportjsonimporttimeimportwebsocketsfromthreadingimportThreadfromurllib.parseimporturlparse,parse_qsfromfunct
- 基于yolo的视频检测分析
阿拉斯攀登
机器学习图像处理YOLO音视频视觉检测
基于yolo的视频检测分析分步骤实现视频处理、目标检测与追踪、动作分析、计数逻辑,然后整合成API完整的解决方案,包含视频分析逻辑和API封装,使用Python、YOLOv8和FastAPI实现代码如下:python代码实现importosimportuuidimportjsonfromdatetimeimportdatetimefromfastapiimportFastAPI,UploadFil
- 模板转换工具
一壶浊酒..
pythonpandas开发语言
importpandasaspdimportosfromdatetimeimportdatetimeimportreimporttimestart_time=time.time()"""获取未导入的数据,且去除了没有电话号码,年龄小于60大于18"""#初始化一个空的列表来存储所有的DataFramedataframes=[]forroot,dirs,filesinos.walk('./data'
- python连点器(tkinter版)
2201_75334725
python开发语言
代码如下importpyautoguiaspgimporttimeimporttkinterastkfromtkinterimportmessageboxroot1=tk.Tk()root1.title("连点器")root1.geometry("400x400")l1=tk.Label(root1,text="输入连点次数")l1.pack()e1=tk.Entry(root1,font=30)
- Kafka系列之:Kafka存储数据相关重要参数理解
快乐骑行^_^
KafkaKafka系列Kafka存储数据重要参数理解
Kafka系列之:Kafka存储数据相关重要参数理解一、log.segment.bytes二、log.retention.bytes三、日志段四、log.retention.check.interval.ms五、数据底层文件六、index、log、snapshot、timeindex、leader-epoch-checkpoint、partition.metadata一、log.segment.b
- python代码主要围绕脂肪胰相关数据展开了一系列数据处理、分析、建模和评估工作
max500600
python算法python开发语言机器学习
importnumpyasnpimportpandasaspdimporttorchfromtorch.utils.dataimportDataset,DataLoader,TensorDatasetimportreimportmatplotlib.pyplotaspltimportseabornassnsimportscipyfromdatetimeimportdatetimefromsklea
- jvm调优总结(从基本概念 到 深度优化)
oloz
javajvmjdk虚拟机应用服务器
JVM参数详解:http://www.cnblogs.com/redcreen/archive/2011/05/04/2037057.html
Java虚拟机中,数据类型可以分为两类:基本类型和引用类型。基本类型的变量保存原始值,即:他代表的值就是数值本身;而引用类型的变量保存引用值。“引用值”代表了某个对象的引用,而不是对象本身,对象本身存放在这个引用值所表示的地址的位置。
- 【Scala十六】Scala核心十:柯里化函数
bit1129
scala
本篇文章重点说明什么是函数柯里化,这个语法现象的背后动机是什么,有什么样的应用场景,以及与部分应用函数(Partial Applied Function)之间的联系 1. 什么是柯里化函数
A way to write functions with multiple parameter lists. For instance
def f(x: Int)(y: Int) is a
- HashMap
dalan_123
java
HashMap在java中对很多人来说都是熟的;基于hash表的map接口的非同步实现。允许使用null和null键;同时不能保证元素的顺序;也就是从来都不保证其中的元素的顺序恒久不变。
1、数据结构
在java中,最基本的数据结构无外乎:数组 和 引用(指针),所有的数据结构都可以用这两个来构造,HashMap也不例外,归根到底HashMap就是一个链表散列的数据
- Java Swing如何实时刷新JTextArea,以显示刚才加append的内容
周凡杨
java更新swingJTextArea
在代码中执行完textArea.append("message")后,如果你想让这个更新立刻显示在界面上而不是等swing的主线程返回后刷新,我们一般会在该语句后调用textArea.invalidate()和textArea.repaint()。
问题是这个方法并不能有任何效果,textArea的内容没有任何变化,这或许是swing的一个bug,有一个笨拙的办法可以实现
- servlet或struts的Action处理ajax请求
g21121
servlet
其实处理ajax的请求非常简单,直接看代码就行了:
//如果用的是struts
//HttpServletResponse response = ServletActionContext.getResponse();
// 设置输出为文字流
response.setContentType("text/plain");
// 设置字符集
res
- FineReport的公式编辑框的语法简介
老A不折腾
finereport公式总结
FINEREPORT用到公式的地方非常多,单元格(以=开头的便被解析为公式),条件显示,数据字典,报表填报属性值定义,图表标题,轴定义,页眉页脚,甚至单元格的其他属性中的鼠标悬浮提示内容都可以写公式。
简单的说下自己感觉的公式要注意的几个地方:
1.if语句语法刚接触感觉比较奇怪,if(条件式子,值1,值2),if可以嵌套,if(条件式子1,值1,if(条件式子2,值2,值3)
- linux mysql 数据库乱码的解决办法
墙头上一根草
linuxmysql数据库乱码
linux 上mysql数据库区分大小写的配置
lower_case_table_names=1 1-不区分大小写 0-区分大小写
修改/etc/my.cnf 具体的修改内容如下:
[client]
default-character-set=utf8
[mysqld]
datadir=/var/lib/mysql
socket=/va
- 我的spring学习笔记6-ApplicationContext实例化的参数兼容思想
aijuans
Spring 3
ApplicationContext能读取多个Bean定义文件,方法是:
ApplicationContext appContext = new ClassPathXmlApplicationContext(
new String[]{“bean-config1.xml”,“bean-config2.xml”,“bean-config3.xml”,“bean-config4.xml
- mysql 基准测试之sysbench
annan211
基准测试mysql基准测试MySQL测试sysbench
1 执行如下命令,安装sysbench-0.5:
tar xzvf sysbench-0.5.tar.gz
cd sysbench-0.5
chmod +x autogen.sh
./autogen.sh
./configure --with-mysql --with-mysql-includes=/usr/local/mysql
- sql的复杂查询使用案列与技巧
百合不是茶
oraclesql函数数据分页合并查询
本片博客使用的数据库表是oracle中的scott用户表;
------------------- 自然连接查询
查询 smith 的上司(两种方法)
&
- 深入学习Thread类
bijian1013
javathread多线程java多线程
一. 线程的名字
下面来看一下Thread类的name属性,它的类型是String。它其实就是线程的名字。在Thread类中,有String getName()和void setName(String)两个方法用来设置和获取这个属性的值。
同时,Thr
- JSON串转换成Map以及如何转换到对应的数据类型
bijian1013
javafastjsonnet.sf.json
在实际开发中,难免会碰到JSON串转换成Map的情况,下面来看看这方面的实例。另外,由于fastjson只支持JDK1.5及以上版本,因此在JDK1.4的项目中可以采用net.sf.json来处理。
一.fastjson实例
JsonUtil.java
package com.study;
impor
- 【RPC框架HttpInvoker一】HttpInvoker:Spring自带RPC框架
bit1129
spring
HttpInvoker是Spring原生的RPC调用框架,HttpInvoker同Burlap和Hessian一样,提供了一致的服务Exporter以及客户端的服务代理工厂Bean,这篇文章主要是复制粘贴了Hessian与Spring集成一文,【RPC框架Hessian四】Hessian与Spring集成
在
【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中
- 【Mahout二】基于Mahout CBayes算法的20newsgroup的脚本分析
bit1129
Mahout
#!/bin/bash
#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements. See the NOTICE file distributed with
# this work for additional information re
- nginx三种获取用户真实ip的方法
ronin47
随着nginx的迅速崛起,越来越多公司将apache更换成nginx. 同时也越来越多人使用nginx作为负载均衡, 并且代理前面可能还加上了CDN加速,但是随之也遇到一个问题:nginx如何获取用户的真实IP地址,如果后端是apache,请跳转到<apache获取用户真实IP地址>,如果是后端真实服务器是nginx,那么继续往下看。
实例环境: 用户IP 120.22.11.11
- java-判断二叉树是不是平衡
bylijinnan
java
参考了
http://zhedahht.blog.163.com/blog/static/25411174201142733927831/
但是用java来实现有一个问题。
由于Java无法像C那样“传递参数的地址,函数返回时能得到参数的值”,唯有新建一个辅助类:AuxClass
import ljn.help.*;
public class BalancedBTree {
- BeanUtils.copyProperties VS PropertyUtils.copyProperties
诸葛不亮
PropertyUtilsBeanUtils
BeanUtils.copyProperties VS PropertyUtils.copyProperties
作为两个bean属性copy的工具类,他们被广泛使用,同时也很容易误用,给人造成困然;比如:昨天发现同事在使用BeanUtils.copyProperties copy有integer类型属性的bean时,没有考虑到会将null转换为0,而后面的业
- [金融与信息安全]最简单的数据结构最安全
comsci
数据结构
现在最流行的数据库的数据存储文件都具有复杂的文件头格式,用操作系统的记事本软件是无法正常浏览的,这样的情况会有什么问题呢?
从信息安全的角度来看,如果我们数据库系统仅仅把这种格式的数据文件做异地备份,如果相同版本的所有数据库管理系统都同时被攻击,那么
- vi区段删除
Cwind
linuxvi区段删除
区段删除是编辑和分析一些冗长的配置文件或日志文件时比较常用的操作。简记下vi区段删除要点备忘。
vi概述
引文中并未将末行模式单独列为一种模式。单不单列并不重要,能区分命令模式与末行模式即可。
vi区段删除步骤:
1. 在末行模式下使用:set nu显示行号
非必须,随光标移动vi右下角也会显示行号,能够正确找到并记录删除开始行
- 清除tomcat缓存的方法总结
dashuaifu
tomcat缓存
用tomcat容器,大家可能会发现这样的问题,修改jsp文件后,但用IE打开 依然是以前的Jsp的页面。
出现这种现象的原因主要是tomcat缓存的原因。
解决办法如下:
在jsp文件头加上
<meta http-equiv="Expires" content="0"> <meta http-equiv="kiben&qu
- 不要盲目的在项目中使用LESS CSS
dcj3sjt126com
Webless
如果你还不知道LESS CSS是什么东西,可以看一下这篇文章,是我一朋友写给新人看的《CSS——LESS》
不可否认,LESS CSS是个强大的工具,它弥补了css没有变量、无法运算等一些“先天缺陷”,但它似乎给我一种错觉,就是为了功能而实现功能。
比如它的引用功能
?
.rounded_corners{
- [入门]更上一层楼
dcj3sjt126com
PHPyii2
更上一层楼
通篇阅读完整个“入门”部分,你就完成了一个完整 Yii 应用的创建。在此过程中你学到了如何实现一些常用功能,例如通过 HTML 表单从用户那获取数据,从数据库中获取数据并以分页形式显示。你还学到了如何通过 Gii 去自动生成代码。使用 Gii 生成代码把 Web 开发中多数繁杂的过程转化为仅仅填写几个表单就行。
本章将介绍一些有助于更好使用 Yii 的资源:
- Apache HttpClient使用详解
eksliang
httpclienthttp协议
Http协议的重要性相信不用我多说了,HttpClient相比传统JDK自带的URLConnection,增加了易用性和灵活性(具体区别,日后我们再讨论),它不仅是客户端发送Http请求变得容易,而且也方便了开发人员测试接口(基于Http协议的),即提高了开发的效率,也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容,掌握HttpClient后,相信对于Http协议的了解会
- zxing二维码扫描功能
gundumw100
androidzxing
经常要用到二维码扫描功能
现给出示例代码
import com.google.zxing.WriterException;
import com.zxing.activity.CaptureActivity;
import com.zxing.encoding.EncodingHandler;
import android.app.Activity;
import an
- 纯HTML+CSS带说明的黄色导航菜单
ini
htmlWebhtml5csshovertree
HoverTree带说明的CSS菜单:纯HTML+CSS结构链接带说明的黄色导航
在线体验效果:http://hovertree.com/texiao/css/1.htm代码如下,保存到HTML文件可以看到效果:
<!DOCTYPE html >
<html >
<head>
<title>HoverTree
- fastjson初始化对性能的影响
kane_xie
fastjson序列化
之前在项目中序列化是用thrift,性能一般,而且需要用编译器生成新的类,在序列化和反序列化的时候感觉很繁琐,因此想转到json阵营。对比了jackson,gson等框架之后,决定用fastjson,为什么呢,因为看名字感觉很快。。。
网上的说法:
fastjson 是一个性能很好的 Java 语言实现的 JSON 解析器和生成器,来自阿里巴巴的工程师开发。
- 基于Mybatis封装的增删改查实现通用自动化sql
mengqingyu
DAO
1.基于map或javaBean的增删改查可实现不写dao接口和实现类以及xml,有效的提高开发速度。
2.支持自定义注解包括主键生成、列重复验证、列名、表名等
3.支持批量插入、批量更新、批量删除
<bean id="dynamicSqlSessionTemplate" class="com.mqy.mybatis.support.Dynamic
- js控制input输入框的方法封装(数字,中文,字母,浮点数等)
qifeifei
javascript js
在项目开发的时候,经常有一些输入框,控制输入的格式,而不是等输入好了再去检查格式,格式错了就报错,体验不好。 /** 数字,中文,字母,浮点数(+/-/.) 类型输入限制,只要在input标签上加上 jInput="number,chinese,alphabet,floating" 备注:floating属性只能单独用*/
funct
- java 计时器应用
tangqi609567707
javatimer
mport java.util.TimerTask; import java.util.Calendar; public class MyTask extends TimerTask { private static final int
- erlang输出调用栈信息
wudixiaotie
erlang
在erlang otp的开发中,如果调用第三方的应用,会有有些错误会不打印栈信息,因为有可能第三方应用会catch然后输出自己的错误信息,所以对排查bug有很大的阻碍,这样就要求我们自己打印调用的栈信息。用这个函数:erlang:process_display (self (), backtrace).需要注意这个函数只会输出到标准错误输出。
也可以用这个函数:erlang:get_s