边学边敲边记之爬虫

「Py」基础语法篇 之 Python缩进规则

✨博客主页何曾参静谧的博客（✅关注、点赞、⭐收藏、转发）全部专栏（专栏会有变化，以最新发布为准）「Win」Windows程序设计「IDE」集成开发环境「UG/NX」BlockUI集合「C/C++」C/C++程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「UG/NX」NX定制开发「Py」Python程序设计「Math」探秘数学世界「PK」Pa
何曾参静谧·2025-01-25 14:42

【2024博客之星】我的年度技术总结：Netty渡劫指南--从线程暴走到百万长连接，这一年我踩过的坑比写的代码还多

导读Netty再相见：捡起来、用起来Netty原理学习：边啃边写变总结Netty实战：干不爬我的终将被我干爬一、为什么选择Netty？
码到三十五·2025-01-25 12:57

JDK动态代理在拦截器和声明式接口中的应用

❃博主首页：「码到三十五」，同名公众号:「码到三十五」，wx号:「liwu0213」☠博主专栏：♝博主的话：搬的每块砖，皆为峰峦之基；公众号搜索「码到三十五」关注这个爱发技术干货的coder，一起筑基一
码到三十五·2025-01-25 12:26

深度学习-97-大语言模型LLM之基于langchain的实体记忆和知识图谱记忆

文章目录1内存记忆Memory1.1记忆系统支持的操作1.2记忆的存储1.3记忆的查询2记忆的应用2.1设置环境变量2.2ConversationEntityMemory实体记忆2.3ConversationKGMemory知识图谱记忆2.3.1创建ConversationKGMemory2.3.2创建ConversationChain2.4ConversationBufferWindowMemo
皮皮冰燃·2025-01-25 12:26

4-2 计算机视觉-卷积神经网络-基本网络组件

（1）保护位置信息：保证锚点刚好在中间，方便以模块中心为标准进行滑动卷积，避免了位置信息发生偏移（2）padding时的对称性：保证padding时图像的两边依然对齐（3）一些历史尝试的经验，如边缘检测等
沉睡的小卡比兽·2025-01-25 11:52

Python之JSON数据结构

JSON数据结构介绍JSON（JavaScriptObjectNotation）优势：1.易于阅读和编写JSON的结构直观、简单，类似于键值对的形式，易于人类阅读和编写。与XML等数据格式相比，JSON的语法更简洁，没有复杂的标记符号。2.轻量化JSON格式相比其他数据格式（如XML），更简洁，没有多余的标记，数据体积较小，这使得数据传输更加高效，尤其是在网络应用中。3.与JavaScript天然
CL.LIANG·2025-01-25 11:51

基于Python的天气数据可视化平台

基于Python的天气数据可视化设计与实现，通过使用基于Python的网络爬虫技术,能在短时内提取有价值的信息数据。然后根据数据的形式进行整
q.q 1102255374·2025-01-25 11:20

SpringBoot配置文件高级用法实战

❃博主首页：「码到三十五」，同名公众号:「码到三十五」，wx号:「liwu0213」☠博主专栏：♝博主的话：搬的每块砖，皆为峰峦之基；公众号搜索「码到三十五」关注这个爱发技术干货的coder，一起筑基SpringBoot
码到三十五·2025-01-25 11:48

SDWAN组网是性价比之选

在全球化日益加深的今天，企业经常需要访问国外的服务器以进行远程办公、跨国业务处理、数据传输和视频会议等。然而，不少企业在使用中遇到了访问速度缓慢的问题。本文将介绍几种有效的解决方案，帮助提高访问效率。首先，我们来分析一下访问缓慢的原因：1.政策限制：为了维护国家网络的安全与稳定，我国对部分国外网站和服务器有一定的访问限制。2.技术障碍：国内与国际互联网的网络架构和协议存在差异，这可能导致数据传输不
蓝讯小刘·2025-01-25 10:11

【趣学SQL】第三章：数据处理与管理 3.2 分区表与分区索引——给数据库做“分舱救灾“的硬核指南

第三章：数据处理与管理3.2分区表与分区索引——给数据库做"分舱救灾"的硬核指南欢迎来到「数据库装修大队」！今天我们将化身"数据空间规划师"，用一家年订单量破亿的外卖平台崩溃案例，教你如何像整理衣柜一样优雅管理海量数据。3.2.1分区表的概念——当数据库变成"春运火车站"血泪案例：某外卖平台未做分区，导致：查询3个月前的订单需要扫描20亿行数据促销活动时数据库IOPS飙到10万+（相当于春运期间所
精通代码大仙·2025-01-25 10:40

系统安全架构之车辆网络安全架构

一、简介随着汽车的智能化和互联化，车辆网络安全架构的重要性日益凸显。现代汽车越来越依赖于计算机和网络技术，车载电子设备数量增加，不同设备之间的互联性增强，这使得车辆网络系统容易受到网络攻击。对于汽车而言，安全问题已经不再只是关乎车辆本身的问题，而是涉及到了乘客的安全和隐私，甚至是道路安全和整个社会的安全。因此，确保车辆网络的安全性和可靠性已成为了汽车安全的重要组成部分。二、车辆网络安全的威胁和挑战
小正太浩二·2025-01-25 10:09

大模型应用编排工具Dify之自定义工具

1.前言dify中提供了自定义工具的能力，工具十分容易复用，在需要的流程编排中进行引用即可。根据笔者的经验和理解，自定义工具有点类似微服务，可以把通用的能力封装到工具里面。同时，工具还提供了测试和鉴权等功能，对开发者比较友好。环境信息：dify-0.8.3，spring-boot-2.7.6实现效果如下：2.开发后台接口这里使用spring-boot快速开发一个post接口作为演示，代码如下：@R
Daphnis_z·2025-01-25 09:37

The Sandbox 2024 年度回顾和未来发展计划

在这个宇宙中，用户和品牌可以通过NFT创造和拥有体验，并通过体验来获得盈利，促进有创意的、协作的以及繁荣的「边玩边赚」经济。”
BeepCrypto·2025-01-25 09:37

【趣学SQL】第八章：SQL 实战案例 8.2 SQL 性能监控与调优——给数据库装上“心电图仪“的硬核指南

第八章：SQL最佳实践8.2SQL性能监控与调优——给数据库装上"心电图仪"的硬核指南欢迎来到「数据库急诊监护室」！今天我们将化身"SQL性能侦探"，用一家日活百万的虚拟吃瓜论坛"瓜田社"的崩库案例，教你如何用监控工具抓住"性能杀手"，让数据库从"垂死挣扎"变"生龙活虎"。8.2.1常见的监控工具——数据库的"健康手环"全家桶工具1：Prometheus+Grafana（豪华体检套餐）#prome
精通代码大仙·2025-01-25 09:05

linux性能提升之sendmmsg和recvmmsg

目录sendmsg、sendmmsg和recvmmsg相关结构体：mmsghdr、msghdr、iovecsendmmsg性能测试关于connectsendmsg、sendmmsg和recvmmsg以udp发送为例。sendmsg和sendmmsg：两者都能发送多块数据，区别在于sendmsg会将所有数据整合成一个UDP包发出，sendmmsg是每个mmsghdr一个UDP包。sendmmsg是s
夏天匆匆2过·2025-01-25 09:32

origin和python有什么不同_python爬虫之git的使用（origin说明）

1、首先我们回忆两个命令#gitremoteaddorigin远程仓库链接#gitpush-uoriginmaster我们一起看看这个命令，git是git的一级命令，push就是下载，-u应该使用用账户验证maser就是分支的名字(前面我们说过)，那么这个origin是个什么鬼？大家看看下面的这个5毛钱图，就能发现，其实origin就是远程仓库的名称。如果不相信在看看我的配置文件#vi.git/c
weixin_39878760·2025-01-25 09:01

web开发工具之：一、UUID的介绍，java如何产生UUID，作为数据库的主键和加密算法的盐

文章目录前言一、UUID是什么二、java如何产生UUID1.生成随机UUID（Version4）2.通过指定的字符串生成UUID三、UUID作为数据库主键1.优点2.缺点四、UUID作为加密的盐总结前言现在web开发中，很多使用UUID作为主键和加密的盐的，其实很简单，这里学习和介绍一下。一、UUID是什么UUID（UniversallyUniqueIdentifier，通用唯一标识符）是一种1
java冯坚持·2025-01-25 08:29

web开发工具之：二、加密和解密工具类，学习加密算法和非加密算法（哈希算法）知识，Java支持MD5和SHA系列的哈希算法。使用UUID作为盐进行增强哈希算法加密的数据完整性验证

文章目录前言一、加密算法/非加密算法-了解和学习为主1、加密算法和秘钥a、介绍b、常用加密算法-对称加密算法c、常用加密算法-对称加密算法2、非加密算法：哈希算法（MD5、SHA系列）a、哈希算法介绍b、MD5和SHA系列介绍二、哈希算法应用场景概念介绍1.数据完整性验证2.密码存储（借助数据完整性验证来进行密码存储）3.数字签名4.总结三、注册和登录-采用哈希算法进行密码存储和验证流程1.加密过
java冯坚持·2025-01-25 08:58

路径矢量路由协议之BGP-1基础知识

BGP（BorderGatewayProtocol，边界网关协议）是现代网络架构中几乎所有高级技术的基础，任何一项现代网络体系下的高级技术都离不开它。在学习BGP之前，需要具备一定的基础知识。基础准备：CCNA基础——至少需要一半的CCNA基础；推荐阅读《CCNA学习指南：路由和交换认证》（作者：ToddLammle）。OSPF——如果具备基本的多区域OSPF或其他IGP等理论和配置能力，将为学习
pt1043·2025-01-25 08:57

【爬虫】使用 Scrapy 框架爬取豆瓣电影 Top 250 数据的完整教程

前言在大数据和网络爬虫领域，Scrapy是一个功能强大且广泛使用的开源爬虫框架。它能够帮助我们快速地构建爬虫项目，并高效地从各种网站中提取数据。
m0_74825360·2025-01-25 08:57

Jetson Orin Nano Super之pytorch + torchvision安装

JetsonOrinNanoSuper之pytorch+torchvision安装1源由2.安装pytorch2.1NVIDIA手动版本下载2.2开源自己编译版本3.安装torchvision4.参考资料
lida2003·2025-01-25 08:26

OpenIPC开源FPV之msposd配置

OpenIPC开源FPV之msposd配置1.源由2.状态3.步骤3.1Step1:下载/更新OpenIPC摄像头固件3.2Step2:下载最新的`msposd`可执行文件3.3Step3:下载各参数`
lida2003·2025-01-25 08:26

Jetson Orin Nano Super之jetson-fpv开源代码下载

JetsonOrinNanoSuper之jetson-fpv开源代码下载1.源由2.方法2.1优化配置方案一：增加缓冲方案二：降低并发数方案三：临时禁用深度克隆2.2路径更换方案一：设置代理方案二：替换
lida2003·2025-01-25 08:26

OpenIPC开源FPV之重要源码包

OpenIPC开源FPV之重要源码包1.源由2.分析2.1功能角度2.2数据角度3.软件包3.1wfb-ng3.1.1目标板配置3.1.2软件版配置3.1.3视频数据发送&接收3.2datalink3.2.1
lida2003·2025-01-25 08:56

Oracle、PostgreSQL该学哪一个？

从事数据库运维一线工作的老鸟，经常会有人来问我：“Oracle和PostgreSQL，我该学哪个？哪个更有职业发展前景？”今天就来和大家好好唠唠。先说说Oracle。
leegong23111·2025-01-25 08:54

（三）python网络爬虫（理论+实战）——爬虫与反爬虫

系列文章目录（1）python网络爬虫—快速入门（理论+实战）（一）（2）python网络爬虫—快速入门（理论+实战）（二）序言本人从事爬虫相关工作已8年以上，从一个小白到能够熟练使用爬虫，中间也走了些弯路
阳光宅男xxb·2025-01-25 08:54

python 爬虫4 - re模块（正则表达式）

一、正则表达式1.概念正则表达式（RegularExpression，简称Regex）是一种用于匹配字符串的模式。它可以用来搜索、替换、验证文本中的特定模式。Python中的re模块提供了对正则表达式的支持。2.语法正则表达式的语法相对复杂，但理解其核心概念后，可以用非常简洁的方式来表达字符串匹配规则符号解释.匹配任意单个字符（除换行符）。^匹配字符串的开头。$匹配字符串的结尾。*匹配前面的字符0
Shin zhong·2025-01-25 07:15

广东某海水取排水管线工程边坡自动化监测

本次边坡设计范围沿取排水管路径距离厂区约8.5km，管道回填完成面标高4.8m-9.0m（1985国家高程基准，
中科岩创·2025-01-25 06:13

KT学算法（二）——循环有序数组查找指定元素

问题描述一个循环有序的数组是形如：“12,16,18,20,41,100,1,4,6,9”这样的数组。问题分析对于循环有序数组，一种简单的定义是：循环有序数组是将一个有序数组切成两段，并交换位置得到引用块内容比如现将1,4,6,9,12,16,18,20,41,100在9和12处切分，得到两段:1,4,6,9和12,16,18,20,41,100，再交换这两段的位置就得到了一开始的循环有序数组。另
bestswifter·2025-01-25 06:12

Hive之数据迁移方案(实测)

文章目录Hive的迁移涉及两个技术点：1.仅迁移元数据2.元数据及Hive数据全量迁移2.1全表迁移2.1.1旧集群2.1.2新集群2.2仅部分分区迁移（主要步骤）2.1.1旧集群2.1.2新集群2.3beeline连接hive并进行数据迁移Hive的迁移涉及两个技术点：1.仅迁移元数据参考：网易元数据管理-hive元数据迁移与合并2.元数据及Hive数据全量迁移主要流程1.将旧集群的hive数据
南风知我意丿·2025-01-25 06:11

《数据孤岛：AI模型训练之殇，精度与泛化的双重困境》

在人工智能飞速发展的当下，数据就是模型的“燃料”。从医疗影像诊断到智能交通调度，从电商推荐系统到金融风险预测，AI模型的精准度与泛化能力，决定了其在实际应用中的价值。然而，一个棘手的问题正阻碍着AI前行的步伐——数据孤岛。数据孤岛，是指在组织内部或不同组织之间，由于系统、管理或流程的原因，数据被孤立存储在不同的数据库、应用程序或部门中，彼此之间缺乏有效的连接和整合。据权威机构调研，在高度信息化的企
·2025-01-25 06:27

橘子学Mybatis09之Mybatis关于二级缓存的使用

前面我们说了一级缓存，但是实际上我们说那玩意其实不咋实用。于是既然设计了缓存体系，就不可能弄个不实用的给人们。所以这里就引出二级全局缓存。全局缓存就是无视sqlSession，你可以理解为一个分布式的缓存。作为全局的访问。一、二级缓存1、开启方式二级缓存默认是不开启的，所以他需要你手动去开启。开启方式需要满足下面四个条件。1、需要在核心配置文件，我的是sqlMapConfig.xml中指定，在SE
玄衣如雪·2025-01-25 05:34

动态规划与回溯算法融合【高效解决组合、排列与子集问题】

本文收录于专栏：算法之翼动态规划与回溯算法融合【高效解决组合、排列与子集问题】动态规划（DynamicProgramming）和回溯算法（Backtracking）是解决复杂问题的两种重要算法。
一键难忘·2025-01-25 04:30

【原创】运维基础之OpenResty(Nginx+Lua)+Kafka

使用docker部署1下载#wgethttps://github.com/doujiang24/lua-resty-kafka/archive/v0.06.tar.gz#tarxvfv0.06.tar.gz2准备配置文件testkafka.conf#vitestkafka.conflua_package_path"/usr/local/openresty/lualib/resty/kafka/?.
weixin_30293079·2025-01-25 04:29

spring cloud之gateway和JWT回顾

最开始学习时，没怎么用，只知道它是网关，当时因为经常使用Nginx做网关，慢慢就淡忘了，最近为了代码整合性，就使用它，非常棒。关于JWT以前也使用，后面调用基本以第三方接口开发的比较多，当时自己的服务，添加自己的规则生成token整合gateway网关1、pomorg.springframework.bootspring-boot-starter-actuatororg.springframewo
晨的挥霍·2025-01-25 04:57

Docker多架构镜像构建踩坑记

背景公司为了做信创项目的亮点，需要将现有的一套在X86上运行的应用系统迁移到ARM服务器上运行，整个项目通过后端Java，前端VUEJS开发通过CICD做成Docker镜像在K8S里面运行。但是当前的CICD产品不支持ARM的镜像构建，于是只能手工构建ARM镜像。以下是一些踩坑的记录，希望能帮大家少踩坑构建环境本地电脑DeepinLinux23(Windows的WSL和其他的Linux系统都可以）
一直学下去·2025-01-25 04:55

数据结构基础之《（16）—链表题目》

一、链表问题1、对于笔试，不用太在乎空间复杂度，一切为了时间复杂度2、对于面试，时间复杂度依然放在第一位，但是一定要找到空间最省的方法二、快慢指针逻辑：慢指针一次走1步快指针一次走2步当快指针走完的时候，慢指针应该来到中点的位置1、输入链表头节点，奇数长度返回中点，偶数长度返回上中点2、输入链表头节点，奇数长度返回中点，偶数长度返回下中点3、输入链表头节点，奇数长度返回中点前一个，偶数长度返回上中
csj50·2025-01-25 03:23

前端力扣刷题 | 1：Hot100之 哈希

1.两数之和给定一个整数数组nums和一个整数目标值target，请你在该数组中找出和为目标值target的那两个整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案，并且你不能使用两次相同的元素。你可以按任意顺序返回答案。示例：输入：nums=[2,7,11,15],target=9输出：[0,1]解释：因为nums[0]+nums[1]==9，返回[0,1]。法一：暴力解法vartw
酒酿泡芙1217·2025-01-25 03:20

WPF之comboBox可模糊查询

前言本文采用了prism框架的基础。0、先准备一个类publicclassComboBoxItemModel{publicstringName{get;set;}publicstringValue{get;set;}}一、xaml代码。前端这里需添加两个属性，还有keyUp事件等。1、IsEditable="True"（开启可编辑）2、IsTextSearchEnabled="False"（开启可
白驹……过隙·2025-01-25 03:16

python学opencv|读取图像（四十四）原理探究：bitwise_and()函数实现图像按位与运算

【1】引言前序学习进程中，已经掌握了两张图片按位与操作的基本技巧：python学opencv|读取图像（四十三）使用cv2.bitwise_and()函数实现图像按位与运算-CSDN博客【2】cv2.bitwise_and
西猫雷婶·2025-01-25 03:15

python和arduino哪个好_Arduino各开发板的比较

亚伦安娜写以方便刚刚开始学Arduino的朋友买到合适的开发板。Arduino系列开发板实在太多，本人水平不高、能力有限，仅以9款开发板进行说明，有错误的地方请给予支出，万分感谢。
weixin_39796855·2025-01-25 02:45

python之time库

python之time库time库time.strftime()的格式化示例time.time()示例time.localtime()示例time.gmtime()示例time.ctime()示例time.asctime
qq_44659804·2025-01-25 02:12

信息学奥赛c++语言:救援

题目描述救生船从大本营出发，营救若干屋顶上的人回到大本营，屋顶数目以及每个屋顶的坐标和人数都将由输入决定，求出所有人都到达大本营并登陆所用的时间。在直角坐标系的原点是大本营，救生船每次从大本营出发，救了人之后将人送回大本营。坐标系中的点代表屋顶，每个屋顶由其位置坐标和其上的人数表示。救生船每次从大本营出发，以速度50米/分钟驶向下一个屋顶，达到一个屋顶后，救下其上的所有人，每人上船1分钟，船原路返
敲代码的八戒·2025-01-25 02:39

[Python从零到壹] 七十七.图像识别及经典案例篇之目标检测入门普及和ImageAI对象检测详解

Python系列整体框架包括基础语法10篇、网络爬虫30篇、可视化分析10篇、机器学习20篇、大数据分析20篇、图像识别30篇、人工智
Eastmount·2025-01-25 01:38

享受职业带给你的快乐

牙牙学语开始，父母给无微不至照顾，解决生活难题，认为他们无所不能。长大后，才发现父母也只是普通人，之前错觉是因没看到，他们转过身去品尝生活苦涩的样子第二个20年，看山非山，看水非水。
·2025-01-25 01:53

Go分布式爬虫笔记(八)_golang分布式爬虫

+爬虫引擎为基础的推送系统+提供-快速的热点事件-事件预警用户需求快速了解自己感兴趣的最新新闻事件预警机制帮助快速决策功能需求用户填写或选择自己感兴趣的话题、感兴趣的网站还有消息接受频率用户接收最新热点事件的推送用户通过点击获取与该事件关联的事件
2401_87299701·2025-01-25 01:06

Python之time时间库

time时间库概述获取当前时间time库datetime库区别时间元组处理获取时间元组的各个部分时间戳和时间元组的转换格式化时间格式化时间解析时间格式符号说明暂停程序计时操作简单计时高精度计时计时器类的实现UTC时间操作time库datetime库概述time是Python标准库中的一个模块，用于处理时间相关的操作。它提供了各种函数来获取当前时间、格式化时间、进行时间的转换和计算等。首先，需要导入
CodeDevMaster·2025-01-25 01:05

python爬取百度学术文献搜索引擎_通用爬虫探索（一）：适用一般网站的爬虫

虽然最后只评上了一个安慰奖，但个人感觉里边有些思路对爬虫工作还是有些参加价值的。所以还是放出来供大家参考一下。简介#一个爬虫可以分为两个步骤：1.把网页下载下来；2.从网页中把所需要的信息抽取出来。
吃货组长·2025-01-25 01:03

web速览

CSS（层叠样式表）：用于样式和布局设计，包括颜色、字体、边距等。JavaScript：用于实现网页的交互性和动态效果。
qzhqbb·2025-01-25 01:32

如何训练Stable Diffusion 模型

以下是训练StableDiffusion模型的基本步骤和注意事项：1.环境准备1.1安装依赖项首先，确保你有一个适合深度学
俊偉·2025-01-25 00:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他