大数据之性能调优第21页

jupyter notebook参数化运行python

Updates（2019.8.1419:53）吃饭前用这个方法实战了一下，吃完回来一看好像不太行：跑完一组参数之后，到跑下一组参数时好像没有释放之占用的GPU，于是notebook上的结果，后面好几条都报错说

HackerTom·2025-03-10 02:11

K8S学习之基础十九：k8s的四层代理Service

K8S四层代理Service四层负载均衡Service在k8s中，访问pod可以通过ip+端口的方式，但是pod是由生命周期的，pod在重启的时候ip地址往往会发生变化，访问pod就需要新的ip地址，这样就会很麻烦，每次pod地址改变就要修改访问ip。Service的引进解决了这种问题，通过定义Service资源对象，Service定义一个服务访问的入口，客户端可以通过这个入口访问对应的pod，就

云上艺旅·2025-03-10 01:39

（2.1-大模型发展历程之背景与开端）

文章大纲按照目标不同，AI大模型可分为四类，多模态为未来方向NLP大模型CV大模型科学计算大模型多模态大模型2022年是大模型技术的拐点,前期技术铺垫奠定了基础生成式模型的开端VAE与GANVAEGAN参考文献与学习路径GPT系列模型解析前序文章模型进化券商研报陆奇演讲按照目标不同，AI大模型可分为四类，多模态为未来方向NLP大模型自然语言处理（NaturalLanguageProcessing，

shiter·2025-03-10 01:08

探秘开源项目 MapReduce：分布式计算的新篇章

探秘开源项目MapReduce：分布式计算的新篇章去发现同类优质开源项目:https://gitcode.com/在大数据处理领域，一个名字始终熠熠生辉，那就是。

褚知茉Jade·2025-03-10 01:32

基于Python的微博舆情分析与可视化系统【附源码】

数据流程总体架构二、详细处理流程与代码实现1.数据采集模块2.数据清洗与预处理3.情感分析与特征工程4.舆情分析模型5.可视化呈现三、性能优化要点摘要基于Python的微博舆情分析与可视化系统旨在利用大数据和自然语言处理技术

AI博士小张·2025-03-10 01:31

MapReduce：分布式计算的基石

MapReduce是一种用于处理和生成大数据集的编程模型，以及一个用于执行该模型的关联实现。它使得在大型商用硬件集群（数千台机器）上进行并行处理海量数据成为可能。

Earth explosion·2025-03-10 00:30

后端面试八股文骚套路之Redis

本期推出八股文骚套路之Redis，目前Redis也是后端技术栈中的一员大将，后端面试过程中对Redis的考察也越来越多。

CS指南·2025-03-10 00:29

区块链大数据平台搭建系列（二）：如何搭建以太坊RPC节点

Erigon是Ethereum（执行客户端）的一个实现，效率高，用Go编写。这里我们将采用Erigon进行搭建生产环境的以太坊RPC节点。环境准备1.系统要求操作系统：Ubuntu20.04或更高版本。硬件要求：由于Erigon会存储大量区块链数据，需要至少2TB的NVMeSSD磁盘、32GB或更多的内存（推荐64GB），以及8核CPU或更高的配置以提高性能。2.安装必需的软件包运行以下命令来安装

WuJiWeb3·2025-03-10 00:56

大数据实战：Spark + Hive 逐笔计算用户盈亏

简介本文将通过使用Spark+Hive实现逐笔计算区块链上用户交易数据的盈亏需求。由于我们是进行离线计算，所以我们的数据源是Hive表数据，Sink表也是Hive表，即Spark读取Hive表数据进行批计算之后写回到Hive表并供后续使用。通过本文你将会学到：如何使用SparkSQLAPI读取Hive数据源如何通过读取配置文件进行传参执行SQL如何将SparkSQL转换为JavaRDD进行处理如何

WuJiWeb3·2025-03-10 00:56

ABP框架之——数据访问基础架构

几乎所有的业务应用程序都要适用一种数据库基础架构，用来实现数据访问逻辑，以便从数据库读取或写入数据，我们还需要处理数据库事务，以确保数据源中的一致性。ABP框架可以与任何数据库兼容，同时它提供了EFCore和MongoDB的内置集成包。您将通过定义DbContext类、将实体映射到数据库表、实现仓储库以及在有实体时部署加载相关实体的不同方式，学习如何将EFCore与ABP框架结合使用。您还将看到如

搬砖养女人·2025-03-10 00:54

python之匿名函数

有没有想过定义一个很短的回调函数，但又不想用def的形式去写一个那么长的函数，那么有没有快捷方式呢？答案是有的。python使用lambda来创建匿名函数，也就是不再使用def语句这样标准的形式定义一个函数。匿名函数主要有以下特点：lambda只是一个表达式，函数体比def简单很多。lambda的主体是一个表达式，而不是一个代码块。仅仅能在lambda表达式中封装有限的逻辑进去。lambda函数拥

mumux183·2025-03-10 00:23

python之迭代

什么叫做迭代？比如在Java中，我们通过List集合的下标来遍历List集合中的元素，在Python中，给定一个list或tuple，我们可以通过for循环来遍历这个list或tuple，这种遍历就是迭代。可是，Python的for循环抽象程度要高于Java的for循环的，为什么这么说呢？因为Python的for循环不仅可以用在list或tuple上，还可以作用在其他可迭代对象上。也就是说，只要是

mumux183·2025-03-10 00:23

BFS之八数码

在一个3×3的网格中，1∼8这8个数字和一个x恰好不重不漏地分布在这3×3的网格中。例如：123x46758在游戏过程中，可以把x与其上、下、左、右四个方向之一的数字交换（如果存在）。我们的目的是通过交换，使得网格变为如下排列（称为正确排列）：12345678x例如，示例中图形就可以通过让x先后与右、下、右三个方向的数字交换成功得到正确排列。交换过程如下：123123123123x464x6456

野猪野猪先生·2025-03-10 00:22

推荐项目：Python中的高性能Perlin噪声库——`noise`

那么noise库就是你的理想之选。这个开源项目由CaseyDuncan开发，提供了一个强大的工具集，用于在Python程序中轻松实现Perlin噪声的生成，适用于

毛彤影·2025-03-10 00:22

面试回答之：如何做接口测试1

今天来以具体项目实例来回答一下面试常问的接口测试。问：你是如何做接口测试的？答：我以给直播间主播打赏送礼的场景，讲下我是怎么测送礼接口的；第一，是对接口传参的校验，包括是否为必参、参数长度、边界值等，看是否返回正常的错误码和提示语，此处不多说；第二，接口需实现的逻辑检查，比如:送礼成功，检查送礼者的钻石是否扣减正确;送礼成功，主播收到的钻石是否增加正确;送礼列表、收礼列表接口是否新增了一条记录;送

axing194·2025-03-09 23:51

软件测试之安全测试详解

一、测试范围管理系统：url、登录框、搜索框、输入框、文件上传、文件下载客户端：搜索框、输入框、文件上传、系统功能二、测试点密码安全XSS注入SQL注入操作越权上传安全下载安全三、工具fiddlersqlmap四、测试过程1、密码安全（1）密码输入错误次数超限会锁定账号（2）除了账号密码，需要图形验证码或短信验证码（3）用户名不存在和密码错误需提示用户名或密码错误（4）密码传输非明文传输，且加密类

天才测试猿·2025-03-09 23:19

大数据测试总结

总结测试要点：参考产品文档，技术文档梳理以下内容需求来源业务方应用场景数据源，数据格转，数据产出，数据呈现方式（数据消亡史），数据量级（增量，全量），更新频率，数据产出时效数据流转方式（http接口，GRPC接口，中间表，宽表等）数据多样性（不同类型维度的处理数据，例如被标识的维度数据以用户为例:客户，客服，用户，玩家等）使用数据的频次频率（相对应的查询服务数据库的压力，接口服务器的压力，评测是否

SuperCreators·2025-03-09 22:10

开源之夏经验分享｜Koupleless 社区黄兴抗：在开源中培养工程思维

开源之夏经验分享｜Koupleless社区黄兴抗：在开源中培养工程思维文|黄兴抗电子信息工程专业Koupleless社区贡献者就读于南昌师范学院，电子信息工程专业的大三学生。

SOFAStack·2025-03-09 22:09

嵌入式单片机基础篇（三十四）之I2C通信以及stm32单片机程序详解

I2C通信以及stm32单片机程序详解1、初始化IO口：#defineIIC_SCLPBout(6)//SCL#defineIIC_SDAPBout(7)//SDA#defineREAD_SDAPBin(7)//输入SDA（1）在固件库中操作IDR寄存器读取IO端口数据是通过GPIO_ReadInputDataBit函数实现的：uint8_tGPIO_ReadInputDataBit(GPIO_T

lostlll·2025-03-09 22:33

大数据分析服务器硬件配置如何选择

大数据，现如今已被人工智能替代。我们先不讨论人工智能，就大数据而言，我们都是在强调他的技术，而我们在用大数据时候，经常用它的来神话它的影响。例如，广告投放精准化，社会安全管理有序，医药行业智能化等。

elva428204358·2025-03-09 22:33

迅投miniQMT量化交易之【网格交易】的实现（八）——init_db_tables()方法

和大家一起分享如何使用miniQMT实现我们自己的网格交易系统。如果您对量化交易感兴趣，欢迎一起交流。特别声明：本文只从技术层面介绍如何通过miniQMT实现网格交易，尽管相关代码已经笔者实盘验证，但笔者不对读者的实际盈亏负责。本专栏其他文章：使用迅投miniQMT实时监控同花顺自选股，实现自动交易使用python获取同花顺免费版和同花顺远航版自选股数据用于量化交易使用python将选股策略选股结

QMT量化交易·2025-03-09 21:26

《DeepSeek+Langchain落地实操:RAG知识增强检索和智能体实战开发》

大数据与人工智能实战专家—周红伟老师法国科学院数据算法博士/曾任阿里人工智能专家/曾任马上消费金融风控负责人课程背景LangChain是一项旨在赋能开发人员利用语言模型构建端到端应用程序的强大框架。

AI周红伟·2025-03-09 21:25

探索“Under”：一款极简之美与技术深度并存的JavaScript游戏

探索“Under”：一款极简之美与技术深度并存的JavaScript游戏under-gameUnder:AsimplegamewithproceduralgraphicsinJavaScriptandGLSL

贡秀丽·2025-03-09 20:24

MySql数据库等级考试学习分享2（Day1）

2.模式/内模式映像的作用定义：模式与内模式之

weixin_53545579·2025-03-09 20:19

2025-03-09 学习记录--C/C++-PTA 习题10-8 递归实现顺序输出整数

合抱之木，生于毫末；九层之台，起于累土；千里之行，始于足下。

小呀小萝卜儿·2025-03-09 20:49

2025-03-08 学习记录--C/C++-PTA 习题10-1 判断满足条件的三位数

合抱之木，生于毫末；九层之台，起于累土；千里之行，始于足下。

小呀小萝卜儿·2025-03-09 20:19

数据安全策略与实践：从理论到落地

数据安全策略与实践：从理论到落地在大数据时代，数据早已成为企业和机构的核心资产，但随之而来的数据泄露、非法访问和滥用问题也屡见不鲜。从用户隐私到企业机密，再到国家级信息安全，无一不受到数据安全的影响。

Echo_Wish·2025-03-09 19:48

Python3 之 PyMongo 的安装与使用

PyMongo模块是Python对MongoDB操作的接口包，能够实现对MongoDB的增删改查及排序等操作。一．PyMongo的安装直接使用pip安装直接使用pip安装：pipinstallpymongo注意事项：直接使用pip安装可能会遇到网络问题导致安装失败，因此，对于Windows11系统可以访问http://www.lfd.uci.edu/～gohlke/pythonlibs/。这个网站

大秦重工·2025-03-09 19:17

Apache Spark: 大数据处理的利器对比与应用实例

本文已收录于《Python超入门指南全册》本专栏专门针对零基础和需要进阶提升的同学所准备的一套完整教学，从基础到精通不断进阶深入，后续还有实战项目，轻松应对面试，专栏订阅地址：https://blog.csdn.net/mrdeam/category_12647587.html优点：订阅限时19.9付费专栏，私信博主还可进入全栈VIP答疑群，作者优先解答机会（代码指导、远程服务），群里大佬众多可以

步入烟尘·2025-03-09 19:45

Ardupilot开源无人机之Geek SDK进展2025Q1

Ardupilot开源无人机之GeekSDK进展2025Q11.源由2.内容汇总2.1【jetson-fpv】YOLOINT8+coco8dataset精度降级2.2【OpenIPC-Configurator

lida2003·2025-03-09 19:14

第十八篇 SQL优化之逻辑结构：用仓库管理员思维优化数据库

目录摘要：像管理仓库一样理解数据库一、新手必看：从零搞懂逻辑结构（极简步骤）1.1货架管理（Block）：你的第一个优化操作1.2货架区规划（Segment与Extent）：避免仓库碎片化二、进阶技巧：让SQL性能翻倍的骚操作2.1快递单号（ROWID）：直捣黄龙取数据2.2表空间（Tablespace）：冷热数据分开放三、避坑指南：血泪教训总结3.1行迁移：大箱子挤坏小货架3.2热块竞争：秒杀引

随缘而动，随遇而安·2025-03-09 18:00

MySQL之——常用函数汇总

目录1、MySQL字符串拼接函数2、MySQL字符串截取函数3、MySQL字符串长度函数char_length()、length()4、MySQL大小写转换函数5、MySQL之casewhenthanelseend

苏木樨·2025-03-09 17:56

【AI大模型应用开发】Moonshot API 入门，完全平替 OpenAI API ？

月之暗面(moonshot)最近很火呀，本文我们紧跟一下实事，看下MoonshotAI的API调用，以及在LangChain中如何使用。

同学小张·2025-03-09 17:25

微信小程序开发之——调查问卷-表单数据绑定(2.2.4)

一概述表单数据绑定的实际需求将data数据替换表单默认数据服务器返回data数据给微信小程序二实际需求前面的小节中，表单是完全编写在WXML中的，然而在实际开发中，会经常需要对表单的默认值进行变更。例如，用户发现已经提交的调查问卷中有些内容填写错误，需要进行修改，希望程序提供一个修改的表单，该表单默认已经填写了上次提交的内容，这就需要从服务器获取已经提交的数据，然后将数据填入到表单中三将data数

PGzxc·2025-03-09 17:25

宽带,带宽,光纤,光猫,WiFi,路由器,令人傻傻搞不清?这篇文章讲明白他们之间的关系.

带宽(bandwidth),简单理解为频带宽度单位时间内通过网络通信信道传输的最大数据量,一般单位是mps(兆比特每秒),家里一般办的是百兆光纤但是一百兆比特每秒下

*星之卡比*·2025-03-09 17:54

AIGC从入门到实战：ChatGPT+Midjourney，绘出中国古风意境之美

AIGC从入门到实战：ChatGPT+Midjourney，绘出中国古风意境之美关键词：AI生成内容(AIGC),ChatGPT,Midjourney,中国古风,创意设计,艺术表达1.背景介绍1.1问题由来人工智能生成内容

杭州大厂Java程序媛·2025-03-09 16:44

H5之webcoekt播放JPEG图片流

一、简介既然webcoekt是基于tcp连接的，理论上讲所有的浏览器是可以私有协议处理二进制的，如果我们需要播放视频，我们可以将视频数据在后端解码后直接将图片推送到webcoekt前端，然后前端通过websocket接收图片然后将图片显示到img或canvas中即可，当然这个是我自己设想的，也是应该可以做的到了，做到如下需要以下技术支持：后端直接ffmpeg转码为jpeg图片流后端定制播放协议包括

·2025-03-09 16:18

泛型编程必备法宝之模板特化、成员模板

通过合理运用模板特化和成员模板，可实现高效、灵活且类型安全的泛型设计,接下来就一同来看看模板特化和成员模板的相关知识吧！一、模板特化（TemplateSpecialization）1.全特化（FullSpecialization）定义：为模板的所有参数指定具体类型，生成完全确定的实现版本。语法：template{...};//类模板全特化template(params){...}//函数模板全特化

@ANONYME·2025-03-09 16:43

Android AudioFlinger（四）—— 揭开PlaybackThread面纱

前言：继上一篇AndroidAudioFlinger（三）——AndroidAudioFlinger之设备管理我们知道PlaybackThread继承自Re’fBase，在被第一次引用的时候就会调用onFirstRef

Hirezy·2025-03-09 15:05

【开题报告】基于Springboot+vue智能停车场管理系统（程序+源码+论文) 计算机毕业设计

智能停车场管理系统作为一种创新的解决方案，通过集成先进的物联网技术、云计算技术和大数据分析技

计算机程序_设计·2025-03-09 15:04

DeepSeek smallpond搅动大数据风云

DeepSeek的smallpond涉足大数据DuckDB！降维打击传统大数据领域，搅动中台数据工程风云！

彭铖洋·2025-03-09 14:29

H5播放Rtmp之vue-video-player播放播放

一、简介我们看到了HLS播放视频实时性非常差，好的在6-7s，差点的就要10-12s了，也就是人走了，估计视频上还能看到，这对观感效果造成了很大的影响！但是好处就是它是基于http协议文件下载的，所以不需要任何插件，到处播放，处处兼容，所以rtmp和hls在web端的特点如下：HLS(1)使用http协议，兼容所有浏览器。(2)延时非常大，不太适合实时视频源，适合文件点播或历史录像直播。RTMP(

·2025-03-09 12:11

H5播放HLS之videojs播放视频

一、简介如果要让网页支持在所有浏览器上播放，就需要使用第三方的播放器。VideoJs是一个较好的播放器库，完全免费，不像JWPlayer一样需要付费才能使用一些高级功能。videojs播放库是比较有名的一个播放库，它不仅支持hls也支持rtmp，不过如果是播放rtmp它最终也是通过flash插件完成的，我们暂时只看hls。二、实现如果使用videojs播放hls前端代码实现如下：Title请升级您

·2025-03-09 12:41

眼见不一定为实，孙悟空教你AI换脸换声的技术原理及如何用火眼金睛识别新型诈骗

听说那乃现代科学家利用人工智能之奥秘，将人脸、声音通通变换得跟戏法似的，让人真假难辨。俺老孙心生好奇，便跃上筋斗云，直奔这科技之都，打算探个究竟。

非知名人士·2025-03-09 12:42

Python 基于 OpenCV 视觉图像处理实战之 OpenCV 简单实战案例之八简单水彩画效果

Python基于OpenCV视觉图像处理实战之OpenCV简单实战案例之八简单水彩画效果目录Python基于OpenCV视觉图像处理实战之OpenCV简单实战案例之八简单水彩画效果一、简单介绍二、简单图像浮雕效果实现原理三

仙魁XAN·2025-03-09 10:29

解锁数据之美：Python 创意可视化的 10 种高阶玩法与技术深度解析

在数据爆炸的时代，静态图表已难以满足信息传递的需求。本文深入剖析Python数据可视化的前沿技术与创意方向，结合Matplotlib、Plotly、Dash等主流库，通过交互式仪表盘、3D动态图形、地理信息融合等案例，展示如何将冰冷的数据转化为具有故事性的视觉叙事。文章不仅提供代码实现，还探讨技术原理与设计思维，帮助读者构建从数据到洞察的完整能力链。目录一、交互式仪表盘：动态数据的实时对话技术核心

tekin·2025-03-09 10:59

dify中使用NL2SQL

在Dify工作流中融入NL2SQL（自然语言转SQL）之能力，可依循如下步骤达成，借由Dify的模块化设计以及模型编排之功能，优化数据库查询之智能化交互：一、环境准备与Dify部署安装Docker与Dify

坚定信念，勇往无前·2025-03-09 09:43

巨坑之Can‘t resolve ‘./App.vue‘ in ‘/app/src‘

问题报错：前因后果：项目本地打包的时候都没有问题，但是在公司部署的jenkins里打包就出现了如上问题，尝试将文件APP.vue的路径修改，本地打包成功，但是jenkins打包仍然有问题，后来问了有经验的前端才知道问题原因：main.js文件内引入app.vue是importAppfrom'./App'importrouterfrom'./router'import*asaxiosfrom'./a

Yan_an_n·2025-03-09 08:10

C语言指针修仙之几个牛波一的指针

文章目录字符指针变量字符指针的一般使用字符指针的二般使用字符指针的究极使用数组指针变量数组指针是数组还是指针数组指针变量的初始化二维数组传参的本质函数指针变量函数地址函数指针两段逆天代码typedef关键字函数指针数组函数指针数组的定义转移表字符指针变量字符指针的一般使用我们看下面这块儿代码intmain(){charch='w';char*pc=&ch;*pc='a';printf("%c",*

Zach_yuan·2025-03-09 08:57

力扣练习之盛最多水的容器

这道题其实最简单的方法是用双重循环，但它有一个坏处是时间复杂度非常高，O(n²）,所以会超时，为了改良时间复杂度，所以采用了双指针的办法来进行解决题目：给定一个长度为n的整数数组height。有n条垂线，第i条线的两个端点是(i,0)和(i,height[i])。找出其中的两条线，使得它们与x轴共同构成的容器可以容纳最多的水。返回容器可以储存的最大水量。说明：你不能倾斜容器。用双指针的话，分别用l

飘去数星星·2025-03-09 07:40

推荐频道

大数据之性能调优