大数据之-Spark

大数据和智能数据应用架构系列教程之：大数据与人工智能

作者：禅与计算机程序设计艺术1.背景介绍概述“大数据”是指海量、高维、多样化的数据集合。随着人类对数据处理和管理的需求越来越复杂，越来越依赖机器学习、人工智能等新兴技术。
AI天才研究院·2025-01-28 14:28

EtherCAT主站IGH-- 54 -- IGH之控制电机旋转周期同步位置模式（CSP模式）

EtherCAT主站IGH--54--IGH之控制电机旋转周期同步位置模式（CSP模式）0Ubuntu18.04系统IGH博客、视频欣赏链接1修改电机的ID一代码实现二编译运行该文档修改记录：总结环境：
常驻客栈·2025-01-28 14:57

React原理之Fiber详解

前置文章：React原理之React整体架构解读React原理之整体渲染流程-----读懂这一篇需要对React整体架构和渲染流程有大致的概念-----在React原理之React整体架构解读中，简单介绍了
jydchudq·2025-01-28 14:25

Scala在大数据和分布式计算领域的应用与优势

大数据和分布式计算是当今信息技术领域的热点话题，它们处理着海量数据并需要高效的计算能力。Scala，作为一种多范式编程语言，因其在并发编程和函数式编程方面的优势，成为大数据和分布式计算领域的理想选择。
夜色呦·2025-01-28 14:24

图文详解 MapReduce on YARN

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2025-01-28 13:20

深入浅出解析Stable Diffusion中U-Net网络

秋招腾讯QQ浏览器提前批一面一面（35分钟）先做个自我介绍你应该学过操作系统和计算机网络进程和线程UDP和TCP的区别UDP和TCP如何实现拥塞控制什么情况下用UDP，什么情况下用TCP题解|#牛牛学说话之-
2301_78234743·2025-01-28 12:49

渗透测试之 通俗易懂让你搞明白如何做渗透测试【渗透测试之流程(步骤)】 什么是白帽子？ 什么是黑帽子？什么又是黑客 这篇文章让你搞明白

目录写在前面的内容：从黑客到黑客的步骤什么是黑客:黑客之步骤:首先：从上面总结性图片我们可以看出黑客得攻击步骤无非就是总结下来分为4个步骤!
浩浩测试一下·2025-01-28 12:48

RDD 算子全面解析：从基础到进阶与面试要点

Spark的介绍与搭建：从理论到实践_spark环境搭建-CSDN博客Spark的Standalone集群环境安装与测试-CSDN博客PySpark本地开发环境搭建与实践-CSDN博客Spark程序开发与提交
天冬忘忧·2025-01-28 12:16

360大数据面试题及参考答案

数据清理有哪些方法？数据清理是指发现并纠正数据文件中可识别的错误，包括检查数据一致性，处理无效值和缺失值等。常见的数据清理方法有以下几种：去重处理：数据中可能存在重复的记录，这不仅会占用存储空间，还可能影响分析结果。通过对比每条记录的关键属性，若所有关键属性值都相同，则判定为重复记录，可保留其中一条，删除其余重复项。例如在客户信息表中，若有两条记录客户姓名、联系方式、地址等关键信息都一样，就可进行
大模型大数据攻城狮·2025-01-28 12:42

企业级包管理器之 monorepo&multirepo (8)

在企业级项目开发中，面对多个项目的管理，monorepo和multirepo是两种常见的代码管理方案，它们各有特点与优劣，下面我们来详细了解一下。一、基本概念monorepo：“mono”在英语中有“单一的、单独的”之意，“repo”是“repository”（仓库）的简写，所以monorepo指的就是使用单一仓库来管理多个项目。那什么算是一个仓库呢？一般来讲，一个仓库是指通过版本控制系统（git
王解·2025-01-28 09:59

＜sa8650＞sa8650 qcxserver-之-摄像头传感器VB56G4A驱动开发＜1＞

＜sa8650＞sa8650qcxserver-之-摄像头传感器VB56G4A驱动开发一、前言二、QCX架构三、QCX传感器驱动程序定制开发3.1sensor硬件接口3.2sensor配置文件3.2.1cameraconfig.c3.2.2cameraconfigsa8650
waterAdmin·2025-01-28 09:25

＜sa8650＞sa8650 qcxser-之-sensor中断分析

＜sa8650＞sa8650qcxser-之-sensor中断分析1前言2cameraConfig参数2.1定义cameraConfig参数2.2GPIO选择2.2平台获取cameraConfig参数3sensor
waterAdmin·2025-01-28 09:55

ESP32 之 ESP-IDF 教学（十二）WiFi篇—— LwIP 之 TCP 通信

本文章来自原创专栏《ESP32教学专栏(基于ESP-IDF)》，讲解如何使用ESP-IDF构建ESP32程序，发布文章并会持续为已发布文章添加新内容！每篇文章都经过了精打细磨！↓↓↓通过下方对话框进入专栏目录页↓↓↓CSDN请求进入目录_Ox是否进入ESP32教学导航(基于ESP-IDF)?确定文章目录一、建立连接——ESP32作TCPClient客户端1.TCPClient的基本思路2.TCPC
Augtons正(单片机)·2025-01-28 09:54

智能工厂的设计软件 应用场景的一个例子：为AI聊天工具添加一个知识系统 之12 方案再探之3：特定于领域的模板 之2 首次尝试和遗留问题解决

本文提要现在就剩下“体”本身的约定了--这必然是自律自省的，或者称为“戒律”--即“体”的自我训导discipline。完整表述为：严格双相的庄严“相”(侧），完全双性的本质“性”（侧）和双侧side双面face的外观“体”（自身）。通过Class(),Type()和Method()的声明来确保结构化最终能形式化（终结符号），以及形式化最初能结构化（初始断言）。在文档中相关的描述：两种描述文件下面
一水鉴天·2025-01-28 08:22

大数据小白系列——YARN(1)

这是大数据小白系列，YARN的第一篇，准确的说是介绍YARN的“前身”，即MapReduce第一版(下称MRv1)中的资源管理系统。
weixin_44386638·2025-01-28 07:13

【如何获取股票数据05】Python、Java等多种主流语言实例演示获取股票行情api接口之沪深A股最新分时MA数据获取实例演示及接口API说明文档

最近一两年内，股票量化分析逐渐成为热门话题。而从事这一领域工作的第一步，就是获取全面且准确的股票数据。因为无论是实时交易数据、历史交易记录、财务数据还是基本面信息，这些数据都是我们进行量化分析时不可或缺的宝贵资源。我们的主要任务是从这些数据中提炼出有价值的信息，为我们的投资策略提供有力的指导。在数据探索的旅途中，我尝试了多种方法，包括自编网易股票页面爬虫、申万行业数据爬虫，以及同花顺问财的爬虫，甚
码农蝶澈·2025-01-28 07:12

VUE之参数传递

1、嵌套路由路由嵌套children里面的path属性不加/杠，可以参考如下代码：>>router/index.ts//创建一个路由器，并暴露出去//第一步：引入createRouterimport{createRouter,createWebHistory,createWebHashHistory}from'vue-router'//引入一个个可能呈现组件importHomefrom'@/pag
三日沐水·2025-01-28 07:41

VUE之生命周期

目录1、VUE2的生命周期1.1、创建（创建前，创建完毕）1.2、挂载（挂载前，挂载完毕）1.3、更新（更新前，更新完毕）1.4、销毁（销毁前，销毁完毕）2、VUE3的生命周期2.1、创建（setup）2.2、挂载（onBeforeMount、onMounted）2.3、更新（onBeforeUpdate、onUpdated）2.4、卸载（onBeforeUnmount、OnUnmounted）3
三日沐水·2025-01-28 07:10

移动光猫之桥接教程

背景：移动宽带默认是移动光猫拨号，使用的路由模式，但移动的猫太差劲，需要将移动光猫改为桥接模式，改用红米AC2100路由器进行拨号上网。说干就干，开工。1、获取光猫超级用户和密码。用户名：CMCCAdmin超级密码：aDm8H%MdA2、登录光猫，进入设置界面。3、删除原有路由模式的拨号连接，截图保存原有设置参数，一定要删除。然后新建一个internet连接。4、新建的Internet连接参数，设
猫耳朵朵·2025-01-28 07:10

【如何获取股票数据01】Python、Java等多种主流语言实例演示获取股票行情api接口之沪深A股实时交易数据获取实例演示及接口API说明文档

最近一两年内，股票量化分析逐渐成为热门话题。而从事这一领域工作的第一步，就是获取全面且准确的股票数据。因为无论是实时交易数据、历史交易记录、财务数据还是基本面信息，这些数据都是我们进行量化分析时不可或缺的宝贵资源。我们的主要任务是从这些数据中提炼出有价值的信息，为我们的投资策略提供有力的指导。在数据探索的旅途中，我尝试了多种方法，包括自编网易股票页面爬虫、申万行业数据爬虫，以及同花顺问财的爬虫，甚
Eumenides_max·2025-01-28 06:36

机器学习入门——机器学习基本概念

专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
四月是你的·2025-01-28 06:33

Vue进阶之Vue无代码可视化项目（六）

Vue无代码可视化项目渲染引擎（渲染器）初版TextBlock.vueChartBlock.vueImageBlock.vueLayoutView.vue渲染器BlockRenderer.vueLayoutView.vue进一步typestypes/block.tsmock/blocks.tsstores/editor.tsblocks/BlockRenderer.vueviews/LayoutV
VillanelleS·2025-01-28 05:31

python学习系列之logging(一、基础教程)

文章目录1.什么是日志？为什么需要日志？2.什么时候使用什么级别的日志？2.1日志的级别3.logging基础教程3.1输出到控制台3.2记录日志到文件3.3从多个模块记录日志3.4记录变量数据3.5修改日志输出的格式参考文献按照官方使用说明进行编写1.什么是日志？为什么需要日志？日志是对软件执行时所发生事件的一种追踪方式。软件开发人员对他们的代码添加日志调用，借此来指示某事件的发生。一个事件通过
Idea King·2025-01-28 05:59

javascript中toFixed()四舍五入计算bug，及解决方法，四舍六入，五看奇偶并不精准，重新toFixed方法才是万全之策呀

问题描述：最近做一个项目涉及金额计算保留两位小数，以前一直以为toFixed方法就是四舍五入的，上线后用户用户反馈计算出来的金额少了一分钱，跟其票面金额不一致，深入研究后发现使用toFixed保留两位小数是大坑呀。请看下面的例子：3.135.toFixed(2)**本以为是3.14，然而却是3.13！！！**网上有人整理出toFixed方法“四舍六入，五看奇偶”的原则：当舍去位的数值=6时，在舍去
叫我小月儿·2025-01-28 05:57

python模块之psutil详解_基于python调用psutil模块过程解析

这篇文章主要介绍了基于python调用psutils模块过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下用Python来编写脚本简化日常的运维工作是Python的一个重要用途。在Linux下，有许多系统命令可以让我们时刻监控系统运行的状态，如ps，top，free等等。要获取这些系统信息，Python可以通过subprocess模块调用并获
谢艺馨·2025-01-28 05:55

「File」文本格式 之 PugiXML对XML格式解析

✨博客主页何曾参静谧的博客（✅关注、点赞、⭐收藏、转发）全部专栏（专栏会有变化，以最新发布为准）「Win」Windows程序设计「IDE」集成开发环境「定制」定制开发集合「C/C++」C/C++程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「UG/NX」BlockUI集合「Py」Python程序设计「Math」探秘数学世界「PK」Paras
何曾参静谧·2025-01-28 04:22

「C/C++」C++经验篇 之 常见的错误处理策略

✨博客主页何曾参静谧的博客（✅关注、点赞、⭐收藏、转发）全部专栏（专栏会有变化，以最新发布为准）「Win」Windows程序设计「IDE」集成开发环境「定制」定制开发集合「C/C++」C/C++程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「UG/NX」BlockUI集合「Py」Python程序设计「Math」探秘数学世界「PK」Paras
何曾参静谧·2025-01-28 04:52

python之subprocess模块

从python2.4版本开始,可以用subprocess这个模块来产生子进程,并连接到子进程的标准输入/输出/错误中去，还可以得到子进程的返回值。subprocess意在替代其他几个老的模块或者函数，比如：os.systemos.spawn*os.popen*popen2.*commands.*一、subprocess.Popensubprocess模块定义了一个类：subprocess.Pope
halazi100·2025-01-28 04:19

项目测试之Postman

文章目录基础实战进行批量测试并输出报告基础实战进行批量测试并输出报告参考：https://blog.csdn.net/tyh_keephunger/article/details/109205191概述Newman是什么？Newman是Postman的命令行工具，用于执行接口测试集合。操作过程找到node目录以及所属版本情况node-v//node版本号nodewhere//查看node在哪里下载
LXMXHJ·2025-01-28 04:47

菜鸟BUG之常见异常（二）

继天地之灵气，借前辈之功，开道友之路伴，共勉目录六、类找不到或无法加载1、概述2、产生及解决1）ClassNotFoundException2）NoClassDefFoundError3、类找不到或无法加载主类
苏白辛·2025-01-28 04:17

为AI聊天工具添加一个知识系统 之73 详细设计之14 正则表达式 之1

本文要点要点今天讨论“当代符号学的正则表达式：StringProcessor”。StringProcessor被视为当代符号学的正则表达式，表达的是思维的纯粹形式（逻辑表示无关，语言表达无关，程序实现无关）。StringProcessor自带投影规则-关注空性中心（符号学立场），它内嵌转换规则-隐藏共性内核（建筑术视角）和外挂映射规则-悬置个性外壳（诠释学观点）。正则表达式的三方智能合约：字母转换
一水鉴天·2025-01-28 04:47

为AI聊天工具添加一个知识系统 之72 详细设计之13 图灵机

本文要点要点实际上是要设计一个图灵机，利用λ转换规则和λ演算来定义StringProcessor的发生产规则的转换功能。三种文法型运行图灵机来处理不同的串---符号串，数字串和文字串一个StrIngProcessor，图灵机（利用λ转换规则和λ演算来定义StringProcessor的发生产规则的转换功能），三种串(字符/数字/文字)，三种语法公式（term/atom/formula），三种文法型
一水鉴天·2025-01-28 04:46

智能工厂的设计软件 应用场景的一个例子： 为AI聊天工具添加一个知识系统 之19 再次重建 之4 职业能力程度(成熟度&进化度：集成&演进)评价 CSR 祖传代码：AI操作系统 之2

本文问题通过纲/目两者并举使能二者并进的偏序序积-斜成线（有秩-纲举目张），左边的行矢--横成行（有序-科目），顶上的列簇--竖成列（有线性-纲领）：语法类型Type（智能化&公理化=自动化，有序&线性=简单链chains），语用单调概念格规范图（有序列表lists智能化），语义一阶理论格规则公式（线性树trees公理化）。整个构成一种非常特别的矩阵（有秩有序有线的一个稠密矩阵）。GPT理解上有点
一水鉴天·2025-01-28 04:46

智能工厂的设计软件 应用场景的一个例子：为AI聊天工具添加一个知识系统 之7 附件（项目文档）

为AI聊天工具添加一个知识系统Part1人性化&去中心化前情提要这一次我们暂时抛开前面对“智能工厂的软件设计”的考虑--其软件智能产品就是应用程序。直接将这些思维方式和方法论运用在其具体应用场景中。本文是其中的一个应用场景。今天用了一个新的AI助手工具来交流。下面是就这一应用场景和“天意ChatGPT”（自称是ChatGPT4.0的直通通道）的Q&A。在现在各种AI聊天工具层出不穷的今天，我觉得特
一水鉴天·2025-01-28 04:16

智能工厂的设计软件 应用场景的一个例子：为AI聊天工具添加一个知识系统 之8 重新开始 之1 特定于领域的模板--一个三套接的hoc结构

由于前面的项目信息全部丢失，所以重新建立了这个项目，并以前一篇文章（之7）中的内容作为项目附件重新沟通。本文要点特定于领域的模板--一个三套接的hoc结构。这是今天讨论的内容。
一水鉴天·2025-01-28 04:16

智能工厂的设计软件 应用场景的一个例子：为AI聊天工具添加一个知识系统 之4 两种描述文件：source的自述文件和resource的描述文件

本文要点前面是为“描述”格式中描述项的未尽描述所所的扩展思考。现在我们回到前面的讨论。前面分析了我拿出来做例句的一段话中的三行文字（“自述”）--也基本上是文档“为AI聊天工具添加一个知识系统”的“枢纽”。进一步讨论这样的“枢纽”要怎样才能具备这个资格？那么，我们是否能基于这些讨论进一步准确根据三种处理器的描述文字确定三者在系统中的地位或作用呢？---就像刚刚我们确定了”语言处理器“或”网络“组件
一水鉴天·2025-01-28 04:46

「Py」模块篇 之 Python中的subprocess模块详解

✨博客主页何曾参静谧的博客（✅关注、点赞、⭐收藏、转发）全部专栏（专栏会有变化，以最新发布为准）「Win」Windows程序设计「IDE」集成开发环境「定制」定制开发集合「C/C++」C/C++程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「UG/NX」BlockUI集合「Py」Python程序设计「Math」探秘数学世界「PK」Paras
何曾参静谧·2025-01-28 03:45

智能工厂的设计软件 应用场景的一个例子：为AI聊天工具添加一个知识系统 之6 三端架构的本质/内在/外观：自明性/信念/bank词扇

本文提要一些补充在为前端和后端锁定的两个中心词“概念”（命题“作文”的程序公共逻辑语言）和“描述”（谓词“描述”的自然描述语言）的基础上，暂时将中端的中心词锁定在“环境”（情境“意义”的人工语义网络语言）。三者的共同性--都需要通过“演算”得到（命题演算/谓词演算/情境演算）。每种演算都以本地或局部的this此岸为输入（A-box，最初是一个条件分支符--条件表达式），远处或全局的彼岸that（T
一水鉴天·2025-01-28 03:45

Stable Diffusion：Python图像生成实战指南

在开始实战之
AI绘画咪酱·2025-01-28 03:44

TaskManager的JVM OOM退出配置

在大数据领域中，TaskManager是执行并行任务的关键组件之一。它负责管理任务的执行和资源分配。在处理大规模数据时，内存管理是一个重要的考虑因素。
艾丽丝的爱情·2025-01-28 02:06

JVM垃圾回收器的原理和调优详解！

全文目录：开篇语前言摘要概述垃圾回收器分类及原理1.Serial垃圾回收器2.Parallel垃圾回收器3.CMS垃圾回收器4.G1垃圾回收器源码解析示例代码使用案例分享案例1：Web服务的GC调优案例2：大数据任务的
喵手·2025-01-28 02:34

深度学习之基于Django+YOLOv5商标识别

欢迎大家点赞、收藏、关注、评论啦，由于篇幅有限，只展示了部分核心代码。文章目录一项目简介二、功能三、系统四.总结一项目简介  一、项目背景在数字化时代，商标作为企业的重要资产，其保护和管理显得尤为重要。然而，传统的商标识别方法往往依赖于人工审查，效率低下且容易出错。随着深度学习技术的不断发展，尤其是目标检测领域的进步，自动化、高精度的商标识别成为可能。本项目旨在利用DjangoWeb框架和YOLO
Q1744828575·2025-01-28 01:57

【gopher的java学习笔记】代码分层之controller和service

在Java的Web开发中，Controller层和Service层是两个至关重要的层次，它们各自承担着不同的职责，共同协作以实现复杂的应用程序功能。本文将详细介绍Java中Controller层和Service层的技术特点和作用。一、Controller层（控制层）Controller层是应用程序的入口点，负责接收用户的请求并处理。它通常处理来自前端或客户端的请求，并将请求转发给相应的Servic
ThisIsClark·2025-01-28 00:22

C++11新特性之连续右尖括号（＞＞）改进

1.介绍在C++11之前的泛型编程中，模版实例化有个很繁琐的地方，那就是连续右尖括号（>>）会被编译器解释为右移操作符，而不是模版参数表的结束。例如：templatestructFun{typedefTtype;};templateclassA{...};intmain(void){Fun>::typexx;//编译出错return0;}这种嵌套模版在编译过程中会出现错误，因为不支持Fun>这种写
画个逗号给明天"·2025-01-28 00:21

K8S中高级存储之PV和PVC

高级存储PV和PVC由于kubernetes支持的存储系统有很多，要求客户全都掌握，显然不现实。为了能够屏蔽底层存储实现的细节，方便用户使用，kubernetes引入PV和PVC两种资源对象。PV（PersistentVolume）PV是Kubernetes中的一个API对象，它代表集群中的一块存储，这块存储已经预先按照某种方式设置好了，并且可以被多个用户使用。PV是集群资源，由Kubernete
元气满满的热码式·2025-01-28 00:19

【llm对话系统】大模型RAG之基本逻辑

大模型RAG之基本逻辑：让LLM更精准地回答你的问题（降低幻觉）你是否遇到过这样的情况：当你向LLM提问时，它可能会给出一些“一本正经胡说八道”的答案，或者无法回答一些特定领域的专业问题？
kakaZhui·2025-01-28 00:18

温度虽寒，其道犹变：OpenAI接口之温度参数设置为0，为何每次回复仍有不确定性？

问题描述调用openaiAPI，使用templature=0，每次返回的内容仍有一些不同>>>client=OpenAI(...api_key=api_key,...base_url=api_base)#第一次尝试>>>response=client.chat.completions.create(model='gpt-3.5-turbo',messages=[{"role":"user","co
凌漪_·2025-01-28 00:17

K8s存储之配置存储

1.配置存储配置存储包括ConfigMap和Secrect。1.1ConfigMapConfigMap是K8s中的一种API对象，用于存储非敏感的配置数据，存储简单的键值对或者一组文件。单个ConfigMap的数据量不能超过1MB，适合存储小规模的配置信息‌。（1）配置清单字段说明apiVersion:v1说明:指定ConfigMap的API版本。在这个例子中，我们使用的是KubernetesAP
Herry_644280825·2025-01-28 00:16

Linux基础12-C语言篇之基本结构【入门级】

C语言基础c语言的基本结构一个简单的c语言程序功能：要求在控制台输出"helloworld!"/*************************************************************************>FileName:demo01.c>Author:xxx>Description:>CreatedTime:2025年01月20日星期一11时02分17秒*
kk努力学编程·2025-01-28 00:45

K8S中数据存储之配置存储

配置存储在Kubernetes中，ConfigMap和Secret是两种核心资源，用于存储和管理应用程序的配置数据和敏感信息。理解它们的功能和最佳实践对于提高Kubernetes应用程序的安全性和配置管理的效率至关重要。ConfigMapConfigMap是一种API对象，允许你存储非敏感配置数据，如环境变量、数据库URL等。它以键值对的形式存储数据，便于应用程序访问必要的配置。ConfigMap
元气满满的热码式·2025-01-27 23:14
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他