Hadoop与大数据

大数据之Spark运行流程

文章目录前言（一）SparkOnYarn集群的Client模式运行流程（二）SparkOnYarn集群的Cluster模式运行流程总结前言上篇文章有讨论到SparkOnYarn的两种部署模式，如果有不清楚的地方，可以再看看，附上对应文章的链接：Spark的部署模式，本篇文章主要讨论SparkOnYarn两种部署模式的运行流程。（一）SparkOnYarn集群的Client模式运行流程该模式的Dri
「已注销」·2025-01-27 15:17

R语言学习笔记6-数据框

DataFrame)介绍数据框用途创建数据框从矩阵创建数据框索引和切片添加和修改列数据框的预处理数据框的排序数据框的筛选处理缺失值应用函数处理数据重塑数据框使用dplyr进行数据框的管道操作数据框的时间序列操作大数据框的处理数据框的绘图数据框的文本处理数据框的连接与关联按行或列连接数据框按键值关联数据框数据框的条件处理与逻辑操作条件筛选逻辑操作数据框的汇总与统计分析
Colin♛·2025-01-27 15:17

Flink (十三) ：Table API 与 DataStream API 的转换 （一）

TableAPI和DataStreamAPI在定义数据处理管道时同样重要。DataStreamAPI提供了流处理的基本操作（即时间、状态和数据流管理），并且是一个相对低级的命令式编程API。而TableAPI抽象了许多内部实现，提供了一个结构化和声明式的API。这两个API都可以处理有界流和无界流。有界流需要在处理历史数据时进行管理。无界流通常出现在实时处理场景中，可能会先通过历史数据初始化。为了
Leven199527·2025-01-27 15:47

【EI复现】【基于改进粒子群算法求解】一种建筑集成光储系统规划运行综合优化方法（Matlab代码实现）

本文目录如下：目录1概述2运行结果3参考文献4Matlab代码、数据、文档讲解1概述文献来源：摘要：容量优化配置与能量调度是建筑集成光储系统(buildingintegratedphotovoltaic
优化算法侠_科研·2025-01-27 15:45

小程序自定义组件：深入解析数据、方法与属性

目录小程序自定义组件：深入解析数据、方法与属性一、在自定义组件中定义data数据二、组件的method方法在小程序开发中，自定义组件是构建高效、可复用代码结构的关键部分。
阿贾克斯的黎明·2025-01-27 15:13

二、机器学习模型评估与选择

机器学习模型评估与选择学习笔记一、核心概念1.1经验误差与过拟合误差相关定义错误率与精度：分类错误样本数占样本总数比例为错误率E=a/mE=a/mE=a/m，精度=1-错误率。
没见过西瓜嘛·2025-01-27 15:43

无耳科技 Solon v3.0.7 发布（2025农历新年版）

从零开始构建（非java-ee架构），有灵活的接口规范与开放生态。
组合缺一·2025-01-27 15:42

AI语言模型竞争加剧：新秀崛起 格局生变

开源与闭源模型形成差异化发展路径：开源模型注重效率和架构创新，闭源API模型专注高端性能。模型训练成本呈现类摩尔定律式下降，每年降低75%。MoE架构在计算效率和性能
XianxinMao·2025-01-27 14:11

【架构】高可用：热备和冷备以及双活

热备与冷备技术培训文档1.引言作为一名架构师，了解并掌握热备和冷备技术至关重要。本培训文档旨在为您提供关于热备和冷备技术的全面培训，帮助您更好地理解和应用这些技术。
LeonNo11·2025-01-27 14:10

2025三掌柜赠书活动第四期：AI原生应用开发提示工程原理与实战

目录前言提示工程的定义提示工程的重要性提示工程的基本原则关于《AI原生应用开发提示工程原理与实战》编辑推荐内容简介作者简介图书目录本书特色《AI原生应用开发提示工程原理与实战》内容提要结束语前言随着人工智能技术的飞速发展
三掌柜666·2025-01-27 14:10

计算机工程：解锁未来科技之门！

计算机工程与应用是一个充满无限可能性的领域。随着科技的迅猛发展，计算机技术已经深深渗透到我们生活的方方面面，从医疗、金融到教育，无一不在彰显着计算机工程的巨大魅力和潜力。
鸭鸭鸭进京赶烤·2025-01-27 14:10

质量属性与架构评估

软件系统属性包括功能属性和质量属性，软件架构重点关注的是质量属性架构需求是在满足功能属性的前提下，关注软件系统的质量属性质量属性1、什么是软件系统的质量是软件系统与需求（明确的和隐含的）一致性的程度2、
weixin_59716167·2025-01-27 14:39

【技术洞察】2024科技绘卷：浪潮、突破、未来

涌动与突破2024年，科技的浪潮汹涌澎湃，人工智能、量子计算、脑机接口等前沿技术如同璀璨星辰，方便了大家的日常生活，也照亮了人类未来的道路。这一年，科技的突破与创新不断刷新着人们对未来的想象。
三掌柜666·2025-01-27 14:09

MongoDB 关系

MongoDB中的关系可以是：1:1(1对1)1:N(1对多)N:1(多对1)N:N(多对多)接下来我们来考虑下用户与用户地址的关系。一个用户可以有多个地址，所以是一对多的关系。
村之春·2025-01-27 14:08

JS中的sort()数字排序不生效？--关于ascii那些事儿

JavaScript的sort()方法与数字排序在JavaScript中，sort()方法是用于对数组进行排序的常用方法。
不做超级小白·2025-01-27 14:07

算法：求两个数的商与余数

publicclassdome2{publicstaticvoidmain(String[]args){test3();}//求两个数的商和余数publicstaticvoidtest3(){inta=10;intb=99;intcount=0;while(b>=a){b-=a;count++;}System.out.println("商:"+count);System.out.println("
Bunury·2025-01-27 14:37

前端新手教程：HTML、CSS 和 JavaScript 全面详解及实用案例

一、引言在当今数字化的时代，前端开发扮演着至关重要的角色，它决定了用户与网页和应用程序交互的体验。HTML、CSS和JavaScript作为前端开发的核心技术，分别负责网页的结构、样式和交互。
魏大帅。·2025-01-27 14:36

华为OD机试C卷-- 精准核酸检测（Java & JS & Python & C）

现在根据传染病流调以及大数据分析，得到了每个人之间在时间、空间上是否存在轨迹交叉。现在给定一组确诊人员编号（X1,X2,X3,…,Xn），在所有人当中，
飞码创造者·2025-01-27 14:35

AI在电商中的应用系列文章

AI在电商中的应用作者：禅与计算机程序设计艺术文章目录AI在电商中的应用0.引言1.背景介绍1.1问题的由来1.2研究现状1.3研究意义1.4本文结构2.核心概念与联系3.核心算法原理&具体操作步骤3.1
AI天才研究院·2025-01-27 14:35

集合论导引：贝尔空间与波兰空间

集合论导引：贝尔空间与波兰空间1.背景介绍集合论是数学的一个基础分支，研究集合的性质和关系。贝尔空间和波兰空间是集合论中的两个重要概念，广泛应用于拓扑学、分析学和计算机科学等领域。
AI天才研究院·2025-01-27 14:05

【进阶编程】MVC和MVVM实现前后端分离的实现

在WPF开发中，通常使用MVVM（Model-View-ViewModel）架构来分离视图和业务逻辑，但在某些情况下，你可能希望将MVC（Model-View-Controller）模式与MVVM结合使用
de之梦-御风·2025-01-27 14:05

matlab大数据计算技巧（持续更新中）

在matlab中，当数据比较大时，运算起来就困难了，有时候还会outofmemory（例如4000*4000的矩阵，要算矩阵乘法都比较吃力）。此文会记录我学到的一些解决办法：1.将数据的存储类型从double转换成single在matlab中double数据类型占8个字节，single类型占4个字节。把数据类型从double类型转换成single类型可以节省一半的空间。单精度浮点数single的取
tina_lulu_21·2025-01-27 14:04

网络爬虫相关软件以及论文检索与推荐网站调研

最近接到一个项目，需要做一个基于网络爬虫技术的论文检索与推荐的网站，所以打算先对市面上已有的基于此技术的软件进行一次统计和分析，以备后面查询使用。
Q7318·2025-01-27 14:04

AI与药学 |AI数字药师：药品说明书构建AI药学知识库

（关注公众号“赛文AI药学”，获取更多AI与药学的内容）本文将深入探讨如何利用检索增强生成(Retrieval-AugmentedGen
明哲AI·2025-01-27 13:04

如何设置AD域用户仅登录到指定的计算机？AD域管理软件

打印机和共享文件夹等对象，而提供目录服务的组件就是ActiveDirectory（活动目录）域服务（ActiveDirectoryDomainService，ADDS），它负责目录数据库的存储、添加、删除、修改与查询等操作
·2025-01-27 13:30

【EI复现】【基于改进粒子群算法求解】一种建筑集成光储系统规划运行综合优化方法（Matlab代码实现）

本文目录如下：目录1概述2运行结果3参考文献4Matlab代码、数据、文档讲解1概述文献来源：摘要：容量优化配置与能量调度是建筑集成光储系统(buildingintegratedphotovoltaic
冒泡芳·2025-01-27 13:33

mysql梳理2

优化与执行：每个连接都会在mysql服务端产生一个线程（内部通过线程池管理线程），比如一个select语句进入，mysql首先会在查询缓存中查找是否缓存了这个selec
·2025-01-27 13:58

Spring Boot 微服务架构的五大挑战与解决方案

随着软件系统的日益复杂，越来越多的企业选择采用微服务架构来分解大型的应用程序。SpringBoot因其快速的启动特性、简洁的配置方式以及丰富的生态支持，成为构建微服务的首选框架之一。然而，在享受微服务带来的便利的同时，我们也必须面对一些挑战。本文将探讨使用SpringBoot构建微服务项目时遇到的五个主要难点，并提出相应的解决方案。1.服务间通信复杂难点：在微服务架构中，服务之间的交互通常涉及跨多
潘多编程·2025-01-27 13:32

Matlab：读取和处理大数据表格文本文件

Matlab：读取和处理大数据表格文本文件在实际的数据分析应用中，往往需要处理海量数据。针对大型数据文件，Matlab提供了快速高效的读取和处理工具，可以便捷地完成数据处理任务。
追逐程序梦想者·2025-01-27 13:01

【超详细教程(附源码)】基于 ARM Cortex-M3 处理器与 FPGA 的实时人脸检测 SOC

原创作品，转载请联系作者并注明出处：https://github.com/WalkerLau源码地址：https://github.com/WalkerLau/DetectHumanFaces本项目是第四届集成电路创新创业大赛（ARM杯）的参赛作品，包含了详细的技术文档、软件配置教程以及完整的代码。项目描述我们采用ARMCortex-M3软核及FPGA构成了轻量级的实时人脸检测SOC，通过ov56
Walker_Lau·2025-01-27 13:01

EasyExcel使用详解

文章目录EasyExcel使用详解一、引言二、环境准备与基础配置1、添加依赖2、定义实体类三、Excel读取详解1、基础读取2、自定义监听器3、多Sheet处理四、Excel写入详解1、基础写入2、动态列与复杂表头
eqa11·2025-01-27 13:00

AI Agent的部署与运维：从开发环境到生产环境

在前面的文章中，我们讨论了AIAgent的各个模块实现。今天，我想聊聊如何把这个系统部署到生产环境。说实话，这个过程比想象的要复杂得多，因为AIAgent系统有很多特殊的运维需求。从一次部署事故说起还记得第一次部署AIAgent到生产环境时的场景：我：系统测试都通过了，可以部署了运维：好的，按常规Python应用部署（部署完成后）用户：为什么响应这么慢？监控：API费用飙升...我：...（这才发
·2025-01-27 13:57

赛事 Q＆A × 培训预告：2024 年（第 17 届）中国大学生计算机设计大赛大数据主题赛正式开赛！

大赛下设不同领域的十一个大类，和鲸科技自2021年起，连续四年作为大数据应用大类中大数据主题赛的协办方倾力配合大赛组委会与各承办单位，
ModelWhale·2025-01-27 13:30

【揭秘机场心脏】核心业务系统如何确保您的每一次飞行体验

这些系统不仅支撑了日常的航班运行，也保障了乘客的安全与舒适。
CAAC_SKY·2025-01-27 13:00

优化我们的程序（数据篇）：依赖关系与并行化

依赖关系与并行化我们需要把有依赖关系的数据都交给同一个CPU处理，这样其他数据都可以交给其他CPU并行处理，并行的加速比公式Amdahl定律：1/((1-f)+(f/p))笔者个人认为，这个公式的主要精髓在于并行流受限于串行流
skaiuijing·2025-01-27 13:29

【产品经理修炼之道】-HRP（四）：成本管理系统

医疗成本指医院在医疗过程中发生的支出，包括医疗支出、药品支出、其他支出与财政专项支出。其中医疗支出指医院在开展医疗业务活动中的基本工资、补助工资、其他工资、职工福利费、社会保障费、
xiaoli8748_软件开发·2025-01-27 12:28

Python 数据清洗与处理常用方法全解析

在数据处理与分析过程中，缺失值、重复值、异常值等问题是常见的挑战。
请为小H留灯·2025-01-27 12:28

介绍一下 Hibernate 的二级缓存

Hibernate的二级缓存Hibernate的二级缓存是位于SessionFactory级别的缓存，与一级缓存（Session级别）不同，二级缓存可以跨多个Session共享数据。
晚夜微雨问海棠呀·2025-01-27 12:57

简述 Hibernate 和 JDBC 的优缺点?如何书写一个 one to many 配置文件

Hibernate和JDBC的优缺点Hibernate优点：对象关系映射（ORM）：Hibernate提供了强大的ORM功能，可以将Java对象与数据库表进行映射，简化了数据访问操作。
晚夜微雨问海棠呀·2025-01-27 12:56

二十三种设计模式-桥接模式

桥接模式（BridgePattern）是一种结构型设计模式，其核心思想是将抽象与实现解耦，让它们可以独立变化。桥接模式主要用于解决类的继承问题，避免由于继承而带来的类层次结构过于复杂和难以维护的问题。
angen2018·2025-01-27 12:26

DRG_DIP 2.0时代医院程序结构转型与数据结构优化研究

一、引言1.1DRG_DIP2.0改革背景与意义医保支付方式改革在医疗保障制度改革中占据着极为关键的地位，是推动医疗领域变革的核心力量。
Allen_LVyingbo·2025-01-27 11:54

使用 AMD ROCm 容器入门：从基础镜像到定制解决方案

当我们将这种容器化的力量与
109702008·2025-01-27 11:53

修改hdfs路径权限

三、解决shell执行以下命令，${hdfs_path}替换成目标表的文件路径/usr/local/service/hadoop/bin/hdfsdfs-chmod
chimchim66·2025-01-27 11:52

大数据StarRocks(六) ：Catalog_starroccks支持oracle外部表了吗(1)

StarRocks自2.3版本起支持Catalog（数据目录）功能，实现在一套系统内同时维护内、外部数据，方便您轻松访问并查询存储在各类外部源的数据。1.基本概念内部数据：指保存在StarRocks中的数据。外部数据：指保存在外部数据源（如ApacheHive™、ApacheIceberg、ApacheHudi、DeltaLake、JDBC）中的数据。2.Catalog当前StarRocks提供两
2401_84181975·2025-01-27 11:51

二十三种设计模式-装饰器模式

一、定义与核心思想装饰器模式是一种结构型设计模式，其核心思想是动态地给一个对象添加一些额外的职责。
angen2018·2025-01-27 11:20

Android Automotive架构与流程：VehicleHAL，CarService，CarAPI，EVS

允许拥有权限的应用访问（通过汽车服务）无需任何权限即可访问（通过汽车服务）仅允许部分系统组件直接访问车辆属性，而车辆网络服务是把关程序。大多数应用需通过汽车服务的额外把关（例如，只有系统应用可以控制HVAC，因为这需要仅授予系统应用的系统权限）。常用汽车权限（前缀：android.car.permission.）：●[系统权限]ADJUST_CAR_CABIN操作轿厢信息●[系统签名]BIND_I
m0_61499908·2025-01-27 11:20

C语言编程笔记：文件处理的艺术

大家好，这里是小编的博客频道小编的博客：就爱学编程很高兴在CSDN这个大家庭与大家相识，希望能在这里与大家共同进步，共同收获更好的自己！！！
就爱学编程·2025-01-27 11:20

【运维】什么是Ubantu？安装网址

其名称源自非洲南部祖鲁语或科萨语的“Ubuntu”一词，意为“人性”或“我的存在是因为大家的存在”，体现了共享与合作的精神。
一袋米扛几楼98·2025-01-27 11:19

基于云计算的自动化部署与自动化运维：提高运维效率

基于云计算的自动化部署与自动化运维：提高运维效率作者：禅与计算机程序设计艺术文章目录基于云计算的自动化部署与自动化运维：提高运维效率1.简介2.云计算概述（1）云计算的优势2.1弹性伸缩能力2.2技术创新领域
AI天才研究院·2025-01-27 10:48

阅读：在方寸之间重构人类文明的精神版图

在敦煌莫高窟的藏经洞里，5世纪的手抄《妙法莲华经》与8世纪的粟特文《圣经》残卷相邻而眠；在大航海时代的里斯本港口，达伽马船队的水手们将《马可波罗游记》与星盘一同装入行囊；在21世纪的数字云端，《论语》的注疏与
智识世界Intelligence·2025-01-27 10:17
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他