Spark弹性分布式数据集

Web3.0是什么意思？普通人在Web3.0能赚到钱吗？

Web3.0，第三代互联网，意思是由DLT（分布式账本技术）支援，基于区块链的去中心化网路世界，也将是驱动元宇宙的基础建设技术。
stronger11·2024-09-08 00:59

Flink(1.13) 的window机制(一)

流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数
万事万物·2024-09-07 22:31

PLC边缘网关在实际应用中的作用-天拓四方

然而，随着工业物联网的兴起，PLC设备面临着数据集成、远程监控以及安全性等方面的挑战。为了解决这些问题，PLC边缘网关应运而生，它作为连接PLC设备与上层应用系统的桥梁，发挥着至关重要的作用。
北京天拓四方·2024-09-07 20:42

<转>Spark体系架构

最近看到一篇关于Spark架构的博文，作者是AlexeyGrishchenko。
yongjian_luo·2024-09-07 20:11

Spark分布式计算原理

目录一、RDD依赖与DAG原理1.1RDD的转换一、RDD依赖与DAG原理Spark根据计算逻辑中的RDD的转换与动作生成RDD的依赖关系，同时这个计算链也形成了逻辑上的DAG。
NightFall丶·2024-09-07 20:40

配置管理 —— SpringCloud Config

概述Config为分布式系统提供统一的配置管理工具，应用程序在使用过程中可以像使用本地配置一样方便地添加、访问、修改配置中心的配置Config支持将配置存储在配置中心的本地服务器或Git仓库，通常将配置文件集中放置在一个
低吟不作语·2024-09-07 19:00

颜色识别基于高斯混合模型（GMM）的查找表分类器（LUT）

文章目录create_class_gmm创建高斯混合模型（GMM）以进行分类任务add_samples_image_class_gmm提取训练样本，并将其添加到高斯混合模型(GMM)的训练数据集中train_class_gmm
吃个糖糖·2024-09-07 18:27

Python大数据：深入探索Hadoop库的使用

在大数据的世界中，Python和Hadoop结合使用，为处理庞大数据集提供了强大的工具。本文将详细探讨如何在Python中使用Hadoop，特别是通过实例来展示这一过程。
t0_54coder·2024-09-07 17:22

.pt文件无法打开或乱码？如何查看.pt文件的具体内容？

复现论文GTM-Transformer过程中的数据集直接用vscode打开的效果没法看importtorch#Loadcategoryandcolorencodingscat_dict=torch.load
多恩Stone·2024-09-07 17:44

先进制造业数字化转型：典型场景存储需求及实践解析

本文将从先进制造企业数字化转型中典型场景的存储需求出发，结合XSKY分布式存储的实际案例，看分布式存储如何帮助企业进行存储转型，满足相关的数据使用需求。01 本地硬盘存储方案的
XSKY星辰天合·2024-09-07 16:08

分布式全闪占比剧增 152%，2023 年企业存储市场报告发布

根据该报告，在2023年软件定义存储的市场占比进一步扩大，分布式全闪的增长尤其亮眼，其市场份额从2022年的7% 剧增到2023年的17.7%，增长了 152%。
XSKY星辰天合·2024-09-07 16:38

速盾：没有备案的网站能否接入CDN使用？

CDN作为一个分布式的网络服务器集群，可以将网站的静态资源存储在离用户最近的服务器上，从而加快资源的访问速度。然而，CDN服务提供商在为网站提供CDN服务之前，需要对网站进行一系列的备案手续。
速盾cdn·2024-09-07 13:52

速盾：选购高防cdn时应该注意些什么？

为了保护网站的安全可靠运行，很多企业和个人选择使用高防CDN（ContentDeliveryNetwork）服务来防御DDoS（分布式拒绝服务）攻击等网络威胁。
速盾cdn·2024-09-07 13:52

速盾：CDN原理 CDN技术是什么？

CDN（ContentDeliveryNetwork）是一种通过在全球分布式服务器中存储和分发静态和动态内容的技术。
速盾cdn·2024-09-07 13:52

Kafka，构建TB级异步消息系统

ArrayBlockingQueueLinkedBlockingQueuePriorityBlockingQueue、SynchronousQueue、DelayQueue等2.Kafka入门Kafka简介Kafka是一个分布式的流媒体平台应用
Fern977·2024-09-07 12:15

Apache Flink 替换 Spark Stream的架构与实践( bilibili 案例解读)_streamsparkflink加载udf(1)

bilibili早期使用的引擎是SparkStreaming，后期扩展了Flink，在开发架构中预留了一部分引擎层的扩展。最下层是状态存储
2401_84165953·2024-09-07 12:44

仿论坛项目--Kafka，构建TB级异步消息系统

Kafka入门•Kafka简介Kafka是一个分布式的流媒体平台。
HUT_Tyne265·2024-09-07 12:14

自然语言处理系列六十一》分布式深度学习实战》TensorFlow深度学习框架

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列六十一分布式深度学习实战》
陈敬雷-充电了么-CEO兼CTO·2024-09-07 11:11

图像去噪算法代码c语言,深度学习图像去噪代码

AI开发平台ModelArtsModelArts是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力
weixin_39777018·2024-09-07 11:40

万界星空科技MES系统，实现数字化智能工厂

派工报工人员技能等级通过生产任务中心，弹性调整派工量与生产任务到指定产线。解决员工派工报工受限。提升人员工作效率。机台稼动参数点检保养整合机台信息，实时掌握机台稼动参数
万界星空科技·2024-09-07 11:06

linux搭建ceph集群

172.26.50.75node1172.26.50.112node2172.26.50.228node3ceph-mon，ceph-mgr，ceph-mds都搭建在node1上，node2和node3上搭建ceph-osd，每个机器1个osdCeph是一个分布式的存储系统
浓黑的daidai·2024-09-07 11:05

linux自动化运维之ansible实战

ansible基础介绍优点-相比于saltatack和puppet，没有客户端，更轻量级-只是一个工具，可以很容易实现分布式拓展-更强的远程执行命令特点-模块化-支持自定义模块，可以用任何语言编写模块-
浓黑的daidai·2024-09-07 11:05

jedis 与 redission 实现分布式锁

本文为博主原创，未经允许不得转载：1.Jedis实现分布式锁2.Redission实现分布式锁为了确保分布式锁可用，至少要保证锁的实现同时满足以下几个条件互斥性：在任意时刻只有一个客户端能持有锁不会死锁
不知言愁·2024-09-07 10:34

ELK7.8部署：Elasticsearch+Logstash+Kibana搭建分布式日志平台

ELK7.8部署：Elasticsearch+Logstash+Kibana搭建分布式日志平台一、前言1、ELK简介2、ELK工作流二、准备工作1、服务器&软件环境说明2、ELK环境准备三、Elasticsearch
_海风_·2024-09-07 10:33

AI时代来临，AI基础数据服务行业未来发展有哪些变化

标贝科技提供专业的数据采集、数据标注、训练数据集等AI基础数据服务内容，在基础数据行业拥有丰富的落地实践经验，据标贝科技的市场调研统计，2020中国AI行业核心产业市场规模将超过1500亿元，市场发展向
标贝科技·2024-09-07 10:01

pytorch建模的一般步骤

Pytorch的建模一般步骤1.导入必要的库2.准备数据3.定义数据集类（可选）4.加载数据5.定义模型6.定义损失函数和优化器7.训练模型8.评估模型9.保存和加载模型10.使用模型进行推理importtorch.nn.functionalasFimporttorch.nnasnnimporttorchfromtorchvisionimportdatasets
巴依老爷coder·2024-09-07 09:52

Elasticsearch新手入门教程

Elasticsearch入门一.Elasticsearch介绍Elasticsearch是一个分布式、可扩展、实时的搜索与数据分析引擎。
超级英雄吉姆·2024-09-07 09:51

【计算机视觉前沿研究 热点 顶会】ECCV 2024中目标检测有关的论文

当行人检测遇到多模态学习时：通才模型和基准数据集近年来，利用不同传感器模态(如RG
平安顺遂事事如意·2024-09-07 08:17

PySpark数据分析基础：PySpark基础功能及DataFrame操作基础语法详解_pyspark rdd

DataFrame.show()使用格式：df.show()df.show(1)+---+---+-------+----------+-------------------+|a|b|c|d|e|+---+---+-------+----------+-------------------+|1|2.0|string1|2000-01-01|2000-01-0112:00:00|+---+---
2401_84187537·2024-09-07 08:47

PySpark数据分析基础：PySpark基础功能及DataFrame操作基础语法详解_pyspark rdd(1)

dfDataFrame[a:bigint,b:double,c:string,d:date,e:timestamp]####通过由元组列表组成的RDD创建rdd=spark.sparkContext.parallelize
2401_84181368·2024-09-07 08:46

PySpark数据分析基础：PySpark基础功能及DataFrame操作基础语法详解_pyspark rdd(2)

轻松切换到pandasAPI和PySparkAPI上下文，无需任何开销。有一个既适用于pandas（测试，较小的数据集）又适用于Spark（分布式数据集）的代码库。
2401_84181403·2024-09-07 08:46

Pyspark DataFrame常用操作函数和示例

针对类型：pyspark.sql.dataframe.DataFrame目录1.打印前几行1.1show()函数1.2take()函数2.读取文件2.1spark.read.csv3.获取某行某列的值(
还是那个同伟伟·2024-09-07 08:15

探索Java中的分布式消息队列与事件总线：架构、实现与最佳实践

引言在现代分布式系统中，消息队列和事件总线已经成为实现松耦合、高扩展性和高可用性架构的关键组件。无论是微服务架构、事件驱动架构，还是实时数据处理，消息队列和事件总线都扮演着至关重要的角色。
๑҉ 晴天·2024-09-07 08:14

数据分析-13-时间序列异常值检测的类型及常见的检测方法

异常数据，也称为离群点，是指在数据集中与其他数据点明显不同的样本。这些数据点往往不符合预期的模式或行为，可能
皮皮冰燃·2024-09-07 07:37

Spark概念知识笔记

最近总结了个人的各项能力，发现在大数据这方面几乎没有涉及，因此想补充这方面的知识，丰富自己的知识体系，大数据生态主要包含：Hadoop和Spark两个部分，Spark作用相当于MapReduceMapReduce
kuntoria·2024-09-07 05:21

【Python报错】已解决ModuleNotFoundError: No module named datasets

datasets是一个流行的Python库，常用于加载和处理大型数据集，特别是在自然语言处理（NLP）和机器学
云天徽上·2024-09-07 03:14

Apache Storm：入门了解

前言Storm是一个开源的分布式实时计算系统，它能够处理无边界的数据流，类似于Hadoop对于批量数据处理的作用，但是Storm更侧重于实时数据流的处理。
布说在见·2024-09-07 03:43

分布式发号器（2）

目录数据结构最大峰值型最小粒度值型并发机器ID的分配时间同步设计验证性能需求调整时间是否会影响ID产生功能？每4年一次同步润秒会不会影响ID产生功能？数据结构1.最大峰值型：采用秒级有序，秒级时间占用30位，序列号占用20位字段：|`版本`|`类型`|`生成方式`|`秒级时间`|`序列号`|`机器ID`|位数：|*63*|*62*|*60-61*|*40-59*|*10-39*|*0-9*|2.最
lmkbuffon·2024-09-07 03:39

【架构】一款永不重复的高性能分布式发号器，实战nginxpdf

零、基本术语发号器：用于生成唯一流水号（也即俗称的唯一ID）的服务系统，称之为发号器一、技术选型UUID优点：能够保证唯一性缺点：（1）完全的时间数据=>性能比较差、比较长、占用空间大、间接导致数据库性能下降;（2）无序=>导致B+树索引在写的时候会有过多的随机写操作，不会产生有顺序的append操作，而是需要进行insert操作，这将读取整个B+树节点到内存并在插入该条记录后会将整个节点写会磁盘
m0_64867839·2024-09-07 02:39

java分布式开发面试题

正文梳理知识点，是快速提升技术的关键前面讲过，快速提升自己的技术硬实力其实是有方法的。大致就是梳理知识点+夯实基础+进阶深入学习+实战，下面我会一点点跟大家剖析，本文干货满满，大家仔细阅读。梳理知识后，夯实基础乃是刚需：深入进阶学习（28个主流Java知识点“一网打尽”）1、并发编程Java并发编程是整个Java开发体系中最难以理解，但也是最重要的知识点之一，一旦掌握你一定在市场上供不应求。Jav
spring面试题·2024-09-07 02:38

seata环境搭建以及官方示例的坑

1、seataserver搭建（windows）在建seata服务之前请搭建好nacos服务官方的最新的为2.0.0版的，这个版本暂时有些问题，管理分布式事务时会报错。所以建议使用1.8的。
qq_20546587·2024-09-07 01:32

UI 自动化分布式测试 -Docker Selenium Grid

分布式测试SeleniumGrid对于大型项目或者有大量测试用例的项目，单机的测试环境往往无法快速完成所有测试用例的执行，此时自动化测试执行效率将会成为最大的瓶颈，SeleniumGrid可以通过多机的分布式架构允许测试用例并行运行
程序员与诗人·2024-09-07 01:30

Selenium Server 中 Standalone 模式|实现分布式测试、远程驱动浏览器

实现分布式测试|远程驱动浏览器SeleniumServer介绍主要功能Standalone模式概括Standalone模式分布式测试的应用SeleniumServer介绍SeleniumServer是Selenium
cs_mengxi·2024-09-07 01:58

为什么需要分布式数据库

这些年，由于数据规模和业务访问负载越来越大，越来越多的公司无法依赖单台数据库服务器支撑其业务，越来越多的公司不得不做数据分区存储，也就是所谓的分库分表，但大量的烦恼与困惑也随之而来。令人“头都大了”的分库分表中间件10多年前阿里因此原因不得不把淘宝后台系统从OracleRAC切换到数百个MySQL集群构成的分库分表集群，不过那时的淘宝仅仅使用一个分库分表中间件，名为tddl（又名：头都大了，江湖上
KunlunBase 昆仑数据库·2024-09-06 21:08

流程制造行业数字化智能工厂总体规划建设方案：1. 总体设计方法：确立智能工厂的设计原则和方法论，以支持整个规划和实施过程。 2. 业务调研与分析：深入了解企业的业务流程、技术需求和市场定位。

流程制造行业数字化智能工厂总体规划建设方案流程制造行业数字化智能工厂总体规划建设方案总体设计方法智能工厂设计原则确立方法论支持与规划实施跨部门协作与沟通机制持续改进策略业务调研与分析企业业务流程梳理技术需求评估与对接市场定位及竞争策略调研成果整合与报告系统架构规划数字化管理框架构建核心业务模块划分数据集成与共享策略系统可扩展性与灵活性保障功能架构设计智能机构设置及职责划分智能检测与监控功能开发智能
数字化建设方案·2024-09-06 20:05

2024年效果图云渲染平台到底哪家最好？

一、功能对比具体功能列表云渲染平台技术水平基础功能高级功能独有功能痛点炫云☆☆☆☆☆一键渲染、自动下载结果、进度预览；多任务同时渲染；小样0.01元；性价比及速度包含不同模式可自由选择；分布式渲染；一键
水月rusuo·2024-09-06 20:32

使用深度学习TensorFlow框架进行图片识别

通过阿里云机器学习PAI基于经典的CIFAR-10数据集实现图片识别。学员可以通过本实验，对深度学习Tensorflow框架有一个简单、直观的了解。
开发者社区小百科·2024-09-06 20:59

【车辆轨迹处理】python实现轨迹点的聚类（一）——DBSCAN算法

文章目录前言一、单辆车轨迹的聚类与分析1.引入库2.聚类3.聚类评价二、整个数据集多辆车聚类1.聚类2.整体评价前言  空间聚类是基于一定的相似性度量对空间大数据集进行分组的过程。
空之箱大战春日影·2024-09-06 20:28

大数据秋招面经之spark系列

文章目录前言spark高频面试题汇总1.spark介绍2.spark分组取TopN方案总结：方案2是最佳方案。
wq17629260466·2024-09-06 19:54

数据库分库分表-ShardingSphere学习

ShardingSphere是一个开源的分布式数据库中间件解决方案，旨在提供数据库分片、分布式事务、读写分离、数据治理等多种数据服务，它以模块化的方式设计，使用户可以根据不同的应用场景选择适合的模块来部署
学Java的skyyyyyyyy·2024-09-06 19:24
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他