spark核心技术第12页

docker核心技术

一.从系统架构谈起传统分层架构vs微服务微服务改造分离微服务的方法建议：审视并发现可以分离的业务逻辑业务逻辑，在对业务领域不是特别熟悉的时候，按照部门职能进行划分，例如账号、财务等寻找天生隔离的代码模块，可以借助于静态代码分析工具如果可以闭环的解决一个用户场景，那么它应该是一个微服务还可以根据访问频率进行区分划分，将用户高频访问的部分划分为一个服务，不同并发规模，不同内存需求的模块都可以分离出不同

海哥python·2024-02-05 17:52

解析UE动画系统——核心实现

【USparkle专栏】如果你深怀绝技，爱“搞点研究”，乐于分享也博采众长，我们期待你的加入，让智慧的火花碰撞交织，让知识的传递生生不息！

UWA·2024-02-05 16:36

区块链产生的背景

“区块链”是比特币、以太坊DAO等项目采用的底层核心技术。区块链技术通过去中心化方式建立了点对点的信任关系，可能会影响甚至改变决定人类社会组织形式与现象

阿留神·2024-02-05 15:35

Hudi学习6：安装和基本操作

目录1编译Hudi1.1第一步、Maven安装1.2第二步、下载源码包1.3第三步、添加Maven镜像1.4第四步、执行编译命令1.5第五步、HudiCLI测试2环境准备2.1安装HDFS2.2安装Spark3

hzp666·2024-02-05 14:59

Hudi学习 6：Hudi使用

准备工作：1.安装hdfshttps://mp.csdn.net/mp_blog/creation/editor/1096891432.安装sparkspark学习4：spark安装_hzp666的博客

hzp666·2024-02-05 14:58

spark学习4：spark安装

1.下载spark安装包2.配置环境1.cd/bigdata/spark-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll

hzp666·2024-02-05 14:58

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏小说推荐系统小说爬虫小说大数据机器学习知识图谱小说网站大数据毕业设计

mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive建库建表；4.一半分析指标使用hive_sql完成，一半分析指标使用Spark-Scala

计算机毕业设计大神·2024-02-05 14:48

Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg

hadoop-3.1.3hbase-2.2.2-bin一、问题描述：在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误：Exceptioninthread

学习BigData·2024-02-05 13:01

【SparkML实践7】特征选择器FeatureSelector

本节介绍了用于处理特征的算法，大致可以分为以下几组：提取（Extraction）：从“原始”数据中提取特征。转换（Transformation）：缩放、转换或修改特征。选择（Selection）：从更大的特征集中选择一个子集。局部敏感哈希（LocalitySensitiveHashing,LSH）：这类算法结合了特征转换的方面与其他算法。FeatureSelectorsVectorSlicerVe

周润发的弟弟·2024-02-05 12:41

Spark 依赖包加载方式

1Spark依赖包来源我们知道Sparkapplication运行加载依赖有三个地方：systemClasspath：Spark安装时候提供的依赖包，${SPARK_HOME}/jars下的包。

大数据AI·2024-02-05 12:11

使用PySpark处理DataFrame以拆分数组列

问题：用pyspark处理df1,df1有三列，第一列是商品pid,第二列是商品name,第三列是候选标品cid_list(有多个cid),将df1中的cid_list拆开,转换成一个商品id和name

samoyan·2024-02-05 12:41

Spark的JVM调优

目录导致gc因素内存不充足的时候，出现的问题降低cache操作的内存占比调节executor堆外内存与连接等待时长调节executor堆外内存调节连接等待时长SparkJVM参数优化设置Sparkstreaming

王一1995·2024-02-05 10:55

Hadoop3.x单机安装教程

以最小化的成本学习和测试Hadoop；搭建基于Hadoop的上层应用，比如单机Spark环境需要先拥有单机的Hadoop；如果需要搭建分布式集群环境的Hadoop环境，请参考另外一篇：Hadoop3.x

文景大大·2024-02-05 10:06

[qtp581715564-18] ERROR spark.http.matching.GeneralError - org.neo4j.driver.exceptions.ResultConsum

今天使用java连接neo4j执行查询的时候遇到了这个问题，报错如下：[qtp581715564-18]ERRORspark.http.matching.GeneralError-org.neo4j.driver.exceptions.ResultConsumedException

路过Coder·2024-02-05 09:36

趣头条Spark Remote Shuffle Service最佳实践

1.业务场景与现状趣头条是一家依赖大数据的科技公司，在2018-2019年经历了业务的高速发展，主App和其他创新App的日活增加了10倍以上，相应的大数据系统也从最初的100台机器增加到了1000台以上规模。多个业务线依赖于大数据平台展开业务，大数据系统的高效和稳定成了公司业务发展的基石，在大数据的架构上我们使用了业界成熟的方案，存储构建在HDFS上、计算资源调度依赖Yarn、表元数据使用Hiv

阿里云技术·2024-02-05 09:29

SparkSql读取外部Hql文件的公共类开发

SparkSql读取外部Hql文件的公共类开发SparkSQL与Hive的区别简介一、什么是SparkSQL？

岁月的眸·2024-02-05 09:27

在 CDH 中调优 Apache Hive on Spark

Spark上的Hive在提供相同功能的同时提供比MapReduce上的Hive更好的性能。在Spark上运行Hive不需要更改用户查询。

海阔天空&沫语·2024-02-05 09:27

Spark Shuffle Service简介与测试

Spark管理资源有两种方式：静态资源分配和动态资源分配。静态资源分配：spark提交任务前，指定固定的资源，在spark运行任务过程中，一直占用这些资源不释放，job运行结束后才会释放。

大数据AI·2024-02-05 09:26

CDH6.3.2 多 Spark 版本共存

一部署Spark客户端1.1部署spark3客户端tar-zxvfspark-3.3.1-bin-3.0.0-cdh6.3.2.tgz-C/opt/cloudera/parcels/CDH/libcd/

大数据AI·2024-02-05 09:56

人工智能：破局与创新的较量，谁将主宰未来？

1.2深度学习与神经网络的创新深度学习作为AI的核心技术之一，其基于神经网络的算法在近年来得到了快速发展。从LeNet、AlexNet到ResNet，再到GPT、BERT等模

猫之角·2024-02-05 09:14

大数据-Spark调优（一）

海恋北斗星·2024-02-05 09:29

大数据笔记--Spark（第五篇）

目录一、Spark的调优1、更改序列化为kryo2、配置多临时文件目录3、启动推测执行机制4、某些特定场景，用mapPartitions代替map5、避免使用collect二、Spark的共享变量1、广播变量

是小先生·2024-02-05 09:59

大数据 - Spark系列《三》- 加载各种数据源创建RDD

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客目录3.1

王哪跑nn·2024-02-05 09:28

大数据原理-Spark

概述：基于内存计算三大分布式计算系统：Hadoop、Spark、Storm特点：采用有向无环图DAG作业调度运行速度快循环数据流容易使用：可以通过SparkShell交互式编程用途：SQL查询、流式计算

monster++·2024-02-05 09:28

大数据 - Spark系列《四》- Spark分布式运行原理

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据

王哪跑nn·2024-02-05 08:54

Windows系统运行pyspark报错：Py4JJavaError

运行pyspark时出现以下错误---------------------------------------------------------------------------Py4JJavaErrorTraceback

赫桃·2024-02-05 07:25

pyspark报错TypeError: an integer is required (got type bytes)

安装配置pyspark，计算时报错如下：UsingSpark'sdefaultlog4jprofile:org/apache/spark/log4j-defaults.propertiesSettingdefaultloglevelto"WARN

helluy·2024-02-05 07:23

pyspark报错：ValueError: object of IntegerType out of range

背景：pyspark任务中，调用了udf处理数据，并使用了链接:pyspark并行调用udf函数的方式，报错如上。但是在python中很少遇到整型越界问题。

leap_ruo·2024-02-05 07:53

Python调用pyspark报错整理

Pycharm配置了SSH服务器和Anaconda的python解释器，如果没有配置可参考大数据单机学习环境搭建(8)Linux单节点Anaconda安装和Pycharm连接Pycharm执行的脚本执行如下pyspark_model.py

赫加青空·2024-02-05 07:52

基于hadoop+spark的大规模日志的一种处理方案

而且CDN上的访问日志一般都非常大，需要用大数据处理架构来进行处理，本文描述了一种利用hadoop+spark来处理大量CDN日志的方法，当然本方

码农心语·2024-02-05 06:36

初探AIGC 生成式AI

主要从四个方面广泛了解AIGC：1.AIGC的核心技术2.AIGC任务3.AIGC应用4.AIGC产品AIGC核心技术在技术层面上，属于生成AI的范畴。可以将具体技术大致分为两类：基础模型和生成技术。

魔法少女斯内普·2024-02-05 06:28

【AIGC核心技术剖析】DreamCraft3D一种层次化的3D内容生成方法

DreamCraft3D是一种用于生成高保真、连贯3D对象的层次化3D内容生成方法。它利用2D参考图像引导几何塑造和纹理增强阶段，通过视角相关扩散模型执行得分蒸馏采样，解决了现有方法中存在的一致性问题。使用BootstrappedScoreDistillation来提高纹理，通过交替优化扩散先验和3D场景表示，实现了相互增强的改进。通过定制的3D先验，DreamCraft3D生成具有逼真渲染的连贯

源代码杀手·2024-02-05 06:57

云原生数据库 GaiaDB 的核心技术演进和解析

导读在越来越强调云原生的环境下，存算分离作为一种新的架构理念，已经是大势所趋。新的技术架构带来新的问题和挑战，百度智能云的云原生数据库GaiaDB采用Quorum分布式协议、高性能网络、高可靠分布式存储引擎等技术实现更高的性能和可用性。随着越来越多的企业将业务搬迁至云端，网络、计算和存储资源的弹性伸缩能力变得越来越重要。这些资源的弹性伸缩能力不仅可以帮助云上业务轻松应对业务尖峰，还可以大大降低资源

大数据和云计算技术·2024-02-05 06:23

【AIGC核心技术剖析】AI生成音乐：MAGNeT一种直接操作多个音频令牌流的掩码生成序列建模方法

MAGNeT是一种直接操作多个音频令牌流的掩码生成序列建模方法。与先前的工作不同，MAGNeT由一个单阶段、非自回归的变压器组成。在训练期间，论文使用掩码调度器预测从掩码令牌中获得的跨度，而在推断期间，论文通过多个解码步骤逐渐构建输出序列。为了进一步提高生成音频的质量，论文引入了一种新颖的重评分方法，其中论文利用外部预训练模型对MAGNeT的预测进行重评分和排名，然后用于后续解码步骤。最后，论文探

源代码杀手·2024-02-05 06:52

Flink实时流计算入门系列——广播变量使用

Flink和Spark一样，都有支持广播变量这定义。广播变量，可以理解成为日常的广播，是一个公共的变量。广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节

晨冉1688·2024-02-05 06:19

AIGC 为何能火爆全网，赋能智能时代？

本文主要从AIGC的核心技术与原理、典型应用场景和落地产品形态来探索AIGC。目录一、AIGC的简要介绍二、AIGC的核心技术1.基础模型（

半亩花海·2024-02-05 06:42

Redis核心技术与实战【学习笔记】 - 22.浅谈Redis的ACID相关知识

概述事务是数据库的一个重要功能。所谓的事务，就是指对数据进行读写的一系列操作。事务在执行时，会提供专门的属性保证，包括原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）和持久性（Durability），也就是ACID属性。这些属性既包括了对事务执行结果的要求，也有对数据库在执行前后的数据状态变化的要求。我们先了解下ACID属性对事务执行的具体要求，有了这个

陈建111·2024-02-05 05:36

建材智能工厂数字孪生可视化管控平台，推进建材行业数字化转型

数字孪生技术则是智能工厂的核心技术之一，它通过建立物理设备与

数字孪生巨蟹数科·2024-02-05 04:12

《整本书阅读的六项核心技术》读书笔记（六）

核心技术六——深度比较导读一、文本内部比较文本内部比较指的是：针对所阅读的整本书中相关内容，确定若干具有一定关联性的事物加以比较分析，研究其相似点、不同点，在比较中见出规律性或发现特异性。

小琪老师·2024-02-05 03:08

HIVE

--------hive数据仓库hive底层执行引擎有MapReduceTezSpark压缩GZIPLZOSnappyBZIP2等存储TextFileSequenceFileRCFileORCParquetUDF

Yagami_·2024-02-05 00:23

spark-submit 任务提交过程分析

https://blog.csdn.net/u013332124/article/details/91456422一、spark-submit脚本分析spark-submit的脚本内容很简单:#如果没设置

疯狂的哈丘·2024-02-04 22:08

[转]芯片的讨论de终结

01核心技术，到底是个啥？把技术分分类，第一类姑且叫“可山寨技术”，或者叫“纯烧钱技术”，有人喜欢往左边烧，有人喜

王道政·2024-02-04 20:14

docker学习

【Docker内核详解】namespace资源隔离（三）：PIDnamespace-CSDN博客Docker容器化技术_容器技术docker-CSDN博客一文弄懂Docker核心技术与实现原理，值得收藏

Tony_Xian·2024-02-04 18:00

运行环境jre版本和jar包编译版本不一致导致：Unsupported major.minor version 52.0

问题我在本地使用IntellijIdea打包了一个spark的程序jar包，放到linux集群上运行，报错信息是：Unsupportedmajor.minorversion52.0环境本机系统->windows10

stone_zhu·2024-02-04 18:51

Java核心技术-映射

集是一个集合，它可以快速地查找现有的元素。但是，要查看一个元素，需要有要查找元素的精确副本。这不是一种非常通用的查找方式。通常，我们知道某些键的信息，并想要查找与之对应的元素。映射（map）数据结构就是为此设计的。映射用来存放键/值对。如果提供了键，就能够查找到值。基本映射操作Java类库为映射提供了两个通用的实现：HashMap和TreeMap。这两个类都实现了Map接口。散列映射对键进行散列，

Tu9oh0st·2024-02-04 17:56

Redis核心技术与实战【学习笔记】 - 19.Pika：基于SSD实现大容量“Redis”

前言随着业务数据的增加（比如电商业务中，随着用户规模和商品数量的增加），就需要Redis能保存更多的数据。你可能会想到使用Redis切片集群，把数据分散保存到不同的实例上。但是这样做的话，如果要保存的数据总量很大，但是每个实例保存的数据量较小的话，就会导致集群的实例规模增加，这会让集群的运维管理变的复杂，增加开销。可能你又想到，可以增加Redis单实例的内存容量，形成大内存实例，每个实例就可以保存

陈建111·2024-02-04 16:16

Redis核心技术与实战【学习笔记】 - 20.Redis原子操作及并发访问

概述使用Redis时，不可避免地会遇到并发访问的问题，比如说如果多个用户同时下单，就会对缓存在Redis中的商品库存并发更新。一旦有了并发写操作，数据就会被修改，如果我们没有对并发写请求做好控制，就可能导致数据被改错，影响业务的正常使用（例如，库存数据错误，导致下单异常）。为了保证并发访问的正确性，Redis提供了两种方法，分别是加锁和原子操作。当一个客户端获得锁后，就会一直持有这把锁，直到客户端

陈建111·2024-02-04 16:45

Redis核心技术与实战【学习笔记】 - 21.Redis实现分布式锁

概述在《20.Redis原子操作》我们提到了应对并发问题时，除了原子操作，还可以通过加锁的方式，来控制并发写操作对共享数据的修改，从而保证数据的正确性。但是，Redis属于分布式系统，当有多个客户端需要争抢锁时，我们必须保证，这把锁不能是某个客户端的本地锁。否则其他客户端是无法访问这把锁的。Redis本身可以被多个客户端共享访问，正好就是一个共享存储系统，可以用来保存分布式锁。而且Redis的读写

陈建111·2024-02-04 16:11

深度学习的进展：人工智能时代的里程碑

深度学习作为人工智能的核心技术之一，在过去几年中取得了令人瞩目的进展，推动了图像识别、自然语言处理和语音识别等领

你不懂、、、·2024-02-04 14:49

任务five

《Java核心技术》是由CayS.Horstmann和GaryCornell合著的一本经典Java编程指南，该书是学习和理解Java核心概念和技术的重要参考资源。

你不懂、、、·2024-02-04 14:16

推荐频道

spark核心技术