大数据处理Spark 第40页

当发送“Hello，World”时，channel发生了什么？

Cassandra-nosql数据库Spark-大数据分布式计算框架Hadoop-大数据

仙草不加料·2023-12-05 22:53

Java大数据处理框架推荐：处理大数据的工具推荐

随着互联网的快速发展和数据的爆炸增长，大数据处理成为了当今时代的一个重要课题。对于企业来说，如何高效地处理和分析海量数据，成为了提升竞争力和业务发展的关键。

C红毛丹·2023-12-05 22:12

Flink快速入门

1、大数据处理框架发展史大数据-3v-tpezy-分而治之批处理流处理-微信运动、信用卡月度账单、国家季度GDP增速MPI-节点间数据通信-c和pythonMR-2004谷歌提出的编程范式-hadoop

WaiSaa·2023-12-05 21:30

基于Docker搭建Spark集群

介绍在MacOS下使用Docker搭建Spark集群，进行学习。

_吹灭读书灯_·2023-12-05 19:39

Spark中cache和persist区别

cache和persist的区别基于Spark1.4.1的源码，可以看到/**PersistthisRDDwiththedefaultstoragelevel(`MEMORY_ONLY`).

西二旗老司机·2023-12-05 18:51

Spark-03: Spark SQL 基础编程

目录1.SparkSQL简介2.SparkSession3.SparkSQL数据的读写3.1读写TXT文件3.2读写CSV文件3.3读写JSON文件3.4读写Parquet文件3.5读写ORC文件3.6

m0_37559973·2023-12-05 18:17

深度探索大数据分析：挖掘价值与洞察力

目录写在开头1.导论1.1大数据的定义与特征1.2大数据对业务和决策的影响1.3大数据分析的基本原则2.大数据技术与工具2.1分布式计算框架2.2数据存储与管理2.3大数据处理与分析工具3.数据采集与清洗

theskylife·2023-12-05 17:39

Spark的五种JOIN策略

JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。

大数据学习·2023-12-05 16:25

spark mllib和spark ml机器学习基础知识

spark机器学习SparkMLib完整基础入门教程-y-z-f-博客园(cnblogs.com)参考spark机器学习简介机械学习是一门人工智能的科学，用于研究人工智能，强调算法，经验，性能开发者任务

厨神·2023-12-05 16:50

黑马一站制造数仓实战1

1.项目目标一站制造企业中项目开发的落地：代码开发代码开发：SQL【DSL+SQL】SparkCoreSparkSQL数仓的一些实际应用：分层体系、建模实现2.内容目标项目业务介绍：背景、需求项目技术架构

ZhaoXiangmoStu·2023-12-05 15:20

spark无法执行pi_如何验证spark搭建完毕

在配置yarn环境下的spark时，执行尚硅谷的以下命令发现报错，找不到这个也找不到那个，尚硅谷的代码是bin/spark-submit\--classorg.apache.spark.examples.SparkPi

Guff_hys·2023-12-05 10:57

spark sql基于RBO的优化

讲解RBO之前必须对sparksql的执行计划做一个简单的介绍。

！@123·2023-12-05 10:57

【Spark基础】-- 理解 Spark shuffle

目录前言1、什么是Sparkshuffle？2、Spark的三种shuffle实现3、参考前言以前，Spark有3种不同类型的shuffle实现。每种实现方式都有他们自己的优缺点。

high2011·2023-12-05 10:24

Apache Spark

ApacheSpark是一个快速、可扩展、开源的大数据处理框架，采用内存计算，具有比HadoopMapReduce更高的性能和更好的扩展性。

m0_64180190·2023-12-05 10:24

腾讯式“游戏科技”：理解硬核技术、去游戏化和数字解决方案

在刚刚结束的“SPARK2022”腾讯游戏发布会上，腾讯结结实实地秀了一把肌肉。

谈游言戏研究所·2023-12-05 10:23

sparkc程序idea调试提示内存不足

Exceptioninthread"main"java.lang.IllegalArgumentException:Systemmemory259522560mustbeatleast471859200.Pleaseincreaseheapsizeusingthe--driver-memoryoptionorspark.driver.memoryinSparkconfiguration

超超超超子·2023-12-05 09:52

SparkSQL中RDD和DF之间相互转换

packagecom.huc.sparkSqlimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.

huchao7·2023-12-05 06:55

AI创作ChatGPT网站系统源码保姆级搭建部署教程+支持GPT-4图片对话能力

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。

白云如幻·2023-12-05 05:46

ai绘画Midjourney绘画提示词Prompt教程

一、Midjourney绘画工具SparkAi【无需魔法使用】：SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT？

白云如幻·2023-12-05 05:07

Flink-Flink及主流流框架比较

是不是听起来很像spark？没错，两者都希望提供一个统一功能的计算平台给用户。虽然目标非常类似，但是flink在实现上和spark存在着很大的区别，flink是一个面向

lisery_nj·2023-12-05 05:19

大数据开发：Hive on Spark设计原则及架构

在Spark越来越受到主流市场青睐的大背景下，Hive作为Hadoop生态当中的数仓组件工具，在于Spark生态的配合当中，开始有了HiveonSpark的思路，那么具体是怎么实现的呢？

成都加米谷大数据·2023-12-05 01:44

从 MapReduce 的运行机制看它为什么比 Spark 慢

在Hadoop1中，MapReduce计算框架即负责集群资源的调度，还负责MapReduce程序的运行。一，MapReduce组成MapReduce的运行过程有三个关键进程：1，大数据应用进程。这是用户启动的MapReduce程序进程，主要是指定Map和Reduce类、输入输出文件路径等，并提交作业给Hadoop集群的JobTracker进程。2，JobTracker进程。这是Hadoop集群的常

stone_zhu·2023-12-05 00:36

Spark读写Oracle性能深度调优

Spark作为一个分布式计算框架，可以很好的适用于Hadoop。那么Spark是否可以与关系型数据库较好的进行兼容呢？以Spark作为计算，以关系型数据库（例如Oracle）作为存储？

weixin_43370502·2023-12-04 21:16

如何理解SparkSQL中的partitionColumn, lowerBound, upperBound, numPartitions

如何理解SparkSQL中的partitionColumn,lowerBound,upperBound,numPartitions在SparkSQL中，读取数据的时候可以分块读取。

肿么肥四啊哈·2023-12-04 20:43

大数据的技术栈-逐步完善

分布式文件系统b.Yarn集群资源管理器c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构b.Doris数据库3.混合处理框架SPARKa.Sparkb

刘文钊1·2023-12-04 20:12

Spark - 输出parqute文件

pom.xml4.0.0org.springframework.bootspring-boot-starter-parent2.2.5.RELEASEcom.spspark0.0.1-SNAPSHOTsparkspark1.8

是个吃不饱的人·2023-12-04 20:39

hive sql&spark 优化

在数据抽取中常用到从其他数据库抽取数据后数据灌入到hive数据库的情况。大体逻辑是，连接源数据库，抽取数据，缓存转换，数据插入到hive数据库（或者直接覆盖db文件）。中间源数据库的效率和代码质量、抽取数据的服务器资源、数据转换的效率、hive数据的插入sql效率等都是限制数据抽取效率的瓶颈，如何在保证系统稳定的情况下，效的优化各阶段的运行速度，从而整体提高数据抽取的效率，是一个比较大的课题。从三

刘文钊1·2023-12-04 20:08

spark源码之shuffleManager

shufflemanager的实现类：sortshufflemanagerSpark0.8及以前HashBasedShuffle在ShuffleWrite过程按照Hash的方式重组Partition的数据

cclucc·2023-12-04 18:01

Spark

SparkListenerEventprotectedoverridedefdoPostEvent(listener:SparkListenerInterface,event:SparkListenerEvent

zhixingheyi_tian·2023-12-04 16:00

HDFS和MapReduce综合实训：构建大数据处理应用

摘要：本文将介绍如何使用Hadoop分布式文件系统（HDFS）和MapReduce框架来构建大数据处理应用。

IbtnLisp·2023-12-04 15:09

推荐一本Python数据分析的书：《Python数据科学应用从入门到精通》（张甜杨维忠著 2023年11月新书清华大学出版社）

1.Python是堪与Office办公软件比肩的职场人士必备技能Python作为一门简单、易学、易读、易维护、用途广泛、速度快、免费、开源的主流编程语言，广泛应用于Web开发、大数据处理、人工智能、云计算

数据科学作家·2023-12-04 15:56

2023最新AI创作系统ChatGPT网站源码+Midjourney绘画+支持GPT-4-Turbo模型+即将支持TSS语音对话功能模块

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。

白云如幻·2023-12-04 13:10

大数据分析与应用实验任务十

大数据分析与应用实验任务十实验目的：通过实验掌握sparkSQL的基本编程方法；熟悉RDD到DataFrame的转化方法；通过实验熟悉sparkSQL管理不同数据源的方法。

陈希瑞·2023-12-04 12:00

Kafka 的起源和背景

ApacheKafka是一个分布式流处理平台，被广泛用于构建实时数据流应用程序和大数据处理系统。本文将深入探讨Kafka的起源、设计原则以及它在大数据领域中的重要作用。

晓之以理的喵~~·2023-12-04 07:54

数据领域建设的五大方向

1.数据技术的发力点数据汇聚技术包括5G高速光纤ipv6下一代互联网、卫星互联网、叠加互联网、区块链、标识、编码和解析等；数据处理技术包括云计算、边缘计算、分布式计算、大数据处理、AI分析、绿色低碳、数据空间

AIGC方案·2023-12-04 07:54

spark的reduceByKey

在进行Spark开发算法时，最有用的一个函数就是reduceByKey。

zxfBdd·2023-12-04 06:24

Spark Streaming反压机制介绍

1.反压机制原理SparkStreaming中的反压机制是Spark1.5.0推出的新特性，可以根据处理效率动态调整摄入速率。

zxfBdd·2023-12-04 06:24

内存垃圾回收

尽管您无法直接在方法调用完成后手动释放内存，但您可以通过一些Spark实践来帮助垃圾恢复器更及时地恢复一些不再需要的对象。以下是建

北执南念·2023-12-04 05:06

window环境下 Error response from daemon: Get https://index.docker.io/v1/search?q=openjdk..... timeout

q=spark&n=25:dialtcp:lookupindex.docker.ioon192.168.65.1:53:readudp192.168.65.2:4

森森之火·2023-12-04 04:20

Hudi-集成Spark之spark-sql方式

Hudi集成Spark之spark-sql方式启动spark-sql#启动spark-sql之前需要先启动Hive的Metastorenohuphive--servicemetastore&#针对Spark3.2spark-sql

迷雾总会解·2023-12-04 02:01

flink学习之sql-client之踩坑记录

flink/bin目录下会看到这个脚本，最开始以为是和spark-shell差不多的。结果自行摸索无果，网上查的文章也写的很垃圾，自己查官网看下吧。SQL客户端|ApacheFlink直接.

cclovezbf·2023-12-04 02:00

spark-sql 指定metastore地址、读取mysql

spark-sql-hivespark-sql--databasesrc--hiveconfhive.metastore.uris=thrift://hdp02:2083-e"select*fromsrc_db2

qzWsong·2023-12-04 02:00

【Spark九十四】spark-sql工具的使用

spark-sql是Sparkbin目录下的一个可执行脚本，它的目的是通过这个脚本执行Hive的命令，即原来通过hive>输入的指令可以通过spark-sql>输入的指令来完成。

axxbc123·2023-12-04 02:59

基于Spark、NoSQL的实时数据处理实践

本文基于TalkingData张学敏在公司内部KOL的分享主题《基于Spark、NoSQL实时数据处理实践》的整理，同时也在DTCC大会上做了同主题的分享。

TalkingData·2023-12-04 01:10

【数据中台】开源项目（3）-Linkis

通过使用Linkis提供的REST/WebSocket/JDBC等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink等底层引擎，同时实现统一变量、脚本、用户定义函数和资源文件等用户资源的跨上层应用互通

码农丁丁·2023-12-03 23:42

产品迭代更新 | 阿列夫科技基于Linkis+DataSphere Studio的单机安装部署实战

作者：萧寒GitHubID：hx23840阿列夫科技原来的技术平台是基于Hadoop，Spark平台搭建的，为了充分的满足业务需求，做了大量接口封装。

微众开源·2023-12-03 23:12

基于hadoop的商品推荐系统_推荐系统大规模特征工程与FEDB的Spark基于LLVM优化

weixin_39541212·2023-12-03 18:05

Javalin：一个轻量的Web Framework

Javalin最初是SparkJava的一个分支，后来受到JavaScript框架koa.js的

Java精选·2023-12-03 18:23

ApacheCN 数据科学译文集 20210313 更新

数据科学和机器学习实践指南零、前言一、入门二、统计和概率回顾和Python实践三、Matplotlib和高级概率概念四、预测模型五、Python机器学习六、推荐系统七、更多数据挖掘和机器学习技术八、处理真实数据九、ApacheSpark

布客飞龙·2023-12-03 14:48

推荐频道

大数据处理Spark