spark边缘计算第44页

Apache Spark

ApacheSpark是一个快速、可扩展、开源的大数据处理框架，采用内存计算，具有比HadoopMapReduce更高的性能和更好的扩展性。

m0_64180190·2023-12-05 10:24

腾讯式“游戏科技”：理解硬核技术、去游戏化和数字解决方案

在刚刚结束的“SPARK2022”腾讯游戏发布会上，腾讯结结实实地秀了一把肌肉。

谈游言戏研究所·2023-12-05 10:23

sparkc程序idea调试提示内存不足

Exceptioninthread"main"java.lang.IllegalArgumentException:Systemmemory259522560mustbeatleast471859200.Pleaseincreaseheapsizeusingthe--driver-memoryoptionorspark.driver.memoryinSparkconfiguration

超超超超子·2023-12-05 09:52

SparkSQL中RDD和DF之间相互转换

packagecom.huc.sparkSqlimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.

huchao7·2023-12-05 06:55

如何基于Akamai IoT边缘平台打造一个无服务器的位置分享应用

本文Akamai将为大家提供一个思路，借助边缘计算技术在自己的应用中实现快速、流畅、可扩展的位置和分享能力，并且整个方法完全是以无服务器的形式实现的。

Akamai中国·2023-12-05 05:24

AI创作ChatGPT网站系统源码保姆级搭建部署教程+支持GPT-4图片对话能力

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。

白云如幻·2023-12-05 05:46

ai绘画Midjourney绘画提示词Prompt教程

一、Midjourney绘画工具SparkAi【无需魔法使用】：SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT？

白云如幻·2023-12-05 05:07

Flink-Flink及主流流框架比较

是不是听起来很像spark？没错，两者都希望提供一个统一功能的计算平台给用户。虽然目标非常类似，但是flink在实现上和spark存在着很大的区别，flink是一个面向

lisery_nj·2023-12-05 05:19

大数据开发：Hive on Spark设计原则及架构

在Spark越来越受到主流市场青睐的大背景下，Hive作为Hadoop生态当中的数仓组件工具，在于Spark生态的配合当中，开始有了HiveonSpark的思路，那么具体是怎么实现的呢？

成都加米谷大数据·2023-12-05 01:44

国产编程语言月兔（Moonbit）崭露头角，转为云计算和边缘计算而生！

边缘计算社区·2023-12-05 01:16

MoonBit 有 14%的编译性能提升！

MoonBit是专为云计算、边缘计算设计的一套开发平台。本栏目将会每周更新MoonBit（月兔语言）最新动态，包括语法、功能及官网更新等，帮助大家更好地了解MoonBit平台！

MoonBit月兔·2023-12-05 01:15

登顶Hacker News！国产编程语言MoonBit（月兔）来了

根据介绍，MoonBit（月兔）专为云计算、边缘计算设计，是一个用于云计算和边缘计算的WebAssembly端到端编程语言工具链，集开发、编译、测试、部署于一体——涵盖了通用程序语言设计、编译器、构建系统

m0_48891301·2023-12-05 01:45

从 MapReduce 的运行机制看它为什么比 Spark 慢

在Hadoop1中，MapReduce计算框架即负责集群资源的调度，还负责MapReduce程序的运行。一，MapReduce组成MapReduce的运行过程有三个关键进程：1，大数据应用进程。这是用户启动的MapReduce程序进程，主要是指定Map和Reduce类、输入输出文件路径等，并提交作业给Hadoop集群的JobTracker进程。2，JobTracker进程。这是Hadoop集群的常

stone_zhu·2023-12-05 00:36

Spark读写Oracle性能深度调优

Spark作为一个分布式计算框架，可以很好的适用于Hadoop。那么Spark是否可以与关系型数据库较好的进行兼容呢？以Spark作为计算，以关系型数据库（例如Oracle）作为存储？

weixin_43370502·2023-12-04 21:16

如何理解SparkSQL中的partitionColumn, lowerBound, upperBound, numPartitions

如何理解SparkSQL中的partitionColumn,lowerBound,upperBound,numPartitions在SparkSQL中，读取数据的时候可以分块读取。

肿么肥四啊哈·2023-12-04 20:43

大数据的技术栈-逐步完善

分布式文件系统b.Yarn集群资源管理器c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构b.Doris数据库3.混合处理框架SPARKa.Sparkb

刘文钊1·2023-12-04 20:12

Spark - 输出parqute文件

pom.xml4.0.0org.springframework.bootspring-boot-starter-parent2.2.5.RELEASEcom.spspark0.0.1-SNAPSHOTsparkspark1.8

是个吃不饱的人·2023-12-04 20:39

hive sql&spark 优化

在数据抽取中常用到从其他数据库抽取数据后数据灌入到hive数据库的情况。大体逻辑是，连接源数据库，抽取数据，缓存转换，数据插入到hive数据库（或者直接覆盖db文件）。中间源数据库的效率和代码质量、抽取数据的服务器资源、数据转换的效率、hive数据的插入sql效率等都是限制数据抽取效率的瓶颈，如何在保证系统稳定的情况下，效的优化各阶段的运行速度，从而整体提高数据抽取的效率，是一个比较大的课题。从三

刘文钊1·2023-12-04 20:08

spark源码之shuffleManager

shufflemanager的实现类：sortshufflemanagerSpark0.8及以前HashBasedShuffle在ShuffleWrite过程按照Hash的方式重组Partition的数据

cclucc·2023-12-04 18:01

Spark

SparkListenerEventprotectedoverridedefdoPostEvent(listener:SparkListenerInterface,event:SparkListenerEvent

zhixingheyi_tian·2023-12-04 16:00

2023最新AI创作系统ChatGPT网站源码+Midjourney绘画+支持GPT-4-Turbo模型+即将支持TSS语音对话功能模块

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。

白云如幻·2023-12-04 13:10

大数据分析与应用实验任务十

大数据分析与应用实验任务十实验目的：通过实验掌握sparkSQL的基本编程方法；熟悉RDD到DataFrame的转化方法；通过实验熟悉sparkSQL管理不同数据源的方法。

陈希瑞·2023-12-04 12:00

基于瑞芯微rk3588+寒武纪 | 38TOPS INT8算力的AI边缘计算盒子,智能安防、智慧工地、智慧城管、智慧油站

边缘计算盒子瑞芯微rk3588+寒武纪|38TOPSINT8算力●采用Big-Little大小核架构，搭载四核A76+四核A55，CPU主频高达2.4GHz，提供1MBL2Cache和3MBL3，Cache

深圳信迈科技DSP+ARM+FPGA·2023-12-04 10:14

数据领域建设的五大方向

1.数据技术的发力点数据汇聚技术包括5G高速光纤ipv6下一代互联网、卫星互联网、叠加互联网、区块链、标识、编码和解析等；数据处理技术包括云计算、边缘计算、分布式计算、大数据处理、AI分析、绿色低碳、数据空间

AIGC方案·2023-12-04 07:54

spark的reduceByKey

在进行Spark开发算法时，最有用的一个函数就是reduceByKey。

zxfBdd·2023-12-04 06:24

Spark Streaming反压机制介绍

1.反压机制原理SparkStreaming中的反压机制是Spark1.5.0推出的新特性，可以根据处理效率动态调整摄入速率。

zxfBdd·2023-12-04 06:24

内存垃圾回收

尽管您无法直接在方法调用完成后手动释放内存，但您可以通过一些Spark实践来帮助垃圾恢复器更及时地恢复一些不再需要的对象。以下是建

北执南念·2023-12-04 05:06

window环境下 Error response from daemon: Get https://index.docker.io/v1/search?q=openjdk..... timeout

q=spark&n=25:dialtcp:lookupindex.docker.ioon192.168.65.1:53:readudp192.168.65.2:4

森森之火·2023-12-04 04:20

Hudi-集成Spark之spark-sql方式

Hudi集成Spark之spark-sql方式启动spark-sql#启动spark-sql之前需要先启动Hive的Metastorenohuphive--servicemetastore&#针对Spark3.2spark-sql

迷雾总会解·2023-12-04 02:01

flink学习之sql-client之踩坑记录

flink/bin目录下会看到这个脚本，最开始以为是和spark-shell差不多的。结果自行摸索无果，网上查的文章也写的很垃圾，自己查官网看下吧。SQL客户端|ApacheFlink直接.

cclovezbf·2023-12-04 02:00

spark-sql 指定metastore地址、读取mysql

spark-sql-hivespark-sql--databasesrc--hiveconfhive.metastore.uris=thrift://hdp02:2083-e"select*fromsrc_db2

qzWsong·2023-12-04 02:00

【Spark九十四】spark-sql工具的使用

spark-sql是Sparkbin目录下的一个可执行脚本，它的目的是通过这个脚本执行Hive的命令，即原来通过hive>输入的指令可以通过spark-sql>输入的指令来完成。

axxbc123·2023-12-04 02:59

基于Spark、NoSQL的实时数据处理实践

本文基于TalkingData张学敏在公司内部KOL的分享主题《基于Spark、NoSQL实时数据处理实践》的整理，同时也在DTCC大会上做了同主题的分享。

TalkingData·2023-12-04 01:10

【数据中台】开源项目（3）-Linkis

通过使用Linkis提供的REST/WebSocket/JDBC等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink等底层引擎，同时实现统一变量、脚本、用户定义函数和资源文件等用户资源的跨上层应用互通

码农丁丁·2023-12-03 23:42

产品迭代更新 | 阿列夫科技基于Linkis+DataSphere Studio的单机安装部署实战

作者：萧寒GitHubID：hx23840阿列夫科技原来的技术平台是基于Hadoop，Spark平台搭建的，为了充分的满足业务需求，做了大量接口封装。

微众开源·2023-12-03 23:12

基于hadoop的商品推荐系统_推荐系统大规模特征工程与FEDB的Spark基于LLVM优化

weixin_39541212·2023-12-03 18:05

Javalin：一个轻量的Web Framework

Javalin最初是SparkJava的一个分支，后来受到JavaScript框架koa.js的

Java精选·2023-12-03 18:23

ApacheCN 数据科学译文集 20210313 更新

数据科学和机器学习实践指南零、前言一、入门二、统计和概率回顾和Python实践三、Matplotlib和高级概率概念四、预测模型五、Python机器学习六、推荐系统七、更多数据挖掘和机器学习技术八、处理真实数据九、ApacheSpark

布客飞龙·2023-12-03 14:48

使用 OpenFunction 在任何基础设施上运行 Serverless 工作负载

作者：霍秉杰：KubeSphere可观测性、边缘计算和Serverless团队负责人，FluentOperator和OpenFunction项目的创始人，还是多个可观测性开源项目包括Kube-Events

KubeSphere 云原生·2023-12-03 14:49

基于Python和Spark的大数据音乐推荐系统的设计与实现

基于Python和Spark的大数据音乐推荐系统的设计与实现摘要随着科学技术的发展，人们对服务的要求也越来越高。为了能提高管理者的管理效能，现在的音乐推荐管理必须要脱离复杂的手工管理方式。

程序设计123·2023-12-03 13:55

IDEA -source 1.5 中不支持 lambda 表达式解决方法

一直在用scala编写Spark或者Flink代码，对于Java的lambda表达式一直认为没有前者一直点(".")下去方便，偶然用后者写代码中间出现一些小的设置问题，记录一下：示例代码finalLocalEnvironmentenv

架构师联盟·2023-12-03 12:29

2023_Spark_实验二十三：Kafka的安装与基本操作

Kafka的安装与基本操作一、前提工作二、Kafka安装三、Kafka基本操作一、前提工作必须安装了zookeeper单机可参考：zookeeper单机安装与配置集群可参考：zookeeper的集群安装二、Kafka安装上传kafka_2.11-2.4.1.tgz到/tools目录下解压安装到/opt/soft_installed/目录下tar-zvxfkafka_2.11-2.4.1.tgz-C

pblh123·2023-12-03 12:17

Spark经典案例分享

Spark经典案例链接操作案例二次排序案例链接操作案例案例需求数据介绍代码如下：packagebase.charpter7importorg.apache.hadoop.conf.Configurationimportorg.apache.hadoop.fs

pblh123·2023-12-03 12:45

element-ui 文件上传组件添加 MD5编码参数

md5编码使用的依赖为spark-md5.js参考了csdn上的一篇文章：基于vue框架下使用Element-UI获取文件MD5值并上传。

十万个维他奶·2023-12-03 11:31

阅读笔记 | Edge-Cloud Polarization and Collaboration: A Comprehensive Survey for AI

内容概要这篇是一篇综述性文章，主要关于云计算、边缘计算以及边云协同计算在人工智能方面的进展。论文的主要内容如下：云计算AI：讨论了用于云计算的CPU、GPU、TPU和DPU等硬件。

一条独龙·2023-12-03 10:02

边缘区域控制器如何实现地下管廊智能管理

针对地下综合管廊系统的监测、管理和维保，可以采用佰马边缘计算智能区域控制器方案，通过对接声、

ianvtenr·2023-12-03 10:18

智慧城市包括哪些内容？有哪些智慧城市物联网方案？

通过融合边缘计算、5G、物联网、数字孪生、人工智能等新一代信息技术，助力传统公共基础设施提升增强全流程数据能力、计算能力、服务能力，从而不断丰富公共基础设施的服务方式、提高服务效率、优化服务体验，有力推动城市数字化转型

ianvtenr·2023-12-03 10:14

【Spark基础】-- RDD、DataFrame 和 Dataset 的对比

目录一、简要介绍RDD、DataFrame和DataSet1、RDD1.1什么是RDD？1.2RDD的五大特性是什么？

high2011·2023-12-03 09:38

【数据中台】开源项目（5）-Amoro

AmoroisaLakehousemanagementsystembuiltonopendatalakeformats.WorkingwithcomputeenginesincludingFlink,Spark

码农丁丁·2023-12-03 08:05

推荐频道

spark边缘计算