大数据处理Spark

spark_rdd算子介绍

1.9算子介绍1.9.1RDD概念RDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合
Guff_hys·2023-12-20 16:24

SparkSQL的编程模型(DataFrame和DataSet)

1.2SparkSQL的编程模型(DataFrame和DataSet)1.2.1编程模型简介主要通过两种方式操作SparkSQL，一种就是SQL，另一种为DataFrame和Dataset。
Guff_hys·2023-12-20 16:53

Idea2019.3+Hadoop-3.0.0+Spark3.0.0+Scala2.12安装部署

首先在安装环境前，最好确认各个版本之间的兼容性，避免出现不必要的错误而耽误时间！！！！！！系统环境安装1.JDK8+安装a.设置JAVA_HOME变量b.设置Path变量，添加;%JAVA_HOME%\bin;%JAVA_HOME%\jre\binc.设置Classpath添加：.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar2.Scala安装下
忘了盖被·2023-12-20 15:50

2018-11-12Pyspark win环境配置参考

Anaconda中配置Pyspark的Spark开发环境Spark搭建机器学习系统Spark机器学习win+本地Pyspark
QQsoso·2023-12-20 10:49

Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job faile

hiveonspark错误Errorwhileprocessingstatement:FAILED:ExecutionError,returncode3fromorg.apache.hadoop.hive.ql.exec.spark.SparkTask.Sparkjobfailedduringruntime.Pleasecheckstacktracefortherootcause
墨卿风竹·2023-12-20 09:48

生产环境_Spark解析JSON字符串并插入到MySQL数据库

业务背景：最近开发有一个需求，是这样的我需要将一段从前端传过来的JSON字符串进行解析，并从中提取出所需的数据，然后将这些数据插入到MySQL数据库中。json格式样例如下{\"区域编号\":\"001\",\"区域名称\":\"测试区域\",\"速度\":\"50\",\"速度分数\":\"80\",\"gj\":\"中国\",\"区域顶点集\":\"[{'x':1,'y':2},{'x':3,
Matrix70·2023-12-20 08:29

2023_Spark_实验三十：测试Flume到Kafka

实验目的：测试Flume采集数据发送到Kafka实验方法：通过centos7集群测试，将flume采集的数据放到kafka中实验步骤：一、kafka可视化工具介绍KafkaTool是一个用于管理和使用ApacheKafka集群的GUI应用程序。KafkaTool提供了一个较为直观的UI可让用户快速查看Kafka集群中的对象以及存储在topic中的消息，提供了一些专门面向开发人员和管理员的功能，主要
pblh123·2023-12-20 08:23

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
kikiki5·2023-12-20 08:02

Spark 单节点配置

1.Sparkconfiguration1.1ConfigureEnvironment1.1.1Edit.bashrcvi~/.bashrc#JAVAENVexportJAVA_HOME=~/JavaexportJRE_HOME
CleanClear_0c7a·2023-12-20 07:47

AI创作系统ChatGPT网站源码，支持Midjourney绘画，GPT语音对话+智能AI思维导图生成

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-12-20 07:06

AI创作系统ChatGPT网站源码，支持AI绘画，GPT语音对话+智能思维导图生成+智能AI思维导图生成

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-12-20 07:05

AI创作系统ChatGPT网站源码，支持AI绘画，支持GPT语音对话+DALL-E3文生图+智能思维导图生成

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-12-20 07:01

《PySpark大数据分析实战》-15.云服务模式Databricks介绍创建集群

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-20 06:47

小节测验

在pyspark中读取Linux系统本地文件/data/bigfiles/data.txt，该数据集包含了某大学计算机系的成绩，数据格式如下所示：Tom,DataBase,80Tom,Algorithm
Ssaty.·2023-12-20 05:07

【Spark精讲】Spark五种JOIN策略

目录三种通用JOIN策略原理HashJoin散列连接原理详解SortMergeJoin排序合并连接NestedLoop嵌套循环连接影响JOIN操作的因素数据集的大小JOIN的条件JOIN的类型Spark
话数Science·2023-12-20 05:42

MongoDB与大数据处理：构建高性能分布式数据库

MongoDB是一种非关系型数据库，具有高度灵活性和可扩展性。在处理大量数据时，索引的优化是提升查询性能的关键。下面将介绍一些MongoDB索引优化的指南，帮助用户更好地利用索引来提高查询性能。一、选择适当的索引类型1、单字段索引：最基本的索引类型，适用于单个字段的查询。通过对经常被查询的字段创建单字段索引，可以显著提高查询性能。2、多字段索引：对多个字段同时创建索引，适用于需要同时匹配多个字段的
这我可不懂·2023-12-20 02:12

数据可视化---离群值展示

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-20 02:29

Linux中命令添加-r的作用

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-20 02:28

AI创作系统ChatGPT网站源码，支持AI绘画，支持GPT语音对话+智能思维导图生成

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-12-19 15:26

大数据测试类型&大数据测试步骤

2、大数据处理可以是批处理，实时或交互式处理3、测试大数据应用程序的3个阶段是数据分级验证“MapReduce”验证输出验证阶段4、架构测试是大数据测试的重要阶段，因为设计不佳的系统可能会导致前所未有的错误和性能下降
测试工程师成长之路·2023-12-19 14:51

从零开始学Spark系列(1)——Spark概览

目录1.Spark简介2.Spark的相关术语2.1master和worker节点2.2Application2.3driver和executor进程2.4ClusterManager2.5Task2.6Job2.7Stage2.8DAGScheduler2.9TASKScheduler3
xiaoziHZP·2023-12-19 14:55

消息队列kafka详解：Kafka原理分析总结

目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、Spark等都支持与Kafka集成。
码农小旋风·2023-12-19 11:43

Aloudata 余俊：数据虚拟化技术如何实现敏捷高效的逻辑数据集成与链路编排

当提到数据仓库时，许多从事数据工作的人可能会想到ETL（抽取、转换、加载）和一些技术工具，如Hive、Hadoop和Spark。
Aloudata·2023-12-19 11:43

RDD编程

持久化（四）分区（五）一个综合实例二、键值对RDD（一）键值对RDD的创建（二）常用键值对转换操作（三）一个综合实例三、数据读写（一）文件数据读写（二）读写HBase数据一、RDD编程基础（一）RDD创建Spark
Francek Chen·2023-12-19 10:19

Spark编程实验二：RDD编程初级实践

目录一、目的与要求二、实验内容三、实验步骤1、pyspark交互式编程2、编写独立应用程序实现数据去重3、编写独立应用程序实现求平均值问题4、三个综合实例四、结果分析与实验体会一、目的与要求1、熟悉Spark
Francek Chen·2023-12-19 10:18

ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

UbuntuVirtualMachineImagesforVirtualBoxandVMwarehttps://www.osboxes.org/ubuntu/将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码，使用Spark
Stitch .·2023-12-19 10:46

Spark安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码，使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info
Stitch .·2023-12-19 10:16

大数据入门二（YARN部署）

1.入门HDFS存储MapReduce计算SparkFlinkYarn资源作业调度伪分布式部署要求环境配置文件参数文件ssh无密码启动jps命令[hadoop@hadoop002~]$jps28288NameNodeNN27120Jps28410DataNodeDN28575SecondaryNameNodeSNN1
倾白首·2023-12-19 10:04

3.1 Hadoop MapReduce与Hadoop YARN -Hadoop MapReduce

文章目录HadoopMapReduce（计算）一、理解MapReduce思想二、HadoopMapReduce设计构思（1）如何对付大数据处理场景（2）构建抽象编程模型（3）统一架构、隐藏底层细节三、HadoopMapReduce
周纠纠·2023-12-19 10:04

Spark简介

1.Spark基本概念Spark是一种基于内存计算的大数据并行计算框架，最早是由加州大学伯克利分校开发，现已经成为Apche顶级开源项目，其作为MapReduce的替代方案，兼容HDFS、Hive等分布式存储层
Mrsimple_4f84·2023-12-19 09:18

最新AI创作系统ChatGPT系统源码+DALL-E3文生图+支持AI绘画+GPT语音对话功能

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
只恨天高·2023-12-19 09:54

数据可视化---双Y轴折线图比较

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-19 07:46

Scala多线程爬虫程序的数据可视化与分析实践

Scala常用于大数据处理、并发编程和Web应用程序开发。其灵活性和高效性编程成为编写多线程爬虫程序的理想选择。
小白学大数据·2023-12-19 07:08

Spark求TopN值、二次排序、三次排序实现

《Spark技术应用》期末考试大作业说明：1)个性化即在主机名、文件、程序、数据、和表结构等元素上添加自己姓名拼音缩写。2)提交时间：xxx3)评分规则：a)超期提交或者不交者按缺考算，来年重修。
floret. 小花·2023-12-19 06:29

2023_Spark_实验二十六：编写Shell模拟生成点击实时数据

引言：流式数据处理主要处理实时数据，由于实验教学过程中，每个同学无法拿到实时数据，因此我们开发shell脚本模拟实时数据生成，支持后续实验。实验目的：通过开发模拟实时点击流shell脚本，模拟实时点击流数据生成，支持后续实验实验方法：通过shell开发脚本运行，实时打印输出数据到控制台，模拟实时数据产生。实验步骤：1、选择集群中的一台虚拟机，最好和flume/kafka等在同一台，在该虚拟机的合适
pblh123·2023-12-19 05:29

2023_Spark_实验二十七：Linux中Crontab（定时任务）命令详解及使用教程

Crontab介绍：Linuxcrontab是用来crontab命令常见于Unix和类Unix的操作系统之中，用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。该词来源于希腊语chronos(χρ?νο?)，原意是时间。通常，crontab储存的指令被守护进程激活，crond常常在后台运行，每一分钟检查是否有预定的作业需要执行。这类
pblh123·2023-12-19 05:29

2023_Spark_实验二十八：Flume部署及配置

实验目的：熟悉掌握Flume部署及配置实验方法：通过在集群中部署Flume，掌握Flume配置实验步骤：一、Flume简介Flume是一种分布式的、可靠的和可用的服务，用于有效地收集、聚合和移动大量日志数据。它有一个简单灵活的基于流数据流的体系结构。它具有健壮性和容错性，具有可调可靠性机制和多种故障转移和恢复机制。它使用了一个简单的可扩展数据模型，允许在线分析应用程序。其体系结构如下：二、Flum
pblh123·2023-12-19 05:54

2023_Spark_实验二十九：Flume配置KafkaSink

实验目的：掌握Flume采集数据发送到Kafka的方法实验方法：通过配置Flume的KafkaSink采集数据到Kafka中实验步骤：一、明确日志采集方式一般Flume采集日志source有两种方式：1.Exec类型的Source可以将命令产生的输出作为源，如：a1.sources.r1.type=execa1.sources.r1.command=ping10.3.1.227//此处输入命令2.
pblh123·2023-12-19 05:54

Apache Spark 的基本概念和在大数据分析中的应用

ApacheSpark是一种开源的大数据处理引擎，它通过内存计算提高了数据处理的速度，具有高可扩展性、容错性和灵活性等特点。
Uingll·2023-12-19 04:13

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2023-12-19 04:53

Java代码世界的神奇技巧与魔法艺术

目录前言1Java的独特优势1.1跨平台性1.2面向对象1.3强大的生态系统2Java的应用场景2.1企业级应用开发2.2移动应用开发2.3大数据处理2.4云计算3代码技巧分享4案例分享结语前言当谈到优雅而又强大的编程语言时
cooldream2009·2023-12-19 01:57

python里的TypeError: unhashable type: ‘list‘解决方法

今天在写spark一个实验时，我在用map自定义key和value后，想通过相同的key实现分组，结果碰到了以下问题：我们平时map自定义key，value时会取一个值，这种情况下继续操作没有问题但是当我们的数据取两列作为
lambda33·2023-12-18 23:14

数据仓库架构-Lambda和Kappa

架构组成特点经典数仓架构关系型数据库（mysql、oracle）为主数据量小，实时性要求低离线大数据架构hive，spark为主数据量大，实时性要求低Lambdahive，spark负责存量，st
产品经理自我修养·2023-12-18 22:04

大数据技术4：Lambda和Kappa架构区别

前言：在大数据处理领域，两种突出的数据架构已成为处理大量数据的流行选择：Lambda架构和Kappa架构。这些架构为实时处理和批处理提供了强大的技术解决方案，使组织能够从其数据中获得有价值的见解。
Java架构何哥·2023-12-18 22:33

大数据技术11：Hadoop 原理与运行机制

Hadoop简介1.1、Hadoop定义Hadoop作为一个开源分布式系统基础框架，主要包含两大核心组件：HDFS分布式文件系统和MapReduce分布式并行计算框架，这两大核心组件是Hadoop进行大数据处理的基础和基石
Java架构何哥·2023-12-18 21:56

记一次jar冲突的问题

问题业务中需要在spark中链接redis作为服务缓存，spark程序中引入redis的jar包后上传spark集群运行是报java.lang.NoSuchMethodError:com.xxx.common.pool.ConnectionPool.startAsync
weixin_45626756·2023-12-18 14:42

基于hadoop下的spark安装

目录简介安装准备spark安装配置文件配置简介Spark主要⽤于⼤数据的并⾏计算，⽽Hadoop在企业主要⽤于⼤数据的存储（⽐如HDFS、Hive和HBase等），以及资源调度（Yarn）。
necessary653·2023-12-18 14:43

spark介绍及简单使用

简介Spark是由加州大学伯克利分校AMPLab（AMP实验室）开发的开源大数据处理框架。起初，HadoopMapReduce是大数据处理的主流框架，但其存在一些限制，如不适合迭代算法、高延迟等。
necessary653·2023-12-18 13:08

大数据分析技术与实战之Spark Streaming

Spark是基于内存的大数据综合处理引擎，具有优秀的作业调度机制和快速的分布式计算能力，使其能够更加高效地进行迭代计算，因此Spark能够在一定程度上实现大数据的流式处理。
丨程序之道丨·2023-12-18 11:30

面试题---机器学习算法

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-18 11:05
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他