Spark安装部署

大数据生态中‘Hadoop’、‘Hive’、‘Spark’、‘Mapreduce’、‘HDFS’、‘Yarn’是什么关系

以上都是大数据相关的系统和技术，大数据又属于数据管理系统的范畴数据管理系统无非就两个问题：1.数据怎么存2.数据怎么算再进入信息爆炸时代后，数据的容量越来越大，导致一台服务器存不下，所以要用集群来存储、处理信息，但是管理一台服务器容易，怎么去统一管理集群的信息成了问题。所以用到了Hadoop生态来管理信息。Hadoop生态中HDFS：处理存储，管理信息的分布式存储、提供接口，让用户感觉集群中的信息
小书生啊·2023-12-17 06:29

大数据 | Hadoop、Hive、Spark的关系

文章总括图数据存储单机数据库时代所有数据在单机都能存的下，数据处理的任务都是IO密集型，更谈不上分布式系统一个典型的2U服务器可以插6块硬盘，每块硬盘4T，共24T原始容量，再加上一些数据包的可用冗余，再加上一些格式化的损失，保守估计一台服务器至少可以有10T以上的可用容量，再加上128G内存和两颗CPU，装入DBMS，稍微调优，单表处理10e条数据问题不大多机数据库时代当数据量变多时，单台机器无
xyzhang2018·2023-12-17 06:58

[AIGC ~大数据] 深入理解Hadoop、HDFS、Hive和Spark：Java大师的大数据研究之旅

在这个充满机遇和挑战的领域中，我深入研究了Hadoop、HDFS、Hive和Spark等关键技术。本篇博客将从"是什么"、"为什么"和"怎么办"三个角度，系统地介绍这些技术。文章目录是什么？
程序员三木·2023-12-17 06:55

Spark报错处理系列之：Caused by: java.lang.StackOverflowError

Spark报错处理系列之：Causedby:java.lang.StackOverflowError一、完整报错二、错误原因三、解决方法一、完整报错INFOApplicationMaster:UnregisteringApplicationMasterwithFAILED
最笨的羊羊·2023-12-17 06:38

Spark-Streaming+HDFS+Hive实战

文章目录前言一、简介1.Spark-Streaming简介2.HDFS简介3.Hive简介二、需求说明1.目标：2.数据源：3.数据处理流程：4.HDFS文件保存：5.Hive外部表映射：三、实战示例演练
大数据魔法师·2023-12-17 06:38

《PySpark大数据分析实战》-11.Spark on YARN模式安装Hadoop

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-17 05:16

地址栏不安全提示

那么我们只需要去申请一张SSL证书安装部署到服务器上就可以消除不安全的警告。2，
涂样丶·2023-12-17 05:44

《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-17 05:10

175、Spark运维管理进阶之作业资源调度standalone模式下使用动态资源分配

/sbin/.start-shuffle-service.sh启动spark-shell，启用动态资源分配添加如下配置--confspark.shuffle.service.enabled=true\-
ZFH__ZJ·2023-12-17 04:18

django项目部署(腾讯云服务器centos)

基本步骤：购买腾讯云服务器并配配置好>>本地项目依赖收集准备>>上传项目等文件到服务器>>服务器安装部署软件和python环境>>开始部署（全局来看就这5个步骤）目录1.购买腾讯云服务器并配配置好1.1
Mr.Joden·2023-12-17 04:12

Spark SQL之读取复杂的json数据

text":"Nicedayouttoday"}{"user":{"name":"Matei","location":"Berkeley"},"text":"Evennicerhere:)"}2、直接使用spark
kun2736·2023-12-17 03:41

Spark数据倾斜（一）：描述及定位

1、数据倾斜的原理在执行shuffle操作的时候，是按照key，来进行values的数据的输出、拉取和聚合的。同一个key的values，一定是分配到一个reducetask进行处理的。假如现在有多个key对应的values，总共是90万，但是问题是，可能某个key对应了88万数据，key-values(88万数据)分配到一个task上去面去执行，另外两个task，可能各分配到了1万数据，可能是数
雪飘千里·2023-12-17 02:04

spark-常用算子

一，Transformation变换/转换算子：这种变换并不触发提交作业，这种算子是延迟执行的，也就是说从一个RDD转换生成另一个RDD的转换操作不是马上执行，需要等到有Action操作的时候才会真正触发。1.Value数据类型的Transformation算子这种变换并不触发提交作业，针对处理的数据项是Value型的数据（1）输入分区与输出分区一对一型：1.map算子处理数据是一对一的关系，进入
Logan_addoil·2023-12-17 02:04

星座生肖运势配对+周公解梦流量主小程序源码系统 带完整的安装部署教程·

近年来，人们对于星座和生肖的配对以及周公解梦的需求越来越大。罗峰发现了一款集星座、生肖配对和周公解梦于一体的流量主小程序源码系统。该系统具有丰富的功能和易于部署的特点，旨在为广大用户提供更加便捷、高效的星座生肖配对和周公解梦服务。以下是部分代码示例：系统特色功能一览：1.星座生肖配对该系统集成了多种星座和生肖的配对方式，包括男女配对、年份配对等。用户可以根据自己的需求选择不同的配对方式，快速找到与
罗峰源码·2023-12-17 01:20

分类信息网商业运营版源码系统：适合各类行业分类站点建站 带安装部署教程

随着互联网的快速发展，信息分类网站在各个行业中得到了广泛应用。为了满足不同行业的需求，罗峰给大家分享一款适合各类行业分类站点建站的商业运营版源码系统。该系统旨在提供一套完整的解决方案，帮助用户快速搭建自己的分类信息网站，实现商业运营目标。以下是部分代码示例：系统特色功能一览：1.灵活的站点配置：系统支持多种行业分类，用户可以根据自己的需求自定义站点配置，包括站点名称、域名、主题等。2.丰富的行业模
罗峰源码·2023-12-17 01:48

Flink 有状态流式处理

传统批次处理方法【1】持续收取数据（kafka等），以window时间作为划分，划分一个一个的批次档案（按照时间或者大小等）；【2】周期性执行批次运算（Spark/Stom等）；传统批次处理方法存在的问题
程序猿进阶·2023-12-17 00:30

记录docker+git+jenkins安装部署

安装Gityuminstall-ygitgit生成SSHKey（后面jenkins）[root@iZwz925p95hhdeZDocument]#gitconfig--globaluser.name"zzt"[root@iZwz925p95hhdeZDocument]#gitconfig--globaluser.email"[email protected]"[root@iZwz925p95hhdeZDo
回到浪浪山~·2023-12-16 23:04

spark在standalone模式下提交任务流程

1、application（自己编写的应用程序），拷贝到用来提交spark应用的机器上，用spark-summit来提交这个application，在standalone模式下，会在本机客户端直接启动一个
程序媛啊·2023-12-16 23:22

Spark - 直接操作数据源 MySQL

答案就是使用spark的计算能力的，我们可以将mysql数据源接入到spark中。
kikiki4·2023-12-16 23:31

Spark(一): 基本架构及原理

Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求官方资料介绍Spark可以将Hadoop集群中的应用在内存中的运行速度提升
hedgehog1112·2023-12-16 22:33

影视视频+知识付费行业万能通用响应式网站系统源码 三网合一 带完整的安装部署教程

本系统集成了三网合一的解决方案，旨在帮助用户快速搭建高品质、高性能的网站，同时带完整的安装部署教程，让用户轻松上手。
源码集结地·2023-12-16 21:08

【Scala】Scala中的一些基本数据类型的特性 列表、元组、构造器、单例对象、伴生类、伴生对象、抽象类与特质

列表使用List(“”,“”,“”)去声明sliding和groued表示迭代器valiter=List("Hadoop","Spark","Scala")sliding2//sliding和groued
冲鸭嘟嘟可·2023-12-16 20:17

CentOS7安装部署Java11

1.查看是否已安装openjdkjava-versionyumlistinstalled|grepjava2.已安装，卸载，否则跳过该步骤yum-yremovejava-1.7.0-openjdk.x86_64yum-yremovejava-1.7.0-openjdk-headless.x86_64yum-yremovejava-1.8.0-openjdk.x86_64yum-yremovejav
赴前尘·2023-12-16 20:33

Spark

1.请解释Spark中的RDD是什么？
编织幻境的妖·2023-12-16 20:22

Spark

1.请简要介绍一下ApacheSpark的基本架构和组件。
编织幻境的妖·2023-12-16 20:21

RDD是什么

RDD是Spark的基础，是对大数据的抽象，所以先破解Spark，首先从RDD开始。*RDD是什么？有什么特点？*RDD包含什么？*RDD能做什么？
猿界零零七·2023-12-16 20:18

Spark RDD、DataFrame、DataSet比较

在Spark的学习当中，RDD、DataFrame、DataSet可以说都是需要着重理解的专业名词概念。尤其是在涉及到数据结构的部分，理解清楚这三者的共性与区别，非常有必要。
猿界零零七·2023-12-16 20:17

Spark

1.请解释Spark的工作原理。Spark是一种通用的大数据计算框架，其设计目标是提供快速、通用和易于使用的数据处理平台。
编织幻境的妖·2023-12-16 20:16

Spark RDD的转换

按颜色区分转换：绿色是单RDD窄依赖转换黑色是多RDD窄依赖转换紫色是KV洗牌型转换黄色是重分区转换蓝色是特例的转换单RDD窄依赖转换MapPartitionRDD这个RDD在第一次分析中已经分析过。简单复述一下：依赖列表：一个窄依赖，依赖上游RDD分区列表：上游RDD的分区列表计算流程：映射关系（输入一个分区，返回一个迭代器）分区器：上游RDD的分区器存储位置：上游RDD的优先位置可见除了计算流
猿界零零七·2023-12-16 20:45

Spark性能优化总结（建议收藏）

近期优化了一个spark流量统计的程序，此程序跑5分钟小数据量日志不到5分钟，但相同的程序跑一天大数据量日志各种失败。
PHP9年架构师·2023-12-16 18:23

Spark源码之Worker

Spark源码之Worker介绍篇Worker介绍Worker作为工作节点,一般Driver以及Executor都会在这Worker上分布;Worker代码概览Worker继承了ThreadSafeRpcEndpoint
小狼星I·2023-12-16 18:40

Spark 的“血液” --Spark RPC（一）简述

一.Sparkrpc概述首先说明RPC，引用百度百科：RPC（RemoteProcedureCall）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。
大数据_zzzzMing·2023-12-16 18:46

RabbitMQ入门

目录什么是MQ应用场景1.异步处理2.应用解耦3.流量削锋(重点)4.日志处理主流MQ框架四、Docker安装部署RabbitMQ1.查询镜像2.获取镜像3.运行镜像4.RabbitMQ管理平台5.进入
小朱爱编程·2023-12-16 18:49

《PySpark大数据分析实战》-10.独立集群模式的代码运行

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:49

《PySpark大数据分析实战》-08.宽窄依赖和阶段划分

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:19

《PySpark大数据分析实战》-09.Spark独立集群安装

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:49

《PySpark大数据分析实战》-05.PySpark库介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:05

spark 内核源码剖析十四：Checkpoint原理

Checkpoint，是Spark提供的一个比较高级的功能。
雪飘千里·2023-12-16 12:27

ansible部署安装Tomcat

jdk以及tomcat安装包下载链接:https://pan.baidu.com/s/1sjG8Yl8k-SUbOv7KwKXZMA提取码：t71z准备n台机器（我这里就简单部署三台机器）ansible的安装部署以及配置可以看博主之前的文章自动化运维工具
寂冄·2023-12-16 11:47

spark的键值对的行动操作

先上图frompysparkimportSparkContextif__name__=="__main__":master="local"iflen(sys.argv)==2:master=sys.argv
yanghedada·2023-12-16 10:03

Linux-yum安装部署RabbitMQ

一、简介RabbitMQ一款知名的开源消息队列系统，为企业提供消息的发布、订阅、点对点传输等消息服务。RabbitMQ在企业开发中十分常见，课程为大家演示快速搭建RabbitMQ环境。二、安装rabbitmq在yum仓库中的版本比较老，所以我们需要手动构建yum仓库1、准备yum仓库#root执行#1.准备gpgkey密钥rpm--importhttps://github.com/rabbitmq
小羊的风火轮冒烟啦·2023-12-16 09:01

Linux-yum安装部署Redis

简介redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。redis的特点就是：快，可以基于内存存储数据并提供超低延迟、超快的检索速度一般用于在系统中提供快速缓存的能力。安装1、配置EPEL仓库EPEL的全称叫ExtraPackagesforEnterpriseLinux。EPEL是由Fedora社区打造，为RHEL及衍生发行版如CentOS、S
小羊的风火轮冒烟啦·2023-12-16 09:45

Hbase BulkLoad用法

要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。
kikiki1·2023-12-16 07:59

Tomcat-安装部署（源码包安装）

一、简介Tomcat是由Apache开发的一个Servlet容器，实现了对Servlet和JSP的支持，并提供了作为Web服务器的一些特有功能，如Tomcat管理和控制平台、安全域管理和Tomcat阀等。简单来说，Tomcat是一个WEB应用程序的托管平台，可以让用户编写的WEB应用程序，被Tomcat所托管，并提供网站服务。即让用户开发的WEB应用程序，变成可以被访问的网页。二、安装Tomcat
小羊的风火轮冒烟啦·2023-12-16 07:54

AI创作系统ChatGPT网站源码+搭建部署教程文档，AI绘画，支持TSS GPT语音对话功能

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-12-16 07:50

最新AI绘画Midjourney绘画提示词Prompt教程

一、Midjourney绘画工具SparkAi【无需魔法使用】：sparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI
白云如幻·2023-12-16 07:10

Kafka快速实战与基本原理详解

）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark
Memory_2020·2023-12-16 06:08

华为大数据开发者教程知识点提纲

一、线下处理1.离线处理方案数据支持：HDFS调度：YARN收入：Flume，sqoop，loader处理：Mapreduce，SparkSql，spark，hive（，Flink）2.HadoopNamenode
qq_1418269732·2023-12-16 06:08

生产环境_使用Scala语言_Spark编写灵活的SQL查询生成器

//判断id是否为空validEmpty=id.isEmpty//判断other是否为空valotherEmpty=other.isEmpty//根据不同情况拼接SQL语句valsql=if(idEmpty){//如果id为空if(otherEmpty){//如果other也为空s"""select*from`$table1`where`$time`between'$startTime'and'$
Matrix70·2023-12-16 05:35

生产环境_Spark处理轨迹中跨越本初子午线的经度列

使用spark处理数据集，解决gis轨迹点在地图上跨本初子午线的问题，这个问题很复杂，先补充一版我写的importorg.apache.spark.
Matrix70·2023-12-16 05:26
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他