spark运行模式

Flutter实现windows应用版本升级功能

可以使用auto_updater库，这个插件允许Flutter桌面应用自动更新自己(基于sparkle和winsparkle)地址如下：https://github.com/leanflutter/auto_updater
落华X·2024-01-21 05:32

一文读懂Delta Lake：大数据时代的数据湖框架新选择！

介绍：DeltaLake是一个开源存储层，为ApacheSpark和大数据工作负载提供了ACID事务能力。这个存储层由Databricks公司推出，并已成为数据湖方案的重要组成部分。
知识分享小能手·2024-01-21 03:56

111.Parquet表的使用

Avro,Thrift,ProtocolBuffers,POJOs查询引擎:Hive,Impala,Pig,Presto,Drill,Tajo,HAWQ,IBMBigSQL计算框架:MapReduce,Spark
大勇任卷舒·2024-01-21 02:33

通过WordCount解析Spark RDD内部源码机制

我们通过SparkWordCount动手实践，编写单词计数代码；在wordcount.scala的基础上，从数据流动的视角深入分析SparkRDD的数据处理过程。
联旺·2024-01-21 01:54

spark on Yarn 动态资源分配

配置文件：spark.default.parallelism=40#spark.executor.memory=1536m#spark.executor.memoryOverhead=512m#spark.driver.cores
金刚_30bf·2024-01-20 23:09

Spark读取kafka（流式和批数据）

spark读取kafka（批数据处理）#按照偏移量读取kafka数据frompyspark.sqlimportSparkSessionss=SparkSession.builder.getOrCreate
中长跑路上crush·2024-01-20 23:55

Spark流式读取文件数据

流式读取文件数据frompyspark.sqlimportSparkSessionss=SparkSession.builder.getOrCreate()#todo注意1：流式读取目录下的文件--》一定一定要是目录
中长跑路上crush·2024-01-20 23:25

Spark Streaming通过receiver方式消费kafka数据时数据积压问题

1.问题在通过receiver方式接受kafka消息时，发现有大量消息在队列中阻塞最终导致spark任务执行失败。
sinat_36710456·2024-01-20 22:23

Spark(一): 基本架构及原理

前言:目标：架构及生态：Spark与hadoop:运行流程及特点：常用术语:Spark运行模式：RDD运行流程：前言:ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009
贝賏赑钡·2024-01-20 22:46

PDF如何裁剪页面，PDF裁剪页面的小技巧

使用工具：旋风PDF编辑器下载地址：http://www.679sparkle.com/pdfeditor操作方法：1：先打开旋风PDF编辑器，点击打开文件按钮打开需要编辑的PDF文件。2：在菜单
六号_db7a·2024-01-20 18:09

11.Join的MapReduce实现

Join在MapReduce中的实现一、概述tips:Hive:MapReduce/Spark巧用explain查看语法树常见的面试题:描述如何使用MapReduce来实现join功能：考察点MapReduce
哈哈大圣·2024-01-20 18:40

Linux之FTP文件共享服务

Linux之FTP文件共享服务FTP文件共享服务概述FTP服务介绍FTP服务的服务端工具FTP服务的客户端工具Linux下ftp客户端管理工具使用方法Linux下lftp客户端管理工具使用方法FTP的两种运行模式主动模式被动模式搭建
锦衣admin·2024-01-20 15:35

Spark在降本增效中的一些思考

背景在大环境不好的情况下,本司也开始了“降本增效”，本文探讨一下，在这种背景下Spark怎么做的降本增效。
鸿乃江边鸟·2024-01-20 14:25

hive 运行报错

Error:Errorwhilecompilingstatement:FAILED:UDFArgumentTypeExceptionExactlyoneargumentisexpected.近期用spark
圆周率的后六位·2024-01-20 12:35

设计模式——管道模式（并发模式）

在分布式处理领域，由于管道模式是数据驱动，而目前流行的Spark分布式处理平台也是数据驱动的，两者非常合拍，于是在spar
码上得天下·2024-01-20 11:52

spark的jdbc接口，类似于hiveserver2

https://spark.apache.org/docs/2.4.0/sql-distributed-sql-engine.html#running-the-thrift-jdbcodbc-serverSparkSQL
zdkdchao·2024-01-20 10:53

springboot debug模式启动

我们都知道，在idea或者eclipse等IDE工具中，都有debug模式启动，但是这种启动是针对我们自己开发的代码的一种开发运行模式，而springboot提供的debug启动模式是对springboot
尧、木子·2024-01-20 10:50

【操作系统】Centos7系统搭建Rsync数据同步实战

rsync监听端口：873rsync运行模式：C/S，B/S1.2.Rsync特性支持拷贝特殊文件如链接文件，设备
互联网小阿祥·2024-01-20 09:47

Kylin安装学习教程

Kylin安装学习教程Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL接口及多维分析（OLAP）能力以支持大数据分析，最初由eBayInc.开发并贡献到开源社区。
Luo_Yang111·2024-01-20 09:28

spark连接操作

将有键的数据与另一组有键的数据一起使用是对键值对数据执行的最有用的操作之一。连接数据可能是PairRDD最常用的操作之一。连接的方式多种多样：右外连接，左外连接、交叉连接以及内连接普通的join操作符表示是内连接。只有在两个键值对中都存在的键才叫输出。
追赶的程序猿·2024-01-20 09:45

Data Bricks Delta Lake 入门

DeltaLake是一个开源存储层，它将关系数据库语义添加到基于Spark的数据湖处理中。
AI普惠大师·2024-01-20 07:03

Spark从入门到精通30:Spark SQL：核心源码深度剖析

在前面一节我们讲解了SparkSQL的工作原理，接下来在这一节，我们对SparkSQL工作原理进一步地深入和加强，这一节主要讲解SparkSQL核心源码导读和剖析首先，我们看SQLContext.scala
勇于自信·2024-01-20 07:57

【Spark】Spark 容错及 HA--Master 异常

一、Master配置recoveryModeMaster作为SparkStandalone模式中的核心，如果Master出现异常，则整个集群的运行情况和资源将无法进行管理，整个集群将处于“群龙无首”的状况
w1992wishes·2024-01-20 05:37

余老师带你学习大数据-Spark快速大数据处理第十章Kafka第八节Kafka-Connect

kafkaKafkaConnect基本概念1、KafkaConnect是Kafka流式计算的一部分，左侧是数据源包括了数据库、hadoop、文本等等，右侧是数据结果包括了文本、hadoop、数据库，中间上层就是KafkaConnect，它里面会有很多的输入，将输入的内容的读取进来转交给Kafka里，也有可能将kafka里的内容拿出来放到我们的外部数据源中。2、KafkaConnect主要用来与其他
weixin_45810046·2024-01-20 03:41

kylin安装学习教程

ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL接口及多维分析（OLAP）能力以支持大数据分析，最初由eBayInc.开发并贡献到开源社区。
打工人何苦为难打工人·2024-01-20 03:07

Kylin安装学习教程

ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据。
终将老去的穷苦程序员·2024-01-20 03:04

CVE-2023-46226 Apache iotdb远程代码执行漏洞

它具有体量轻、性能高、易使用的特点，完美对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。
棱镜七彩·2024-01-20 02:27

Tomcat Connector三种运行模式（BIO, NIO, APR）的比较和优化

TomcatConnector三种运行模式（BIO,NIO,APR）的比较和优化这三种模式的不同之处如下：BIO：一个线程处理一个请求。缺点：并发量高时，线程数较多，浪费资源。
黑客不黑撒·2024-01-20 01:34

自然语言处理大数据：spark ML Word2Vec详解

简介Word2Vec是一种著名的词嵌入（WordEmbedding）方法，它可以计算每个单词在其给定语料库环境下的分布式词向量（DistributedRepresentation，亦直接被称为词向量）。词向量表示可以在一定程度上刻画每个单词的语义。如果词的语义相近，它们的词向量在向量空间中也相互接近，这使得词语的向量化建模更加精确，可以改善现有方法并提高鲁棒性。词向量已被证明在许多自然语言处理问题
nnnancyyy·2024-01-19 17:23

大数据学长面试之OPPO面试题

1）技术部分（1）SparkStreaming消费方式及区别，Spark读取HDFS的数据流程（2）Kafka高性能（3）Hive调优，数据倾斜（4）Zookeeper怎么避免脑裂，什么是脑裂。
大数据小理·2024-01-19 16:01

某汽车外包-大数据开发-面试

4.spark的提交参数有那些命令5.sparkrdd,dataframe,dataSe解释一下。
劝学-大数据·2024-01-19 16:28

spark读取MySQL数据机器学习预测存入MySQL

importorg.apache.spark.SparkConfimportorg.apache.spark.ml.classification.
大数据驱动·2024-01-19 14:12

关于jenkins集成python的单元测试

最近在研究jenkins的集成，然后想把自己写的python工具也用jenkins集成一下废话少说，来看结构sparking.py@author:lianying'''classSparking:@staticmethoddefget_num_of_zero
百晓生说测试·2024-01-19 13:21

html源码（html+css）

运维&从测试>UI设计>产品>我的课程表继续学习程序语言设计正在学习-使用对象继续学习程序语言设计正在学习-使用对象继续学习程序语言设计正在学习-使用对象全部课程精品推荐JQuerySparkMySQLJava
奇遇少年·2024-01-19 11:26

Flink1.17 基础知识

Flink1.17基础知识来源：B站尚硅谷目录Flink1.17基础知识Flink概述Flink是什么Flink特点FlinkvsSparkStreamingFlink的应用场景Flink分层APIFlink
魅美·2024-01-19 08:16

spark dateformat源码排错

背景有一个任务yyyy写成了YYYY，导致年份不对触发告警selectfrom_unixtime(unix_timestamp(),'YYYY-MM-ddHH:mm:ss')第一时间用sparkdateformat
这个程序猿可太秀了·2024-01-19 06:47

利用 Apache Spark 和 Databricks 进行企鹅种类预测的机器学习实践入门

这里演示使用ApacheSpark和Databricks平台进行企鹅物种预测的完整机器学习流程。
AI普惠大师·2024-01-19 06:17

spark+phoenix读取hbase

spark直接操作hbase也是通过hbase的原语操作，操作起来比较繁琐，下面就是将spark和phoenix相结合的方法步骤。我用的是scala语言，首先pom.xml中添加依赖o
潮落拾贝·2024-01-19 06:16

pyspark 笔记：窗口函数window

窗口函数相关的概念和基本规范可以见：pyspark笔记：over-CSDN博客1创建PysparkdataFramefrompyspark.sql.windowimportWindowimportpyspark.sql.functionsasFemployee_salary
UQI-LIUWJ·2024-01-19 06:15

Spark基础学习--基础介绍

1.Spark基本介绍1.1定义Spark是可以处理大规模数据的统一分布式计算引擎。
Yan_bigdata·2024-01-19 06:37

Pyspark 安装(Mac M2版)

引言本文为个人本地部署pyspark遇到的问题以及解决办法，包含个人的一些理解，仅供参考。
矮人三等·2024-01-19 06:35

使用Apache Spark处理Excel文件的简易指南

对此，我们可借助ApacheSpark这一分布式计算框架，凭借其强大的计算与数据处理能力，快速有效地处理Excel数据。这些数据进行一个分析，整理
i查拉图斯特拉如是·2024-01-19 06:33

LightGBM On Spark

通常业务中对计算性能有要求时，通常不使用GPU跑tf，会使用xgboostonSpark来解决，既保证速度，准确率也能接受。LightGBM是使用基于树的学习算法的梯度增强框架。
wong小尧·2024-01-19 04:10

spark读取hive的数据

下载源码包：spark-2.3.3.tgz解压：tar-xzvfspark-2.3.3.tgz进入目录：cdspark-2.3.3.
IT烧麦·2024-01-19 04:17

FineBI实战项目一（25）：实战项目一总结

没有集群，hdfs、hive、spark、kafka、flink等等都没有2解决方案mysql数据同步尽量和业务系统保持一致，以便后期出现问题排查。mysql同步到数仓，数仓
不死鸟.亚历山大.狼崽子·2024-01-19 02:39

【大数据项目学习】第十章：HBase分布式集群部署与设计

第十章：HBase分布式集群部署与设计一个初学者的大数据学习过程文章目录第十章：HBase分布式集群部署与设计1.HBase安装前须知1.1必备条件1.1.1硬件1.1.2软件1.2运行模式2.HBase
学不会K8S不改ID·2024-01-19 00:23

pyspark 结构数据处理

现在随着技术的更新，数据化实现越来越高效便捷，一整套大数据系统，至少需要从数据建模、技术选型、页面交互三方面实现。数据建模如水流，贯穿整个数据分析系统；技术选型是基础设施，支撑整个系统高效运转；页面交互是面向用户，用数据说话，对业务增长进行数据赋能，实现数据驱动。在复杂的数据分析场景中，通常需要基于用户画像与用户行为，对用户进行OLAP多维自由交叉组合分析。因此，对于百万级以上的产品业务，使用My
haleyprince·2024-01-19 00:20

shell spark-submit提交之后获取appid，并在程序中扫描状态

首先看一下提交脚本#/sbin/bash/opt/cloudera/parcels/SPARK2/bin/spark2-submit\exportJAVA_HOME=/opt/jdk1.8.0_31TASK_TYPE
南修子·2024-01-18 22:16

大数据之Spark 知识体系完整解读

Spark简介Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey
金乐笑·2024-01-18 20:15

从零开始学习Zeppelin：大数据可视化分析的交互式开发系统！

此外，Zeppelin还内置了多种数据处理和分析相关的组件，如SQL、Scala、Python等，并且支持多种运行模式
知识分享小能手·2024-01-18 17:57
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他