大数据处理Spark 第22页

Spark——Spark写MySQL太慢、很慢、非常慢的原因分析及优化方法

文章目录问题背景原因分析解决方法参考问题背景有这样一个业务场景：需要将通过Spark处理之后的数据写入MySQL，并在在网页端进行可视化输出。

Southwest-·2024-01-28 08:17

Spark——Spark/Hive向量化查询执行原理分析（Vectorization Query Execution）

文章目录什么是向量化查询执行列式存储Spark向量化查询执行Hive向量化查询执行参考什么是向量化查询执行在标准的查询执行系统中，每次只处理一行数据，每次处理都要走过较长的代码路径和元数据解释，从而导致

Southwest-·2024-01-28 08:47

Spark——Spark缓存临时视图（View）

文章目录RDD/Dataset缓存复用纯SQL结果缓存复用RDD/Dataset缓存复用我们知道在使用RDD和DatasetAPI开发Spark应用程序的时候，如果要缓存某个RDD或Dataset来进行复用

Southwest-·2024-01-28 08:47

Spark——Spark DataFrame导出为Excel文件

文章目录问题背景实现1.Maven依赖2.代码实现3.参数详解1.'sheet_name'!B3:C35。2.sheet_name[#All]参考问题背景有时候我们在进行一些表的计算之后，会生成一些指标，需要导出来给其它同事用，虽说可以将DataFrame直接写成表，然后通过工具(比如Hue)导出为Excel，但是步骤就多了，而且如果要导出的表比较多的话，就更浪费时间了，那么这时候调用第三方插件就

Southwest-·2024-01-28 08:17

Spark —— JSON对象/数组转成Spark Dataset/DataFrame

JSON转DataFrame在日常使用Spark处理数据时,半结构化的JSON数据(JSONObject,JSONArray)可能是最常见的一种数据结构，那么能熟练并快速地处理JSON格式数据应该是数据开发人员的必备技能

Southwest-·2024-01-28 08:16

Spark——Spark读写MongoDB

文章目录Spark直连MongoDB1.通过SparkConf2.通过ReadConfig3.通过DataFrameReaderHive中创建映射表mongoexport导出文件参考如果我们要想通过Spark

Southwest-·2024-01-28 08:46

超流与大数据处理：架构与实践

1.背景介绍大数据处理是现代计算机科学和信息技术的一个重要领域。

OpenChat·2024-01-28 08:43

Spark——Spark读写Greenplum/Greenplum-Spark Connector高速写Greenplum

文章目录问题背景解决方式代码实现Spark写GreenplumSpark读Greenplum参考问题背景通过数据平台上的DataX把Hive表数据同步至Greenplum（因为DataX原生不支持GreenplumWriter

Southwest-·2024-01-28 08:42

Hive之set参数大全-18

指定在执行Spark上的动态分区裁剪时，用于评估分区数据大小的最大限制在Hive中，hive.spark.dynamic.partition.pruning.max.data.size是一个配置参数，用于指定在执行

OnePandas·2024-01-28 07:33

hive面试题

本质上是将SQL转换为MapReduce或者spark来进行计算，数据是存储在hdfs上，简单理解来说hive就是MapReduce的一个客户端工具。补充1：你可以说一下HQL转换为MR的任务流程吗？

韩顺平的小迷弟·2024-01-28 07:29

大数据——Flink 知识点整理

目录1.Flink的特点2.Flink和SparkStreaming的对比3.Flink和Blink、Alink之间的关系4.JobManager和TaskManager的职责5.Flink集群部署有哪些模式

Vicky_Tang·2024-01-28 06:17

大数据处理神器datatable库安装及使用(远超pandas效率)

#一、datatable安装pipinstalldatatable#二、datatable引入importdatatableasdt#三、读取文件#读取单个文件：fread#读取123.csv,各列以|分隔frame_a=dt.fread("123.csv",sep="|")#frame_a内容id|name|age1|a|112|b|123|c|13#读取文件列表并合并file_list=["1

lytcreatee·2024-01-28 03:41

大数据处理需要用到的九种编程语言

R若要列出所有程序语言，你能忘记其他的没关系，但最不能忘的就是R。从1997年悄悄地出现，最大的优势就是它免费，为昂贵的统计软件像是Matlab或SAS的另一种选择。但是在过去几年来，它的身价大翻转，变成了资料科学界眼中的宝。不只是木讷的统计学家熟知它，包括WallStreet交易员、生物学家，以及硅谷开发者，他们都相当熟悉R。多元化的公司像是Google、Facebook、美国银行以及NewYo

kuntoria·2024-01-28 01:08

Apache Spark架构与特点

1.背景介绍ApacheSpark是一个开源的大数据处理框架，由AMLLabs公司开发，后被Apache软件基金会所支持。

OpenChat·2024-01-27 23:35

Spark-core

什么是SparkSpark是基于内存的快速，通用，可扩展的大数据分析引擎Spark的内置模块SparkCore是Spark可以离线处理的部分，实现了spark的基本功能，包含任务调度，错误恢复，与存储系统交互等模块

luckboy0000·2024-01-27 23:12

DataWhale 大数据处理技术组队学习task1

DataWhale大数据处理技术组队学习task1一、大数据概述1.大数据时代（详细内容参考参考文章）2.大数据的概念（又或者是特点）4V数据量大（Volume）数据来源：可以是计算机、手机，也可以是其他联网设备

Y_fulture·2024-01-27 19:33

独家解读 | 滴滴机器学习平台架构演进之路

所谓大同是指大家所要处理的问题都相似，技术架构和选型也差不太多，比如都会使用GPU集群、采用Spark或K8s平台等。

csdn产品小助手·2024-01-27 19:18

apache 前30个开源项目

1ApacheHTTPServer高性能Web服务器提供HTTP服务支持非常活跃2ApacheTomcatJava应用服务器部署JavaWeb应用程序非常活跃3ApacheHadoop分布式存储和计算框架大数据处理非常活跃

临水逸·2024-01-27 17:35

如何使用irsa将火花提交给亚马逊eks集群

Inpreviousarticle,IhaveintroducedhowwesubmitaSparkjobtoanEKScluster.Aslongaswe’reusingotherAWScomponentsforourpipelinestointeract

weixin_26755331·2024-01-27 15:26

Pyspark分类--LogisticRegression

LogisticRegression：逻辑回归分类classpyspark.ml.classification.LogisticRegression(featuresCol=‘features’,labelCol

Gadaite·2024-01-27 14:53

搭建大数据平台常用的端口号

journalnode默认的端口号9000：非高可用访问数rpc端口8020：高可用访问数据rpc8088：yarn的webUI的端口号8080：master的webUI，Tomcat的端口号7077：spark

修勾勾L·2024-01-27 13:51

Spark连接Hive的两种方式

一、使用hive-site.xml第一步：将集群中的hive-site.xml的内容复制出来，并放在idea项目的resources下，要求文件命名为：hive-site.xmldatanucleus.schema.autoCreateAlltruejavax.jdo.option.ConnectionURLjdbc:mysql://192.168.38.160:3306/hive_db?crea

修勾勾L·2024-01-27 13:50

项目中常用的utils

importcryptofrom'crypto'importSparkMD5from'spark-md5'importCryptoJsfrom'crypto-js'importJSEncryptfrom'jsencrypt'importstoragefrom

乐夫天命兮·2024-01-27 13:05

flume+kafka+SparkStreaming+mysql+ssm+高德地图热力图项目

第一步、编写python脚本，产生模拟数据#coding=UTF-8importrandomimporttimephone=["13869555210","18542360152","15422556663","18852487210","13993584664","18754366522","15222436542","13369568452","13893556666","1536669855

printf200·2024-01-27 12:24

【Scala-spark.mlib】分布式矩阵——分布式计算的基石与利器

分布式矩阵1.mlib.linalg.distributed包2.DistributedMatrix特质3.BlockMatrix类4.CoordinateMatrix类5.IndexedRowMatrix类6.RowMatrix类7.小结1.mlib.linalg.distributed包矩阵计算是很多科学计算的重要步骤，而分布式矩阵存储则是分布式计算的基础。根据不同的计算需求，需要将用于计

JimmyShis·2024-01-27 10:12

大数据数据流分析和处理的工具pig,从入门到精通！

Pig的特点包括：面向过程的数据流语言：与Hive等其他大数据处理工具相比，Pig更注重数据处理的过程性，适用于

知识分享小能手·2024-01-27 09:05

2019年12月10日

今天在公司继续看spark教程，这么说来我已经快一个月没啥正事了（望向每日记录Excel文档），究竟说明公司药丸还是我药丸……反正先做好多手准备【今天明明温度不低办公室的三恒系统却还是开着高温，仿佛电费不要钱

真昼之月·2024-01-27 08:49

Spark-RDD持久化

(1)persist算子使用方法：varrdd=sc.textFile("test")rdd=rdd.persist(StorageLevel.MEMORY_ONLY)valcount=rdd.count()//或者其他操作StorageLevel说明：StorageLevel的构造函数：classStorageLevelprivate(privatevar_useDisk:Boolean,#是否

printf200·2024-01-27 08:02

Spark SQL中掌控sql语句的执行 - 了解你的查询计划

本文翻译自BeinchargeofQueryExcutioninSparkSQL背景自spark2.x的sql以及申明行DataFrameAPi以来，在spark查询数据越来越方便。

鸿乃江边鸟·2024-01-27 08:18

Hadoop与Spark横向比较【大数据扫盲】

大数据场景下的数据库有很多种，每种数据库根据其数据模型、查询语言、一致性模型和分布式架构等特性，都有其特定的使用场景。以下是一些常见的大数据数据库：1.**NoSQL数据库**：这类数据库通常用于处理大规模、非结构化的数据。它们通常提供简单的查询语言，并强调水平扩展和高可用性。例如：-**键值存储**：如Redis，AmazonDynamoDB-**列式存储**：如ApacheCassandra，

super_journey·2024-01-27 07:51

使用spark mllib训练中文文本分类器的

importorg.apache.spark.mllib.classification.NaiveBayesimportorg.apache.spark.mllib.feature.HashingTFimportorg.apache.spark.mllib.linalg.Vectorsimportorg.apache.spark.sql.functions

DreamNotOver·2024-01-27 07:45

使用 Spark MLlib 使用 jieba 分词训练中文分类器

importorg.apache.spark.ml.classification.NaiveBayesimportorg.apache.spark.ml.feature.HashingTFimportorg.apache.spark.sql.functions

DreamNotOver·2024-01-27 07:45

Spark Thrift Server 架构和原理介绍

也可以看我CSDN的博客：https://blog.csdn.net/u013332124/article/details/90339850一、SparkThriftServer介绍SparkThriftServer

疯狂的哈丘·2024-01-27 04:17

实时分析海量新数据的难点和解决方案

解决方案：使用分布式计算和存储技术，如Hadoop、Spark、Kafka等，将数据分散存储在多个节点上，同时进行分布式计算和处理，以实现数据的实时处理和分析。2.数据质量的保障：海量新

云台095·2024-01-27 03:40

idea上搭建pyspark开发环境

1环境版本说明python版本：Anaconda3.6.5spark版本：spark-2.4.8-bin-hadoop2.7idea版本：2019.32环境变量配置2.1python环境变量配置将python.exe

jackyan163·2024-01-27 00:06

视频智能分析：冶炼/冶金工厂视频智能监管方案的设计和应用

该方案通过高清摄像头、智能分析技术、大数据处理等手段，对工厂进行全方位、实时监控，为管理者提供全面的生产信息。

Black蜡笔小新·2024-01-27 00:28

算力网络：未来计算资源的驱动力

、运营商的算力网络架构（一）算力网络基础设施构成（二）算力网络编排管理（三）能力开放三、算力网络的优势（一）弹性计算（二）降低成本（三）去中心化四、算力网络的应用场景（一）人工智能（二）科学研究（三）大数据处理

岛屿旅人·2024-01-26 22:06

大数据开发必备工具——Hadoop及整体架构介绍

Hadoop是一个由Apache软件基金会开发的开源Java软件框架，专为大数据处理设计，支持在大量计算机组成的集群上进行数据存储和分布式计算。

love6a6·2024-01-26 21:03

Spark 2.3.4 StandAlone 集群模式部署

Spark2.3.4StandAlone集群模式部署相关文档依赖服务系统优化创建路径配置/etc/profile配置$SPARK_HOME/conf/spark-env.sh配置$SPARK_HOME/

JP.Hu·2024-01-26 19:07

Flink 基础入门

前言SparkStreaming准确来说算是一个微批处理伪实时的做法，可是Flink是真的来一条就会处理一条，而且在SparkStreaming和Kafka进行整合时我们需要手动去管理偏移量的问题，而在

IT领域君·2024-01-26 19:28

Pandas数据大师之路-高级应用与性能优化【第35篇—python：Pandas数据大师】

：计算平均值示例：筛选数据写入Excel文件实例：读取并写入新表格数据清洗与转换缺失值处理数据类型转换分组与聚合数据可视化进一步学习高级功能与进阶应用多表关联与合并时间序列分析自定义函数应用性能优化与大数据处理持续学习与实践结语引言在日常的数据处理工作中

一见已难忘·2024-01-26 15:41

Spark常见问题解决-日志和排查办法

Spark日志与排查报错问题查看：https://blog.csdn.net/qq_33588730/article/details/109353336Spark常见问题1.org.apache.spark.SparkException

for your wish·2024-01-26 15:39

Spark3内核源码与优化

文章目录一、Spark内核原理1、Spark内核概述1.1简介1.2Spark核心组件1.3Spark通用运行流程概述2、Spark部署模式2.1YARNCluster模式(重点)2.2YARNClient

魅Lemon·2024-01-26 15:38

Spark3学习笔记

文章目录一、Spark基础1、Spark概述1.1Spark简介1.2SparkVSHadoop1.3Spark特点1.4Spark入门Demo2、Spark运行模式2.1概述2.2Local模式2.3Standalone