spark性能调优

Dataset 的一些 Java api 操作

文章目录一、使用JavaAPI和JavaRDD在SparkSQL中向数据帧添加新列二、foreachPartition遍历Dataset三、Dataset自定义Partitioner四、Dataset重分区并且获取分区数五
小强签名设计·2023-11-13 12:29

spark sql读取hive数据直接写入doris，离线批量导入

一，sparksql读取hive表这里通过catalog查询表的字段信息，然后查询出来的字段colStr要给下面的doris使用。注意：我这里是直接拿取的hive表所有的字段。
黄瓜炖啤酒鸭·2023-11-13 12:36

Doris：读取Doris数据的N种方法

目录1.MySQLClient2.JDBC3.查询计划4.SparkDorisConnector5.FlinkDorisConnector1.MySQLClientDoris采用MySQL协议，高度兼容
m0_37559973·2023-11-13 12:59

Spark 资源调优

1资源规划1.1资源设定考虑1、总体原则以单台服务器128G内存，32线程为例。先设定单个Executor核数，根据Yarn配置得出每个节点最多的Executor数量，每个节点的yarn内存/每个节点数量=单个节点的数量总的executor数=单节点数量*节点数。2、具体提交参数1）executor-cores每个executor的最大核数。根据经验实践，设定在3~6之间比较合理。2）num-ex
shangjg3·2023-11-13 08:41

Spark Job优化

1Map端优化1.1Map端聚合map-side预聚合，就是在每个节点本地对相同的key进行一次聚合操作，类似于MapReduce中的本地combiner。map-side预聚合之后，每个节点本地就只会有一条相同的key，因为多条相同的key都被聚合起来了。其他节点在拉取所有节点上的相同key时，就会大大减少需要拉取的数据数量，从而也就减少了磁盘IO以及网络传输开销。RDD的话建议使用reduce
shangjg3·2023-11-13 08:03

基于Spark的电商用户行为实时分析可视化系统（Flask-SocketIO）

基于Spark的电商用户行为实时分析可视化系统（Flask-SocketIO）项目简介该项目已上线蓝桥课程，有需要的可凭邀请码（UB5mdLbl）学习哦，有优惠！
Mise_V·2023-11-13 04:14

进阶SQL——数据表中多列按照指定格式拼接，并将多行内容合并为map拼接

示例：str_to_map(concat_ws(',',collect_set(concat_ws(':',modelname,score))))asscore_map,这条语句是一个SparkSQL的语句
JingjingyiyiGuo·2023-11-12 22:25

hive和spark-sql中 日期和时间相关函数 测试对比

测试版本：hive2.3.4spark3.1.1hadoop2.7.71、增加月份add_months(timestampdate,intmonths)add_months(timestampdate,
Data_IT_Farmer·2023-11-12 21:26

AI图像处理算法岗位整理

负责算法的逻辑，性能调优，汇编优化，或者GPU算法实现。对算法的设计，实现，调试，优化，测试以及metrics统计负责。
生活需要深度·2023-11-12 18:30

软件开发学习资料大全

进入大数据SparkSQL的世界链接：https://pan.baidu.com/s/1_AINgCN8KaQEbnJRkWnKdw提取码：7j85Java深入微服务原理改造房产销售平台链接：https
时光如水_岁月如哥·2023-11-12 17:09

Hive的表操作2

Hive系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-12 16:00

spark插入动态分区代码报错

现象SparkSessionsession=SparkSession.builder().config(sparkConf).config("hive.exec.dynamic.partition.mode
cclovezbf·2023-11-12 16:17

Cannot initialize Cluster. Please check your configuration for mapreduce.framework .name and the cor

我知道问题点肯定在spark2.3.1集成hive3.1.0的版本问题上，因为hive3.1.0新增了很多功能，如事务等，发布时间没有长时间的积累，出问题很容易不受控制。
汐朔·2023-11-12 16:47

SparkSQL之Catelog体系

在SparkSQL系统中，Catalog主要用于各种函数资源信息和元数据信息（数据库、数据表、数据视图、数据分区与函数等）的统一管理。SparkSQL的Catalog体系涉及多个方面，不同
RainTicking·2023-11-12 12:07

SparkSQL之Rule体系

在UnresolvedLogicalPlan逻辑算子树的操作（如绑定、解析、优化等）中，主要方法都是基于规则（Rule）的，通过Scala语言模式匹配机制（Pattern-match）进行树结构的转换或节点改写。Rule是一个抽象类，子类需要复写apply(plan:TreeType)方法来制定特定的处理逻辑，基本定义如下。abstractclassRule[TreeTypevalbatchSta
RainTicking·2023-11-12 12:05

Spark 简介

1.什么是Spark官网：http://spark.apache.orgSpark是一个快速、通用、可扩展的大数据分析引擎。
Six Gods·2023-11-12 10:47

AI系统ChatGPT源码+详细搭建部署教程+AI绘画系统+支持GPT4.0+Midjourney绘画+已支持OpenAI GPT全模型+国内AI全模型

一、AI创作系统SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-11-12 09:58

Apache Doris 入门教程10：数据导入之Broker Load

因为Doris表里的数据是有序的，所以Brokerload在导入数据的时是要利用doris集群资源对数据进行排序，相对于Sparkload来完成海量历史数据迁移，对Doris的集群资源占用要比较大，这种方式是在用户没有
sunjian286·2023-11-12 09:57

Apache Doris 入门教程12：数据导入之Spark Load

SparkLoad通过外部的Spark资源实现对导入数据的预处理，提高Doris大数据量的导入性能并且节省Doris集群的计算资源。主要用于初次迁移，大数据量导入Doris的场景。
sunjian286·2023-11-12 09:57

最全最系统的 Android 界面性能调优资料

热文导读|点击标题阅读如何进阶成为Android架构师？一个支付宝App竟使用了30多个开源软件吊炸天！74款APP完整源码！界面是Android应用中直接影响用户体验最关键的部分。如果代码实现得不好，界面容易发生卡顿且导致应用占用大量内存。目录一.Android渲染知识1.1绘制原理1.2掉帧1.3为什么是60Fps？1.4垃圾回收1.5UI线程1.6垂直同步1.7UI绘制机制与栅格化二.检测和
Java和Android架构·2023-11-12 08:51

Android界面性能调优手册

转自：http://mp.weixin.qq.com/s/3IEvT54xBY4S_cPu35h1fQAndroid界面性能调优手册2016-12-20安卓开发来源：蔡培培（@Vince蔡培培）链接：https
清澈@Cherry·2023-11-12 08:45

【深度挖掘Java性能调优】「底层技术原理体系」深入挖掘和分析如何提升服务的性能以及执行效率（引导篇）

深入挖掘和分析如何提升服务的性能以及执行效率前提介绍知识要点性能概述教你看懂程序的性能案例介绍性能指标性能的参考指标性能瓶颈（木桶原理）性能分析三大定律Amdahl定律计算公式参数解释案例分析定律总结Gustafson定律与Amdahl定律相对立Gustafson的逻辑公式Sun-Ni定律深入分析Sun-NiSun-Ni定律还强调尽量增大问题规模定律总结课外知识普及前提介绍本篇文章全面介绍了性能优
洛神灬殇·2023-11-12 08:08

SparkAi创作系统ChatGPT网站源码+详细搭建部署教程+AI绘画系统+支持GPT4.0+Midjourney绘画

一、AI创作系统SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
只恨天高·2023-11-12 05:48

Spark的转换算子和操作算子

1Transformation转换算子1.1Value类型1）创建包名：com.shangjack.value1.1.1map()映射参数f是一个函数可以写作匿名子类，它可以接收一个参数。当某个RDD执行map方法时，会遍历该RDD中的每一个数据项，并依次应用f函数，从而产生一个新的RDD。即，这个新RDD中的每一个元素都是原来RDD中每一个元素依次应用f函数而得到的。1）具体实现packagec
shangjg3·2023-11-12 05:11

SparkSQL语法优化

SparkSQL在整个执行计划处理的过程中，使用了Catalyst优化器。
shangjg3·2023-11-12 05:22

Spark的执行计划

Spark3.0大版本发布，SparkSQL的优化占比将近50%。
shangjg3·2023-11-12 05:52

资料免费领取-Flink/Spark/Java/Python/Redis/Kafka/CK/ZK/ES/Flume

首先这是一篇资源福利篇，相信会有很多读者和笔者一样，学习一门技术，至少会有20%的时候来寻找好的学习文章或者书籍。之前在后台提供了相关技术的书籍和视频，但经常有读者后台私信反馈链接失效的问题。由于笔者所有的资源均在某网盘中存放，迁移成本较大，所有这里对获取方式进行了改变，流程可能会有所繁琐，但尽可能节省大家的时间，如还是遇到失效问题，请后台私信进行处理解决。这里先给大家汇总下相关资料，如感兴趣，请
进击吧大数据·2023-11-12 04:13

nginx总结

nginx总结文章目录nginx总结1.简介2.安装3.性能调优3.1zerocopy3.2多路复用器3.3nginx并发处理机制3.4全局模块下调优3.5event模块下的调优3.6http模块下的调优
korn_z·2023-11-12 04:32

大数据-玩转数据-Flume

Flume、Kafka用来实时进行数据收集，Spark、Flink用来实时处理数据，impala用来实时查询。
人猿宇宙·2023-11-12 02:41

软件测试/测试开发丨性能测试体系学习笔记

https://ceshiren.com/t/topic/28412一、性能测试体系1.性能测试介绍为什么要做性能测试有效的性能测试能给研发，运维团队提供有效的容量规划能力，系统风险识别，系统瓶颈识别，性能调优指导
测试开发软件测试性能测试自动化测试·2023-11-12 02:04

大数据博文列表

文章目录说明分享大数据简述搭建hadoop平台单机版集群版安装优化组件hadoophdfsyarnflinkHbaseElasticsearchkafkasparkhiveoozie其他vmwaredocker
羽落风起·2023-11-12 01:05

centos /dev/mapper/cl-root 100% 解决方法

解决方法本来是要在虚拟机上安装grpc进行测试的，结果发现gradle不能使用，然后去安装gradle，安装gradle之前要先安装sdkman，而官网sdkman的安装半天没反应，于是就想着yum试试，结果之前跑spark
写回·2023-11-12 00:23

Spark Streaming发布到Yarn

各位小伙伴周末好，之前写了文章介绍了怎么启动一个简单的SparkStreaming，此文开始介绍Yarn的原理，后续将一步步介绍SparkStreaming与SpringKarfka的项目整合。
cong_han·2023-11-11 23:50

服务日志性能调优，由log引出一系列的事故

只有被线上服务问题毒打过的人才明白日志有多重要！谁赞成，谁反对？如果你深有同感，那恭喜你是个社会人了：）日志对程序的重要性不言而喻，轻巧、简单、无需费脑，程序代码中随处可见，帮助我们排查定位一个有一个问题问题。但看似不起眼的日志，却隐藏着各式各样的“坑”，如果使用不当，不仅不能帮助我们，反而会成为服务“杀手”。本文主要介绍生产环境日志使用不当导致的“坑”及避坑指北，高并发系统下尤为明显。同时提供一
测试萧十一郎·2023-11-11 21:06

jvm 性能调优工具之 jmap

命令jmap是一个多功能的命令。它可以生成java程序的dump文件，也可以查看堆内对象示例的统计信息、查看ClassLoader的信息以及finalizer队列。jmap用法参数：option：选项参数。pid：需要打印配置信息的进程ID。executable：产生核心dump的Java可执行文件。core：需要打印配置信息的核心文件。server-id可选的唯一id，如果相同的远程主机上运行了
wuyongde0922·2023-11-11 20:26

java jmap format_jvm 性能调优工具之 jmap 命令详解

jmap名称：JavaMemoryMap(内存映射)官方文档：https://docs.oracle.com/javase/1.5.0/docs/tooldocs/share/jmap.html功能描述：内容太多，直接看前辈们的总结：JVM内存区域划分EdenSpace、SurvivorSpace、TenuredGen，PermGen解释https://www.cnblogs.com/kxm87/
weixin_39582737·2023-11-11 20:54

jvm性能调优工具之 jmap使用详解

本文来说下jvm性能调优工具之jmap使用详解文章目录概述jmap用法示例一：nooption示例二：heap示例三：histo[:live]示例四：clstats示例五：finalizerinfo示例六
wh柒八九·2023-11-11 20:20

如何将PySpark应用到日常的数据科学工作？

Spark数据处理引擎是一个强大的分析工具，它可以将原始数据转化为有价值的洞察。PySpark是基于Python的API，封装了Spark的核心引擎。
清图·2023-11-11 20:09

spark python_python spark环境配置

放在D盘添加SPARK_HOME=D:\spark-2.3.0-bin-hadoop2.7。并将%SPARK_HOME%/bin添加至环境变量PATH。然后进入命令行，输入pyspark命令。
weixin_39979948·2023-11-11 20:17

本地运行pyspark踩坑

步骤1安装pysparkpip3installpyspark步骤2创建sparksession对象SparkSession.builder.master("local").config("spark.driver.host
轶阳·2023-11-11 20:16

PySpark实战（二）——Spark环境配置

#下载spark安装包cd/export/softwarewgethttps://dlcdn.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz
狻猊来当程序媛·2023-11-11 20:15

Spark类库----PySpark（本地开发环境配置&&远程SSH解释器配置）

我们前面使用过bin/pyspark程序，要注意，这个只是一个应用程序，提供一个Python解释器执行环境来运行Spark任务。
北海怪兽Monster·2023-11-11 20:13

Pyspark,Python下安装Spark，无需安装Hadoop

又是装环境斗志斗勇的一天，苦笑之前一直不想搭虚拟机/Hadoop/spark这些环境，后来python三千万行数据实在跑不动了，知道有pyspark这等好东西，以为condainstallpyspark
Lemon_ZL·2023-11-11 20:40

PySpark环境配置

首先，要知道PySpark是Spark为Python提供的API库，因此使用`pipinstallpyspark`下载pyspark不等于下载了spark。
Maxi_0902·2023-11-11 20:40

如何在虚拟机上安装和配置Spark开发环境

如何文章目录如何在虚拟机上安装和配置Spark开发环境下载解压安装包配置环境变量：修改Spark配置文件校验在虚拟机上安装和配置Spark开发环境背景：ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎
Deng872347348·2023-11-11 19:39

python—spark本地安装及环境变量配置

Spark介绍Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目
Sun_shine99·2023-11-11 19:38

2021-06-10

RDD编程实践RDD编程实践1、需求描述Spark的核心是建立在统一的抽象弹性分布式数据集（ResilienntDistributedDatasets，RDD）之上的，这使得Spark的各个组件可以无缝地进行集成
weixin_43368981·2023-11-11 19:00

大数据毕业设计选题推荐-生产大数据平台-Hadoop-Spark-Hive

✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着工业化进程的加
IT毕设梦工厂·2023-11-11 18:15

解决PySpark导入Python的问题

通过在“CMD”命令提示符程序内，输入：pipinstallpyspark安装PySpark时，遇到了导入PySpark包时无法找到SparkConf和SparkContext的问题。
不吃花椒的兔酱·2023-11-11 17:26

基于Docker快速安装Spark及基础使用

基于Docker快速安装Spark及基础使用实战环境信息docker编排工具docker-compose安装使用官网指导方式安装（不推荐）使用国内镜像源安装(推荐)安装docker的spark镜像结果通过
小小马里奥ぅ·2023-11-11 14:36
上一页 55 56 57 58 59 60 61 62 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他