spark调优

Hbase BulkLoad用法

要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。
kikiki1·2024-01-13 12:43

JVM+GC解析

四、JVM调优和参数配置
知更鸟女孩·2024-01-13 12:15

Spark 读excel报错，scala.MatchError

Spark3详细报错：scala.MatchError:Map(treatemptyvaluesasnulls->true,location->viewfs://path.xlsx,inferschema
CoderOnly·2024-01-13 10:35

大数据系列 | CDH6.3.2（Cloudera Distribution Hadoop）部署、原理和使用介绍

大数据系列|CDH6.3.2（ClouderaDistributionHadoop）部署、原理和使用介绍1.大数据技术生态中Hadoop、Hive、Spark的关系介绍2.CDN（ClouderaDistributionHadoop
降世神童·2024-01-13 10:50

Flink CDC 实时抽取 Oracle 数据-排错&调优

对该版本进行试用并成功实现了对Oracle的实时数据捕获以及性能调优，现将试用过程中的一些关键细节进行分享。
Denny辉·2024-01-13 09:48

Spark原理——逻辑执行图

逻辑执行图明确逻辑计划的边界在Action调用之前，会生成一系列的RDD,这些RDD之间的关系，其实就是整个逻辑计划valconf=newSparkConf().setMaster("local[6]"
我像影子一样·2024-01-13 09:17

Spark原理——物理执行图

物理执行图物理图的作用是什么?问题一:物理图的意义是什么?物理图解决的其实就是RDD流程生成以后,如何计算和运行的问题,也就是如何把RDD放在集群中执行的问题问题二:如果要确定如何运行的问题,则需要先确定集群中有什么组件首先集群中物理元件就是一台一台的机器其次这些机器上跑的守护进程有两种:Master,Worker每个守护进程其实就代表了一台机器,代表这台机器的角色,代表这台机器和外界通信例如我们
我像影子一样·2024-01-13 09:17

Spark原理——总体介绍

总体介绍编写小案例（wordcount）@TestdefwordCount():Unit={//1.创建sc对象valconf=newSparkConf().setMaster("local[6]").
我像影子一样·2024-01-13 09:17

RDD算子——转换操作（Transformations ）【map、flatMap、reduceByKey】

一、mapmap算子#spark-shellsc.parallelize(Seq(1,2,3)).map(num=>num*10).collect()#IDEA@TestdefmapTest():Unit
我像影子一样·2024-01-13 09:47

Spark原理——运行过程

运行过程逻辑图是什么怎么生成具体怎么生成valtextRDD=sc.parallelize(Seq("HadoopSpark","HadoopFlume","SparkSqoop"))valsplitRDD
我像影子一样·2024-01-13 09:44

时政新闻学英语之22：孙杨与361°的你来我往

本文选自chinadaily，文章链接见Sun'ssuitsparkscontroversy。
小书童札记·2024-01-13 09:12

使用spark将MongoDB数据导入hive

使用spark将MongoDB数据导入hive一、pyspark1.1pymongo+spark代码importjson,sysimportdatetime,timeimportpymongoimporturllib.parsefrompyspark.sqlimportSparkSessionfrompyspark.sql.typesimportStructType
awsless·2024-01-13 09:16

Spark---RDD持久化

文章目录1.RDD持久化1.1RDDCache缓存1.2RDDCheckPoint检查点1.3缓存和检查点区别1.RDD持久化在Spark中，持久化是将RDD存储在内存中，以便在多次计算之间重复使用。
肥大毛·2024-01-13 07:40

Spark---RDD依赖关系

文章目录1.1RDD依赖关系1.2血缘关系1.3依赖关系分类1.3.1窄依赖1.3.2宽依赖1.4RDD阶段划分和任务划分1.4.1RDD阶段划分1.4.2RDD任务划分1.1RDD依赖关系在Spark
肥大毛·2024-01-13 07:09

Spark-RDD详解

SPARK–RDD1、RDD的介绍RDD弹性分布式数据集合是Spark中的一种数据类型，管理spark的内存数据[1,2,3,4]spark中还有dataframe，dataset类型拓展：开发中可以通过类的形式自定以数据类型同时还提供各种计算方法弹性可以对海量数据根据需求分成多份
中长跑路上crush·2024-01-13 07:09

MySQL夯实之路-查询性能优化深入浅出

MySQL调优分析explain；showstatus查看服务器状态信息优化减少子任务，减少子任务执行次数，减少子任务执行时间（优，少，快）查询优化分析方法1．访问了太多的行和列：确认应用程序是否在检索大量超过需要的数据
⁢200·2024-01-13 07:34

Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据类型不兼容报错解决

1、版本介绍：doris版本：1.2.8SparkConnectorforApacheDoris版本：spark-doris-connector-3.3_2.12-1.3.0.jar:1.3.0-SNAPSHOTspark
Data_IT_Farmer·2024-01-13 07:57

Spark十一：面试问题

完整内容见：https://mp.weixin.qq.com/s/caCk3mM5iXy0FaXCLkDwYQ1.通常来讲，Spark与MapReduce相比，Spark运行效率更高，请说明效率更高来源于
eight_Jessen·2024-01-13 07:57

Spark的内核调度

目录概述RDD的依赖DAG和StageDAG执行流程图形成和Stage划分Stage内部流程SparkShuffleSpark中shuffle的发展历程优化前的Hashshuffle经过优化后的HashshuffleSortshuffleSortshuffle
Sisi525693·2024-01-13 07:56

最新AI绘画Midjourney绘画提示词Prompt大全

一、Midjourney绘画工具SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-01-13 07:55

Spark十：故障排除

Spark常见故障和排除方法学习资料：https://mp.weixin.qq.com/s/caCk3mM5iXy0FaXCLkDwYQ一、避免OOM-outofmemory在Shuffle过程中，reduce
eight_Jessen·2024-01-13 07:22

git 提交符号

改进代码结构/代码格式⚡️(闪电):zap:提升性能(赛马):racehorse:提升性能(火焰):fire:移除代码或文件(bug):bug:修复bug(急救车):ambulance:重要补丁✨(火花):sparkles
思绪万千133·2024-01-13 07:12

2021-12-24 今日要事三件：觉察后的收获

今日计划：1五点早起2走路上班3圈子打卡4阅读并记录笔记5工作上联调优化代码，学习同事的代码，cr，周会6知识星球分享打卡小确幸：1昨天工作效率很棒，联调代码整体推进顺利，通过学习同事的代码，发现了不少值得自己学习提高的点
GuangHui·2024-01-13 06:00

Spark Streaming

SparkStreaming随着大数据技术的不断发展，人们对于大数据的实时性处理要求也在不断提高，传统的MapReduce等批处理框架在某些特定领域，例如实时用户推荐、用户行为分析这些应用场景上逐渐不能满足人们对实时性的需求
奋斗的蛐蛐·2024-01-13 06:13

hive三种计算引擎

1、配置mapreduce计算引擎sethive.execution.engine=mr;2、配置spark计算引擎sethive.execution.engine=spark;3、配置tez计算引擎sethive.execution.engine
IT达人_j·2024-01-13 05:45

JVM 8 调优指南：如何进行JVM调优，JVM调优参数

这篇文章将详细介绍如何进行JVM8调优，包括JVM8调优参数及其应用。此外，我将提供12个实用的代码示例，每个示例都会结合JVM启动参数和Java代码。
架构师专栏·2024-01-13 05:44

【JVM的相关参数和调优】

文章目录JVM调优的参数类型一、标配参数二、X参数三、XX参数JVM调优的常用参数JVM调优的参数类型一、标配参数这类此参数在jdk的各个版本之间很少会变化，基本不改变java-version，查看当前电脑上的
学习愚公·2024-01-13 05:43

基于大数据与时间序列预测的的书籍数据分析（内含spark+hive+mysql+kettle+echart+tensorflow）

目录一，绪论1、项目背景：2、目标：3、用户群体：二．相关开发技术介绍（一）后端相关技术1.sparkSQL简介2.kettle简介3.tensorflow简介（二）前端相关技术1.HTML简介2.echarts
左岸2420·2024-01-13 05:59

JVM 11 调优指南：如何进行JVM调优，JVM调优参数

JVM11的优化指南：如何进行JVM调优，以及JVM调优参数有哪些”这篇文章将包含JVM11调优的核心概念、重要性、调优参数，并提供12个实用的代码示例，每个示例都会结合JVM调优参数和Java代码本文已收录于
架构师专栏·2024-01-13 05:19

Linux使用websocket协议连接数量过大内核调优

websocket的并发只和服务端有关打开文件/etc/sysctl.conf，增加以下设置设置系统的TIME_WAIT的数量，如果超过默认值则会被立即清除net.ipv4.tcp_max_tw_buckets=20000客户端与服务器端建立TCP/IP连接后关闭SOCKET后，服务器端连接的端口状态为TIME_WAIT,time_wait状态是四次挥手中server向client发送FIN终止连
Iterate·2024-01-13 04:08

JVM调优工具-VisualVM 远程连接服务器

通过windows系统中的VisualVM工具，监控Linux系统的测试环境或uat环境或生成环境，来监控JVM内存。VisualVm提供在Java虚拟机（JavaVirutalMachine，JVM）上运行的java应用程序。只有按照了jdk，就可以在bin目录下，找到启动程序。以下是具体步骤：一、再windows系统中，启动VisualVM在windows系统中java安装目录中jdk/bin
h_and_g·2024-01-13 03:26

Hadoop/Spark安装

单机安装Hadoop安装Javasudoapt-getinstalldefault-jdkjava-version2.设置Hadoop用户和组sudoaddgrouphadoopsudoadduser--ingrouphadoophduser3.安装并配置SSH$sudoapt-getinstallssh$suhduser$ssh-keygen-trsa-P""cat~/.ssh/id_rsa.p
周倜吉·2024-01-13 03:40

E往无前｜腾讯云大数据ES索引原理剖析及写入性能优化最佳实践

在我们服务腾讯云ES的客户过程中，经常会收到一些客户对云上ES集群读写性能未能达到预期的反馈，并希望我们能够配合做一些性能压测及调优的工作。
腾讯云大数据·2024-01-13 02:55

Flink

GoogleFileSystemBigTableMapReduceHDFSHBaseHadoopHadoop基于硬盘，可以处理海量数据；Spark基于内存，性能提高百倍，微批（500ms）；Flink基于
三半俊秀·2024-01-13 01:53

并发编程（九）

线程是稀缺资源，如果无限制地创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一分配、调优和监控。但是，要做到合理利用线程池，必须对其实现原理了如指掌。
沐暖沐·2024-01-13 01:09

性能分析与调优: Linux 实现 CPU剖析与火焰图

目录一、实验1.环境2.CPU剖析3.CPU火焰图一、实验1.环境（1）主机表1-1主机主机架构组件IP备注prometheus监测系统prometheus、node_exporter192.168.204.18grafana监测GUIgrafana192.168.204.19agent监测主机node_exporter192.168.204.202.CPU剖析（1）CPU剖析①命令使用perf命
cronaldo91·2024-01-13 00:52

产品调研——AI平台

腾讯云-TI平台TI平台将tensorflow、pytorch、spark环境等均集成到一个Notebook容器中，供用户进行使用。sh-4.2$condaenvlist#condae
chenxy02·2024-01-13 00:49

70、C++ - 仓库目录结构介绍

仓库链接还是在：cv_learning_from_scratch:课程[CV视觉从算法到调优]代码只不过C++部分在cv_learning_from_scr
董董灿是个攻城狮·2024-01-12 23:05

Spark中Rdd算子和Action算子--学习笔记

RDD算子filter"""rdd.filter(f):根据f函数中的判断条件对rdd追踪的数据进行过滤保留条件为True对应的rdd数据"""frompysparkimportSparkContextsc
祈愿lucky·2024-01-12 23:24

终于搞懂了苦恼已久的JVM的类加载机制

如果懂得了JVM的运行原理和内存模型，像是一些JVM调优、垃圾回收机制等等的问题我们才能有一个更清晰的概念。
平凡的柚子·2024-01-12 22:43

如何进行大数据系统测试

ApacheSpark架构：Spark提供了基于内存
Feng.Lee·2024-01-12 21:41

出海企业如何 "借力" 实现快速成长 | Google Play 开发者中文播客节目

image本期简介"独行快，众行远"，作为帮助初创企业获得快速成长的加速器，LeanSpark是连接不同伙伴资源的整合者，更是技术赋能的有力后盾、帮助创业团队出海开辟市场时避坑的引路人。
谷歌开发者·2024-01-12 21:20

线程池的一些面试题

(3)提高线程的可管理性，线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。1.1常用方式那java中是怎样实现的线程池呢？
陈二狗想吃肉·2024-01-12 19:21

JVM基础（9）——新生代调优

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介本章和下一章，我们将通过一个实际案例讲解如何进行JVM参数调优：
smart哥·2024-01-12 19:48

师傅带练|在线实习项目，提供实习证明

机器学习）某平台广东省区采购数据分析（Excel供需分析）产品订单的数据分析与需求预测（Python营销分析）基于注意力机制的评论者满意度分析（TensorFlow与NLP）基于锅炉工况实现蒸汽产生量预测（Spark
泰迪智能科技·2024-01-12 19:11

71、Spark SQL之JDBC数据源复杂综合案例实战

JDBC数据源实战SparkSQL支持使用JDBC从关系型数据库（比如MySQL）中读取数据。读取的数据，依然由DataFrame表示，可以很方便地使用SparkCore提供的各种算子进行处理。
ZFH__ZJ·2024-01-12 18:37

【算法分析与设计】和为k的子数组

目录问题示例方案一：思路：算法设计代码实现运行结果：方案二(调优)思路（前缀和）算法设计示意图代码实现运行结果问题给你一个整数数组nums和一个整数k，请你统计并返回该数组中和为k的子数组的个数。
五敷有你·2024-01-12 17:46

kafka下载安装部署

它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/spark流式处理引擎。kafka的特性：1.高吞吐量、低延迟
倚-天-照-海·2024-01-12 15:25

一篇文章就足够解决大数据实时面试

大数据实习面试题详解··bysukiKafka参数调优的注意事项监控和了解系统瓶颈：在调优之前，首先要监控和了解系统的瓶颈。
cjpp老白·2024-01-12 15:45

Linux性能调优技术概览

Linux性能调优技术概览概述这里的Linux性能调优主要是关于Linux系统上程序的性能跟踪，因为只有收集到足够的准确的性能数据才能找到程序和系统的性能瓶颈。
Ahxing1985·2024-01-12 15:12
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他