yarn参数调优

【Spark精讲】Spark on Hive性能优化

目录第一章1.1集群配置概述1.2集群规划概述第二章Yarn配置2.1Yarn配置说明yarn.nodemanager.resource.memory-mbyarn.nodemanager.resource.cpu-vcoresyarn.scheduler.maximum-allocation-mbyarn.scheduler.minimum-allocation-mb
话数Science·2024-01-05 10:10

大数据开发学习资料汇总

Hadoop实战_2Hadoop源码分析大数据处理系统：Hadoop源代码情景分析Hadoop开发者入门专刊Hadoop技术内幕：深入解析MapReduce架构设计与实现原理Hadoop技术内幕：深入解析YARN
比屋大数据·2024-01-05 08:44

flink on yarn任务启停脚本(实现一键读取ck启动，保存ck停止）

1.问题描述flink同步任务，长期任务过多，某个任务停止保存checkpoint或者savepoint后，修改代码，使用命令行读取检查点重新启动需要人工去hdfs上找寻检查点保存位置。任务过多管理起来很不方便。鉴于此，使用脚本编写了一套启停代码，可以自动的停止flink任务并保存savepoint，读取检查点启动，也可以实现批量的启停废话不多说，脚本如下2.问题解决vimflink_task_s
tuoluzhe8521·2024-01-05 06:20

XGBoost参数调优完全指南（附Python代码）

1.简介如果你的预测模型表现得有些不尽如人意，那就用XGBoost吧。XGBoost算法现在已经成为很多数据工程师的重要武器。它是一种十分精致的算法，可以处理各种不规则的数据。构造一个使用XGBoost的模型十分简单。但是，提高这个模型的表现就有些困难(至少我觉得十分纠结)。这个算法使用了好几个参数。所以为了提高模型的表现，参数的调整十分必要。在解决实际问题的时候，有些问题是很难回答的——你需要调
婉妃·2024-01-05 06:16

css sourcemap 源代码映射

=='production',}重新运行：yarnserve效果：
边中之城·2024-01-05 04:00

单测结果不稳定的终极解决方案(Maven单测参数调优)

一、前言近期，在公司平台执行单测任务时，我发现到一个显著的问题：我们的一个应用，在公司平台上执行单测时，即使是相同的代码，每次的执行结果（包括行覆盖率以及单测通过率）都存在差异。更具体地说，许多在本地环境中能够成功执行的测试用例，在公司平台上却遭遇了失败。为了解决这个问题，我进行了广泛的信息搜索，咨询了ChatGPT，并尝试了多种可能的解决方案。经过不懈的努力，我终于找到了问题的根源并成功解决了它
程序员Daddy·2024-01-04 22:23

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2024-01-04 21:46

yarn卸载与版本降级升级

yarn卸载brewuninstallyarn-gyarn安装指定版本npminstall-gyarn@版本号yarn升级到指定版本yarnupgradev1.21.3yarn降低到指定版本（先卸载，再安装
votaries·2024-01-04 20:38

2024.1.3 Spark on Yarn部署方式与工作原理

目录Spark集群类型有以下几种：Spark的部署方式有以下几种：SparkonYARN的部署方式有两种：client模式和cluster模式。
白白的wj·2024-01-04 11:44

项目 引入 uView

安装npminstalluview-ui//或yarnadduview-uimain.js引入importVuefrom'vue';importuViewfrom'uview-ui';Vue.use(uView
大可-·2024-01-04 10:52

npm、pnpm和yarn 的区别

目前，最流行的包管理工具有npm、yarn和pnpm，它们各有各的特点和优劣势。本文将试着对这三个工具进行全面的对比。
Huang_xianlong·2024-01-04 09:33

Java技术栈 —— Hadoop入门（一）

Java技术栈——Hadoop入门（一）一、Hadoop第一印象二、安装Hadoop三、Hadoop解析3.1Hadoop生态介绍3.1.1MapReduce-核心组件3.1.2HDFS-核心组件3.1.3YARN
键盘国治理专家·2024-01-04 08:02

2024.1.3 Spark架构角色和提交任务流程

目录一.Yarn的角色回顾二、Spark提交任务流程1、SparkOnStandalone2.SparkonYarn三.Spark比MapReduce执行效率高的原因四.Spark的排序算子一.Yarn
白白的wj·2024-01-04 08:46

用python抓取yarn和jstorm界面资源信息在grafana展示

/usr/bin/envpython3#-*-coding:UTF-8-*-#抓取yarn
运维仙人·2024-01-04 07:29

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2024-01-04 07:35

2018-08-06 最近处理的问题

使用私有仓库和jar的版本，配置settings.xml认证登录私有仓库，最终可以下载jar包项目编译使用了maven的antplugin：protoc，镜像中没有安装，最后编译失败项目中需要nodejs和yarn
五大RobertWu伍洋·2024-01-04 03:39

从零开始了解大数据(五)：YARN篇

目录前言一、HadoopYARN介绍二、HadoopYARN架构与组件1.ResourceManager（RM）2.NodeManager（NM）3.ApplicationMaster三、程序提交YARN
橘子-青衫·2024-01-04 02:20

从零开始了解大数据(七)：总结

博客从零开始了解大数据(二)：Hadoop篇-CSDN博客从零开始了解大数据(三)：HDFS分布式文件系统篇-CSDN博客从零开始了解大数据(四)：MapReduce篇-CSDN博客从零开始了解大数据(五)：YARN
橘子-青衫·2024-01-04 02:19

极光推送 jpush-react-native

npminstalljpush-react-native--save(或者yarnaddjpush-react-native)npminstalljcore-react-native--save(或者yarnaddcore-react-nat
Metoo丶淡然·2024-01-04 01:51

antv/x6 2.x 搭建流程图编辑页面（1）

//yarn方式yarncreate@vitejs/appv3-ts--templatevue-tscdv3-tsyarnyarndev//npmnpminit@vitejs/appv3-ts--templatevue-tscdv3
bigHead-·2024-01-04 01:31

antv/x6_2.0学习使用（一、安装引入）

安装引入安装通过npm或yarn命令安装x6#npm$npminstall@antv/x6--save#yarn$yarnadd@antv/x6安装完成之后，使用import进行引用import{Graph
bigHead-·2024-01-04 01:31

yarn serve和yarn run serve

不知道你们有没有试过省略run,直接执行yarnserve（yarndev），我的同事尝试这样运行项目，项目启动成功且正常运行，而我使用的时候，项目能成功启动，但是项目中的功能却会出现一些奇怪的bug。
小话梅噢·2024-01-03 21:25

大数据Hadoop入门学习线路图

Hadoop是系统学习大数据的必会知识之一，Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的
千_锋小小千·2024-01-03 19:12

简述spark的架构与作业提交流程

1.首先spark在yarn下的作业提交分两种，一种是yarn-cluster模式，一种是yarn-client模式。
scott_alpha·2024-01-03 18:48

vue3引入高德地图流程（key和秘钥），仅需三步

步骤一：申请key和秘钥步骤二：安装@amap/amap-jsapi-loader依赖cnpmi@amap/amap-jsapi-loader//或者yarnadd@amap/amap-jsapi-loader
第7个前端·2024-01-03 17:07

开源大数据集群部署（一）集群实施规划

CentOSLinuxrelease7.8.2003(Core)java版本javaversion“1.8.0_281”hadoop版本hadoop3.2.4集群版本规划集群组建版本HDFS3.2.4YARN3.2.4M
云掣YUNCHE·2024-01-03 15:42

单机Nginx性能优化

静态文件的缓存优化了网页加载，超时机制会让Client与Server的响应不会长时间阻塞，GZIP压缩提升IO效率、减少我们发送的数据量，限流来预防DOS攻击，TCP参数调优提升传输效率。
JacksonY·2024-01-03 15:52

linux参数调优

查看文件句柄数ulimit-a临时修改文件句柄数（退出shell将重置）ulimit-n65535永久修改文件句柄数使用root账号vi/etc/security/limits.conf末尾新增以下内容*softnofile65535*hardnofile65535*softnproc65535*hardnproc65535修改用户可用最大进程数使用root账号vi/etc/security/li
芸尚非·2024-01-03 13:44

echart 3D环形图 动态切换数据

动态切换数据主要是定时器（setInterval）1.下载：因为3D图涉及到了echart的gl库，所以需要下载echart和echarts-glyarnaddechartyarnaddecharts-gl2
zc自由飞~·2024-01-03 12:45

vue-pdf的使用

首先要引入vue-pdf我使用的是yarnaddvue-pdf首先要将流文件转为pdfimportpdffrom'vue-pdf'exportdefault{components:{'v-pdf':pdf
zc自由飞~·2024-01-03 12:15

vue echart 3D环形图 静态

1.下载：因为3D图涉及到了echart的gl库，所以需要下载echart和echarts-glyarnaddechartyarnaddecharts-gl2.引入import*asechartsfrom'echarts'import'echarts-gl
zc自由飞~·2024-01-03 12:15

数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级

月份的更新，感谢大家的支持，本次更新主要包括以下内容：数据库支持MongoDB数据接入支持MongoDB，支持自定义SQL采集，支持停止运行中的任务数据生产支持FlinkJar任务，分为Standalone和YarnApplication
小螺旋丸·2024-01-03 10:21

数字化转型必备：数睿通 2.0 数据中台升级详解

Doris导致无法建表的问题优化贴源数据模块，改为读取数据库的元数据，与同步的数据做关联匹配此外，数据生产模块很多朋友对于Hadoop模式下的生产任务用不明白，所以本篇文章会讲解一下数据生产模块HadoopYarnP
小螺旋丸·2024-01-03 10:51

项目中接入神策埋点

项目中接入神策埋点（免费），react和vue通用1、下包使用npm或yarn或pnpm安装依赖npminstall--savesa-sdk-javascript2、初始化准备：定义环境变量VITE_PROJECT_ENV
阳光下的小蒙·2024-01-03 06:13

安装yarn

安装完node之后，安装yarnnpmi-gyarn再安装一个@vue/cli（必须安装，或者安装其他）yarnglobaladd@vue/cli在配置环境变量以我个人为例->C:\Users\mars.LAPTOP-O8D5RES7
偶头像超凶·2024-01-03 06:07

shell编程之find

-userhdfs-group查找文件属组为yarn的所有文件find.-groupyarnf文件find.-typefd目录find.
hemingkung·2024-01-03 06:13

vue3+vite 项目常用库

特别注意：需要使用管理员权限来打开命令提示符，不然会出现各种报错yarnnpminstall-gyarnvite1.使用vite创建项目yarncreatevite2.安装包和运行yarnyarndev3
班长胡一可·2024-01-02 22:21

使用pdfh5.js预览pdf 使用jspdf与html2canvas导出pdf

1.开发工具VScode2.使用框架Taro3.安装pdfh5yarnaddpdfh54.安装jspdfyarnaddjspdf5.安装html2canvasyarnaddhtml2canvas6.使用在
笑语解愁苦·2024-01-02 16:22

【Hadoop】如何启动和关闭Hadoop集群

启动Hadoop集群关闭Hadoop集群启动Hadoop集群参考官方文档ApacheHadoop3.3.6–HadoopClusterSetup要启动Hadoop集群，需要同时启动HDFS和YARN集群
不怕娜·2024-01-02 10:29

【Hadoop】集群配置之主要配置文件（hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml...）

Hadoop配置文件模板core-site.xmlhadoop-env.shhdfs-site.xmlyarn-env-shyarn-site.xmlmapred-site.xmlslavesHadoop
不怕娜·2024-01-02 10:27

Vue开发环境搭建依赖包

npmupdate-g@vue-clivueupdateyarnconfigsetignore-enginestruenpmrunbuildnpminstall--save-devwebpack
woshidaniu·2024-01-02 07:19

Apache Flink连载（二十三）：Flink HA - Flink基于Yarn HA

博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.YarnHA配置2.启动测试</
IT贫道·2024-01-02 04:42

【2023】hadoop基础介绍

目录Hadoop组成HDFSHDFS操作HDFS分布式文件存储NameNode元数据数据读写流程YARN和MapReduceMapReduce：分布式计算YARN：资源管控调度YARN架构提交任务到**
方渐鸿·2024-01-02 03:26

Taro H5 在支付宝打开白屏的问题解决

二、解决步骤1.添加Babelyarnadd@
迷途小码农零零发·2024-01-02 01:23

Yarn安装：高效、可靠的包管理工具

Yarn安装：高效、可靠的包管理工具大家好，我是免费搭建查券返利机器人赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！
虫小宝·2024-01-01 23:40

解决npm，pnpm，yarn等安装electron超时等问题

我在安装electron的时候，出现了超时等等各种问题：（RequestError:connectETIMEDOUT20.205.243.166:443）npmyarn：RequestError:connectETIMEDOUT20.205.243.166
1024小神·2024-01-01 23:40

2018-05-21

分别做什么hdfs是存储数据的，yarn是管理调度作业的，mr是计算处理的3.hdfs在部署时，要配置信任关系，请问root和hadoop用户部署时，区别是什么root的权限高，可以不用管，普通用户需要修改
CrUelAnGElPG·2024-01-01 23:55

uni.getlocation 怎么调用百度地图

你可以通过npm或者yarn来安装该插件。在你的manifest.json文件中，添加uni-plugin-baidumap插件的配置。确保你已经获取了百度地图的APIKey。
zz_ll9023one·2024-01-01 23:37

详解大数据数据仓库分层架构

大数据数据仓库是基于HIVE构建的数据仓库，分布文件系统为HDFS，资源管理为Yarn，计算引擎主要包括MapReduce/Tez/Spark等，分层架构如下：1、数据来源层：日志或者关系型数据库，并通过
Alukar·2024-01-01 14:47

介绍一下ts

下面是使用TypeScript时需要注意的事项：安装：首先需要安装TypeScript编译器，可以在命令行中使用npm或yarn进行安装。类
嘘~！·2024-01-01 13:49
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他