HDFS&YARN

Hadoop -- HDFS

什么是Hadoophadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台：YARN
Cool_Pepsi·2024-01-23 02:42

Vue的Vue-ls使用

1.安装NPMnpminstallvue-ls--saveYARNyarnaddvue-ls2.使用importStoragefrom'vue-ls';options={namespace:'vuejs
清远_03d9·2024-01-22 22:31

二、nuxt.js中使用bootstrapvue框架

1、安装bootstrap-vue、jQuery、postcss、postcss-loaderyarnaddbootstrap-vueyarnaddjqueryyarnaddpostcssyarn
叶小七的真命天子·2024-01-22 21:41

大数据学习之Flink，了解Flink的多种部署模式

：缺点：1.3应用模式（ApplicationMode）：2.独立部署：2.1概念：2.2部署在会话模式下：2.3部署在单作业模式下：【Pass】2.4部署在应用模式下：2.5部署在高可用模式下：3.YARN
十二点的泡面·2024-01-22 19:24

VUE项目build后自动生成zip压缩包

webpage项目使用方式安装filemanager-webpack-plugin插件npminstallfilemanager-webpack-plugin-D#oryarnaddfilemanager-webpack-plugin-D
xxley·2024-01-22 18:48

error An unexpected error occurred: “https://registry.npm.taobao.org/axios: unable to verify t

errorAnunexpectederroroccurred:“https://registry.npm.taobao.org/axios:unabletoverifythefirstcertificate”.解决办法：yarnconfigset
徐同保·2024-01-22 17:22

大数据平台软硬件规划

2.YARN集群节点规划根据任
小枫@码·2024-01-22 17:17

微信小程序导入带有vant的项目,出现错误"pages/index/index.json: ["usingComponents"]["van-field"]: "@vant/weapp/fiel...

image.png解决办法一.安装vant1.通过npm安装npmi@vant/weapp-S--productionnpmivant-weapp-S--production(安装0.x版本)2.通过yarn
kingLeft7·2024-01-22 14:26

部署到 GitHub & 设置 publicPath

1、打开终端，输入yarnbuild进行打包,目录会出现一个dist目录，点击终端出现的链接。
飞天小猪_pig·2024-01-22 13:39

vue-router 路由创建简单流程

创建项目2.安装路由3.创建文件1.HelloWorld.vue文件2.Test.vue文件3.index.js文件4.main.js文件5.App.vue文件三.运行项目1.在项目文件下打开cmd，输入yarnserve2
李子木、·2024-01-22 12:20

前端上传图片至OSS

dependencies加上"ali-oss":"^6.17.1"如下代码所示：//加入后的整体展示"dependencies":{"ali-oss":"^6.17.1"},然后在控制台执行npminstall或yarninstall
曾小白不想写SQL·2024-01-22 11:00

React 中保存页面状态，在react中实现vue的keep-alive，React Activation

react-activation/README_CN.mdatd08219cba1fd3bc2ddd18b382eac656f1826d65d·CJY0208/react-activation·GitHub1、安装yarnaddreact-activ
LLL_LH·2024-01-22 11:56

学习记录: VuePress的基本使用

VuePress文档地址https://vuepress.vuejs.org/项目初始化mkdirvuepress-democdvuepress-demonpminit-y安装vuepress为本地依赖yarnaddvuepress-D
旺财麻麻·2024-01-22 08:56

Flink（四十九）—— Flink on Yarn / K8s 原理剖析及实践

本文根据ApacheFlink进阶篇系列直播课程整理而成，由阿里巴巴技术专家周凯波（宝牛）分享，主要介绍FlinkonYarn/K8s的原理及应用实践，文章将从Flink架构、FlinkonYarn原理及实践
weixin_42073629·2024-01-22 08:03

flink on yarn 三种部署模式的相关命令及其差异

官方文档：https://flink.apache.org/2020/07/14/application-deployment-in-flink-current-state-and-the-new-application-mode/#application-submissionhttps://nightlies.apache.org/flink/flink-docs-release-1.18/do
bigdata-rookie·2024-01-22 08:03

Flink on YARN（下）：常见问题与排查思路

杨弢（搏远），阿里巴巴计算平台事业部技术专家，ApacheHadoopCommitter，目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。
Apache Flink·2024-01-22 08:33

Flink on yarn 实时日志收集到 kafka 打造日志检索系统

点击上方"JasonLee实时计算",选择"设为星标"再也不用担心错过重要文章后台回复"监控",获取grafana监控Flink最新的模板背景在Flinkonyarn的模式下,程序运行的日志会分散的存储在不同的
JasonLee实时计算·2024-01-22 08:33

一张图轻松掌握 Flink on YARN 基础架构与启动流程

杨弢（搏远），阿里巴巴计算平台事业部技术专家，ApacheHadoopCommitter，目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。
zhisheng_blog·2024-01-22 08:02

flink部署模式（二）- yarn三种部署模式

基于flink1.15.0SessionModeonyarn开启flinkyarn-session集群.
PONY LEE·2024-01-22 08:32

[flink]一Flink部署|配置文件|提交作业|部署模式|独立模式部署|yarn模式部署

一、集群部署集群规划节点服务器hadoop1hadoop2hadoop3hadoop4角色JobManagerTaskManagerTaskManagerTaskManagerTaskManager1、flink-conf.yaml从16版本开始1-9行必须改集群才能用#JobManager节点地址.jobmanager.rpc.address:hadoop1jobmanager.bind-hos
胖胖学编程·2024-01-22 08:30

Flink集群部署到YARN上的提交流程

第一步:Flink任务提交后，Client向HDFS上传Flink的Jar包和配置第二步:之后向YarnResourceManager提交任务，ResourceManager分配Container资源并通知对应的
疯子1313·2024-01-22 08:00

【Flink】Flink on Yarn 翻译 使用 hdfs jar yarn.provided.lib.dirs

群友写了UDF.jar想放到hdfs上，然后运行的时候，希望指定hdfsjar，希望能加载进去尝试使用如下方法发现不可以后面经过网友一起讨论，发现有这个参数yarn.provided.lib.dirs。
九师兄·2024-01-22 08:59

【Flink】部署模式-会话模式/单作业模式/应用模式/Yarn模式/独立模式/K8s模式

（Per-JobMode）应用模式（ApplicationMode）结合资源提供者（ResourceProvider）下的部署模式独立模式（Standalone）会话模式部署单作业模式部署应用模式部署YARN
清清清清风·2024-01-22 08:59

13.Flink之Flink on Yarn/K8s 原理剖析及实践

当JobGraph提交给Flink集群后，能够以Local、Standalone、Yarn和Kuberne
吃胖点儿·2024-01-22 08:58

Hadoop基本概论

2.大数据的特点3.大数据应用场景二、Hadoop概述1.Hadoop定义2.Hadoop发展历史3.Hadoop发行版本4.Hadoop优势5.Hadoop1.x/2.x/3.x6.HDFS架构7.Yarn
LzYuY·2024-01-22 08:25

flink结合Yarn进行部署

1.什么是Yarn模式部署Flink独立（Standalone）模式由Flink自身提供资源，无需其他框架，这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。
201001070·2024-01-22 08:17

Flink（十四）【Flink SQL（中）查询】

FlinkSQL查询环境准备：#1.先启动hadoopmyhadoopstart#2.不需要启动flink只启动yarn-session即可/opt/module/flink-1.17.0/bin/yarn-session.sh-d
让线程再跑一会·2024-01-22 08:14

vant组件库的简单使用

element-uielement-plusiviewelement-plusiviewant-design移动端：vant-uiMintUI(饿了么)CubeUI(滴滴)…2.vant组件库主要参考官网：Vant官网3.vant按需导入（官网推荐）参考官网：Vant官网步骤如下：安装vant-uiyarnaddvant
盖盖衍上·2024-01-22 03:47

25.集群异常故障分析——HOSTS

25.1问题情况Hadoop集群HDFS、YARN、Hive等服务出现异常告警重启集群异常告警任然存在大量告警Cluster1HDFS可用空间抑制...NameNode运行状况抑制...HDFS金丝雀抑制
大勇任卷舒·2024-01-22 02:51

vue3+ts项目引入雪花id报错

在更新公司项目的时候发现如下报错：在经过询问之后，了解到要解决这个报错需要如下步骤：（1）在终端控制台中输入：pnpmh(或者是yarn)installsimple-flakeid然后等待其下载安装（2
沉醉何欢凉·2024-01-21 19:52

一些常用软件的镜像的更换方法汇总

，下面列举一些主要平台的镜像地址平台方法备注nvmNVM_NODEJS_ORG_MIRROR=nvminstallnpmnpm--registryinstallnpmconfigsetregistryyarnyarnconfigsetregistrypippipinstall-ipipconfigsetglobal.index-urlhuggingfaceexp
socrates·2024-01-21 19:01

spark on yarn安装部署

sparkonyarn安装部署使用的三台主机名称分别为bigdata1，bigdata2，bigdata3。
佛系爱学习·2024-01-21 17:11

前端包管理工具之从NPM到PNPM

前端包管理工具之从NPM到PNPM|DLLCNX的博客近几年的前端开发者肯定了解npm是什么，而且使用过程中也开始接触yarn，pnpm等等。
DLLCN·2024-01-21 14:54

【Spark】Spark 运行架构--YARN-Cluster

本篇结构：YARN-Cluster工作流程图YARN-Cluster工作流程YARN-Cluster模式启动类图YARN-Cluster实现原理YARN-Cluster作业运行调用图一、YARN-Cluster
w1992wishes·2024-01-21 14:34

hadoop yarn 配置

转自：http://blog.csdn.net/guotong1988/article/details/47130701
晴天哥_王志·2024-01-21 09:03

YARN节点故障的容错方案

YARN节点故障的容错方案1.RM高可用1.1选主和HA切换逻辑2.NM高可用2.1感知NM节点异常2.2异常NM上的任务处理4.疑问和思考4,1RM感知NM异常需要10min，对于app来说是否太长了
李姓门徒·2024-01-21 07:06

大数据之Spark架构设计与工作流程

驱动器还负责任务的调度，并与集群管理器（如HadoopYARN、ApacheMesos或Standalone模
转身成为了码农·2024-01-21 07:41

大数据技术汇总

HadoopHadoop入门概述Hadoop运行模式介绍HadoopHDFS的运行流程HadoopMapReduce的运行流程Hadoopyarn的运行流程Hadoop内HDFS、MapReduce和YARN
转身成为了码农·2024-01-21 07:41

Spark：SparkSQL与Hive on Spark（Shark）的比较

Spark特点Spark可以部署在YARN上Spark原生支持对HDFS文件系统的访问使用Scal
花和尚也有春天·2024-01-21 06:17

spark集成hive

1.集成原理说明思考:SparkOnHive的目的:将客户端提交的SQL语句从原来翻译MR变更为翻译为Spark的RDD程序(Spark程序),然后交给Yarn执行那么也就意味着,一旦Spark和HIVE
lijian972·2024-01-21 06:11

Linux修改hadoop配置文件及启动hadoop集群详细步骤

检查三台虚拟机：2.切换到配置文件目录3.修改hadoop-env.sh文件4.修改core-site.xml文件5.修改mapred-site.xml文件6.修改hdfs-site.xml文件7.修改yarn-s
CatalinaCatherine·2024-01-21 05:45

Linux-Hadoop集群配置

hadoop-env.sh（2）编辑Hadoop核心配置文件-core-site.xml（3）编辑HDFS配置文件-hdfs-site.xml（4）编辑MapReduce配置文件-mapred-site.xml（5）编辑yarn
人生苦短@我用python·2024-01-21 05:44

vue-项目打包、配置路由懒加载

2.项目打包项目打包yarnbuild//或npmrunbuild注：打包后的文件会生成在dist目录下。配置publicPath在文件v
盖盖衍上·2024-01-21 04:12

axios的基础使用

json-server的基础使用因为我们接下来需要使用到json-server在使用axios之前我们需要导入axios介绍2种情况：一、在项目中使用我们一般都是使用以下两种方法安装npmiaxiosyarnaddaxios
远近高低各不同·2024-01-21 02:57

让uniapp小程序支持多色图标icon：iconfont-tools-cli

因此大多采用iconfont-tools工具，但是iconfont-tools使用需要下载iconfont-tools工程进行编译转换，过于繁琐，因此我在iconfont-tools工具的基础上进行了改造，yarn
陨石猎人·2024-01-20 23:55

spark on Yarn 动态资源分配

配置文件：spark.default.parallelism=40#spark.executor.memory=1536m#spark.executor.memoryOverhead=512m#spark.driver.cores=1#spark.driver.memory=1g#spark.executor.instances=3spark.serializer=org.apache.spark
金刚_30bf·2024-01-20 23:09

Spark Streaming通过receiver方式消费kafka数据时数据积压问题

经过排查发现，利用receiver方式来消费kafka的数据时可能会因为zk的group是首次创建或者有一段时间未消费，在程序启动的时候一次性读取进来大量的数据导致数据积压严重报错oom或者yarn资源不够而崩溃
sinat_36710456·2024-01-20 22:23

YARN架构体系（组件，RPC通信协议，工作交互流程）入门理解

前提提要：本篇文章内容包括了YARN的三大组件，RPC通信协议的概述，以及YARN的具体的工作流程，对于YARN的相关细节没有做过多的概述（如RPC通信协议），请选择性观看，内容均原创总结，以自己认为通俗的语言来描述
科班你宇哥·2024-01-20 20:36

zksync 测试网络智能合约部署 error汇总

一.yarnhardhatdeploy-zksync部署命令报错1.serverError:Error:connectECONNREFUSED127.0.01:3050报错zksync包版本太旧，更新版本
爬吧爬吧·2024-01-20 18:13

Spark在降本增效中的一些思考

Yarn基于EMRCPU是xlarge，也就是内存和核的比例在7:1左右的，磁盘是基于NVMeSSDSpark3.5.0(也是刚由3.1升级而来)JDK8这里为什么强调NVMe，因为相比于HDD来说，他的磁盘
鸿乃江边鸟·2024-01-20 14:25
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他