E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Cores
Spark的执行原理,本地Master模式, Yarn_cluster模式运行, Yarn_client模式运行, Yarn_cluster和Yarn_client的区别 14
classcn.spark.com.WordCountForHDFS\--masterspark:node01:8080\--executor-memory1g\//每个executor分配1g的内存--total-executor-
cores
4
啊策策
·
2020-08-14 21:38
Spark社区
spark&yarn两种运行模式(1)
classorg.apache.spark.examples.SparkPi\--masteryarn\--deploy-modecluster\--driver-memory1g\--executor-memory1g\--executor-
cores
1
cyclebozhou
·
2020-08-14 19:39
spark
Spark学习-SparkSQL--04-SparkSQL CLI 单节点运行与yarn集群运行
单节点运行bin/spark-sql--masterspark://bigdata01.hzjs.co:7077--executor-memory40g--total-executor-
cores
50-
九师兄
·
2020-08-14 18:35
大数据-spark
Java 使用多线程对超大数列进行累加计算
实验设备:
[email protected]
(10
cores
,Hyper-threadingoff)X2,DDR31600MHZ128GB,SSD512GB.实验结果:如下所示:线程数所用时间143,710ms
郝伟老师(安徽理工大学)
·
2020-08-13 22:34
性能测试
并行计算
Java程序设计
很久没来,丢一份前阵子做的 10 万连接性能测试 (fibjs, golang, nginx, nodejs)
HTTP服务器极限性能,分为两项:优化前后的各版本fibjs优化后的fibjs、使用cluster的nodejs、基于模块的nginx、使用多核的go测试环境及方法服务器CPU:8核(4sockets*2
cores
LarryHai6
·
2020-08-11 23:45
IT-开发平台
【openvino系列教程(三)】浮点数例外——broadwell架构无法获取cpu
cores
一、问题描述A机器上可以使用openvinoB无法使用openvino二、原因broadwell架构(支持avx-512)的cpu机器,系统配置文件/proc/cpuinfo中获取不到cpucores字段。参考源码:Openvino的源码中:https://github.com/opencv/dldt/tree/2018inference-engine/src/mkldnn_plugin/mkld
Kindle君
·
2020-08-11 19:30
openvino
英特尔2018年处理器一览
據台灣主機板指出,Intel剛公佈了第9代Core處理器「Cannonlake」的型號相關資料﹐預計將於2018年下半年上市,現時已得悉新一代主流級Corei7處理器將會升級至8
Cores
/16Threads
zuxudong1984
·
2020-08-11 15:50
如何为Spark应用程序分配--num-executors,--execuor-
cores
和--executor-memory
executors第三种方法:使用优化的executors前言在我们提交spark程序时,应该如何为Spark集群配置–num-executors,-executor-memory和–execuor-
cores
Lestat.Z.
·
2020-08-11 05:40
Spark
Spark学习随笔
spark
executor
tunning
Spark 运行与配置
Spark:0.9版本集群配置spark-env.shexportJAVA_HOME=exportSPARK_MASTER_IP=exportSPARK_WORKER_
CORES
=exportSPARK_WORKER_INSTANCES
苏然Vincent
·
2020-08-11 05:46
Spark
spark参数调优
摘要1.num-executors2.executor-memory3.executor-
cores
4.driver-memory5.spark.default.parallelism6.spark.storage.memoryFraction7
weixin_30907935
·
2020-08-11 04:15
Spark 简单性能调优
Yarn方面的调优1.Yarn资源不足引起Spark应用程序失败原因:yarn资源队列不足可能会引起Spak应用程序失败只有一个程序在运行的时候可以选择将Memory和
Cores
都调整到最大,这样最大化的使用资源来快速完成程序的计算
Nice_N
·
2020-08-11 02:02
Spark系列
BigOps自动化运维安装
一、准备工作:本机系统环境是CentOS7x8664位硬件配置建议物理内存8G+、CPU4
cores
+、硬盘20G+。内存低于6G无法安装BigOps程序,所以内存必须6+。
weixin_45978234
·
2020-08-10 04:41
技术
Spark优化分析
--executor-
cores
--executor-memory--driver-co
放肆桀骜!
·
2020-08-09 01:00
Spark
Spark-Spark setMaster & WordCount Demo
SparksetMaster源码/***ThemasterURLtoconnectto,suchas"local"torunlocallywithonethread,"local[4]"to*runlocallywith4
cores
weixin_34238642
·
2020-08-09 00:02
tensorflow serving及tensorrt 的踩坑记录
此文记录一下算法实施过程中遇到的问题,整个过程基于Python技术栈,无缝集成到流式处理框架中,首先软硬件配置如下:服务器配置:64
cores
,256G内存,GPUTeslaK80(4个);TensorFlow
dingying5567
·
2020-08-08 15:59
k8s 手动安装指南
kubernetes实践指南kubernetes安装与配置至少两台主机dockerversio>1.9https://www.docker.cometcdversion>2.0https://github.com/
cores
起feng了~
·
2020-08-04 20:16
共享内存多核系统与分布式内存系统之间的区别
>>>我们经常说到的多核处理器,是指一个处理器(CPU)上有多个处理核心(CORE),共享内存多核系统我们可以将CPU想象为一个密封的包,在这个包内有多个互相连接的
CORES
,每个CORE共享一个主存,
weixin_33711641
·
2020-08-04 20:40
Linux cpuinfo
2.具有相同physicalid的cpu是同一颗cpu封装的线程或者
cores
。
HedpatCzw
·
2020-08-02 21:44
技术文章收藏
centos7yum安装mesos(1.0.0)+marathon+zookeeper+docker
平台的优点抽象化平台的目的是将多台机器的资源集中管理并抽象成一个计算资源对象,如机房现在有上百台机器运行,则抽象化后平台的计算能力为100
cores
、500mem、200Tdisk。
码太狼
·
2020-08-02 12:32
docker
centos
mesos
marathon
zookeeper
docker
Spark环境搭建(七)-----------spark的Local和standalone模式启动
spark的机器1)在$SPARK_HOME/conf中新建spark-env.sh,并加入以下内容SPARK_MASTER_HOST=hadoop001#设置master的hostSPARK_WORKER_
CORES
weixin_33725515
·
2020-08-01 03:31
HoloLens开发
TheHomeeditiondoesnotsupportHyper-V.InstallingtheHoloLensEmulatorwillfailontheHomeedition)64-bitCPUCPUwith4
cores
ZoeyyeoZ
·
2020-07-31 15:47
HoloLens
Linux机器相关参数
grep'physicalid'|sort|uniq|wc-l查看cpu逻辑核数:cat/proc/cpuinfo|grepprocessor|wc-l查看cpu是几核cpu:cat/proc/cpuinfo|grep'
cores
三血狼
·
2020-07-31 11:31
运维
sparkstreaming实时写入hive后合并小文件问题
今天主要来说一下sparksql写入hive后小文件太多,影响查询性能的问题.在另外一篇博客里面也稍微提到了一下,但还是感觉要单独说一下,首先我们要知道hive里面文件的数量=executor-
cores
JasonLee'blog
·
2020-07-30 18:20
Spark
hive
Spark资源优化
主要涉及--num-executors--executor-memory--executor-
cores
--confspark.default.parallelism服务器节点YARN可用
qq_40308028
·
2020-07-30 16:03
k8s 1.14.2 集群搭建之metric server(三)
kubectltoppodmemory-demo--namespace=mem-example结果类似如下:NAMECPU(
cores
)MEMORY(bytes)memory-demo162856960
demo
·
2020-07-30 11:43
Error executing Jupyter command 'WordCount.py': [Errno 2] No such file or directory
想测试下上传测试文件到HDFS目录,输入命令HADOOP_CONF_DIR=/root/app/hadoop/etc/hadoopspark-submit--driver-memory512m--executor-
cores
2
树街猫
·
2020-07-30 09:14
openstack配额
------------------------+-------+|Quota|Limit|+-----------------------------+-------+|instances|10||
cores
Yeliang Wu
·
2020-07-29 14:13
openstack
单虚拟机nginx-rtmp-module直播带宽测试
硬件环境:A机:宿主机:Windows10withLinuxsubsystem硬件配置:CPU:i7-4790K4
Cores
8Threads,RAM:8G注:宿主机主要用于启动Linux子系统运行srs-benchmark
XellossRyan
·
2020-07-29 08:31
spark-submit提交作业参考0
deploy-modecluster\#sparkonyarn模式--driver-memory4g\#每一个driver的内存--executor-memory2g\#每一个executor的内存--executor-
cores
1
liuzx32
·
2020-07-28 21:16
ARM架构和ARM核区别和联系
图中Architecture就是ARM架构,而
Cores
就是ARM核。平时我们所说的ARM7,ARM9主要是指ARM核。
jackixzj
·
2020-07-28 00:27
ARM处理器
VxWorks
Gunicorn-使用详解
pre-forkworker模式,gunicorn在启动时,会在主进程中预先fork出指定数量的worker进程来处理请求,gunicorn依靠操作系统来提供负载均衡,推进的worker数量是(2*$num_
cores
qq_37746490
·
2020-07-16 06:39
Flask项目
Linux下判断cpu物理个数,几核,是超线程还是多核心
grep"physicalid"|sort|uniq|wc-l2.查看逻辑CPU的个数#cat/proc/cpuinfo|grep"processor"|wc-l3.查看CPU是几核#cat/proc/cpuinfo|grep"
cores
jabin8
·
2020-07-16 00:21
Linux常用命令
spark sql基本使用方法介绍
impala中的数据,一、启动方法/data/spark-1.4.0-bin-cdh4/bin/spark-sql--masterspark://master:7077--total-executor-
cores
10
duncandai
·
2020-07-15 22:27
spark
在本地Kubernetes上安装AWX
Kubernetes13AWX6.0.0helm2.11.0postgresql2.0.02.准备环境2.1KubernetesKubernetes环境已自行搭建完成2.2AWX默认每个pod请求的资源为——Memory:6GBCPU:3
cores
楼辛
·
2020-07-15 13:51
.net core 3.0 Signalr - 07 业务实现-服务端 自定义管理组、用户、连接
的管理重写OnConnectedAsync从连接信息中获取UserId、Groups,ConnectId,并实现这三者的关系,存放于redis中代码请查看usingCTS.Signalr.Server.
Cores
程序有Bug
·
2020-07-15 10:35
vue设置proxy代理
顺便说一下跨域问题的解决方法,面试经常问的解决跨域问题三个方法:跨域问题主要是前端(发生在浏览器端)后端不存在跨域问题一、jsonp(只能处理get请求)二、
cores
(后端开启)三、代理服务器(前端常用
xiaohuihui_z
·
2020-07-15 10:57
vue
.net core 3.0 Signalr - 07 业务实现-服务端 自定义管理组、用户、连接
的管理重写OnConnectedAsync从连接信息中获取UserId、Groups,ConnectId,并实现这三者的关系,存放于redis中代码请查看usingCTS.Signalr.Server.
Cores
weixin_30571465
·
2020-07-15 03:15
001:spark-submit提交参数之num-executors,num-executors,executor-
cores
1.num-executors参数说明:该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时,YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上,启动相应数量的Executor进程。这个参数非常之重要,如果不设置的话,默认只会给你启动少量的Executor进程,此时你的Spark作业的运行速度是非常慢的。参数调优建议:每个S
明月不归尘
·
2020-07-15 01:24
spark
sparks
sql
spark
spark-submit
CPU配置+CPU模型
在命令行中,关于配置SMP系统的参数如下:-smp[cpus=]n[,maxcpus=cpus][,
cores
=
cores
][,threads=threads][,sockets=sockets]主要参数说明
大格子嘞
·
2020-07-14 21:29
KVM
/proc/cpuinfo详解
grep"physicalid"|sort|uniq|wc–l2、查看逻辑CPU的个数#cat/proc/cpuinfo|grep"processor"|wc–l3、查看CPU是几核#cat/proc/cpuinfo|grep"
cores
chengxuyuanyonghu
·
2020-07-14 08:39
/proc/cpuinfo详解
grep"physicalid"|sort|uniq|wc–l2、查看逻辑CPU的个数#cat/proc/cpuinfo|grep"processor"|wc–l3、查看CPU是几核#cat/proc/cpuinfo|grep"
cores
anuous
·
2020-07-14 07:23
转载
solr5使用方法篇以及高级功能facet使用
1、solrphp客户端实现2、solr简单功能使用3、solrfacet高级功能使用一、首先介绍solr用php如何实现链接和数据检索//初始化solr服务functioninit_solrs($
cores
meng_philip123
·
2020-07-14 03:14
CPU配置 学习
在命令行中,配置SMP系统的参数-smp[cpus=n][,maxcpus=cpus][,
cores
=
cores
][,threads=threads][,sockets=sockets]cpus:用来设置客户机中使用的逻辑
太阳以西?
·
2020-07-14 02:21
KVM学习
【Linux】cat、tail、head、grep、sed查看文件任意几行的数据
|head-10查看CPU是几核:#cat/proc/cpuinfo|grep"
cores
"|uniq--------------------------------------------------
计科小白兔
·
2020-07-14 00:25
杂栏:Linux
Win
office技术问题
qemu-参数解析
启动命令:gdb–args/usr/bin/bin/qemu-system-x86_64linux-0.2.img-m512-enable-kvm-smp1,sockets=1,
cores
=1,threads
TangGeeA
·
2020-07-13 21:28
qemu
spark源码解读之sparkSubmit提交【篇1】
classcn.spark.study.core.WordCount\--num-executors3\--driver-memory1g\--executor-memory1g\--executor-
cores
3
龚星星
·
2020-07-13 19:08
java后端开发
大数据开发
spring框架快速入门笔记
[TOC]Spring概述Spring体系结构corecontainerbeans与core它们提供spring框架最基本功能,包含ioc与dicontext上下文对象,基于beans与
cores
:做了一些封装
weixin_34060741
·
2020-07-13 18:28
英伟达 GPU 中的 Tensor
Cores
有什么作用?
英伟达公司的GPU显卡过去的型号为GTX,现在新出了一个RTX系列的新产品。RTX提供的其中一个新功能就是包含了TensorCores。那么这个TensorCores是做什么用的哪?查了一下资料:使用Tensor核的两个CUDA库是cuBLAS和cuDNN。cuBLAS使用张量核加速GEMM计算(GEMM是矩阵-矩阵乘法的BLAS术语);cuDNN使用张量核加速卷积和递归神经网络(RNNs)。许多
quicmous
·
2020-07-13 12:33
NVidia
GPU
深度学习
Nvidia
GPU
Tensor
Cores
RTX
GTX
spark 提交submit任务的shell脚本
sudo-uhdfs/usr/hdp/2.6.5.0-292/spark2/bin/spark-submit–masteryarn–deploy-modecluster–driver-
cores
1–driver-memory2g–num-executors3
光圈1001
·
2020-07-13 12:57
ambari集群
spark
select语句的过滤
大数据
spark_程序接收外部传入的参数
spark-submit--class"test"--masterspark://master:7077/--driver-
cores
16--executor-
cores
16--confspark.driver.memory
冽夫
·
2020-07-13 05:23
Spark
scala
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他