Cores

centos7( 3.10.0-327.el7.x86_64) 重启问题

el7.x86_64)重启问题http://aperise.iteye.com/blog/2425717centos7(3.10.0-327.el7.x86_64)重启问题1.问题服务器(2U2cpu6cores
aperise·2020-09-14 21:27

【spark2】“spark2 on yarn client提交模式下报错：XXXX line xx: xxxx 已杀死 ”问题剖析

机制解决方案后记前言报错内容：ai-bigdata-20200806.sh：行24：10259已杀死spark2-submit--driver-memory14G--executor-memory16G--driver-cores2
Jack_Roy·2020-09-14 09:08

spark-shell批处理

/bin/bashsource/etc/profileexec$SPARK_HOME/bin/spark-shell--queuetv--namespark-sql-test--executor-cores8
蜗牛.~·2020-09-14 05:51

Neo4j 4.0 / 4.1 配置快速参考 - 单服务器模式，适用于社区版和企业版

1、系统环境-Windows10，Linux同样适用；-JDK/OpenJDK11-CPU:4cores-RAM:32GB，分配给Neo4j一共6GB。-硬盘：强烈建议用SSD，如果没有就通过USB3
俞博士·2020-09-13 21:54

Linux系统cpu参数查看

|grep"physicalid"|sort|uniq|wc-l2>查看逻辑cpu的个数catcpuinfo|grep"processor"|wc-l3>查看cpu几核catcpuinfo|grep"cores
wgaoqg·2020-09-13 20:41

CPU查询

核=并发=cores超线程的概念
weixin_33851429·2020-09-13 20:55

cpu信息和网卡等信息查看

grep"physicalid"|sort|uniq|wc–l2、查看逻辑CPU的个数#cat/proc/cpuinfo|grep"processor"|wc–l3、查看CPU是几核#cat/proc/cpuinfo|grep"cores
红豆110·2020-09-13 19:55

spark解决org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow

pyspark--queuedefault\--driver-memory10G\--executor-cores6\--executor-memory10G\--executor-cores6\--confspark.kryoserializer.buffer.max
灵佑666·2020-09-13 19:55

KVM 配置虚拟机实际使用的cpu个数

否则，不管配置文件或本地主机配置了几个cpu，实际上虚拟机只能使用一个cpu用cat/proc/cpuinfo|grep"cores"|uniq这条命令可以查询虚拟机上实际使用的cpu个数。
shizao·2020-09-13 02:35

django uwsgi项目部署纪录

cpu_physicals=$(cat/proc/cpuinfo|grep"physicalid"|sort|uniq|wc-l)cpu_cores=$(cat/proc/cpuinfo|grep"coreid
wxp_2001·2020-09-13 00:05

sparksql通过hash算法使得总体性能提高39%

优化前总任务使用时间:1小时43min=103min优化后,总任务使用时间:1小时20分钟=80min优化的效率提升了,1-80/130=39%性能提高了39%默认不配置exutors-coresexcutor-cores
功夫老五·2020-09-12 23:21

Mac上编译Android版Paddle-Lite问题03_No toolchain for ABI arm64-v8a found in the NDK

with_cv=ON--with_extra=ON--FoundPaddlehostsystem:macosx,version:10.15.5--FoundPaddlehostsystem'sCPU:12cores
张欣-男·2020-09-12 20:01

Mac上编译Android版Paddle-Lite问题02_Could-NOT-find-OpenMP_CXX

with_cv=ON--with_extra=ON--FoundPaddlehostsystem:macosx,version:10.15.5--FoundPaddlehostsystem'sCPU:12cores
张欣-男·2020-09-12 20:01

Ubuntu16.04：CUDA学习笔记（一）：GPU背景知识

device：GPU，显存我是纯粹小白，里面的一些图是根据我自己的理解画的，可能并不一定对一，GPU和CPU执行程序的区别（图片来源：CUDA_C_Programming-Guide）可以看到GPU有跟多的cores
竹如海·2020-09-12 20:21

spark简单测试

classorg.apache.spark.examples.JavaWordCount--masteryarn--executor-memory10g--driver-memory20g--total-executor-cores200
自由自在梦在何方·2020-09-12 19:13

Hive on Spark参数调优姿势小结

Driver参数spark.driver.cores该参数表示每个Executor可利用的CPU核心数。其值
大数据星球-浪尖·2020-09-12 16:30

Mac OS 产生 Coredump，定位 Segmentation Fault

前期工作开启MacCoredump%sudosysctlkern.coredump=1kern.coredump:1->1设置/cores目录属性$sudomkdir/cores$sudochownroot
努力的老周·2020-09-12 16:05

Linux常用命令(笔记)

grep"physicalid"|sort|uniq|wc-l2.查看逻辑CPU的个数cat/proc/cpuinfo|grep"processor"|wc-l3.查看CPU是几核cat/proc/cpuinfo|grep"cores
Bang-181****0385·2020-09-11 11:18

spark on yarn 执行过程介绍

执行语句：sudospark-submit--masteryarn--driver-memory7G--executor-memory5G--executor-cores24--num-executors4
当官的富·2020-09-11 09:46

Spark On Yarn VCore Userd 值不正常（DefaultResourceCalculator / DominantResourceCalculator ）

SparkOnYarnVCoreUserd值不正常，目前集群有两个任务再跑，每个任务使用1cores。在执行下面的脚本的时候。
张伯毅·2020-09-11 06:41

spark通过合理设置spark.default.parallelism参数提高执行效率

在我的测试过程中，如果没有设置spark.default.parallelism参数，spark计算出来的partition非常巨大，与我的cores非常不搭。
weixin_30887919·2020-09-11 04:24

[spark 面试]yarn 生产环境下资源不足问题和网络的问题

Yarn一般把自己的资源分成不同的类型，我们接收的时候会专门提交到分配给Spark那一组资源，例如说此时资源信息如下：Memory1000G，Cores800个，此时你要提交的Spark应用程序可能需要
风一样的男人_·2020-09-11 02:30

Spark1.3从创建到提交：4)资源分配源码分析

接着上一节Master里caseRegisterApplication最后的一个资源调度方法schedule()，假如我提交的任务需要6G,10Cores，而集群的部署如下所示：Spark提供了2种资源分配的策略
Javis486·2020-09-11 01:48

spark实际工作中资源分配策略

怎么去配置Spark任务的executors，cores，memory，有如下几个因素需要考虑：数据量任务完成时间点静态或者动态的资源分配上下游应用Spark应用当中术语的基本定义：Partitions
逆水行舟如何·2020-09-10 23:01

CUDA 9中张量核（Tensor Cores）编程

CUDA9中张量核（TensorCores）编程ProgrammingTensorCoresinCUDA9一．概述新的VoltaGPU架构的一个重要特点是它的Tensor核，使TeslaV100加速器的峰值吞吐量是上一代TeslaP100的32位浮点吞吐量的12倍。Tensor内核使人工智能程序员能够使用混合精度来获得更高的吞吐量，而不牺牲精度。Tensor核心已经在许多深度学习框架（包括Tens
wujianming_110117·2020-08-26 15:18

RDD常用算子

spark-submit--masterspark://node-1.XXXXX.com:7077,node-2.xxxx.com:7077--executor-memory512mb--total-executor-cores4
班得瑞的猫·2020-08-25 17:51

解决“检测到 #include 错误。请更新 includePath”问题和“无法打开 源 文件 "avr/pgmspace.h"”问题（VSCode中进行Arduino开发）

C/C++(1696)无法打开源文件"avr/pgmspace.h"(dependencyof"C:\ProgramFiles(x86)\Arduino\hardware\arduino\avr\cores
wh201906·2020-08-24 06:21

CentOS8 KVM 安装 Windows Server 2008 R2

virt-install--nameTV_Radius\--os-variantwin2k8\--memory4096\--vcpussockets=1,cores=2,threads=2\--diskdevice
新程序·2020-08-24 00:52

ubuntu常用脚本命令-个人整理

cat /proc/cpuinfo |grep "physical id"|sort|uniq|wc -l2、查看每个物理cpu中的core个数：cat /proc/cpuinfo |grep "cpu cores
weixin_33843409·2020-08-23 20:04

如何榨干cpu的每一滴资源（parallel computing in R）

前言现在计算机的cpu和system基本都采用了multicore技术（inteli32cores、i54cores…），但是Windows下我们常常在设计程序时大多是单线程的，然而这却是一种对cpu资源的极度浪费
JahnLiang·2020-08-23 17:56

spark性能调优-配置调优

num-executors3\配置executor的数量--driver-memory100m\配置driver的内存容量--executor-memory100m\配置每个executor的内存大小--executor-cores3
fzh595408240·2020-08-23 01:32

Spark任务并行度分析

并行度的因素主要有如下几个：RDD的分区数（Partition）Spark应用默认会为每一个RDD分区创建一个Task,所以输入RDD的分区数直接影响待分配的Task总数，Task任务数如果少于分配的计算资源（cores
david'fantasy·2020-08-22 19:54

spark 体验点滴- executor 数量 和task 并行数

一.指定sparkexecutor数量的公式executor数量=spark.cores.max/spark.executor.coresspark.cores.max是指你的spark程序需要的总核数
weixin_34326558·2020-08-22 19:56

Spark如何提交job

模式yarn方式client模式完整体提交job语句：spark-submit--masteryarn--deploy-modeclient--executor-memory2G--executor-cores1
sonia_liss·2020-08-22 18:57

spark主流程源码分析

classorg.apache.spark.examples.SparkPi--masterspark://node-1.itcast.cn:7077--executor-memory2g--total-executor-cores4
lianchaozhao·2020-08-22 15:29

用核心-路径法设计页面

英文原文：http://boxesandarrows.com/designing-screens-using-cores-and-paths/译者注：文章的原名为DesigningScreensUsingCoresandPaths
腾讯CDC·2020-08-22 01:16

Arduino学习——Arduino main 函数

文件位置：{Arduino安装目录}\hardware\arduino\avr\cores\arduino\main.cpp，内容如下：/*main.cpp-MainloopforArduinosketchesCopyright
weixin_30466039·2020-08-21 06:02

Spark搭建历程-《sparkStreaming》1

spark-submit--queuemedia--classtest.SparkStreamingDemo--masteryarn-cluster--executor-memory2g--executor-cores2
sinat_32176267·2020-08-21 05:44

OpenCL性能对比测试案例，合理使用clfinish()函数，充分发挥指令队列(commandqueue)特性。

用的公司的电脑，配置如下：CPU:AMDAthlonX4830(3.0GHz四核)内存:8GBGPU:nVIDIAGT710(0.954GHz192cores1CU)显存:1GB上图，浮点性能测试。
韩大先生1·2020-08-21 00:44

Spark提交命令和参数调优

executor-memory线程内存：参考值4g-8g,num-executor乘以executor-memory不能超过队列最大内存，申请的资源最好不要超过最大内存的1/3-1/23.executor-cores
bluexue0724·2020-08-20 05:19

关于Spark on yarn

classcom.qf.spark.day1.WordCount\--masteryarn\--deploy-modecluster\--driver-memory1g\--executor-memory1g\--executor-cores2
potpof·2020-08-20 03:08

netty vs jetty

对比版本netty4.1,jetty9.31.socket连接处理jetty使用AbstractConnector.Acceptor来处理连接,线程数=Math.max(1,Math.min(4,cores
iteye_8851·2020-08-19 17:41

centos7( 3.10.0-327.el7.x86_64) 重启问题

el7.x86_64)重启问题http://aperise.iteye.com/blog/2425717centos7(3.10.0-327.el7.x86_64)重启问题1.问题服务器(2U2cpu6cores
aperise·2020-08-19 00:57

centos7( 3.10.0-123.el7.x86_64) 重启问题

x86_64)重启问题http://aperise.iteye.com/blog/2425717centos7(3.10.0-123.el7.x86_64)重启问题1.问题新买来服务器(2U2cpu6cores
aperise·2020-08-18 19:38

第145课：Spark面试经典系列之Yarn生产环境下资源不足问题和网络的经典问题详解

Yarn一般把自己的资源分成不同的类型，我们接收的时候会专门提交到分配给Spark那一组资源，例如说此时资源信息如下：Memory1000G，Cores800个，此时你要提交的Spark应
tom_8899_li·2020-08-18 12:53

spark-任务提交多个jar包问题（Oozie调度）

classcom.xxx.bigdata.handler.xxx\--运行的主类--masteryarn\--deploy-modeclient\--driver-memory1g\--executor-memory2g\--executor-cores2
Master_slaves·2020-08-17 07:47

spark异常错误总结

java.lang.OutOfMemoryError:GCoverheadlimitexceeded原因：数据量太大，内存不够解决方案：(1)增大spark.executor.memory的值，减小spark.executor.cores
cxy1991xm·2020-08-16 12:07

ASP.NET Core中设置跨域

Default":"Information","Microsoft":"Warning","Microsoft.Hosting.Lifetime":"Information"}},"AppSetting":{"Cores
windowsliusheng·2020-08-16 03:37

python 多进程跑函数

importmultiprocessingdefcalculation(num):foriinrange(num):a=num+3print(a)returnaif__name__=='__main__':lists=[iforiinrange(10000000)]cores
平原2018·2020-08-15 07:53

简单总结spark中executer的个数设置

1.standlone模式下公式：execuoterNum=spark.cores.max/spark.executor.cores相关参数在启动具体应用时指定例如启动基于standlone模式的sparksql
AI_skynet·2020-08-14 22:55
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他