cores

thrift RPC调用性能对比

1.测试环境CPU：IntelE5-26402.50GHz(8cores)内存：16GBCentOS6.5，Go1.4、Gcc4.4.6，开启tcpreuse,tcprecycle；2.测试数据对比如下一
飞稀饭你的微笑·2024-09-04 17:16

k8s，1.14.2 集群搭建（3）：metric server

kubectltoppodmemory-demo--namespace=mem-example结果类似如下：NAMECPU(cores)MEMORY(bytes)memory-demo162856960
Java程序员YY·2024-02-09 10:01

docker compose部署一个windows

前置准备centoscentos开启kvmcentos内存:16G安装docker安装dockerrun-it\-eVERSION="win11"\-eRAM_SIZE="8G"\-eCPU_CORES
老王聊技术·2024-02-05 22:49

[Spark] 如何设置Spark资源

使用--executor-cores命令行参数或者通过设置spark.executor.cores属性指定核心数；使用--executor-memory命令行参数或者通
LZhan·2024-01-31 10:07

docker幻兽帕鲁

ResourceMinimumRecommendedCPU4cores4+coresRAM16GBRecommendover32GBforstableoperationStorage4GB10GBdockerrundockerrun-d
linux实践操作记录·2024-01-26 14:51

spark on Yarn 动态资源分配

spark.default.parallelism=40#spark.executor.memory=1536m#spark.executor.memoryOverhead=512m#spark.driver.cores
金刚_30bf·2024-01-20 23:09

理解物理 CPU 与逻辑 CPU

首先，CPU这个术语在互联网上的使用非常的模糊和不严谨，常用来指处理器（Processor）、核心（Cores）或硬件线程（HardwareThread）。
攻城狮百里·2024-01-06 16:55

spark 并行度

还有语义比较相近的配置参数：在提交spark应用的时候，会进行配置的参数--num-execuotrs应用启动的executor的数量--executor-cores每个executor之中core的数量
流砂月歌·2023-12-29 07:44

理清Processor, Processor Sockets, Processor Cores, Logical Processors, Hyperthreading这些概念吧

理清Processor,ProcessorSockets,ProcessorCores,LogicalProcessors,Hyperthreading这些概念吧如果你只知道CPU这么一个概念，那么是无法理解CPU的拓扑的。事实上，在NUMA架构下，CPU的概念从大到小依次是：Node、Socket、Core、LogicalProcessor。随着多核技术的发展，我们将多个CPU封装在一起，这个封
booming2·2023-12-24 17:03

linux 查询CPU相关信息

proc/cpuinfo2．查看物理CPU个数cat/proc/cpuinfo|grep"physicalid"|sort|uniq|wc-l3．查看CPU核数cat/proc/cpuinfo|grep"cores
乱蜂朝王·2023-12-24 11:51

spark 参数配置及内存模型

1.2executor-cores此数值代表每个executor中可以并行运行的task数。一般一个任务使用1核，此值等同于1个executor占用的CPU核心数。
peidezhi·2023-12-14 20:38

日常巡检脚本-2

/bin/bash#检查系统负载load=$(awk'{print$1}'/proc/loadavg)cores=$(grep-c^processor/proc/cpuinfo)load_threshold
白幽幽白·2023-12-04 08:23

Go语言高并发实现端口扫描器

学了GO不玩一下那不是很浪费写了一个端口扫描器大家可以一起学习下packagemainimport("flag""fmt""net""runtime""time")funcmain(){cores:=runtime.NumCPU
ILHONG·2023-11-30 11:02

spark常用的调优

1.分配更多的资源首选，一定范围内，增加资源与性能的提升成正比，在资源最大化后考虑后面的调优1.1分配哪些资源executor‐memory、executor‐cores、driver‐memory1.2
30b94afdf4b3·2023-11-30 05:36

spark-submit 样例

confspark.driver.host=xx\--confhive.metastore.uris=xx\--classcom.mainclass\--num-executors1\--executor-cores2
旅途心情·2023-11-29 22:03

spark-submit参数调优

一:spark-submit提交job的参数说明示例:spark-submit--masteryarn--classxxxx--executor-cores5--executor-memory5G--num-executor4xxx.jar
是谁注册了我的2052·2023-11-29 12:07

在spark环境中运行demo的时候报错

1.6/bin/spark-submit--classorg.apache.spark.examples.SparkPi--masteryarn--deploy-modeclient--executor-cores1
我是钟钟·2023-11-27 12:07

大数据技术，Spark任务调度原理 四种集群部署模式介绍

classorg.apache.spark.examples.SparkPi\--masterspark://ns1.hadoop:7077\--executor-memory1G\--total-executor-cores2
喵感数据·2023-11-24 06:01

Programming Tensor Cores: NATIVE VOLTA TENSOR CORES WITH CUTLASS

PROGRAMMINGTENSORCORES:NATIVEVOLTATENSORCORESWITHCUTLASS源自于GTCSiliconValley-2019:cuTENSOR:High-performanceTensorOperationsinCUDA，介绍了CUTLASS1.3中基于VoltaTensorCore实现高效矩阵乘法计算的策略。主要内容为以下三点：CUDA10.1中mma.syn
图波列夫·2023-11-23 16:15

Spark读取mysql数据插入Hive表中

spark-env.shexportJAVA_HOME=/opt/soft/jdkexportSPARK_MASTER_HOST=hadoop1exportSPARK_MASTER_PORT=7077exportSPARK_WASTER_CORES
JAVA百练成神·2023-11-21 10:01

spark执行过程

启动SparkSubmit（driver）（通过一个脚本启动：bini\spark-submit--master--executor--memory2g--exector-cores10------>指定启动需要每台
茶还是咖啡·2023-11-21 05:57

Spark资源规划-资源上线评估

2、具体提交参数1）executor-cores每个executor的最大核数。根据经验实践，设定在3~6之间比较合理。2）num-executors该参数值=每个
Knight_AL·2023-11-18 23:16

【Shell脚本 6】日常巡检脚本-1

/bin/bash#检查系统负载load=$(awk'{print$1}'/proc/loadavg)cores=$(grep-c^processor/proc/cpuinfo)load_threshold
白幽幽白·2023-11-17 15:24

spark-调优-性能调优&内存管理

前置主要涉及6个参数，从3个方面：executor、core、内存的大小，并行度，内存管理进行调优优化的方案资源分配num-executors：spark使用多少个executorsexecutor-cores
zdkdchao·2023-11-17 10:36

Spark 资源调优

2、具体提交参数1）executor-cores每个executor的最大核数。根据经验实践，设定在3~6之间比较合理。2）num-ex
shangjg3·2023-11-13 08:41

【网络】高性能网络编程--下一个10年，是时候考虑C10M并发问题了

截至目前，40gpbs、32-cores、256GRA
weixin_30819163·2023-11-09 07:02

高性能网络编程：下一个10年，是时候考虑C10M并发问题了

截至目前，40gpbs、32-cores、256GR
JasonZhou89·2023-11-09 07:32

高性能网络编程(三)：下一个10年，是时候考虑C10M并发问题了

截至目前，40gpbs、32-cores、256GRAM的X86服务器在Newegg网站上的报价是几千美元。实际上以这样的硬件配置来看，它
小油菜j·2023-11-09 06:52

[转]物理CPU、CPU核数、逻辑CPU、超线程

在Linux下可以通过cores来确认主机的物理CPU的核心数。逻辑C
everfight·2023-11-04 08:53

Snakemake - 任务投递参数

--config#向snakemake传递参数（字典形式）--configfile#指定配置文件路径（可以支持多个）--cores#设置任务最多使用的核数--resources#设置任务最多使用的内存-
Find_Air·2023-10-31 18:25

Spark系列之Spark启动与基础使用

spark-shell$SPARK_HOME/bin/spark-shell\--masterspark://hadoop10:7077\--executor-memory512M\--total-executor-cores2
落叶飘雪2014·2023-10-30 08:09

Spark 配置

可以使用spark_install功能执行此操作推荐的属性以下是通过R连接要设置的Spark属性：sparkly.cores.local默认使用所有可用的内核。
Liam_ml·2023-10-27 05:36

2021-03-02

masteryarn\--deploy-modecluster\--driver-memory5g\--num-executors10\--executor-memory10g\--executor-cores2
sparkle123·2023-10-25 09:50

Ubuntu系统下如何看CPU信息

grepname|cut-f2-d:|uniq-c查看物理CPU个数cat/proc/cpuinfo|grepphysical|uniq-c查看单个CPU上物理核数cat/proc/cpuinfo|grep"cores
lumping·2023-10-16 00:26

【转】ubuntu 安装 OpenCv 4.6脚本 installOCV.sh

/bin/bashVER=4.6.0PYTHON_VERSION=3.8CORES=2echo"ScriptforinstallingtheOpenCV$VERonUbuntu18.04LTS"echo"UpdatingtheOS
Tonyfield·2023-10-11 03:16

executor行为相关Spark sql参数源码分析

0、前言参数名和默认值spark.default.parallelism=DefaultnumberofpartitionsinRDDsspark.executor.cores=1inYARNmode一般默认值
fir_dameng·2023-10-10 18:44

【论文阅读】An Evaluation of Concurrency Control with One Thousand Cores

AnEvaluationofConcurrencyControlwithOneThousandCoresStaringintotheAbyss:AnEvaluationofConcurrencyControlwithOneThousandCoresABSTRACT随着多核处理器的发展，一个芯片可能有几十乃至上百个core。在数百个线程并行运行的情况下，协调对数据的竞争访问的复杂性可能会减少增加的核
Tcoder-l3est·2023-10-07 00:48

[spark 之master HA]

1、资源调度结论验证（1）提交时，没有指定资源，$\color{red}{会占用每台机器(2台worker)的所有资源}$(每台机器会启动一个executor，每个executor会使用2个cores+
我去图书馆了·2023-10-04 21:59

Spark 任务如何调优

spark性能调优a.分配更多资源——第一步要做的比如增加executor个数（num_executor）、增加executor的cpu核数（executor_cores）、增加executor的内存量
星空下的那个人影·2023-10-03 03:50

Spark调优

Spark参数调优：num-executors建议：一般设置50~100左右executors-memory建议:4G8G，不超过整个集群资源的1/31/2executor-cores每个Excutor
你值得拥有更好的12138·2023-10-01 00:20

Spark相关配置参数

一、任务占用资源计算executor占用CPU=executor_instances*executor_cores*10*0.8（0.1核）executor占用内存=executor_instances
攻城狮Kevin·2023-09-28 15:25

Spark全分布部署和HA

/jdk1.7.0_75exportSPARK_MASTER_HOST=spark1exportSPARK_MASTER_PORT=7077#下面的可以不写，默认exportSPARK_WORKER_CORES
一个人一匹马·2023-09-23 15:43

spark的资源调整参数

–基础资源setspark.driver.memory=15g;setspark.driver.cores=3;setspark.driver.memoryOverhead=4096;setspark.executor.memory
墨卿风竹·2023-09-19 20:22

Kubernetes 集群分析查看内存，CPU

Kubernetes方式top命令查看所有pod，nodes中内存，CPU使用情况查看podroot@master➜~kubectltoppod-nirm-serverNAMECPU(cores)MEMORY
hongdada·2023-09-14 16:47

MCU软核 1. Altera FPGA上运行8051

Quartus13-EP4CE6E22开发板-keilc51-ag10kl144h（本工程兼容AGM）下载8051源码：https://www.oreganosystems.at/products/ip-cores
qq_27158179·2023-09-14 05:40

IPv6在虚拟机通过无线网卡桥接的网络下无法使用(VMware WorkStation)

主要具体参数为：CPU:Intel®Celeron®ProcessorJ4125,4Cores/4Threads(4MCache,upto2.70GHz)内存:LPDDR48GB(OnBoard)网络:
Chaos_John·2023-09-14 00:56

单核香山处理器memory list，总计2789K比特

nanhu-clockdiv2@XiangShanmakeverilogNUM_CORES=1。跑了一天一夜终于出结果了，仔细检视了一下处理器memorylist，总计2789k比特。
前滩西岸·2023-09-10 05:18

Mac M1 运行tensorflow2.x报错model: “0“ num_cores: 8 environment { key: “cpu_instruction_set“ value:

报错信息如下：2022-04-1222:17:09.670204:Itensorflow/compiler/mlir/mlir_graph_optimization_pass.cc:116]NoneoftheMLIRoptimizationpassesareenabled(registered2)2022-04-1222:17:09.673631:Wtensorflow/core/platform
番茄Salad·2023-09-09 10:22

spark-submit的一些参数

–executor-cores4启动4个核–driver-memory1G每个driver1G内存,因
walk walk·2023-09-09 06:51

Flink基础

Flinkarchitecturejobmanagerismastertaskmanagersareworkerstaskslotisaunitofresourceincluster,numberofslotisequaltonumberofcores(超线程则slot=2*cores
一叶柒刺郎·2023-09-06 16:42
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他