Cores

centos7( 3.10.0-327.el7.x86_64) 重启问题

el7.x86_64)重启问题http://aperise.iteye.com/blog/2425717centos7(3.10.0-327.el7.x86_64)重启问题1.问题服务器(2U2cpu6cores
aperise·2020-08-19 00:57

centos7( 3.10.0-123.el7.x86_64) 重启问题

x86_64)重启问题http://aperise.iteye.com/blog/2425717centos7(3.10.0-123.el7.x86_64)重启问题1.问题新买来服务器(2U2cpu6cores
aperise·2020-08-18 19:38

第145课：Spark面试经典系列之Yarn生产环境下资源不足问题和网络的经典问题详解

Yarn一般把自己的资源分成不同的类型，我们接收的时候会专门提交到分配给Spark那一组资源，例如说此时资源信息如下：Memory1000G，Cores800个，此时你要提交的Spark应
tom_8899_li·2020-08-18 12:53

spark-任务提交多个jar包问题（Oozie调度）

classcom.xxx.bigdata.handler.xxx\--运行的主类--masteryarn\--deploy-modeclient\--driver-memory1g\--executor-memory2g\--executor-cores2
Master_slaves·2020-08-17 07:47

spark异常错误总结

java.lang.OutOfMemoryError:GCoverheadlimitexceeded原因：数据量太大，内存不够解决方案：(1)增大spark.executor.memory的值，减小spark.executor.cores
cxy1991xm·2020-08-16 12:07

ASP.NET Core中设置跨域

Default":"Information","Microsoft":"Warning","Microsoft.Hosting.Lifetime":"Information"}},"AppSetting":{"Cores
windowsliusheng·2020-08-16 03:37

python 多进程跑函数

importmultiprocessingdefcalculation(num):foriinrange(num):a=num+3print(a)returnaif__name__=='__main__':lists=[iforiinrange(10000000)]cores
平原2018·2020-08-15 07:53

简单总结spark中executer的个数设置

1.standlone模式下公式：execuoterNum=spark.cores.max/spark.executor.cores相关参数在启动具体应用时指定例如启动基于standlone模式的sparksql
AI_skynet·2020-08-14 22:55

Spark的执行原理,本地Master模式, Yarn_cluster模式运行, Yarn_client模式运行, Yarn_cluster和Yarn_client的区别 14

classcn.spark.com.WordCountForHDFS\--masterspark:node01:8080\--executor-memory1g\//每个executor分配1g的内存--total-executor-cores4
啊策策·2020-08-14 21:38

spark&yarn两种运行模式(1)

classorg.apache.spark.examples.SparkPi\--masteryarn\--deploy-modecluster\--driver-memory1g\--executor-memory1g\--executor-cores1
cyclebozhou·2020-08-14 19:39

Spark学习-SparkSQL--04-SparkSQL CLI 单节点运行与yarn集群运行

单节点运行bin/spark-sql--masterspark://bigdata01.hzjs.co:7077--executor-memory40g--total-executor-cores50-
九师兄·2020-08-14 18:35

Java 使用多线程对超大数列进行累加计算

实验设备：XeonE5-2600v2@2.2GHz(10cores,Hyper-threadingoff)X2,DDR31600MHZ128GB,SSD512GB.实验结果：如下所示：线程数所用时间143,710ms
郝伟老师（安徽理工大学）·2020-08-13 22:34

很久没来，丢一份前阵子做的 10 万连接性能测试 (fibjs, golang, nginx, nodejs)

HTTP服务器极限性能，分为两项：优化前后的各版本fibjs优化后的fibjs、使用cluster的nodejs、基于模块的nginx、使用多核的go测试环境及方法服务器CPU：8核（4sockets*2cores
LarryHai6·2020-08-11 23:45

【openvino系列教程（三）】浮点数例外——broadwell架构无法获取cpu cores

一、问题描述A机器上可以使用openvinoB无法使用openvino二、原因broadwell架构（支持avx-512）的cpu机器，系统配置文件/proc/cpuinfo中获取不到cpucores字段。参考源码：Openvino的源码中：https://github.com/opencv/dldt/tree/2018inference-engine/src/mkldnn_plugin/mkld
Kindle君·2020-08-11 19:30

英特尔2018年处理器一览

據台灣主機板指出，Intel剛公佈了第9代Core處理器「Cannonlake」的型號相關資料﹐預計將於2018年下半年上市，現時已得悉新一代主流級Corei7處理器將會升級至8Cores/16Threads
zuxudong1984·2020-08-11 15:50

如何为Spark应用程序分配--num-executors，--execuor-cores和--executor-memory

executors第三种方法：使用优化的executors前言在我们提交spark程序时，应该如何为Spark集群配置–num-executors，-executor-memory和–execuor-cores
Lestat.Z.·2020-08-11 05:40

Spark 运行与配置

Spark：0.9版本集群配置spark-env.shexportJAVA_HOME=exportSPARK_MASTER_IP=exportSPARK_WORKER_CORES=exportSPARK_WORKER_INSTANCES
苏然Vincent·2020-08-11 05:46

spark参数调优

摘要1.num-executors2.executor-memory3.executor-cores4.driver-memory5.spark.default.parallelism6.spark.storage.memoryFraction7
weixin_30907935·2020-08-11 04:15

Spark 简单性能调优

Yarn方面的调优1.Yarn资源不足引起Spark应用程序失败原因：yarn资源队列不足可能会引起Spak应用程序失败只有一个程序在运行的时候可以选择将Memory和Cores都调整到最大，这样最大化的使用资源来快速完成程序的计算
Nice_N·2020-08-11 02:02

BigOps自动化运维安装

一、准备工作：本机系统环境是CentOS7x8664位硬件配置建议物理内存8G+、CPU4cores+、硬盘20G+。内存低于6G无法安装BigOps程序，所以内存必须6+。
weixin_45978234·2020-08-10 04:41

Spark优化分析

--executor-cores--executor-memory--driver-co
放肆桀骜!·2020-08-09 01:00

Spark-Spark setMaster & WordCount Demo

SparksetMaster源码/***ThemasterURLtoconnectto,suchas"local"torunlocallywithonethread,"local[4]"to*runlocallywith4cores
weixin_34238642·2020-08-09 00:02

tensorflow serving及tensorrt 的踩坑记录

此文记录一下算法实施过程中遇到的问题，整个过程基于Python技术栈，无缝集成到流式处理框架中，首先软硬件配置如下：服务器配置：64cores,256G内存，GPUTeslaK80(4个)；TensorFlow
dingying5567·2020-08-08 15:59

k8s 手动安装指南

kubernetes实践指南kubernetes安装与配置至少两台主机dockerversio>1.9https://www.docker.cometcdversion>2.0https://github.com/cores
起feng了~·2020-08-04 20:16

共享内存多核系统与分布式内存系统之间的区别

>>>我们经常说到的多核处理器，是指一个处理器（CPU）上有多个处理核心（CORE），共享内存多核系统我们可以将CPU想象为一个密封的包，在这个包内有多个互相连接的CORES，每个CORE共享一个主存，
weixin_33711641·2020-08-04 20:40

Linux cpuinfo

2.具有相同physicalid的cpu是同一颗cpu封装的线程或者cores。
HedpatCzw·2020-08-02 21:44

centos7yum安装mesos(1.0.0)+marathon+zookeeper+docker

平台的优点抽象化平台的目的是将多台机器的资源集中管理并抽象成一个计算资源对象，如机房现在有上百台机器运行，则抽象化后平台的计算能力为100cores、500mem、200Tdisk。
码太狼·2020-08-02 12:32

Spark环境搭建（七）-----------spark的Local和standalone模式启动

spark的机器1）在$SPARK_HOME/conf中新建spark-env.sh,并加入以下内容SPARK_MASTER_HOST=hadoop001#设置master的hostSPARK_WORKER_CORES
weixin_33725515·2020-08-01 03:31

HoloLens开发

TheHomeeditiondoesnotsupportHyper-V.InstallingtheHoloLensEmulatorwillfailontheHomeedition)64-bitCPUCPUwith4cores
ZoeyyeoZ·2020-07-31 15:47

Linux机器相关参数

grep'physicalid'|sort|uniq|wc-l查看cpu逻辑核数：cat/proc/cpuinfo|grepprocessor|wc-l查看cpu是几核cpu：cat/proc/cpuinfo|grep'cores
三血狼·2020-07-31 11:31

sparkstreaming实时写入hive后合并小文件问题

今天主要来说一下sparksql写入hive后小文件太多,影响查询性能的问题.在另外一篇博客里面也稍微提到了一下,但还是感觉要单独说一下,首先我们要知道hive里面文件的数量=executor-cores
JasonLee'blog·2020-07-30 18:20

Spark资源优化

主要涉及--num-executors--executor-memory--executor-cores--confspark.default.parallelism服务器节点YARN可用
qq_40308028·2020-07-30 16:03

k8s 1.14.2 集群搭建之metric server（三）

kubectltoppodmemory-demo--namespace=mem-example结果类似如下：NAMECPU(cores)MEMORY(bytes)memory-demo162856960
demo·2020-07-30 11:43

Error executing Jupyter command 'WordCount.py': [Errno 2] No such file or directory

想测试下上传测试文件到HDFS目录，输入命令HADOOP_CONF_DIR=/root/app/hadoop/etc/hadoopspark-submit--driver-memory512m--executor-cores2
树街猫·2020-07-30 09:14

openstack配额

------------------------+-------+|Quota|Limit|+-----------------------------+-------+|instances|10||cores
Yeliang Wu·2020-07-29 14:13

单虚拟机nginx-rtmp-module直播带宽测试

硬件环境：A机：宿主机：Windows10withLinuxsubsystem硬件配置：CPU:i7-4790K4Cores8Threads，RAM:8G注：宿主机主要用于启动Linux子系统运行srs-benchmark
XellossRyan·2020-07-29 08:31

spark-submit提交作业参考0

deploy-modecluster\#sparkonyarn模式--driver-memory4g\#每一个driver的内存--executor-memory2g\#每一个executor的内存--executor-cores1
liuzx32·2020-07-28 21:16

ARM架构和ARM核区别和联系

图中Architecture就是ARM架构，而Cores就是ARM核。平时我们所说的ARM7,ARM9主要是指ARM核。
jackixzj·2020-07-28 00:27

Gunicorn-使用详解

pre-forkworker模式，gunicorn在启动时，会在主进程中预先fork出指定数量的worker进程来处理请求，gunicorn依靠操作系统来提供负载均衡，推进的worker数量是(2*$num_cores
qq_37746490·2020-07-16 06:39

Linux下判断cpu物理个数，几核，是超线程还是多核心

grep"physicalid"|sort|uniq|wc-l2.查看逻辑CPU的个数#cat/proc/cpuinfo|grep"processor"|wc-l3.查看CPU是几核#cat/proc/cpuinfo|grep"cores
jabin8·2020-07-16 00:21

spark sql基本使用方法介绍

impala中的数据，一、启动方法/data/spark-1.4.0-bin-cdh4/bin/spark-sql--masterspark://master:7077--total-executor-cores10
duncandai·2020-07-15 22:27

在本地Kubernetes上安装AWX

Kubernetes13AWX6.0.0helm2.11.0postgresql2.0.02.准备环境2.1KubernetesKubernetes环境已自行搭建完成2.2AWX默认每个pod请求的资源为——Memory：6GBCPU：3cores
楼辛·2020-07-15 13:51

.net core 3.0 Signalr - 07 业务实现-服务端 自定义管理组、用户、连接

的管理重写OnConnectedAsync从连接信息中获取UserId、Groups,ConnectId，并实现这三者的关系，存放于redis中代码请查看usingCTS.Signalr.Server.Cores
程序有Bug·2020-07-15 10:35

vue设置proxy代理

顺便说一下跨域问题的解决方法，面试经常问的解决跨域问题三个方法：跨域问题主要是前端（发生在浏览器端）后端不存在跨域问题一、jsonp（只能处理get请求）二、cores（后端开启）三、代理服务器（前端常用
xiaohuihui_z·2020-07-15 10:57

.net core 3.0 Signalr - 07 业务实现-服务端 自定义管理组、用户、连接

的管理重写OnConnectedAsync从连接信息中获取UserId、Groups,ConnectId，并实现这三者的关系，存放于redis中代码请查看usingCTS.Signalr.Server.Cores
weixin_30571465·2020-07-15 03:15

001:spark-submit提交参数之num-executors，num-executors，executor-cores

1.num-executors参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行速度是非常慢的。参数调优建议：每个S
明月不归尘·2020-07-15 01:24

CPU配置+CPU模型

在命令行中，关于配置SMP系统的参数如下：-smp[cpus=]n[,maxcpus=cpus][,cores=cores][,threads=threads][,sockets=sockets]主要参数说明
大格子嘞·2020-07-14 21:29

/proc/cpuinfo详解

grep"physicalid"|sort|uniq|wc–l2、查看逻辑CPU的个数#cat/proc/cpuinfo|grep"processor"|wc–l3、查看CPU是几核#cat/proc/cpuinfo|grep"cores
chengxuyuanyonghu·2020-07-14 08:39

/proc/cpuinfo详解

grep"physicalid"|sort|uniq|wc–l2、查看逻辑CPU的个数#cat/proc/cpuinfo|grep"processor"|wc–l3、查看CPU是几核#cat/proc/cpuinfo|grep"cores
anuous·2020-07-14 07:23

solr5使用方法篇以及高级功能facet使用

1、solrphp客户端实现2、solr简单功能使用3、solrfacet高级功能使用一、首先介绍solr用php如何实现链接和数据检索//初始化solr服务functioninit_solrs($cores
meng_philip123·2020-07-14 03:14
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他