cores

.net core 3.0 Signalr - 07 业务实现-服务端 自定义管理组、用户、连接

的管理重写OnConnectedAsync从连接信息中获取UserId、Groups,ConnectId，并实现这三者的关系，存放于redis中代码请查看usingCTS.Signalr.Server.Cores
程序有Bug·2019-10-06 00:00

Spark-shell批量命令执行脚本

/bin/bashsource/etc/profileexec$SPARK_HOME/bin/spark-shell--queuetv--namespark-sql-test--executor-cores8
达微·2019-09-29 20:23

Shell实现识别物理cpu个数、核心数

2.具有相同physicalid的cpu是同一颗cpu封装的线程或者cores。
·2019-09-23 20:40

shell上启动spark

spark（可自己配相应参数）：spark-shell\--name"content_baidunlp"\--masteryarn-client\--num-executors4\--executor-cores2
Code_LT·2019-09-16 19:29

shell上启动spark

spark（可自己配相应参数）：spark-shell\--name"content_baidunlp"\--masteryarn-client\--num-executors4\--executor-cores2
Code_LT·2019-09-16 19:29

kafka扩容测试用例

kafka扩容测试用例测试准备虚拟机准备：四台虚拟机(CPU:16cores,Memory:16G,Disk:600GB)四台虚拟机间的免密登录；四台虚拟机间的网络测试(用于估算重分布时间)；测试项TOPIC
缱绻幽香·2019-08-20 15:04

redis 源码（第x天）

官方是这么说的##Redisissinglethreaded.HowcanIexploitmultipleCPU/cores?
不要重不要重·2019-07-07 18:20

CPU使用率原理及计算方式

目录CPU：Cores,andHyper-Threading超线程（Hyper-Threading）多核（multi-cores）CPU使用率计算CPU使用率测试如何计算CPU使用率实现CPU使用率统计程序
gatsby123·2019-07-03 16:00

JVM快速调优手册之五: ParNew收集器+CMS收集器的产品案例分析(响应时间优先)

服务器双核,4个cores;16Gmemory[root@alish2-cassandra-01~]#cat/proc/cpuinfo|grep"cpucores"cpucores:2cpucores:
Stitch_x·2019-06-29 13:42

SCR1（RISC-V）介绍

https://riscv.org/risc-v-cores/百度了一下，SolderpadHardwareLicensev.0.51许可证和Apache2.0软件许可证相关联，以它为基础但它包含了更多的
software工程师·2019-06-12 14:58

Spark调优

1.搭建集群在Spark安装路径下spark/conf/spark-env.sh配置：SPARK_WORKER_CORES=XXXSPARK_WORKER_MEMORY=XXX2.提交任务提交任务命令，
数据小二·2019-06-07 16:39

使用bash shell 查看Linux系统的CPU和内存

打印CPU相关信息cpu_model=`cat/proc/cpuinfo|grep'modelname'|gawk-F:'{print$2}'`echo"cpumodel:$cpu_model"cpu_cores
林摇·2019-06-03 17:36

spark

怎么去配置Spark任务的executors，cores，memory，有如下几个因素需要考虑：数据量任务完成时间点静态或者动态的资源分配上下游应用Spark应用当中术语的基本定义：Partitions
xbyang18·2019-05-22 12:41

运行在YARN上的Spark程序的Executor，Cores和Memory的分配

原文网址：https://www.jianshu.com/p/3716ade93b02Hadoop/Yarn/OS守护进程：当利用一个集群管理器（比如YARN）运行spark程序时，存在一些守护进程运行在后台，比如NameNode，SecondaryNameNode，DataNode，JobTracker和TaskTracker。因此，当确定num-executor时，我们需要确保有足够的core
Stitch_x·2019-05-17 15:43

R 并行化运行

library(parallel)cl.cores<-detectCores()#先查下自己电脑几核的，n核貌似应该选跑n个线程，线程不是越多越好，#线程个数和任务运行时间是条开口向下的抛物线，最高点预计在电脑的核数上
KK_f2d5·2019-05-16 19:45

R 并行化运行

library(parallel)cl.cores<-detectCores()#先查下自己电脑几核的，n核貌似应该选跑n个线程，线程不是越多越好，#线程个数和任务运行时间是条开口向下的抛物线，最高点预计在电脑的核数上
KK_f2d5·2019-05-16 19:45

基于Custom Metrics API的CoreDns水平扩展

root@k8s-master-1:~#kubectltopnodeNAMECPU(cores)
JaeGwen·2019-05-13 16:55

ubuntu-16.04.6-server-amd64 安装xilinx petalinux

Minimumworkstationrequirements:°8GBRAM(recommendedminimumforXilinxtools)°2GHzCPUclockorequivalent(minimumof8cores
sfg193·2019-05-03 21:42

Windows Server 2016 安装虚拟机版黑群晖

硬件配置DellR730CPU:Intel(R)Xeon(R)[email protected](6cores)Ram:16GbHDD:系统-600GBSASX2(Raid1)、数据-8TBSASX4
KirosHan·2019-03-22 22:59

【总结】Spark任务的core，executor，memory资源配置方法

怎么去配置Spark任务的executors，cores，memory，有如下几个因素需要考虑：数据量任务完成时间点静态或者动态的资源分配上下游应用Spark应用当中术语的基本定义：Par
巧克力黒·2019-03-18 22:02

Java 8 Stream的性能到底如何？

我们将JVM运行在-server模式下，测试数据在GB量级，测试机器采用常见的商用服务器，配置如下：OSCentOS6.7x86_64CPUIntelXeonX5675,12MCache3.06GHz,6Cores12Threads
java1856905·2019-03-18 15:42

8.spark 体验点滴- executor 数量 和task 并行数

一.指定sparkexecutor数量的公式executor数量=spark.cores.max/spark.executor.coresspark.cores.max是指你的spark程序需要的总核数
Klaus_R·2019-03-07 10:28

2、virt-install

name=NAME：虚拟机名称，需全局惟一；-rMEMORY,--ram=MEMORY：虚拟机内在大小，单位为MB；--vcpus=VCPUS[,maxvcpus=MAX][,sockets=#][,cores
小短腿电工·2019-02-15 17:26

parkstreaming实时写入hive后合并小文件问题

今天主要来说一下sparksql写入hive后小文件太多,影响查询性能的问题.在另外一篇博客里面也稍微提到了一下,但还是感觉要单独说一下,首先我们要知道hive里面文件的数量=executor-cores
hongtaq156136·2019-02-03 15:07

Spark并行度优化 增加cores,增加partition 还是增加instance

Spark的官方文档中关于并行度的介绍有一段介绍：Clusterswillnotbefullyutilizedunlessyousetthelevelofparallelismforeachoperationhighenough.Sparkautomaticallysetsthenumberof“map”taskstorunoneachfileaccordingtoitssize(thoughyo
pcqlegend·2019-01-25 18:07

Spark 中如何设置executor个数 以及task并行度

一.指定sparkexecutor数量的公式executor数量=spark.cores.max/spark.executor.coresspark.cores.max是指你的spark程序需要的总核数
chixushuchu·2018-12-19 18:03

Spark troubleshooting yarn队列资源不足

资源队列的情况：500G内存，200个cpucore启动Sparkapplicationspark-submit配置80个executor每个executor4g内存，2个cpucore--executor-cores2
chixushuchu·2018-12-19 17:08

Sphinx和Coreseek中文搜索引擎的安装

目录介绍安装目录：/usr/local/coreseek索引存放目录：/home/coreseek/data日志存放目录：/home/cores
LoneRanger66·2018-12-19 15:29

spark-2.4.0-hadoop2.7-简单操作

spark的机器上执行1#--masterspark://mini02:7077连接spark的master，这个master的状态为alive，而不是standby2#--total-executor-cores2
踏歌行666·2018-12-02 19:00

spark遇到的一些坑

classcom.zctt.bigdata.Education\--namecluster_test3\--executor-memory5g\--driver-memory5g\--executor-cores4
TheManOfCoding·2018-11-26 10:44

Spark Streaming任务调优实录记载

/bin/spark-submit--namejobname--driver-cores2--driver-memory8g--num-executors20--executor-memory18g--
KLordy·2018-11-12 10:45

How does a single thread run on multiple cores?

https://softwareengineering.stackexchange.com/questions/349972/how-does-a-single-thread-run-on-multiple-coresHowdoesasinglethreadrunonmultiplecores?AskQuestionupvote52downvotefavorite30Iamtryingtounde
ztguang·2018-11-08 18:02

查看spark的配置信息

hpsk.com（主节点在哪）SPARK_MASTER_PORT=7077（端口号7077）SPARK_MASTER_WEBUI_PORT=8080（WEB监控页面的端口号8080）SPARK_WORKER_CORES
我满眼的欢喜都是你·2018-09-21 17:09

[译]运行在YARN上的Spark程序的Executor，Cores和Memory的分配

在跑Spark-On-Yarn程序的时候，往往会对几个参数（num-executors，executor-cores，executor-memory等）理解很模糊，从而凭感觉地去指定值，这是不符合有追求程序员信仰的
phusFuNs·2018-09-08 15:59

安卓跳转到新活动时加载视图，再加载数据。预防崩

/***定义线程池，异步操作加载点*/privateintNUMBER_OF_CORES=Runtime.getRuntime().availableProcessors();privateintK
Android_zhu_jiang·2018-09-06 16:55

storm-core使用gradle打包找不到 ring-cores问题Could not find ring-cors:ring-cors:0.1.5.

问题storm-core使用gradle打包找不到ring-cors:ring-cors:0.1.5.FAILURE:Buildfailedwithanexception.Whatwentwrong:Couldnotresolveallfilesforconfiguration‘:compileClasspath’.Couldnotfindring-cors:ring-cors:0.1.5.Sea
王小雷-多面手·2018-08-30 23:36

Spark提交任务的命令

spark-submit--masterspark://master.hadoop:7077,slave1.hadoop:7077--executor-memory512mb--total-executor-cores4
nuc2015·2018-08-28 19:29

kafka 生产者源码分析（一）- 生产者发送消息过程

而且放在cores包下，新版本的客户端使用java实现，放在clients包下。新的生产者客户端是一个进程，使用KafkaProducer对象实例化。
扎克begod·2018-08-14 11:24

大规模数据处理中拒绝连接错误分析处理

1、处理的数据有几百个G,把数据处理成按照手机号计算1万多个特征；2、数据处理环境：spark-2.0.2;--executor-memory40g--total-executor-cores120--
大师兄你家猴跑啦·2018-07-04 14:31

spark streaming 踩过的那些坑

APIreceiver目前资源分配（现在系统比较稳定的资源分配），独立集群--driver-memory50G--executor-memory8G--num-executors11--executor-cores5
T-Janey·2018-07-03 17:40

Spark-shell批量命令执行脚本的方法

/bin/bashsource/etc/profileexec$SPARK_HOME/bin/spark-shell--queuetv--namespark-sql-test--executor-cores8
小蜗牛也有梦想·2018-06-19 16:59

Mac获取CPU信息

-系统报告2.应用程序-实用工具-CPU-双击活动负载3.终端执行命令sysctlhw.physicalcpusysctlhw.logicalcpu说明：physicalcpu=Processors*Cores
leaJ·2018-06-14 10:17

Spark core优化配置参数

Sparkcore优化配置参数应用属性描述spark.driver.cores在集群模式下管理资源时，用于driver程序的CPU内核数量。默认为1。
张行之·2018-06-08 12:27

Hadoop CombineTextInputFormat的使用

1、假如机器的CPU的核数有12cores，启动多少个maptask合适呢？=>启动12个maptask使得机器最大化使用。每个maptask处理多少数据合适？128Mb，经过实绩得到的最优解。
sparkle123·2018-06-01 20:21

Linux服务器性能查看分析调优

cat /proc/cpuinfo |grep "physical id"|sort|uniq|wc -l2、查看每个物理cpu中的core个数：cat /proc/cpuinfo |grep "cpu cores
绿茶点心·2018-05-31 16:07

实验六

实验内容1chip#includeusingnamespacestd;classCores{private:intm,n;public:Cores(int,int);intgetm(){returnm;
BuluGuy·2018-05-29 22:00

Spark on Yarn 执行单元数、内存、CPU 数的推荐分配

：ManagingRelationsInsideElasticsearch|Elastic是否曾经有过疑问：--num-executors,--executor-memoryand--execuor-cores
dailybird·2018-05-16 00:00

RDD分区2GB限制

问题来源：500G原数据存储在HBase上，Spark从HBase读取数据这些数据进行处理，任务资源分配如下：--executor-memory12G\--executor-cores6\--confspark.yarn.driver.memoryOverhead
AlferWei·2018-05-02 12:34

Container exited with a non-zero exit code 1 Failing this attempt. Failing the application.

classcom.htlx.sage.bigdata.spark.etl.Application--driver-memory1g--num-executors2--executor-memory2g--executor-cores2my-spark-et
守猫de人·2018-04-24 14:11

Spark调优-参数及配置

参数调优1资源类11num-executors12executor-memory13executor-cores14driver-memory15sparkdefaultparallelism16sparkstoragememoryFraction17sparkshufflememoryFractiongetMaxExecutionMemorygetMaxStorageMemory1
graphnj·2018-01-10 23:30
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他