128M

Map和Reduce 个数的设定

主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)；2.举例：
Devin Li·2019-07-12 17:11

IDEA优化内存配置，可提高启动和运行速度（亲测有效）

一、优化IDEA配置IDEA默认启动配置主要考虑低配置用户，参数不高（默认最低128m，最高512m），导致启动慢，然后运行也不流畅，这里我们需要优化下启动和运行配置；但是在工作中的电脑一般都是8G或者
梦一直在路上·2019-07-10 23:53

hive优化之调整mapreduce数目

主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)；2.举例：
邢小成·2019-06-27 12:41

hive优化之-控制hive任务中的map数和reduce数

主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)；举例：a)
兴趣e族·2019-06-24 16:45

Hadoop YARN中 VCores used 与 VCores Avail 数量不相符， YARN WebUI中显示的VCores数不对

提交了很多任务后，yarn调度器按照（2GB*1024）/384=5余128M，每个节点申请了5个container，但我设置的VCores只有两个，怎么能有这么多container呢？
Ahuuua·2019-06-19 15:36

014 Shuffle的概念介绍 Shuffle的细节图描述 分区案例 倒排索引案例

输入的过程好理解吧输入三行做分片一个分片一行Mapping统计好Shuffling这边排序做一些分区的工作Reducing接收统计输出结果这些图讲的都是shuffle不太清楚可自行到官网上寻找然后这里一张长图拆开了一块是128M
C_time·2019-05-30 17:12

nginx正向代理

设置代理服务端口为3128设置内存缓存容量128M设置硬盘缓存容量为200M，一级目录16个，二级目录128个然后验证客户机能否通过代理服务器访问Web服务器：客户端从浏览器访问Web服
李立衡·2019-05-26 21:12

启动项目报错 failed; error='Cannot allocate memory' (errno=12)服务器内存不足

JavaHotSpot(TM)64-BitServerVMwarning:ignoringoptionPermSize=128m;supportwasremovedin8.0JavaHotSpot(TM
今夜月色很美·2019-04-24 16:46

解决：Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; MaxPermSize=128m; su...

问题背景：启动HBase的时候报警告：Image1.png可以不用管是个警告或者：vihbase-env.sh将下面这两个注释掉（看英文就知道啦YoucansafelyremoveitforJDK8+）#ConfigurePermSize.OnlyneededinJDK7.YoucansafelyremoveitforJDK8+exportHBASE_MASTER_OPTS="$HBASE_MAS
Sam_L·2019-04-20 11:05

tomcat vm 参数设置

JAVA_OPTS="-server-Xms256m-Xmx512m-XX:PermSize=64M-XX:MaxPermSize=128m"（仅做参考，具体数值根据自己的电脑内存配置）windows修改
极客on之路·2019-04-16 09:53

hadoop常用命令

一：增删改查看目录：hadoopfs-ls/删文件：hadoopfs-rm/filename添加文件：hadoopfs-putfilename/  大于128M的文件才会分块，每块最大128M创建目录：
BAT_number·2019-03-27 14:19

HBase写入报错：org.apache.hadoop.hbase.RegionTooBusyException: Above memstore limit

AbovememstorelimitxxxmemstoreSize=1094171984,blockingMemStoreSize=1073741824原因：一般来说memstore超过hbase.hregion.memstore.flush.size（默认128M
没有格子衬衫的程序员·2019-03-21 00:06

PostgreSQL - PostgreSQL/PostGIS 性能调优

其中两个参数，根据服务器实际资源情况调整会对性能影响很大：shared_buffers，缓存查询过程中的临时数据，内存的1/4比较合适，默认128M；work_mem，sort和hash表操作需要占用的内存
庆祝亚运会·2019-03-13 08:58

面试题5

1、将一个128M的交换分区扩容256M方法一：fdisk#分出一个128M交换分区mkswap分区设备#初始化swapon分区设备#激活swapvi/etc/fstab分区设备swapswapdefaults00
何去何从_ie·2019-03-11 09:04

NameNode元数据管理机制

这里只是namenode的大小，如果一个块128M则整个文件将
相红笑·2019-03-10 11:30

获取Android系统默认给每个app分配的内存上限

getSystemService(Context.ACTIVITY_SERVICE);intmemorySize=activityManager.getMemoryClass();测试结果：华为mate7：192m小米4：128m
极客大白·2019-03-01 15:45

获取Android系统默认给每个app分配的内存上限

getSystemService(Context.ACTIVITY_SERVICE);intmemorySize=activityManager.getMemoryClass();测试结果：华为mate7：192m小米4：128m
极客大白·2019-03-01 15:45

PHP大文件分片上传

跟php.ini里面的几个配置有关upload_max_filesize=2M//PHP最大能接受的文件大小post_max_size=8M//PHP能收到的最大POST值'memory_limit=128M
Csoap994·2019-02-27 23:25

如何在hadoop中处理小文件

一、什么是小文件小文件一般是指明显小于Hadoop的blocksize（hadoop1.x中默认是64M,hadoop2.x中默认是128M）的文件。
流一&·2019-02-20 21:16

hadoop-uber作业模式

小作业就是小于10个mapper而且只有1个reducer且输入大小小于一个HDFS块（128M）大小的作业map任务和reduce任务需要的资源量
雪泪寒飞起来·2019-02-20 11:00

如何创建 Hive 表的几种类型？

hive的表主要有5中类型：内部表分区表外部表桶表视图一、内部表表对应一个目录，表中的数据对应一个文件文件存储在hdfs的Datanode的数据块中，数据块默认的大小是128m（Hadoop2.x的版本
曲健磊·2019-02-15 16:38

RocketMQ connect to failed

/mqadmintopicListJavaHotSpot(TM)64-BitServerVMwarning:ignoringoptionPermSize=128m;supportwasremovedin8.0JavaHotSpot
qianleiz·2019-02-12 17:41

RocketMQ connect to failed

/mqadmintopicListJavaHotSpot(TM)64-BitServerVMwarning:ignoringoptionPermSize=128m;supportwasremovedin8.0JavaHotSpot
qianleiz·2019-02-12 17:41

慕课网日志数据分析

1Master（NameNode/NN）带N个Slaves（DataNode/DN）HDFS/YARN/HBase1个文件会被拆成多个Blockblocksize：128M130M===》2个Block：128M
投在断头台·2019-01-30 16:18

慕课网日志数据分析

1Master（NameNode/NN）带N个Slaves（DataNode/DN）HDFS/YARN/HBase1个文件会被拆成多个Blockblocksize：128M130M===》2个Block：128M
投在断头台·2019-01-30 16:18

PHP + JS 实现大文件分割上传

php.ini配置文件中，有几个影响参数：upload_max_filesize=2M//PHP最大能接受的文件大小post_max_size=8M//PHP能收到的最大POST值'memory_limit=128M
菜乌·2019-01-22 14:00

4G虚拟内存空间布局

用户空间：1、128M大小的不可访问区域（保留区）不可读、不可写我们通常将申请的临时变量指针初始化时置为NU
从前有座山a·2019-01-11 19:23

4G虚拟内存空间布局

用户空间：1、128M大小的不可访问区域（保留区）不可读、不可写我们通常将申请的临时变量指针初始化时置为NU
从前有座山a·2019-01-11 19:23

Hadoop之HDFS

HadoopDistributedFileSystem）是hadoop中分布式文件系统，是hadoop中用于数据存储的模块，在存储数据时会对数据进行切块，每一个切块是一个block，hadoop2.0中默认每一个切块的大小时128M
迷茫的小矮人·2018-12-20 20:49

这是一篇路由器踩坑的文章

目标老毛子固件自动登录校园网（drcom客户端）校园网防掉线（掉线重登）其他（日后加）项目链接备注老毛子固件http://opt.cn2qq.com/padavan/对于极贰128M版，固件包为RT-AC51U-GPIO
行8·2018-12-06 23:18

Query和PHP结合实现动态进度条上传显示

max_execution_time=150找到：max_input_time=60，这是每个脚本可以消耗的时间，单位也是秒，修改为：max_input_time=300找到：memory_limit=128M
库昆·2018-12-04 11:37

爬虫笔记

importos“”"有一个文件UTF-8的文本格式的文件，大小都为100G，计算UTF-8编码格式文件中的字符个数，计算机内存为128M“”"char_nums=0withopen(’.
血色橄榄枝·2018-12-04 08:44

MapReduce&Yarn增强

job.submit()地点:客户端参与者:待处理数据目录FileInputFormat.getSplits()规则:对待处理目录下逐个遍历文件,以切片大小对文件进行逻辑规划splitsize==blocksize==128M
CoderBoom·2018-11-25 22:55

大龙说币-BCH分叉的影响

图片发自App闹崩的焦点在于，吴忌寒认为BCH最好能像EOS/ETH一样支持各种智能合约，而澳本聪认为BCH应该专注于支付，由目前的32M区块一步到位升级至128M区块是坠吼的。
寂寞小生·2018-11-14 21:17

记一次日志包冲突，导致日志不打印问题

启动日志为JavaHotSpot(TM)64-BitServerVMwarning:ignoringoptionPermSize=128m;supportwasremovedin8
lishengping_max·2018-10-29 21:03

HDFS详解之块大小和副本数

NNDNSNNsbin/start-dfs.sh(开启hdfs使用的脚本)bin/hdfsdfs-ls(输入命令加前缀bin/hdfsdfs）2.block(块）dfs.blocksize：134217728（字节）/128M
Jaserok·2018-10-15 22:19

hive有关的MapReduce大作业的性能问题(mapper数过多)

Hive查询涉及的小文件过多对MR作业的危害：Hadoop2.X中的小文件是指文件size小于HDFS的块（block）大小（例如128M）的文件。
Tony_仔·2018-10-11 20:54

hive------设计原则

使用分区管理HDFS文件分区避免查询数据进行HDFS全盘扫描，一个表分区数量不要太多（导致每一个分区创建一个task，每一个task是一个jvm实例），没个分区中的文件尽量大（与HDFS数据块保持一致，默认128M
cs_mycsdn·2018-10-08 23:27

session事故

session存储的memcache是独立配置的，容量为128M，一般情况下，128M的容量是足够存储的，但是本次可能是由于业务逻辑上存在的漏洞，往session中写入大量数据，同时登录用户量剧
andre_sj·2018-10-06 21:17

金无足赤，别让极致去中心化限制了发展

一方坚持锁定底层协议，将比特币现金恢复到0.1版本，不管当前矿工设备强上128M；另一方坚持在下个0.18版本推出规范交易排序（CTOR）和两个OP操作码，且拒绝社区提议推迟升级。
weixin_34216036·2018-09-26 03:16

Hadoop分布式文件系统HDFS架构

1Master(NameNode/NN)带N个Slaves(DataNode/DN)HDFS/YARN/HBase1个文件会被拆分成多个Blockblocksize：128M130M==>2个Block：128M
29DCH·2018-09-22 21:17

嵌入式linux增加ZRAM支持

Linux内核ZRAM概念在使用嵌入式Linux的时候，经常遇到以下尴尬：为了节约成本，DDR通常比较小，比如128M、256M等等，然而现在的应用程序越做越大，偶尔会遇到OOM，导致进程被杀。
Chris_Tsai·2018-09-10 23:39

嵌入式linux增加ZRAM支持

Linux内核ZRAM概念在使用嵌入式Linux的时候，经常遇到以下尴尬：为了节约成本，DDR通常比较小，比如128M、256M等等，然而现在的应用程序越做越大，偶尔会遇到OOM，导致进程被杀。
Chris_Tsai·2018-09-10 23:39

java基础之常用 JVM 参数详解

-XX:PermSize设置永久代最小空间大小，默认为物理内存的1/64（常见：-XX:PermSize=128M）。-XX:MaxPerm
laughitover·2018-09-04 11:50

Hadoop学习笔记（二）（HDFS）

hdfs基本架构：1Master(NameNode/NN)带N个Slaves(DataNode/DN)1个文件会被拆分成多个Blockblocksize：128M130M==>2个Block：128M和
无影风Victorz·2018-08-29 17:50

Hadoop2.x HDFS源码剖析---概述

的四个核心模块：namenode节点、datanode节点、客户端、HDFS协议（RPC协议、流式接口协议:HTTP和TCP）基本概念1、数据块（block）数据块是HDFS文件处理（读和写）的最小单元，默认是128M
哎呦、不错哦·2018-08-28 23:59

大数据入门之Hadoop生态系统(2) -- HDFS概念

一个文件会被拆分成多个Block(默认每个数据块是128M)，如果一个文件有
Kiku_xq·2018-08-19 16:01

elk 解决浏览器跨域问题

1、执行命令：dockerpullsebp/elk将镜像pull到本地来；2、执行命令：dockerrun-p5601:5601-p9200:9200-p5044:5044-eES_MIN_MEM=128m
疯狂的小萝卜头·2018-08-03 16:00

elk 解决浏览器跨域问题

添加下面配置：vm.max_map_count=655360并执行命令：sysctl-p 启动：dockerrun-p5601:5601-p9200:9200-p5044:5044-eES_MIN_MEM=128m
gmHappy·2018-08-03 15:36

Spark一些基础原理——Job

背景知识：Spark基本工作原理、RDDlv0一个典型的Job是由以下过程组成：从数据源（Datablocks）加载生成RDD（每个数据分片Partition一般是128M，最后一条记录横跨2个blocks
不羁之心·2018-07-23 15:27
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他