000X000
000X000

CDH优化(收藏篇)

目录

1 测试环境参考方案

1.0 资源：集群服务安排

1.1 优化：Cloudera Management

1.2 优化：Zookeeper

1.3 优化：HDFS

1.4 优化：YARN + MapReduce

1.5 优化：Kafka

1.6 优化：HBase

1.7 优化：Hive

1.8 优化：Oozie、Hue、Solr、Spark

2 线上集群参考方案

2.0 资源：集群服务安排

2.1 优化：Cloudera Management

2.2 优化：Zookeeper

2.3 优化：HDFS

2.4 优化：YARN + MapReduce

2.5 优化：Kafka

2.6 优化：HBase

2.7 优化：Hive

2.8 优化：Oozie、Hue、solr、spark

1 测试环境参考方案

1.0 资源：集群服务安排

  • 表格方便大家复制修改
服务名称 子服务 CM-24G ZK-Kafka(3台)-12G DataNode(3台)-64G NameNode1-16G NameNode2-16G Resourcemanager1-16G Resourcemanager2-16G hive-hbase-24G hive-hbase-24G
MySQL MySQL √                
CM Activity Monitor
Alert Publisher
Event Server
Host Monitor
Service Monitor		 √
√
√
√
√		                
HDFS NameNode
DataNode
Failover Controller
JournalNode		   X
X
X
√		 X
√
X
X		 √
X
√
X		 √
X
√
X		        
Yarn NodeManager
Resourcemanager
JobHisoryServer		     √
X
X		     X
√
√		 X
√
√		    
Zookeeper Zookeeper Server   √              
Kafka Kafka Broker   √              
Hive Hive Metastore Server
HiveServer2
Gateway（安装对应应用服务器）		     X
√
√		     X
X
√		 X
X
√		 √
X
X		 √
X
X
Hbase HMaster
HRegionServer
Thrift Server		     X
√
√		         √
X
X		 √
X
X
Oozie Oozie Server           √      
Hue Hue Server
Load Balancer		           X
√		 √
X		    
Spark History Server
Gateway（安装对应应用服务器）		     X
√		     X
√		 √
X		    
Flume Flume Agent （安装对应应用服务器）                  
Sqoop Sqoop（安装对应应用服务器）                  
sorl     √              
  • 图

CDH优化(收藏篇)_第1张图片
CDH优化(收藏篇)_第2张图片

1.1 优化：Cloudera Management

这些服务主要是提供监控功能，目前的调整主要集中在内存放，以便有足够的资源 完成集群管理。

服务 选项 配置值
Activity Monitor Java Heap Size 2G
Alert Publisher Java Heap Size 2G
Event Server Java Heap Size 2G
Host Monitor Java Heap Size 4G
Service Monitor Java Heap Size 4G

1.2 优化：Zookeeper

服务 选项 配置值
Zookeeper Java Heap Size (堆栈大小) 2G
Zookeeper maxClientCnxns (最大客户端连接数) 1024
Zookeeper dataDir (数据文件目录+数据持久化路径) /hadoop/zookeeper (建议独立目录)
Zookeeper dataLogDir (事务日志目录) /hadoop/zookeeper_log (建议独立目录)
Zookeeper maxSessionTimeout 180000

1.3 优化：HDFS

服务 选项 配置值
NameNode Java Heap Size (堆栈大小)10 10G
NameNode dfs.namenode.handler.count (详见3.3.2) 30
NameNode dfs.namenode.service.handler.count (详见3.3.2) 30
NameNode fs.permissions.umask-mode (使用默认值022) 027(使用默认值022)
DataNode Java Heap Size (堆栈大小) 8G
DataNode dfs.datanode.failed.volumes.tolerated (详见3.3.3) 0
DataNode dfs.datanode.balance.bandwidthPerSec (DataNode 平衡带宽) 100M
DataNode dfs.datanode.handler.count (服务器线程数) 64
DataNode dfs.datanode.max.transfer.threads (最大传输线程数) 20480
JournalNode Java Heap Size (堆栈大小) 512M

1.3.1 数据块优化

dfs.blocksize = 128M

  • 文件以块为单位进行切分存储，块通常设置的比较大（最小6M，默认128M）,根据网络带宽计算最佳值。
  • 块越大，寻址越快，读取效率越高，但同时由于MapReduce任务也是以块为最小单位来处理，所以太大的块不利于于对数据的并行处理。
  • 一个文件至少占用一个块（如果一个1KB文件，占用一个块，但是占用空间还是1KB）
  • 我们在读取HDFS上文件的时候，NameNode会去寻找block地址，寻址时间为传输时间的1%时，则为最佳状态。
    • 目前磁盘的传输速度普遍为100MB/S
    • 如果寻址时间约为10ms，则传输时间=10ms/0.01=1000ms=1s
    • 如果传输时间为1S，传输速度为100MB/S，那么一秒钟我们就可以向HDFS传送100MB文件，设置块大小128M比较合适。
    • 如果带宽为200MB/S，那么可以将block块大小设置为256M比较合适。

1.3.2 NameNode 的服务器线程的数量

  • dfs.namenode.handler.count=20*log2(Cluster Size)，比如集群规模为16 ，8以2为底的对数是4，故此参数设置为80
  • dfs.namenode.service.handler.count=20*log2(Cluster Size)，比如集群规模为16 ，8以2为底的对数是4，故此参数设置为80

NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。该值需要设置为集群大小的自然对数乘以20,。

1.3.3 DataNode 停止提供服务前允许失败的卷的数量

DN多少块盘损坏后停止服务，默认为0，即一旦任何磁盘故障DN即关闭。 对盘较多的集群（例如DN有超过2块盘），磁盘故障是常态，通常可以将该值设置为1或2，避免频繁有DN下线。

1.4 优化：YARN + MapReduce

服务 选项 配置值 参数说明
ResourceManager Java Heap Size (堆栈大小) 4G  
ResourceManager yarn.scheduler.minimum-allocation-mb (最小容器内存) 2G 给应用程序 Container 分配的最小内存
ResourceManager yarn.scheduler.increment-allocation-mb (容器内存增量) 512M 如果使用 Fair Scheduler，容器内存允许增量
ResourceManager yarn.scheduler.maximum-allocation-mb (最大容器内存) 32G 给应用程序 Container 分配的最大内存
ResourceManager yarn.scheduler.minimum-allocation-vcores (最小容器虚拟 CPU 内核数量) 1 每个 Container 申请的最小 CPU 核数
ResourceManager yarn.scheduler.increment-allocation-vcores (容器虚拟 CPU 内核增量) 1 如果使用 Fair Scheduler,虚拟 CPU 内核允许增量
ResourceManager yarn.scheduler.maximum-allocation-vcores (最大容器虚拟 CPU 内核数量) 16 每个 Container 申请的最大 CPU 核数
ResourceManager yarn.resourcemanager.recovery.enabled true 启用后，ResourceManager 中止时在群集上运行的任何应用程序将在 ResourceManager 下次启动时恢复，备注：如果启用 RM-HA，则始终启用该配置。
NodeManager Java Heap Size (堆栈大小) 4G  
NodeManager yarn.nodemanager.resource.memory-mb 10G 可分配给容器的物理内存数量，参照资源池内存90%左右
NodeManager yarn.nodemanager.resource.cpu-vcores 20 可以为容器分配的虚拟 CPU 内核的数量，参照资源池内存90%左右
ApplicationMaster yarn.app.mapreduce.am.command-opts 右红 传递到 MapReduce ApplicationMaster 的 Java 命令行参数 "-Djava.net.preferIPv4Stack=true "
ApplicationMaster yarn.app.mapreduce.am.resource.mb (ApplicationMaster 内存) 4G  
JobHistory Java Heap Size (堆栈大小) 1G  
MapReduce mapreduce.map.memory.mb （Map 任务内存） 4G 一个MapTask可使用的资源上限。如果MapTask实际使用的资源量超过该值，则会被强制杀死。
MapReduce mapreduce.reduce.memory.mb (Reduce 任务内存) 8G 一个 ReduceTask 可使用的资源上限。如果 ReduceTask 实际使用的资源量超过该值，则会被强制杀死
MapReduce mapreduce.map.cpu.vcores 2 每个 MapTask 可使用的最多 cpu core 数目
MapReduce mapreduce.reduce.cpu.vcores 4 每个 ReduceTask 可使用的最多 cpu core 数目
MapReduce mapreduce.reduce.shuffle.parallelcopies 20 每个 Reduce 去 Map 中取数据的并行数。
MapReduce mapreduce.task.io.sort.mb(Shuffle 的环形缓冲区大小) 512M 当排序文件时要使用的内存缓冲总量。注意：此内存由 JVM 堆栈大小产生（也就是：总用户 JVM 堆栈 - 这些内存 = 总用户可用堆栈空间）
MapReduce mapreduce.map.sort.spill.percent 80% 环形缓冲区溢出的阈值
MapReduce mapreduce.task.timeout 10分钟 Task 超时时间，经常需要设置的一个参数，该参数表 达的意思为：如果一个 Task 在一定时间内没有任何进 入，即不会读取新的数据，也没有输出数据，则认为 该 Task 处于 Block 状态，可能是卡住了，也许永远会 卡住，为了防止因为用户程序永远 Block 住不退出， 则强制设置了一个该超时时间。如果你的程序对每条输入数据的处理时间过长（比如会访问数据库，通过网络拉取数据等），建议将该参数调大，该参数过小常出现的错误提示是 ：AttemptID:attempt_12267239451721_123456_m_00 0335_0 Timed out after 600 secsContainer killed by the ApplicationMaster。

1.5 优化：Kafka

服务 选项 配置值 参数说明
Kafka Broker Java Heap Size of Broker 2G Broker堆栈大小
Kafka Broker Data Directories 多块独立磁盘  
Kafka 服务 Maximum Message Size 10M 服务器可以接收的消息的最大大小。此属性必须与使用者使用的最大提取大小同步。否则，不守规矩的生产者可能会发布太大而无法消费的消息
Kafka 服务 Replica Maximum Fetch Size 20M 副本发送给leader的获取请求中每个分区要获取的最大字节数。此值应大于message.max.bytes。
Kafka 服务 Number of Replica Fetchers 6 用于复制来自领导者的消息的线程数。增大此值将增加跟随者代理中I / O并行度。

1.6 优化：HBase

服务 选项 配置值 参数说明
HBase Java Heap Size 18G 客户端 Java 堆大小（字节）主要作用来缓存Table数据，但是flush时会GC，不要太大，根据集群资源，一般分配整个Hbase集群内存的70%，16->48G就可以了
HBase hbase.client.write.buffer 512M 写入缓冲区大小，调高该值，可以减少RPC调用次数，单数会消耗更多内存，较大缓冲区需要客户端和服务器中有较大内存，因为服务器将实例化已通过的写入缓冲区并进行处理，这会降低远程过程调用 (RPC) 的数量。
HBase Master Java Heap Size 8G HBase Master 的 Java 堆栈大小
HBase Master hbase.master.handler.count 300 HBase Master 中启动的 RPC 服务器实例数量。
HBase RegionServer Java Heap Size 15G HBase RegionServer 的 Java 堆栈大小
HBase RegionServer hbase.regionserver.handler.count 50 RegionServer 中启动的 RPC 服务器实例数量，根据集群情况，可以适当增加该值，主要决定是客户端的请求数
HBase RegionServer hbase.regionserver.metahandler.count 30 用于处理 RegionServer 中的优先级请求的处理程序的数量
HBase RegionServer zookeeper.session.timeout 180000ms ZooKeeper 会话延迟（以毫秒为单位）。HBase 将此作为建议的最长会话时间传递给 ZooKeeper 仲裁
HBase RegionServer hbase.hregion.memstore.flush.size 1G 如 memstore 大小超过此值，Memstore 将刷新到磁盘。通过运行由 hbase.server.thread.wakefrequency 指定的频率的线程检查此值。
HBase RegionServer hbase.hregion.majorcompaction 7 合并周期，在合格节点下，Region下所有的HFile会进行合并，非常消耗资源，在空闲时手动触发
HBase RegionServer hbase.hregion.majorcompaction.jitter 0.5 抖动比率，根据上面的合并周期，有一个抖动比率，也不靠谱，还是手动好
HBase RegionServer hbase.hstore.compactionThreshold 6 如在任意一个 HStore 中有超过此数量的 HStoreFiles，则将运行压缩以将所有 HStoreFiles 文件作为一个 HStoreFile 重新写入。（每次 memstore 刷新写入一个 HStoreFile）您可通过指定更大数量延长压缩，但压缩将运行更长时间。在压缩期间，更新无法刷新到磁盘。长时间压缩需要足够的内存，以在压缩的持续时间内记录所有更新。如太大，压缩期间客户端会超时。
HBase RegionServer hbase.client.scanner.caching 1000 内存未提供数据的情况下扫描仪下次调用时所提取的行数。较高缓存值需启用较快速度的扫描仪，但这需要更多的内存且当缓存为空时某些下一次调用会运行较长时间
HBase RegionServer hbase.hregion.max.filesize 50G HStoreFile 最大大小。如果列组的任意一个 HStoreFile 超过此值，则托管 HRegion 将分割成两个
HBase Master hbase.master.logcleaner.plugins 日志清除器插件 org.apache.hadoop.hbase.master.cleaner.TimeToLiveLogCleaner
HBase hbase.replication false 禁用复制
HBase hbase.master.logcleaner.ttl 10min 保留 HLogs 的最长时间，加上如上两条解决oldWALs增长问题

1.7 优化：Hive

服务 选项 配置值 参数说明
HiveServer2 Java Heap Size 4G  
Hive MetaStore Java Heap Size 8G  
Hive Gateway Java Heap Size 2G  
HiveServer2 hive.execution.engine Spark 执行引擎切换
HiveServer2 hive.fetch.task.conversion more Fetch抓取修改为more，可以使全局查找，字段查找，limit查找等都不走计算引擎，而是直接读取表对应储存目录下的文件，大大普通查询速度
Hive hive.exec.mode.local.auto（hive-site.xml 服务高级配置，客户端高级配置） true 开启本地模式，在单台机器上处理所有的任务，对于小的数据集，执行时间可以明显被缩短
Hive hive.exec.mode.local.auto.inputbytes.max（hive-site.xml 服务高级配置，客户端高级配置） 50000000 文件不超过50M
Hive hive.exec.mode.local.auto.input.files.max（hive-site.xml 服务高级配置，客户端高级配置） 10 个数不超过10个
Hive hive.auto.convert.join 开启 在join问题上，让小表放在左边 去左链接（left join）大表，这样可以有效的减少内存溢出错误发生的几率
Hive hive.mapjoin.smalltable.filesize（hive-site.xml 服务高级配置，客户端高级配置） 50000000 50M以下认为是小表
Hive hive.map.aggr 开启 默认情况下map阶段同一个key发送给一个reduce，当一个key数据过大时就发生数据倾斜。
Hive hive.groupby.mapaggr.checkinterval（hive-site.xml 服务高级配置，客户端高级配置） 200000 在map端进行聚合操作的条目数目
Hive hive.groupby.skewindata（hive-site.xml 服务高级配置，客户端高级配置） true 有数据倾斜时进行负载均衡，生成的查询计划会有两个MR Job，第一个MR Job会将key加随机数均匀的分布到Reduce中，做部分聚合操作（预处理），第二个MR Job在根据预处理结果还原原始key，按照Group By Key分布到Reduce中进行聚合运算，完成最终操作
Hive hive.exec.parallel（hive-site.xml 服务高级配置，客户端高级配置） true 开启并行计算
Hive hive.exec.parallel.thread.number（hive-site.xml 服务高级配置，客户端高级配置） 16 同一个sql允许的最大并行度，针对集群资源适当增加

1.8 优化：Oozie、Hue、Solr、Spark

服务 选项 配置值 参数说明
Oozie Java Heap Size 1G 堆栈大小
Hue Java Heap Size 4G 堆栈大小
solr Java Heap Size 2G 堆栈大小
spark Java Heap Size of History Server in Bytes 2G 历史记录服务器的Java堆大小

2 线上集群参考方案

2.0 资源：集群服务安排

  • 如下黑色字体是理论计算资源使用情况，红色字体是实际使用资源情况，注意理论值已经可以良好保证集群运行。
  • 表格方便大家复制修改
服务名称 子服务 CM-24G-32G ZK-Kafka(3台)-24G-32G DataNode(3台)-128G-128G NameNode1-80G-128G NameNode2-80G-128G Resourcemanager1-24G-32G Resourcemanager2-24G-32G hive-hbase-24G-32G hive-hbase-24G-32G
MySQL MySQL √                
CM Activity Monitor
Alert Publisher
Event Server
Host Monitor
Service Monitor		 √
√
√
√
√		                
HDFS NameNode
DataNode
Failover Controller
JournalNode		   X
X
X
√		 X
√
X
X		 √
X
√
X		 √
X
√
X		        
Yarn NodeManager
Resourcemanager
JobHisoryServer		     √
X
X		     X
√
√		 X
√
√		    
Zookeeper Zookeeper Server   √              
Kafka Kafka Broker   √              
Hive Hive Metastore Server
HiveServer2
Gateway（安装对应应用服务器）		     X
√
√		     X
X
√		 X
X
√		 √
X
X		 √
X
X
Hbase HMaster
HRegionServer
Thrift Server		     X
√
√		         √
X
X		 √
X
X
Oozie Oozie Server           √      
Hue Hue Server
Load Balancer		           X
√		 √
X		    
Spark History Server
Gateway（安装对应应用服务器）		     X
√		     X
√		 √
X		    
Flume Flume Agent （安装对应应用服务器）                  
Sqoop Sqoop（安装对应应用服务器）                  
sorl     √              
  • 图

CDH优化(收藏篇)_第3张图片
CDH优化(收藏篇)_第4张图片

2.1 优化：Cloudera Management

这些服务主要是提供监控功能，目前的调整主要集中在内存放，以便有足够的资源 完成集群管理。

服务 选项 配置值
Activity Monitor Java Heap Size 2G
Alert Publisher Java Heap Size 2G
Event Server Java Heap Size 2G
Host Monitor Java Heap Size 4G
Service Monitor Java Heap Size 4G

2.2 优化：Zookeeper

服务 选项 配置值
Zookeeper Java Heap Size (堆栈大小) 4G
Zookeeper maxClientCnxns (最大客户端连接数) 1024
Zookeeper dataDir (数据文件目录+数据持久化路径) /hadoop/zookeeper (建议独立目录)
Zookeeper dataLogDir (事务日志目录) /hadoop/zookeeper_log (建议独立目录)
Zookeeper maxSessionTimeout 180000

2.3 优化：HDFS

服务 选项 配置值
NameNode Java Heap Size (堆栈大小) 56G
NameNode dfs.namenode.handler.count (详见3.3.2) 80
NameNode dfs.namenode.service.handler.count (详见3.3.2) 80
NameNode fs.permissions.umask-mode (使用默认值022) 027(使用默认值022)
DataNode Java Heap Size (堆栈大小) 8G
DataNode dfs.datanode.failed.volumes.tolerated (详见3.3.3) 1
DataNode dfs.datanode.balance.bandwidthPerSec (DataNode 平衡带宽) 100M
DataNode dfs.datanode.handler.count (服务器线程数) 64
DataNode dfs.datanode.max.transfer.threads (最大传输线程数) 20480
JournalNode Java Heap Size (堆栈大小) 1G

2.3.1 数据块优化

dfs.blocksize = 128M

  • 文件以块为单位进行切分存储，块通常设置的比较大（最小6M，默认128M）,根据网络带宽计算最佳值。
  • 块越大，寻址越快，读取效率越高，但同时由于MapReduce任务也是以块为最小单位来处理，所以太大的块不利于于对数据的并行处理。
  • 一个文件至少占用一个块（如果一个1KB文件，占用一个块，但是占用空间还是1KB）
  • 我们在读取HDFS上文件的时候，NameNode会去寻找block地址，寻址时间为传输时间的1%时，则为最佳状态。
    • 目前磁盘的传输速度普遍为100MB/S
    • 如果寻址时间约为10ms，则传输时间=10ms/0.01=1000ms=1s
    • 如果传输时间为1S，传输速度为100MB/S，那么一秒钟我们就可以向HDFS传送100MB文件，设置块大小128M比较合适。
    • 如果带宽为200MB/S，那么可以将block块大小设置为256M比较合适。

2.3.2 NameNode 的服务器线程的数量

  • dfs.namenode.handler.count=20*log2(Cluster Size)，比如集群规模为16 ，8以2为底的对数是4，故此参数设置为80
  • dfs.namenode.service.handler.count=20*log2(Cluster Size)，比如集群规模为16 ，8以2为底的对数是4，故此参数设置为80

NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。该值需要设置为集群大小的自然对数乘以20,。

2.3.3 DataNode 停止提供服务前允许失败的卷的数量

DN多少块盘损坏后停止服务，默认为0，即一旦任何磁盘故障DN即关闭。 对盘较多的集群（例如DN有超过2块盘），磁盘故障是常态，通常可以将该值设置为1或2，避免频繁有DN下线。

2.4 优化：YARN + MapReduce

服务 选项 配置值 参数说明
ResourceManager Java Heap Size (堆栈大小) 4G  
ResourceManager yarn.scheduler.minimum-allocation-mb (最小容器内存) 2G 给应用程序 Container 分配的最小内存
ResourceManager yarn.scheduler.increment-allocation-mb (容器内存增量) 512M 如果使用 Fair Scheduler，容器内存允许增量
ResourceManager yarn.scheduler.maximum-allocation-mb (最大容器内存) 32G 给应用程序 Container 分配的最大内存
ResourceManager yarn.scheduler.minimum-allocation-vcores (最小容器虚拟 CPU 内核数量) 1 每个 Container 申请的最小 CPU 核数
ResourceManager yarn.scheduler.increment-allocation-vcores (容器虚拟 CPU 内核增量) 1 如果使用 Fair Scheduler,虚拟 CPU 内核允许增量
ResourceManager yarn.scheduler.maximum-allocation-vcores (最大容器虚拟 CPU 内核数量) 16 每个 Container 申请的最大 CPU 核数
ResourceManager yarn.resourcemanager.recovery.enabled true 启用后，ResourceManager 中止时在群集上运行的任何应用程序将在 ResourceManager 下次启动时恢复，备注：如果启用 RM-HA，则始终启用该配置。
NodeManager Java Heap Size (堆栈大小) 4G  
NodeManager yarn.nodemanager.resource.memory-mb 40G 可分配给容器的物理内存数量，参照资源池内存90%左右
NodeManager yarn.nodemanager.resource.cpu-vcores 32 可以为容器分配的虚拟 CPU 内核的数量，参照资源池内存90%左右
ApplicationMaster yarn.app.mapreduce.am.command-opts 右红 传递到 MapReduce ApplicationMaster 的 Java 命令行参数 "-Djava.net.preferIPv4Stack=true "
ApplicationMaster yarn.app.mapreduce.am.resource.mb (ApplicationMaster 内存) 4G  
JobHistory Java Heap Size (堆栈大小) 2G  
MapReduce mapreduce.map.memory.mb （Map 任务内存） 4G 一个MapTask可使用的资源上限。如果MapTask实际使用的资源量超过该值，则会被强制杀死。
MapReduce mapreduce.reduce.memory.mb (Reduce 任务内存) 8G 一个 ReduceTask 可使用的资源上限。如果 ReduceTask 实际使用的资源量超过该值，则会被强制杀死
MapReduce mapreduce.map.cpu.vcores 2 每个 MapTask 可使用的最多 cpu core 数目
MapReduce mapreduce.reduce.cpu.vcores 4 每个 ReduceTask 可使用的最多 cpu core 数目
MapReduce mapreduce.reduce.shuffle.parallelcopies 20 每个 Reduce 去 Map 中取数据的并行数。
MapReduce mapreduce.task.io.sort.mb(Shuffle 的环形缓冲区大小) 512M 当排序文件时要使用的内存缓冲总量。注意：此内存由 JVM 堆栈大小产生（也就是：总用户 JVM 堆栈 - 这些内存 = 总用户可用堆栈空间）
MapReduce mapreduce.map.sort.spill.percent 80% 环形缓冲区溢出的阈值
MapReduce mapreduce.task.timeout 10分钟 Task 超时时间，经常需要设置的一个参数，该参数表 达的意思为：如果一个 Task 在一定时间内没有任何进 入，即不会读取新的数据，也没有输出数据，则认为 该 Task 处于 Block 状态，可能是卡住了，也许永远会 卡住，为了防止因为用户程序永远 Block 住不退出， 则强制设置了一个该超时时间。如果你的程序对每条输入数据的处理时间过长（比如会访问数据库，通过网络拉取数据等），建议将该参数调大，该参数过小常出现的错误提示是 ：AttemptID:attempt_12267239451721_123456_m_00 0335_0 Timed out after 600 secsContainer killed by the ApplicationMaster。

2.5 优化：Kafka

服务 选项 配置值 参数说明
Kafka Broker Java Heap Size of Broker 2G Broker堆栈大小
Kafka Broker Data Directories 多块独立磁盘  
Kafka 服务 Maximum Message Size 10M 服务器可以接收的消息的最大大小。此属性必须与使用者使用的最大提取大小同步。否则，不守规矩的生产者可能会发布太大而无法消费的消息
Kafka 服务 Replica Maximum Fetch Size 20M 副本发送给leader的获取请求中每个分区要获取的最大字节数。此值应大于message.max.bytes。
Kafka 服务 Number of Replica Fetchers 6 用于复制来自领导者的消息的线程数。增大此值将增加跟随者代理中I / O并行度。

2.6 优化：HBase

服务 选项 配置值 参数说明
HBase Java Heap Size 18G 客户端 Java 堆大小（字节）主要作用来缓存Table数据，但是flush时会GC，不要太大，根据集群资源，一般分配整个Hbase集群内存的70%，16->48G就可以了
HBase hbase.client.write.buffer 512M 写入缓冲区大小，调高该值，可以减少RPC调用次数，单数会消耗更多内存，较大缓冲区需要客户端和服务器中有较大内存，因为服务器将实例化已通过的写入缓冲区并进行处理，这会降低远程过程调用 (RPC) 的数量。
HBase Master Java Heap Size 8G HBase Master 的 Java 堆栈大小
HBase Master hbase.master.handler.count 300 HBase Master 中启动的 RPC 服务器实例数量。
HBase RegionServer Java Heap Size 31G HBase RegionServer 的 Java 堆栈大小
HBase RegionServer hbase.regionserver.handler.count 100 RegionServer 中启动的 RPC 服务器实例数量，根据集群情况，可以适当增加该值，主要决定是客户端的请求数
HBase RegionServer hbase.regionserver.metahandler.count 60 用于处理 RegionServer 中的优先级请求的处理程序的数量
HBase RegionServer zookeeper.session.timeout 180000ms ZooKeeper 会话延迟（以毫秒为单位）。HBase 将此作为建议的最长会话时间传递给 ZooKeeper 仲裁
HBase RegionServer hbase.hregion.memstore.flush.size 1G 如 memstore 大小超过此值，Memstore 将刷新到磁盘。通过运行由 hbase.server.thread.wakefrequency 指定的频率的线程检查此值。
HBase RegionServer hbase.hregion.majorcompaction 0 合并周期，在合格节点下，Region下所有的HFile会进行合并，非常消耗资源，在空闲时手动触发
HBase RegionServer hbase.hregion.majorcompaction.jitter 0 抖动比率，根据上面的合并周期，有一个抖动比率，也不靠谱，还是手动好
HBase RegionServer hbase.hstore.compactionThreshold 6 如在任意一个 HStore 中有超过此数量的 HStoreFiles，则将运行压缩以将所有 HStoreFiles 文件作为一个 HStoreFile 重新写入。（每次 memstore 刷新写入一个 HStoreFile）您可通过指定更大数量延长压缩，但压缩将运行更长时间。在压缩期间，更新无法刷新到磁盘。长时间压缩需要足够的内存，以在压缩的持续时间内记录所有更新。如太大，压缩期间客户端会超时。
HBase RegionServer hbase.client.scanner.caching 1000 内存未提供数据的情况下扫描仪下次调用时所提取的行数。较高缓存值需启用较快速度的扫描仪，但这需要更多的内存且当缓存为空时某些下一次调用会运行较长时间
HBase RegionServer hbase.hregion.max.filesize 50G HStoreFile 最大大小。如果列组的任意一个 HStoreFile 超过此值，则托管 HRegion 将分割成两个
HBase Master hbase.master.logcleaner.plugins 日志清除器插件 org.apache.hadoop.hbase.master.cleaner.TimeToLiveLogCleaner
HBase hbase.replication false 禁用复制
HBase hbase.master.logcleaner.ttl 10min 保留 HLogs 的最长时间，加上如上两条解决oldWALs增长问题

2.7 优化：Hive

服务 选项 配置值 参数说明
HiveServer2 Java Heap Size 4G  
Hive MetaStore Java Heap Size 8G  
Hive Gateway Java Heap Size 2G  
Hive hive.execution.engine Spark 执行引擎切换
Hive hive.fetch.task.conversion more Fetch抓取修改为more，可以使全局查找，字段查找，limit查找等都不走计算引擎，而是直接读取表对应储存目录下的文件，大大普通查询速度
Hive hive.exec.mode.local.auto（hive-site.xml 服务高级配置，客户端高级配置） true 开启本地模式，在单台机器上处理所有的任务，对于小的数据集，执行时间可以明显被缩短
Hive hive.exec.mode.local.auto.inputbytes.max（hive-site.xml 服务高级配置，客户端高级配置） 50000000 文件不超过50M
Hive hive.exec.mode.local.auto.input.files.max（hive-site.xml 服务高级配置，客户端高级配置） 10 个数不超过10个
Hive hive.auto.convert.join 开启 在join问题上，让小表放在左边 去左链接（left join）大表，这样可以有效的减少内存溢出错误发生的几率
Hive hive.mapjoin.smalltable.filesize（hive-site.xml 服务高级配置，客户端高级配置） 50000000 50M以下认为是小表
Hive hive.map.aggr 开启 默认情况下map阶段同一个key发送给一个reduce，当一个key数据过大时就发生数据倾斜。
Hive hive.groupby.mapaggr.checkinterval（hive-site.xml 服务高级配置，客户端高级配置） 200000 在map端进行聚合操作的条目数目
Hive hive.groupby.skewindata（hive-site.xml 服务高级配置，客户端高级配置） true 有数据倾斜时进行负载均衡，生成的查询计划会有两个MR Job，第一个MR Job会将key加随机数均匀的分布到Reduce中，做部分聚合操作（预处理），第二个MR Job在根据预处理结果还原原始key，按照Group By Key分布到Reduce中进行聚合运算，完成最终操作
Hive hive.exec.parallel（hive-site.xml 服务高级配置，客户端高级配置） true 开启并行计算
Hive hive.exec.parallel.thread.number（hive-site.xml 服务高级配置，客户端高级配置） 16 同一个sql允许的最大并行度，针对集群资源适当增加

2.8 优化：Oozie、Hue、solr、spark

服务 选项 配置值 参数说明
Oozie Java Heap Size 2G 堆栈大小
Hue Java Heap Size 4G 堆栈大小
solr Java Heap Size 8G 堆栈大小
spark Java Heap Size of History Server in Bytes 4G 历史记录服务器的Java堆大小

 

你可能感兴趣的:(性能测试和优化,大数据,CDH优化,hadoop)

  • 情绪觉察日记第37天 露露_e800
    今天是家庭关系规划师的第二阶最后一天，慧萍老师帮我做了个案，帮我处理了埋在心底好多年的一份恐惧，并给了我深深的力量！这几天出来学习，爸妈过来婆家帮我带小孩，妈妈出于爱帮我收拾东西，并跟我先生和婆婆产生矛盾，妈妈觉得他们没有照顾好我…。今晚回家见到妈妈，我很欣赏她并赞扬她，妈妈说今晚要跟我睡我说好，当我们俩躺在床上准备睡觉的时候，我握着妈妈的手对她说:妈妈这几天辛苦你了，你看你多利害把我们的家收拾得
  • 芦花鞋一四 许叶晗
    又是在一个寒冷的夏日里，青铜和葵花决定今天一起去卖芦花鞋，奶奶亲手给他们做了一碗热乎乎的粥对他们说:“就靠你们两挣生活费了这碗粥赶紧趁热喝了吧！”于是青铜和葵花喝完了奶奶给她们做的粥，就准备去镇上卖卢花鞋，这回青铜和葵花穿着新的芦花鞋来到了镇上。青铜这回看到了很多人都在卖，用手势表达对葵花说:“这回有好多人在抢我们生意呢！我们必须得吆喝起来。”葵花点了点头。可是谁知他们也大声的叫，卖芦花喽！卖芦花
  • 关于沟通这件事，项目经理不需要每次都面对面进行 流程大师兄
    很多项目经理都会遇到这样的问题，项目中由于事情太多，根本没有足够的时间去召开会议，那在这种情况下如何去有效地管理项目中的利益相关者？当然，不建议电子邮件也不需要开会的话，建议可以采取下面几种方式来形成有效的沟通，这几种方式可以帮助你努力的通过各种办法来保持和各方面的联系。项目经理首先要问自己几个问题，项目中哪些利益相关者是必须要进行沟通的？可以列出项目中所有的利益相关者清单，同时也整理出项目中哪些
  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 【iOS】MVC设计模式 Magnetic_h iosmvc设计模式objective-c学习ui
    MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
  • 一百九十四章. 自相矛盾 巨木擎天
    唉！就这么一夜，林子感觉就像过了很多天似的，先是回了阳间家里，遇到了那么多不可思议的事情儿。特别是小伙伴们，第二次与自己见面时，僵硬的表情和恐怖的气氛，让自己如坐针毡，打从心眼里难受！还有东子，他现在还好吗？有没有被人欺负？护城河里的小鱼小虾们，还都在吗？水不会真的干枯了吧？那对相亲相爱漂亮的太平鸟儿，还好吧！春天了，到了做窝、下蛋、喂养小鸟宝宝的时候了，希望它们都能够平安啊！虽然没有看见家人，也
  • UI学习——cell的复用和自定义cell Magnetic_h ui学习
    目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
  • element实现动态路由+面包屑 软件技术NINI vue案例vue.js前端
    el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
  • 地推话术，如何应对地推过程中家长的拒绝 校师学
    相信校长们在做地推的时候经常遇到这种情况：市场专员反馈家长不接单，咨询师反馈难以邀约这些家长上门，校区地推疲软，招生难。为什么？仅从地推层面分析，一方面因为家长受到的信息轰炸越来越多，对信息越来越“免疫”；而另一方面地推人员的专业能力和营销话术没有提高，无法应对家长的拒绝，对有意向的家长也不知如何跟进，眼睁睁看着家长走远；对于家长的疑问，更不知道如何有技巧地回答，机会白白流失。由于回答没技巧和专业
  • 谢谢你们，爱你们！ 鹿游儿
    昨天家人去泡温泉，二个孩子也带着去，出发前一晚，匆匆下班，赶回家和孩子一起收拾。饭后，我拿出笔和本子（上次去澳门时做手帐的本子）写下了1\2\3\4\5\6\7\8\9,让后让小壹去思考，带什么出发去旅游呢？她在对应的数字旁边画上了，泳衣、泳圈、肖恩、内衣内裤、tapuy、拖鞋……画完后，就让她自己对着这个本子，将要带的，一一带上，没想到这次带的书还是这本《便便工厂》(晚上姑婆发照片过来，妹妹累得
  • C语言如何定义宏函数？ 小九格物 c语言
    在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
  • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • 2021年12月19日，春蕾教育集团团建活动感受——黄晓丹 黄错错加油
    感受:1.从陌生到熟悉的过程。游戏环节让我们在轻松的氛围中得到了锻炼，也增长了不少知识。2.游戏过程中，我们贡献的是个人力量，展现的是团队的力量。它磨合的往往不止是工作的熟悉，更是观念上契合度的贴近。3.这和工作是一样的道理。在各自的岗位上，每个人摆正自己的位置、各司其职充分发挥才能，并团结一致劲往一处使，才能实现最大的成功。新知:1.团队精神需要不断地创新。过去，人们把创新看作是冒风险，现在人们
  • Cell Insight | 单细胞测序技术又一新发现，可用于HIV-1和Mtb共感染个体诊断 尐尐呅
    结核病是艾滋病合并其他疾病中导致患者死亡的主要原因。其中结核病由结核分枝杆菌（Mycobacteriumtuberculosis,Mtb）感染引起，获得性免疫缺陷综合症（艾滋病）由人免疫缺陷病毒（Humanimmunodeficiencyvirustype1,HIV-1）感染引起。国家感染性疾病临床医学研究中心/深圳市第三人民医院张国良团队携手深圳华大生命科学研究院吴靓团队，共同研究得出单细胞测序
  • c++ 的iostream 和 c++的stdio的区别和联系 黄卷青灯77 c++算法开发语言iostreamstdio
    在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
  • 《投行人生》读书笔记 小蘑菇的树洞
    《投行人生》----作者詹姆斯-A-朗德摩根斯坦利副主席40年的职业洞见-很短小精悍的篇幅，比较适合初入职场的新人。第一部分成功的职业生涯需要规划1.情商归为适应能力分享与协作同理心适应能力，更多的是自我意识，你有能力识别自己的情并分辨这些情绪如何影响你的思想和行为。2.对于初入职场的人的建议，细节，截止日期和数据很重要截止日期，一种有效的方法是请老板为你所有的任务进行优先级排序。和老板喝咖啡的好
  • Linux下QT开发的动态库界面弹出操作（SDL2） 13jjyao QT类qt开发语言sdl2linux
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
  • 绘本讲师训练营【24期】8/21阅读原创《独生小孩》 1784e22615e0
    24016-孟娟《独生小孩》图片发自App今天我想分享一个蛮特别的绘本，讲的是一个特殊的群体，我也是属于这个群体，80后的独生小孩。这是一本中国绘本，作者郭婧，也是一个80厚。全书一百多页，均为铅笔绘制，虽然为黑白色调，但并不显得沉闷。全书没有文字，犹如“默片”，但并不影响读者对该作品的理解，反而显得神秘，梦幻，給读者留下想象的空间。作者在前蝴蝶页这样写到：“我更希望父母和孩子一起分享这本书，使他
  • 店群合一模式下的社区团购新发展——结合链动 2+1 模式、AI 智能名片与 S2B2C 商城小程序源码 说私域 人工智能小程序
    摘要：本文探讨了店群合一的社区团购平台在当今商业环境中的重要性和优势。通过分析店群合一模式如何将互联网社群与线下终端紧密结合，阐述了链动2+1模式、AI智能名片和S2B2C商城小程序源码在这一模式中的应用价值。这些创新元素的结合为社区团购带来了新的机遇，提升了用户信任感、拓展了营销渠道，并实现了线上线下的完美融合。一、引言随着互联网技术的不断发展，社区团购作为一种新兴的商业模式，在满足消费者日常需
  • 消息中间件有哪些常见类型 xmh-sxh-1314 java
    消息中间件根据其设计理念和用途，可以大致分为以下几种常见类型：点对点消息队列（Point-to-PointMessagingQueues）：在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。队列中的消息只能被一个消费者消费，消费后即被删除。常见的实现包括IBM的MQSeries、RabbitMQ的部分使用场景等。适用于任务分发、负载均衡等场景。发布/订阅消息模型（Pub/Sub
  • ArcGIS栅格计算器常见公式（赋值、0和空值的转换、补充栅格空值） 研学随笔 arcgis经验分享
    我们在使用ArcGIS时通常经常用到栅格计算器，今天主要给大家介绍我日常中经常用到的几个公式，供大家参考学习。将特定值（-9999）赋值为0，例如-9999.Con("raster"==-9999,0,"raster")2.给空值赋予特定的值（如0）Con(IsNull("raster"),0,"raster")3.将特定的栅格值(如1)赋值为空值，其他保留原值SetNull("raster"==
  • 水平垂直居中的几种方法（总结） LJ小番茄 CSS_玄学语言htmljavascript前端csscss3
    1.使用flexbox的justify-content和align-items.parent{display:flex;justify-content:center;/*水平居中*/align-items:center;/*垂直居中*/height:100vh;/*需要指定高度*/}2.使用grid的place-items:center.parent{display:grid;place-item
  • 本周第二次约练 2cfbdfe28a51
    中原焦点团队中24初26刘霞2021.12.3约练161次，分享第368天当事人虽然是带着问题来的，但是咨询过程中发现，她是经过自己不断地调整和努力才走到现在的，看到当事人的不容易，找到例外，发现资源，力量感也就随之而来。增强画面感，或者说重温，会给当事人带来更深刻的感受。
  • 放下是一段成长的修行 小莳玥
    人来到这个世界上，只有两件事：生和死。一件事已经做完了，另一件你还急什么呢?是人，都有七情六欲。是心，都有喜怒哀乐，这些再正常不过了。别总抱怨自己活得累，过得辛苦。永远记住：舒坦是留给死人的。苦，才是生活；累，才是工作；变，才是命运；忍，才是历练；容，才是智慧；静，才是修养；舍，才会得到；做，才会拥有。人生，活得太清楚，才是最大的不明白。有些事，看得很清，却说不清；有些人，了解很深，却猜不透；有些
  • 回溯 Leetcode 332 重新安排行程 mmaerd Leetcode刷题学习记录leetcode算法职场和发展
    重新安排行程Leetcode332学习记录自代码随想录给你一份航线列表tickets，其中tickets[i]=[fromi,toi]表示飞机出发和降落的机场地点。请你对该行程进行重新规划排序。所有这些机票都属于一个从JFK（肯尼迪国际机场）出发的先生，所以该行程必须从JFK开始。如果存在多种有效的行程，请你按字典排序返回最小的行程组合。例如，行程[“JFK”,“LGA”]与[“JFK”,“LGB
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • 每日一题——第八十四题 互联网打工人no1 C语言程序设计每日一练c语言
    题目：编写函数1、输入10个职工的姓名和职工号2、按照职工由大到小顺序排列，姓名顺序也随之调整3、要求输入一个职工号，用折半查找法找出该职工的姓名#define_CRT_SECURE_NO_WARNINGS#include#include#defineMAX_EMPLOYEES10typedefstruct{intid;charname[50];}Empolyee;voidinputEmploye
  • 网易严选官方旗舰店，优质商品，卓越服务 高省_飞智666600
    网易严选官方旗舰店是网易旗下的一家电商平台，以提供优质商品和卓越服务而闻名。作为一名SEO优化师，我将为您详细介绍网易严选官方旗舰店，并重点强调其特点和优势。大家好！我是高省APP最大团队&联合创始人飞智导师。相较于其他返利app，高省APP的佣金更高，模式更好，最重要的是，终端用户不会流失！高省APP佣金更高，模式更好，终端用户不流失。【高省】是一个自用省钱佣金高，分享推广赚钱多的平台，百度有几
  • python os.environ 江湖偌大 python深度学习
    os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
  • 项目中 枚举与注解的结合使用 飞翔的马甲 javaenumannotation
    前言：版本兼容，一直是迭代开发头疼的事，最近新版本加上了支持新题型，如果新创建一份问卷包含了新题型，那旧版本客户端就不支持，如果新创建的问卷不包含新题型，那么新旧客户端都支持。这里面我们通过给问卷类型枚举增加自定义注解的方式完成。顺便巩固下枚举与注解。 一、枚举 1.在创建枚举类的时候，该类已继承java.lang.Enum类，所以自定义枚举类无法继承别的类，但可以实现接口。
  • 【Scala十七】Scala核心十一：下划线_的用法 bit1129 scala
    下划线_在Scala中广泛应用，_的基本含义是作为占位符使用。_在使用时是出问题非常多的地方，本文将不断完善_的使用场景以及所表达的含义   1. 在高阶函数中使用 scala> val list = List(-3,8,7,9) list: List[Int] = List(-3, 8, 7, 9) scala> list.filter(_ > 7) r
  • web缓存基础：术语、http报头和缓存策略 dalan_123 Web
    对于很多人来说，去访问某一个站点，若是该站点能够提供智能化的内容缓存来提高用户体验，那么最终该站点的访问者将络绎不绝。缓存或者对之前的请求临时存储，是http协议实现中最核心的内容分发策略之一。分发路径中的组件均可以缓存内容来加速后续的请求，这是受控于对该内容所声明的缓存策略。接下来将讨web内容缓存策略的基本概念，具体包括如如何选择缓存策略以保证互联网范围内的缓存能够正确处理的您的内容，并谈论下
  • crontab 问题 周凡杨 linuxcrontabunix
      一： 0481-079   Reached   a   symbol   that   is   not   expected.   背景： */5   *   *   *   *  /usr/IBMIHS/rsync.sh 
  • 让tomcat支持2级域名共享session g21121 session
    tomcat默认情况下是不支持2级域名共享session的，所有有些情况下登陆后从主域名跳转到子域名会发生链接session不相同的情况，但是只需修改几处配置就可以了。 打开tomcat下conf下context.xml文件 找到Context标签,修改为如下内容 如果你的域名是www.test.com <Context sessionCookiePath="/path&q
  • web报表工具FineReport常用函数的用法总结（数学和三角函数） 老A不折腾 Webfinereport总结
      ABS ABS(number):返回指定数字的绝对值。绝对值是指没有正负符号的数值。 Number:需要求出绝对值的任意实数。 示例: ABS(-1.5)等于1.5。 ABS(0)等于0。 ABS(2.5)等于2.5。   ACOS ACOS(number):返回指定数值的反余弦值。反余弦值为一个角度，返回角度以弧度形式表示。 Number:需要返回角
  • linux 启动java进程 sh文件 墙头上一根草 linuxshelljar
    #!/bin/bash #初始化服务器的进程PId变量 user_pid=0; robot_pid=0; loadlort_pid=0; gateway_pid=0; ######### #检查相关服务器是否启动成功 #说明： #使用JDK自带的JPS命令及grep命令组合，准确查找pid #jps 加 l 参数，表示显示java的完整包路径 #使用awk，分割出pid
  • 我的spring学习笔记5-如何使用ApplicationContext替换BeanFactory aijuans Spring 3 系列
    如何使用ApplicationContext替换BeanFactory？ package onlyfun.caterpillar.device; import org.springframework.beans.factory.BeanFactory; import org.springframework.beans.factory.xml.XmlBeanFactory; import
  • Linux 内存使用方法详细解析 annan211 linux内存Linux内存解析
    来源 http://blog.jobbole.com/45748/ 我是一名程序员，那么我在这里以一个程序员的角度来讲解Linux内存的使用。 一提到内存管理，我们头脑中闪出的两个概念，就是虚拟内存，与物理内存。这两个概念主要来自于linux内核的支持。 Linux在内存管理上份为两级，一级是线性区，类似于00c73000-00c88000，对应于虚拟内存，它实际上不占用
  • 数据库的单表查询常用命令及使用方法(-) 百合不是茶 oracle函数单表查询
        创建数据库;       --建表 create table bloguser(username varchar2(20),userage number(10),usersex char(2));       创建bloguser表,里面有三个字段     &nbs
  • 多线程基础知识 bijian1013 java多线程threadjava多线程
    一．进程和线程 进程就是一个在内存中独立运行的程序，有自己的地址空间。如正在运行的写字板程序就是一个进程。 “多任务”：指操作系统能同时运行多个进程（程序）。如WINDOWS系统可以同时运行写字板程序、画图程序、WORD、Eclipse等。 线程：是进程内部单一的一个顺序控制流。 线程和进程 a.       每个进程都有独立的
  • fastjson简单使用实例 bijian1013 fastjson
    一.简介         阿里巴巴fastjson是一个Java语言编写的高性能功能完善的JSON库。它采用一种“假定有序快速匹配”的算法，把JSON Parse的性能提升到极致，是目前Java语言中最快的JSON库；包括“序列化”和“反序列化”两部分，它具备如下特征：     
  • 【RPC框架Burlap】Spring集成Burlap bit1129 spring
    Burlap和Hessian同属于codehaus的RPC调用框架，但是Burlap已经几年不更新，所以Spring在4.0里已经将Burlap的支持置为Deprecated,所以在选择RPC框架时，不应该考虑Burlap了。 这篇文章还是记录下Burlap的用法吧，主要是复制粘贴了Hessian与Spring集成一文，【RPC框架Hessian四】Hessian与Spring集成  
  • 【Mahout一】基于Mahout 命令参数含义 bit1129 Mahout
    1. mahout seqdirectory   $ mahout seqdirectory --input (-i) input Path to job input directory(原始文本文件). --output (-o) output The directory pathna
  • linux使用flock文件锁解决脚本重复执行问题 ronin47 linux lock　重复执行
    linux的crontab命令，可以定时执行操作，最小周期是每分钟执行一次。关于crontab实现每秒执行可参考我之前的文章《linux crontab 实现每秒执行》现在有个问题，如果设定了任务每分钟执行一次，但有可能一分钟内任务并没有执行完成，这时系统会再执行任务。导致两个相同的任务在执行。 例如： <? //  test .php
  • java-74-数组中有一个数字出现的次数超过了数组长度的一半，找出这个数字 bylijinnan java
    public class OcuppyMoreThanHalf { /** * Q74 数组中有一个数字出现的次数超过了数组长度的一半，找出这个数字 * two solutions: * 1.O(n) * see <beauty of coding>--每次删除两个不同的数字，不改变数组的特性 * 2.O(nlogn) * 排序。中间
  • linux 系统相关命令 candiio linux
    系统参数 cat /proc/cpuinfo  cpu相关参数 cat /proc/meminfo 内存相关参数 cat /proc/loadavg 负载情况 性能参数 1）top M：按内存使用排序 P：按CPU占用排序 1：显示各CPU的使用情况 k：kill进程 o：更多排序规则 回车：刷新数据 2）ulimit ulimit -a：显示本用户的系统限制参
  • [经营与资产]保持独立性和稳定性对于软件开发的重要意义 comsci 软件开发
         一个软件的架构从诞生到成熟，中间要经过很多次的修正和改造       如果在这个过程中，外界的其它行业的资本不断的介入这种软件架构的升级过程中           那么软件开发者原有的设计思想和开发路线
  • 在CentOS5.5上编译OpenJDK6 Cwind linuxOpenJDK
    几番周折终于在自己的CentOS5.5上编译成功了OpenJDK6，将编译过程和遇到的问题作一简要记录，备查。 0. OpenJDK介绍 OpenJDK是Sun（现Oracle）公司发布的基于GPL许可的Java平台的实现。其优点： 1、它的核心代码与同时期Sun（-> Oracle）的产品版基本上是一样的，血统纯正，不用担心性能问题，也基本上没什么兼容性问题；（代码上最主要的差异是
  • java乱码问题 dashuaifu java乱码问题js中文乱码
    swfupload上传文件参数值为中文传递到后台接收中文乱码     在js中用setPostParams（{"tag" : encodeURI( document.getElementByIdx_x("filetag").value，"utf-8")}）; 然后在servlet中String t
  • cygwin很多命令显示command not found的解决办法 dcj3sjt126com cygwin
    cygwin很多命令显示command not found的解决办法   修改cygwin.BAT文件如下 @echo off D: set CYGWIN=tty notitle glob set PATH=%PATH%;d:\cygwin\bin;d:\cygwin\sbin;d:\cygwin\usr\bin;d:\cygwin\usr\sbin;d:\cygwin\us
  • [介绍]从 Yii 1.1 升级 dcj3sjt126com PHPyii2
    2.0 版框架是完全重写的，在 1.1 和 2.0 两个版本之间存在相当多差异。因此从 1.1 版升级并不像小版本间的跨越那么简单，通过本指南你将会了解两个版本间主要的不同之处。 如果你之前没有用过 Yii 1.1，可以跳过本章，直接从"入门篇"开始读起。 请注意，Yii 2.0 引入了很多本章并没有涉及到的新功能。强烈建议你通读整部权威指南来了解所有新特性。这样有可能会发
  • Linux SSH免登录配置总结 eksliang ssh-keygenLinux SSH免登录认证Linux SSH互信
    转载请出自出处：http://eksliang.iteye.com/blog/2187265 一、原理      我们使用ssh-keygen在ServerA上生成私钥跟公钥，将生成的公钥拷贝到远程机器ServerB上后,就可以使用ssh命令无需密码登录到另外一台机器ServerB上。      生成公钥与私钥有两种加密方式，第一种是
  • 手势滑动销毁Activity gundumw100 android
    老是效仿ios，做android的真悲催！ 有需求：需要手势滑动销毁一个Activity 怎么办尼？自己写？ 不用~，网上先问一下百度。 结果： http://blog.csdn.net/xiaanming/article/details/20934541 首先将你需要的Activity继承SwipeBackActivity，它会在你的布局根目录新增一层SwipeBackLay
  • JavaScript变换表格边框颜色 ini JavaScripthtmlWebhtml5css
    效果查看：http://hovertree.com/texiao/js/2.htm代码如下，保存到HTML文件也可以查看效果： <html> <head> <meta charset="utf-8"> <title>表格边框变换颜色代码-何问起</title> </head> <body&
  • Kafka Rest : Confluent kane_xie kafkaRESTconfluent
    最近拿到一个kafka rest的需求，但kafka暂时还没有提供rest api（应该是有在开发中，毕竟rest这么火），上网搜了一下，找到一个Confluent Platform，本文简单介绍一下安装。 这里插一句，给大家推荐一个九尾搜索，原名叫谷粉SOSO，不想fanqiang谷歌的可以用这个。以前在外企用谷歌用习惯了，出来之后用度娘搜技术问题，那匹配度简直感人。 环境声明：Ubu
  • Calender不是单例 men4661273 单例Calender
             在我们使用Calender的时候，使用过Calendar.getInstance()来获取一个日期类的对象，这种方式跟单例的获取方式一样，那么它到底是不是单例呢，如果是单例的话，一个对象修改内容之后，另外一个线程中的数据不久乱套了吗？从试验以及源码中可以得出，Calendar不是单例。 测试： Calendar c1 =
  • 线程内存和主内存之间联系 qifeifei java thread
    1， java多线程共享主内存中变量的时候，一共会经过几个阶段，    lock:将主内存中的变量锁定，为一个线程所独占。   unclock:将lock加的锁定解除，此时其它的线程可以有机会访问此变量。   read:将主内存中的变量值读到工作内存当中。   load:将read读取的值保存到工作内存中的变量副本中。  
  • schedule和scheduleAtFixedRate tangqi609567707 javatimerschedule
    原文地址：http://blog.csdn.net/weidan1121/article/details/527307 import java.util.Timer;import java.util.TimerTask;import java.util.Date; /** * @author vincent */public class TimerTest {  
  • erlang 部署 wudixiaotie erlang
    1.如果在启动节点的时候报这个错 ： {"init terminating in do_boot",{'cannot load',elf_format,get_files}} 则需要在reltool.config中加入 {app, hipe, [{incl_cond, exclude}]},     2.当generate时，遇到： ERROR
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他