- OOM killer及Overcommit
七路灯
OOMkillerOOMkiller(OutOfMemorykiller)是Linux内核的一种内存管理机制,该机制在系统物理内存不足时,选择性(oom_killer遍历当前所有进程,根据进程的内存使用情况进行打分,然后从中选择一个分数最高的进程)杀死一些进程以释放内存,以使系统继续运行。Overcommit(过量使用)这个特性出于优化系统考虑,因为进程实际使用到的内存往往比申请的内存少。按照Li
- linux内存不足杀进程,Linux OOM-killer 内存不足时kill高内存进程的策略
乃逸夫
linux内存不足杀进程
OOM_killer是Linux自我保护的方式,当内存不足时不至于出现太严重问题,有点壮士断腕的意味在kernel2.6,内存不足将唤醒oom_killer,挑出/proc//oom_score最大者并将之kill掉为了保护重要进程不被oom-killer掉,我们可以:echo-17>/proc//oom_adj,-17表示禁用OOM我们也可以对把整个系统的OOM给禁用掉:sysctl-wvm.p
- Linux OOM-killer(内存不足时kill高内存进程的策略)
巷中人
OOM_killer是Linux自我保护的方式,当内存不足时不至于出现太严重问题,有点壮士断腕的意味在kernel2.6,内存不足将唤醒oom_killer,挑出/proc//oom_score最大者并将之kill掉为了保护重要进程不被oom-killer掉,我们可以:echo-17>/proc//oom_adj,-17表示禁用OOM我们也可以对把整个系统的OOM给禁用掉:sysctl-wvm.p
- OOM终结者参数调优
铁锚
操作系统GC性能优化
内存溢出(OutofMemory,OOM),是指计算机的所有可用内存(包括交换空间,swapspace),都被使用满了。这种情况下,默认配置会导致系统报警,并停止正常运行.当然,将/proc/sys/vm/panic_on_oom参数设置为0,则告诉系统内核,如果系统发生内存溢出,就可以调用oom_killer(OOM终结者)功能,来杀掉最胖的那头进程(rogueprocesses,流氓进程),这
- Linux(Centos7) 运行脚本程序,终端只返回 “已杀死”
wangxiaosu
最近在实验室服务器上跑代码,没跑多久就显示:已杀死,而且只显示已杀死,没有任何其他打印和日志。1、确定不是代码的bug。2、网上搜了一大堆,全说是OOM的问题,就是代码消耗内存太多,被OOM_killer杀死。但是我用的服务器内存确定充足(350g内存,且没有其他应用程序运行),不存在内存不够的情况。但是按照网上的处理教程,最终极的就是关闭OOM_killer,问题仍然存在。3、从观察系统中的进程
- Android 操作系统中的内存回收策略
若凉_季
语言java&android技术精华
Android操作系统中的内存回收可分为两个层次:1、默认内存回收、即ApplicationFramework层的默认回收。2、内核级内存回收。Linux内核中的内存回收lowmemorykiller、OOM_killer。默认内存回收:(代码可查阅ActivityManagerService.java类)回收动作入口activityIdleInternal()。Android系统中内存回收的触发
- Android底层内存回收机制介绍
aizjbzw18785
Android底层基于Linux内核开发.随着Android版本不断更新,内存回收机制也在不断变化.本文简要介绍下不同版本下的内存回收原理.LinuxOOM机制OOM(outofmemory)是linux中内存管理机制的一种,在系统可用内存较少的情况下,内核为了保证系统还能够继续运行下去,会选择杀掉一些进程释放掉一些内存.通常oom_killer的触发流程是:进程A想要分配物理内存->粗发缺页异常
- dmesg排查消失的进程
tterminator
Java
一、适用场景:如果发现自己的java进程悄无声息的消失了,几乎没有留下任何线索,那么dmesg一发,很有可能有你想要的。二、具体操作sudodmesg|grep-ikill|less去找关键字oom_killer,找到的结果类似如下:[6710782.021013]javainvokedoom-killer:gfp_mask=0xd0,order=0,oom_adj=0,oom_scoe_adj=
- MySQL OOM 系列三 摆脱MySQL被Kill的厄运
前面两章,我们分析了Linux内存分配的策略以及Linux通过使用OOM_Killer的机制解决了“超售”引起的风险,MySQL同其他的应用程序一样,在操作系统允许的范围内也是可以超售的,一般人理解,Innodb_buffer_pool必须小于实际物理内存,否则MySQL会启动失败。其实这是一个误区,这个不是MySQL层控制的,这个是操作系统(OS)层控制的,就是前面提到的/proc/sys/ov
- vm.min_free_bytes参数的设置和意义
fengyuzaitu
VMmin_free_bytes
前言:感谢您浏览该博客文章,如有任何的疑问或者意见欢迎通过邮件进行交流,提供linux技术支持。本人是Linux的布道者。邮箱:
[email protected] 今天在做实验的时候尝试修改了vm.dirty_ratio等参数,都没有能够引发OOM_KILLER,但是参数vm.min_free_bytes的修改引发了系统的宕机或者引发了系统的OOM_KILLER现象。如下是实验的环境:
- vm.min_free_bytes参数的设置和意义
fengyuzaitu
vmmin_free_bytesLinuxkernel
今天在做实验的时候尝试修改了vm.dirty_ratio等参数,都没有能够引发OOM_KILLER,但是参数vm.min_free_bytes的修改引发了系统的宕机或者引发了系统的OOM_KILLER现象。如下是实验的环境:内存256MB如下修改的具体参数1)echo500000>/proc/sys/vm/min_free_bytes具体含义:保留500M的内存空间,但是由于系统的内存才256MB
- vm.min_free_bytes参数的设置和意义
fengyuzaitu
VMmin_free_bytes
前言:感谢您浏览该博客文章,如有任何的疑问或者意见欢迎通过邮件进行交流,提供linux技术支持。本人是Linux的布道者。邮箱:
[email protected] 今天在做实验的时候尝试修改了vm.dirty_ratio等参数,都没有能够引发OOM_KILLER,但是参数vm.min_free_bytes的修改引发了系统的宕机或者引发了系统的OOM_KILLER现象。如下是实验的环境:
- OOM_KILLER触发的条件和代码剖析
fengyuzaitu
内核版本代码剖析
总结:实际上2.6的代码和3.0的代码已经是今非昔比了,所有的代码都应该按照最新的版本进行解读,当然如果我们的操作环境是旧版本,我们也只好研读了。两个函数调用了shrink_cachetry_to_free_pagesshrink_zone文件:mm/page_alloc.c_alloc_pages函数调用out_of_memory(gfp_mask)如下是oom_killer的参数,实际上,我根
- OOM_KILLER触发的条件和代码剖析
fengyuzaitu
内核版本代码剖析
总结:实际上2.6的代码和3.0的代码已经是今非昔比了,所有的代码都应该按照最新的版本进行解读,当然如果我们的操作环境是旧版本,我们也只好研读了。两个函数调用了shrink_cachetry_to_free_pagesshrink_zone文件:mm/page_alloc.c_alloc_pages函数调用out_of_memory(gfp_mask)如下是oom_killer的参数,实际上,我根
- 测试OOM_KILLER代码
fengyuzaitu
OOM_KILLER
今天模拟了实际的内存分配用完的情况,其实malloc即使真正的分配了内存分配的内存返回不为NULL,也未必是一个可以使用的内存,如果系统中没有相关的资源能够得到释放,一旦这个内存被使用到,将会导致程序的越界访问这种情况,我模拟了的代码如下:#include
#include
#include
#include
int main()
{
char* p=NULL;
w
- 测试OOM_KILLER代码
fengyuzaitu
OOM_KILLER
今天模拟了实际的内存分配用完的情况,其实malloc即使真正的分配了内存分配的内存返回不为NULL,也未必是一个可以使用的内存,如果系统中没有相关的资源能够得到释放,一旦这个内存被使用到,将会导致程序的越界访问这种情况,我模拟了的代码如下:#include
#include
#include
#include
int main()
{
char* p=NULL;
w
- Linux -- 内存控制之oom killer机制及代码分析
GugeMichael
clinuxkernel代码分析
最近,线上一些内存占用比较敏感的应用,在访问峰值的时候,偶尔会被kill掉,导致服务重启。发现是Linux的out-of-memorykiiler的机制触发的。 http://linux-mm.org/OOM_Killer oomkiiler会在内存紧张的时候,会依次kill内存占用较高的进程,发送Signal15(SIGTERM)。并在/var/log/messa
- 一个java crash的故障分析过程
w19995
javaCrash
一个应用在周五出现java进程消失,没有任何日志。先查看/var/log/message中无oom_killer信息,所以只能拿core。该应用是一个集群,通知他们将出现crash的服务器上打开ulimit,等待生成core文件。今天周一,下午应用负责人紧急找我,说同时出几台crash了。开了ulimit参数的那台服务器coredump已经生成。登录到该服务器上,先是gdb$JAVA_HOME/b
- 一个java crash的故障分析过程
w19995
javacrash
一个应用在周五出现java进程消失,没有任何日志。先查看/var/log/message中无oom_killer信息,所以只能拿core。该应用是一个集群,通知他们将出现crash的服务器上打开ulimit,等待生成core文件。今天周一,下午应用负责人紧急找我,说同时出几台crash了。开了ulimit参数的那台服务器coredump已经生成。登录到该服务器上,先是gdb$JAVA_HOME/b
- 一个java crash的故障分析过程
ikon
Crash
一个应用在周五出现java进程消失,没有任何日志。先查看/var/log/message中无oom_killer信息,所以只能拿core。
该应用是一个集群,通知他们将出现crash的服务器上打开ulimit,等待生成core文件 。
今天周一,下午应用负责人紧急找我,说同时出几台crash了。开了ulimit参数的那台服务器coredump已经生成。
登录到该服务器上,先是gdb $
- 一个java crash的故障分析过程
lxy2330
Crash
一个应用在周五出现java进程消失,没有任何日志。先查看/var/log/message中无oom_killer信息,所以只能拿core。
该应用是一个集群,通知他们将出现crash的服务器上打开ulimit,等待生成core文件 。
今天周一,下午应用负责人紧急找我,说同时出几台crash了。开了ulimit参数的那台服务器coredump已经生成。
登录到该服务器上
- Linux2.6.29内核的get_user_pages的改进
dog250
threadlinuxstructuserSignalpermissions
在最新的2.6.29内核中,对get_user_pages做了一个改善,主要就是颗粒问题,以前的实现中,在get_user_pages之后才可以处理诸如“本进程已经死亡”的信息,这样的话就做了很多无用功,这在古老的系统问题不大,但是现在都是大并发大负载的系统,任何处理都要很大的付出,因此在目前的情况下,必须改善一些情况。试想一种情况,如果一个进程p已经被oom_killer选中,oom_kille
- Linux2.6.29内核的get_user_pages的改进
dog250
threadlinuxstructuserSignalpermissions
在最新的2.6.29内核中,对get_user_pages做了一个改善,主要就是颗粒问题,以前的实现中,在get_user_pages之后才可以处理诸如“本进程已经死亡”的信息,这样的话就做了很多无用功,这在古老的系统问题不大,但是现在都是大并发大负载的系统,任何处理都要很大的付出,因此在目前的情况下,必须改善一些情况。试想一种情况,如果一个进程p已经被oom_killer选中,oom_kille
- Linux2.6.29内核的get_user_pages的改进
dog250
linuxuserstruct
在最新的2.6.29内核中,对get_user_pages做了一个改善,主要就是颗粒问题,以前的实现中,在get_user_pages之后才可以处理诸如“本进程已经死亡”的信息,这样的话就做了很多无用功,这在古老的系统问题不大,但是现在都是大并发大负载的系统,任何处理都要很大的付出,因此在目前的情况下,必须改善一些情况。试想一种情况,如果一个进程p已经被oom_killer选中,oom_kille
- Linux2.6.29内核的get_user_pages的改进
totoxian
linux
在最新的2.6.29内核中,对get_user_pages做了一个改善,主要就是颗粒问题,以前的实现中,在get_user_pages之后才可以处理诸如“本进程已经死亡”的信息,这样的话就做了很多无用功,这在古老的系统问题不大,但是现在都是大并发大负载的系统,任何处理都要很大的付出,因此在目前的情况下,必须改善一些情况。试想一种情况,如果一个进程p已经被oom_killer选中,oom_kille
- xml解析
小猪猪08
xml
1、DOM解析的步奏
准备工作:
1.创建DocumentBuilderFactory的对象
2.创建DocumentBuilder对象
3.通过DocumentBuilder对象的parse(String fileName)方法解析xml文件
4.通过Document的getElem
- 每个开发人员都需要了解的一个SQL技巧
brotherlamp
linuxlinux视频linux教程linux自学linux资料
对于数据过滤而言CHECK约束已经算是相当不错了。然而它仍存在一些缺陷,比如说它们是应用到表上面的,但有的时候你可能希望指定一条约束,而它只在特定条件下才生效。
使用SQL标准的WITH CHECK OPTION子句就能完成这点,至少Oracle和SQL Server都实现了这个功能。下面是实现方式:
CREATE TABLE books (
id &
- Quartz——CronTrigger触发器
eksliang
quartzCronTrigger
转载请出自出处:http://eksliang.iteye.com/blog/2208295 一.概述
CronTrigger 能够提供比 SimpleTrigger 更有具体实际意义的调度方案,调度规则基于 Cron 表达式,CronTrigger 支持日历相关的重复时间间隔(比如每月第一个周一执行),而不是简单的周期时间间隔。 二.Cron表达式介绍 1)Cron表达式规则表
Quartz
- Informatica基础
18289753290
InformaticaMonitormanagerworkflowDesigner
1.
1)PowerCenter Designer:设计开发环境,定义源及目标数据结构;设计转换规则,生成ETL映射。
2)Workflow Manager:合理地实现复杂的ETL工作流,基于时间,事件的作业调度
3)Workflow Monitor:监控Workflow和Session运行情况,生成日志和报告
4)Repository Manager:
- linux下为程序创建启动和关闭的的sh文件,scrapyd为例
酷的飞上天空
scrapy
对于一些未提供service管理的程序 每次启动和关闭都要加上全部路径,想到可以做一个简单的启动和关闭控制的文件
下面以scrapy启动server为例,文件名为run.sh:
#端口号,根据此端口号确定PID
PORT=6800
#启动命令所在目录
HOME='/home/jmscra/scrapy/'
#查询出监听了PORT端口
- 人--自私与无私
永夜-极光
今天上毛概课,老师提出一个问题--人是自私的还是无私的,根源是什么?
从客观的角度来看,人有自私的行为,也有无私的
- Ubuntu安装NS-3 环境脚本
随便小屋
ubuntu
将附件下载下来之后解压,将解压后的文件ns3environment.sh复制到下载目录下(其实放在哪里都可以,就是为了和我下面的命令相统一)。输入命令:
sudo ./ns3environment.sh >>result
这样系统就自动安装ns3的环境,运行的结果在result文件中,如果提示
com
- 创业的简单感受
aijuans
创业的简单感受
2009年11月9日我进入a公司实习,2012年4月26日,我离开a公司,开始自己的创业之旅。
今天是2012年5月30日,我忽然很想谈谈自己创业一个月的感受。
当初离开边锋时,我就对自己说:“自己选择的路,就是跪着也要把他走完”,我也做好了心理准备,准备迎接一次次的困难。我这次走出来,不管成败
- 如何经营自己的独立人脉
aoyouzi
如何经营自己的独立人脉
独立人脉不是父母、亲戚的人脉,而是自己主动投入构造的人脉圈。“放长线,钓大鱼”,先行投入才能产生后续产出。 现在几乎做所有的事情都需要人脉。以银行柜员为例,需要拉储户,而其本质就是社会人脉,就是社交!很多人都说,人脉我不行,因为我爸不行、我妈不行、我姨不行、我舅不行……我谁谁谁都不行,怎么能建立人脉?我这里说的人脉,是你的独立人脉。 以一个普通的银行柜员
- JSP基础
百合不是茶
jsp注释隐式对象
1,JSP语句的声明
<%! 声明 %> 声明:这个就是提供java代码声明变量、方法等的场所。
表达式 <%= 表达式 %> 这个相当于赋值,可以在页面上显示表达式的结果,
程序代码段/小型指令 <% 程序代码片段 %>
2,JSP的注释
<!-- -->
- web.xml之session-config、mime-mapping
bijian1013
javaweb.xmlservletsession-configmime-mapping
session-config
1.定义:
<session-config>
<session-timeout>20</session-timeout>
</session-config>
2.作用:用于定义整个WEB站点session的有效期限,单位是分钟。
mime-mapping
1.定义:
<mime-m
- 互联网开放平台(1)
Bill_chen
互联网qq新浪微博百度腾讯
现在各互联网公司都推出了自己的开放平台供用户创造自己的应用,互联网的开放技术欣欣向荣,自己总结如下:
1.淘宝开放平台(TOP)
网址:http://open.taobao.com/
依赖淘宝强大的电子商务数据,将淘宝内部业务数据作为API开放出去,同时将外部ISV的应用引入进来。
目前TOP的三条主线:
TOP访问网站:open.taobao.com
ISV后台:my.open.ta
- 【MongoDB学习笔记九】MongoDB索引
bit1129
mongodb
索引
可以在任意列上建立索引
索引的构造和使用与传统关系型数据库几乎一样,适用于Oracle的索引优化技巧也适用于Mongodb
使用索引可以加快查询,但同时会降低修改,插入等的性能
内嵌文档照样可以建立使用索引
测试数据
var p1 = {
"name":"Jack",
"age&q
- JDBC常用API之外的总结
白糖_
jdbc
做JAVA的人玩JDBC肯定已经很熟练了,像DriverManager、Connection、ResultSet、Statement这些基本类大家肯定很常用啦,我不赘述那些诸如注册JDBC驱动、创建连接、获取数据集的API了,在这我介绍一些写框架时常用的API,大家共同学习吧。
ResultSetMetaData获取ResultSet对象的元数据信息
- apache VelocityEngine使用记录
bozch
VelocityEngine
VelocityEngine是一个模板引擎,能够基于模板生成指定的文件代码。
使用方法如下:
VelocityEngine engine = new VelocityEngine();// 定义模板引擎
Properties properties = new Properties();// 模板引擎属
- 编程之美-快速找出故障机器
bylijinnan
编程之美
package beautyOfCoding;
import java.util.Arrays;
public class TheLostID {
/*编程之美
假设一个机器仅存储一个标号为ID的记录,假设机器总量在10亿以下且ID是小于10亿的整数,假设每份数据保存两个备份,这样就有两个机器存储了同样的数据。
1.假设在某个时间得到一个数据文件ID的列表,是
- 关于Java中redirect与forward的区别
chenbowen00
javaservlet
在Servlet中两种实现:
forward方式:request.getRequestDispatcher(“/somePage.jsp”).forward(request, response);
redirect方式:response.sendRedirect(“/somePage.jsp”);
forward是服务器内部重定向,程序收到请求后重新定向到另一个程序,客户机并不知
- [信号与系统]人体最关键的两个信号节点
comsci
系统
如果把人体看做是一个带生物磁场的导体,那么这个导体有两个很重要的节点,第一个在头部,中医的名称叫做 百汇穴, 另外一个节点在腰部,中医的名称叫做 命门
如果要保护自己的脑部磁场不受到外界有害信号的攻击,最简单的
- oracle 存储过程执行权限
daizj
oracle存储过程权限执行者调用者
在数据库系统中存储过程是必不可少的利器,存储过程是预先编译好的为实现一个复杂功能的一段Sql语句集合。它的优点我就不多说了,说一下我碰到的问题吧。我在项目开发的过程中需要用存储过程来实现一个功能,其中涉及到判断一张表是否已经建立,没有建立就由存储过程来建立这张表。
CREATE OR REPLACE PROCEDURE TestProc
IS
fla
- 为mysql数据库建立索引
dengkane
mysql性能索引
前些时候,一位颇高级的程序员居然问我什么叫做索引,令我感到十分的惊奇,我想这绝不会是沧海一粟,因为有成千上万的开发者(可能大部分是使用MySQL的)都没有受过有关数据库的正规培训,尽管他们都为客户做过一些开发,但却对如何为数据库建立适当的索引所知较少,因此我起了写一篇相关文章的念头。 最普通的情况,是为出现在where子句的字段建一个索引。为方便讲述,我们先建立一个如下的表。
- 学习C语言常见误区 如何看懂一个程序 如何掌握一个程序以及几个小题目示例
dcj3sjt126com
c算法
如果看懂一个程序,分三步
1、流程
2、每个语句的功能
3、试数
如何学习一些小算法的程序
尝试自己去编程解决它,大部分人都自己无法解决
如果解决不了就看答案
关键是把答案看懂,这个是要花很大的精力,也是我们学习的重点
看懂之后尝试自己去修改程序,并且知道修改之后程序的不同输出结果的含义
照着答案去敲
调试错误
- centos6.3安装php5.4报错
dcj3sjt126com
centos6
报错内容如下:
Resolving Dependencies
--> Running transaction check
---> Package php54w.x86_64 0:5.4.38-1.w6 will be installed
--> Processing Dependency: php54w-common(x86-64) = 5.4.38-1.w6 for
- JSONP请求
flyer0126
jsonp
使用jsonp不能发起POST请求。
It is not possible to make a JSONP POST request.
JSONP works by creating a <script> tag that executes Javascript from a different domain; it is not pos
- Spring Security(03)——核心类简介
234390216
Authentication
核心类简介
目录
1.1 Authentication
1.2 SecurityContextHolder
1.3 AuthenticationManager和AuthenticationProvider
1.3.1 &nb
- 在CentOS上部署JAVA服务
java--hhf
javajdkcentosJava服务
本文将介绍如何在CentOS上运行Java Web服务,其中将包括如何搭建JAVA运行环境、如何开启端口号、如何使得服务在命令执行窗口关闭后依旧运行
第一步:卸载旧Linux自带的JDK
①查看本机JDK版本
java -version
结果如下
java version "1.6.0"
- oracle、sqlserver、mysql常用函数对比[to_char、to_number、to_date]
ldzyz007
oraclemysqlSQL Server
oracle &n
- 记Protocol Oriented Programming in Swift of WWDC 2015
ningandjin
protocolWWDC 2015Swift2.0
其实最先朋友让我就这个题目写篇文章的时候,我是拒绝的,因为觉得苹果就是在炒冷饭, 把已经流行了数十年的OOP中的“面向接口编程”还拿来讲,看完整个Session之后呢,虽然还是觉得在炒冷饭,但是毕竟还是加了蛋的,有些东西还是值得说说的。
通常谈到面向接口编程,其主要作用是把系统设计和具体实现分离开,让系统的每个部分都可以在不影响别的部分的情况下,改变自身的具体实现。接口的设计就反映了系统
- 搭建 CentOS 6 服务器(15) - Keepalived、HAProxy、LVS
rensanning
keepalived
(一)Keepalived
(1)安装
# cd /usr/local/src
# wget http://www.keepalived.org/software/keepalived-1.2.15.tar.gz
# tar zxvf keepalived-1.2.15.tar.gz
# cd keepalived-1.2.15
# ./configure
# make &a
- ORACLE数据库SCN和时间的互相转换
tomcat_oracle
oraclesql
SCN(System Change Number 简称 SCN)是当Oracle数据库更新后,由DBMS自动维护去累积递增的一个数字,可以理解成ORACLE数据库的时间戳,从ORACLE 10G开始,提供了函数可以实现SCN和时间进行相互转换;
用途:在进行数据库的还原和利用数据库的闪回功能时,进行SCN和时间的转换就变的非常必要了;
操作方法: 1、通过dbms_f
- Spring MVC 方法注解拦截器
xp9802
spring mvc
应用场景,在方法级别对本次调用进行鉴权,如api接口中有个用户唯一标示accessToken,对于有accessToken的每次请求可以在方法加一个拦截器,获得本次请求的用户,存放到request或者session域。
python中,之前在python flask中可以使用装饰器来对方法进行预处理,进行权限处理
先看一个实例,使用@access_required拦截:
?