日志分割

hive默认分隔符引起的日志分割问题

Hive中的外部表对于Hive中的外部表来说，因为表是外部的，Hive认为其并不拥有这份数据，删除该表并不会真正删除其中的数据，其中的表描述元信息会被删除掉。对数据进行分区后，对于管理表，可以将其显示在hdfs目录中，但是外部表目录中不会真正存在数据，只能通过showpartitions命令来显示外部表的分区信息。我们的外部表是通过dateid进行的partition，如何显示某个partitio
clamaa·2017-04-11 09:45

技术杂记

redis/bin/redis-cli-h127.0.0.1-p6379|awk'{print$1}'|awk-F'[=,:]''{print$2}'|sort-n|uniq-c|sort-nrnginx日志分割脚本
bestscw·2017-04-07 15:00

Tomcat catalina.out日志使用log4j按天分割

由于tomcatcatalina.out日志不会自动分割，一、日志分割所需包在附近中1、压缩包中有三个jar包：log4j-1.2.16.jartomcat-juli-adapters.jartomcat-juli.jar
liufei198613·2017-03-03 17:13

MySQL抓包工具：MySQL Sniffer

有批量抓取多个端口，后台运行，日志分割等多种使用方式，操作便捷，输出友好。同时也适用抓取A
jyzhou·2017-03-03 17:00

日志切割方法及脚本

ansible-log脚本：##日志分割集中管理-hosts:websbecome:yesvars:app:tomcat_log_splittasks:-name:"{{app}}"script:/opt
joyespecial·2017-02-27 16:14

日志分割logrotate

我发现很多人的服务器上都运行着一些诸如每天切分Nginx日志之类的CRON脚本，大家似乎遗忘了Logrotate，争相发明自己的轮子，这真是让人沮丧啊！就好比明明身边躺着现成的性感美女，大家却忙着自娱自乐，罪过！Logrotate的介绍显而易见，Logrotate是基于CRON来运行的，其脚本是「/etc/cron.daily/logrotate」：#!/bin/sh /usr/sbin/log
achejq·2017-02-24 17:00

Linux环境下tomcat的catalina.out日志按日分割生成实现

于是想到把日志分割为多个小的日志，网上找到工具：超大文件分割工具-UltraFileSplitter4.03中文绿色版。用还是好用，但是这样也不是办法啊。如果
luckykapok918·2017-02-22 15:54

Shell结合crond 对tomcat日志分割

对于经常使用java的同学对catalina.out日志应该是比较熟悉的，如果不对该日志进行设置该日志会无限增加，文件越来越大占用磁盘空间今天就采用shell的方式结合crontab来解决该问题1.分割cron_catalina.sh#!/bin/bashcd`dirname$0`d=`date+%Y%m%d`d7=`date-d'90dayago'+%Y%m%d`cd../logs/cpcata
adson_sunflower·2017-02-14 10:34

日志轮替工具logrotate归纳总结

1理论部分1.1logrotate的作用logrotate通俗点讲主要实现日志分割功能，关于详细功能如下：-定义日志的转存规则（根据时间或大小转存，转存几份以及旧日志删除）-定义转存同时压缩日志-定义日志的邮寄备份
tanzhenchao·2017-02-08 14:03

Linux下利用cronolog对Tomcat7 catalina.out 日志分割

1.下载cronolog-1.6.2.tar.gz。2.解压缩到当前文件夹tarzxvfcronolog-1.6.2.tar.gz3.进入cronolog安装目录4.接下来输入如下命令（1）./configure（2）make（3）makeinstall5.成功运行后输入whichcronolog查看cronolog目录验证是否安装成功成功后大概会出现下图所示：——————————————————
神灯小明·2017-01-17 13:43

Tomcat7 catalina.out 日志分割

最近发现tomcat日志文件catalina.out不断变大，我的服务器里该文件目前已接近10G，导致系统磁盘空间边变小，而且管理也难于管理，所以想用一种工具来分割它。网上找了找用cronolog。安装过程如下1、下载（可以下载附件）#wgethttp://cronolog.org/download/cronolog-1.6.2.tar.gz2、解压缩#tarzxvfcronolog-1.6.2.
xiaoxiongmao8·2017-01-03 16:49

nginx日志分割(log rotation)

nginx没有内置日志分割功能，容易造成日志累积，文件越来越大。必须借助于外部命令或者工具来分割日志。本文介绍一种通过自定义脚本来分割日志的方法。
无名大盗·2016-12-27 22:55

Node 进阶：express 默认日志组件 morgan 从入门使用到源码剖析

本文由浅入深，内容主要包括：morgan使用入门例子如何将日志保存到本地文件核心API使用说明及例子进阶使用：1、日志分割2、将日志写入数据库源码剖析：mo
程序猿小卡·2016-12-13 08:00

Node 进阶：express 默认日志组件 morgan 从入门使用到源码剖析

本文由浅入深，内容主要包括：morgan使用入门例子如何将日志保存到本地文件核心API使用说明及例子进阶使用：1、日志分割2、将日志写入数据库源码剖析：mo
程序猿小卡_casper·2016-12-12 00:00

nginx日志分割

1.写一个切割的脚本进入vhost目录下cd/usr/local/nginx/conf/vhosts2.打开一个文件vim/usr/local/sbin/nginx_logrotate.sh---日志文件都放在这个目录下面添加以下内容#!/bin/bashd='date-d"-1day"+%F'[-d/tmp/nginx_log]||mkdir/tmp/nginx_logmv/tmp/access
lizheng103·2016-12-06 20:28

apache2.4配置访问日志分割并过滤图片CSS等无用内容

原文链接：http://www.cnblogs.com/yichong/p/6060864.html相关信息1.apache日志有访问日志和错误日志，错误日志根据日志级别来输出错误信息，而访问日志根据定义的日志格式来记录访问动作2.访问日志格式在httpd.conf文件里面定义，在虚拟主机里面引用3.如果网站访问量大，那么很容易造成访问日志过大，所以对访问日志进行自动切割非常有必要4.本篇日志使用
dezha1994·2016-11-14 10:00

logrotate 进行nginx日志分割[转载]

查看来源日志分割常用方法：自己写脚本分割使用linux自带的logrotate前者灵活，可以应对各种需求，自定义文件夹、文件名。后者配置简单，使用方便。
勤劳一沙鸥·2016-09-05 15:49

nginx日志分割并定期删除

#!/bin/bash#切割nginx的日志，然后定期删除source /etc/profilelog_path=/usr/local/nginx/logsd=`date +%Y-%m-%d`d90=`date -d'5 day ago' +%Y-%m-%d`   ##5天前cd ${log_path} && cp access.log $log_path/backuplog/accesslog$
huningfei·2016-08-23 10:44

tomcat日志分割定期删除catalina.out

参考：http://www.2cto.com/os/201503/380262.html每天晚上11点50切割日志文件，同时删除超过30天的日志log_path=/usr/local/tomcat/logsd=`date +%Y-%m-%d`d90=`date -d'30 day ago' +%Y-%m-%d`cd ${log_path} && cp catalina.out $log_path/
huningfei·2016-08-23 10:02

Cronolog 分割 Tomcat8 Catalina.out日志

按日期进行分割，而是全部输出全部写入到一个catalina.out，这样日积月累就会造成.out日志越来越大，给管理造成了不便，为了实现像其它日志文件一样按日期归档，这里我们采用cronolog来完成日志分割
辣条香蕉·2016-07-27 21:16

tomcat日志自动分割(linux)

catalina.out文件竟然已经达到202M了,决定做一下日志的分割.先看了一下crontab任务中,发现有个删除前10天日志的自动任务,但是没有发现切割的自动任务.搜了一下,据说tomcat有默认的日志分割功能
冰叶纷飞·2016-07-26 18:22

nginx日志之错误日志及访问日志及日志分割

一.nginx错误日志nginx软件会把自身运行的故障信息及用户访问的日志信息记录到指定的日志文件里一般在nginx.conf配置文件第二行添加：error_loglogs/error.logerror；↓↓↓关键字日志文件日志级别其实如果不添加这行的话，默认就是这样关于日志级别：错误日志常见的级别有：debug|info｜notice|warn｜error｜crit|alert|emerg按照经
代亮devops·2016-07-15 16:01

Elasticsearch + Logstash + Kibana（ELK）安装部署方法

是一套开源的日志管理方案，分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统计，但是当网站访问异常或者被***时我们需要在后台分析如Nginx的具体日志，而Nginx日志分割
zzxtbl·2016-06-01 11:16

Linux--nginx 每天自动分割日志文件

创建日志分割脚本1、登录SSH，创建cut_logs.sh文件vi/root/cut_logs.sh2、粘贴下面代码到cut_logs.sh，并保存#!
loren_you·2016-05-27 11:10

Nginx日志分割脚本

#!/bin/bash #author：yuxiaoguang #date：2016/5/22 DATE=`date -d "1 days ago" +"%Y%m%d"` OLD_DATE=`date -d "4 days ago" +"%Y%m%d"` PROG=/usr/local/nginx/sbin/nginx LOGDIR=/usr/local/nginx/logs ALL_LOG=`l
guangpu_yu·2016-05-22 19:28

nginx 直接在配置文章中设置日志分割

原文链接：http://www.ttlsa.com/nginx/nginx-configure-file-log-rotation/直接在nginx配置文件中，配置日志循环，而不需使用logrotate或配置cron任务。需要使用到$time_iso8601内嵌变量来获取时间。$time_iso8601格式如下：2015-08-07T18:12:02+02:00。然后使用正则表达式来获取所需时间的
xuyongjun84·2016-05-18 11:26

nginx日志分割

1、应用场景    当网站访问量大后，日志数据就会很多，如果全部写到一个日志文件中去，文件会变得越来越大。文件大速度就会慢下来，比如一个文件几百兆。写入日志的时候，会影响操作速度。另外，如果我想看看访问日志，一个几百兆的文件，下载下来打开也很慢。2、shell脚本    nginx-log-split.sh    #!/bin/bash    base_path='/home/wwwlogs'  
我心中有猛狗·2016-05-09 15:00

Catalina.out日志分割(Tomcat 7.0.69)

项目业务原因,catalina.out每天增长几近1个G,先不说磁盘空间的占用,排查日志时,几个GB,甚至几十个GB的文件打开都是个问题,实在无可忍耐.搜索一番,无非2种方案:[color=red]1、用log4j接管tomcat的日志输出;2、用cronolog来分隔[/color].个人偏向第一种,无他,因其简单,且涉及几率问题,改动的地方少,改动得越少,出错的几率越少,最重要的是log4j更
iteye_10425·2016-05-04 16:03

Catalina.out日志分割(Tomcat 7.0.69)

阅读更多项目业务原因,catalina.out每天增长几近1个G,先不说磁盘空间的占用,排查日志时,几个GB,甚至几十个GB的文件打开都是个问题,实在无可忍耐.搜索一番,无非2种方案:1、用log4j接管tomcat的日志输出;2、用cronolog来分隔.个人偏向第一种,无他,因其简单,且涉及几率问题,改动的地方少,改动得越少,出错的几率越少,最重要的是log4j更加熟悉,也就是说更好维护,so
anthrax2·2016-05-04 16:00

cronolog分割tomcat catalina.out 日志

日志分割的起因随着时间的推移，catalina.out这个文件的尺寸将会越来越大，当需要检查日志内容时会导致文件难以打开，而且同时tomcat依旧在不断的向文件中输入内容，这也会降低tomcat的性能。
langtu329·2016-04-26 22:00

Cronolog 分割 Tomcat8 Catalina.out日志

按日期进行分割，而是全部输出全部写入到一个catalina.out，这样日积月累就会造成.out日志越来越大，给管理造成了不便，为了实现像其它日志文件一样按日期归档，这里我们采用cronolog来完成日志分割
CIAS·2016-04-24 21:07

Cronolog 分割 Tomcat8 Catalina.out日志

按日期进行分割，而是全部输出全部写入到一个catalina.out，这样日积月累就会造成.out日志越来越大，给管理造成了不便，为了实现像其它日志文件一样按日期归档，这里我们采用cronolog来完成日志分割
hanzheng260561728·2016-04-24 21:00

Elasticsearch + Logstash + Kibana 搭建日志集中分析平台实践

）是一套开源的日志管理方案，分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统计，但是当网站访问异常或者被攻击时我们需要在后台分析如Nginx的具体日志，而Nginx日志分割
啊莫·2016-04-05 15:00

开启mysql慢查询 及日志分割脚本

showvariablesLIKE'%quer%log%' 检查慢查询是否开启SETGLOBALslow_query_log='ON'SETlong_query_time=1mkdir-p/home/wwwlogs/mysqlchown-Rmysql.mysql/home/wwwlogs/mysql/加入定时脚本:每日日志切割#!/bin/bashlogtime=$(date+%Y%m%d)mys
langtu329·2016-03-30 10:00

Nginx 日志分割文档说明 ---谷营中西软件科技园

1、要解决问题描述：当网站访问量大后，日志数据就会很多，如果全部写到一个日志文件中去，文件会变得越来越大。文件大速度就会慢下来，比如一个文件几百兆。写入日志的时候，会影响操作速度。2、nignx没有自动分开文件存储日志的机制。由于nginx它不会帮你自动分文件保存。所以，需要自己编写脚本来实现。据说现在可以修改nginx的源码可以实现，但是太麻烦了。3.首先我们需要创建名称为：nginx_log_
wanzuwodou·2016-03-25 10:00

使用 logrotate 进行 nginx 日志分割

使用logrotate指令，可让你轻松管理系统所产生的记录文件。它提供自动替换，压缩，删除和邮寄记录文件，每个记录文件都可被设置成每日，每周或每月处理，也能在文件太大时立即处理。您必须自行编辑，指定配置文件，预设的配置文件存放在/etc目录下，文件名称为logrotate.conf。配置选项说明compress：通过gzip压缩转储旧的日志nocompress：不需要压缩时，用这个参数copytr
Gekkoou·2016-03-24 15:20

Tomcat日志分割减少catalina.out日志过大

网络上找了一下，针对在 Linux 环境下执行 Tomcat 的部份，发现有个不错的工具软件 cronolog 可以协助 WebServer 之类的做 log  �的 rotate ，详细的运作原理可能大家得自己去这个网站上查，我的认知大致如下：  Tomcat 先把输出写到 console( 标准输出 )  然后透过 pipe(|)  转为 cronolog  的输入，由 cronolog 针对
楚林·2016-03-02 11:31

Tomcat日志分割减少catalina.out日志过大

网络上找了一下，针对在Linux环境下执行Tomcat的部份，发现有个不错的工具软件cronolog可以协助WebServer之类的做log檔的rotate，详细的运作原理可能大家得自己去这个网站上查，我的认知大致如下：Tomcat先把输出写到console(标准输出)然后透过pipe(|)转为cronolog的输入，由cronolog针对一个事先给定的文件名的命名规则，去过滤数据，定期关闭旧文件
楚林·2016-03-02 11:31

【总结】Nginx日志分割

Nginx日志切割，我想分为两种，一种从日志文件中将历史日志从日志文件切割下来（切割法），另一个中是把新来的日志按规定格式写到新的日志文件中（分离法）。切割法：（切割下来的日志文件中内容是历史日志）编写logrotate配置文件vi/etc/logrotate.d/nginx/data/price/*log{dailyrotate10missingoknotifemptycompressshare
巧克力黒·2016-02-24 19:36

nginx服务器的日志拆分

定时任务中每小时添加定时任务，执行一下脚本，可以实现小时日志分割 log_dir="/var/log/nginx" date_dir=`date +%Y/%m/%d/%H` /bin/mkdir -p 
shewa·2016-02-23 20:00

技术文章

主流全文索引工具的比较（Lucene,Sphinx,solr,elasticsearch)用Kibana和logstash快速搭建实时日志查询、收集与分析系统logrotate进行nginx日志分割AWK
wangxusummer·2016-02-19 10:00

Apache日志分割

apache的日志是可以自动切割的方法一：使用cronolog为每一天建立一个新的日志CustomLog"|/usr/local/sbin/cronologlogs/access_%Y%m%d.log"combined按天记录日志，日志不会自动覆盖小时轮训：CustomLog"|/usr/local/sbin/cronologlogs/access_%Y%m%dH.log"combined如果需要
guojianrui·2016-01-27 12:13

Apache日志分割

apache的日志是可以自动切割的方法一：使用cronolog为每一天建立一个新的日志CustomLog"|/usr/local/sbin/cronologlogs/access_%Y%m%d.log"combined按天记录日志，日志不会自动覆盖小时轮训：CustomLog"|/usr/local/sbin/cronologlogs/access_%Y%m%dH.log"combined如果需要
guojianrui·2016-01-27 12:13

Tomcat7.0.54 进行日志分割

问题：    tomcat运行时间久了，会出现巨大的log文件且catalina.out文件无比大解决方案：    把catalina.out文件以每天进行分割，这样产生的文件就会以每天进行产生。步骤如下：步骤一、    下载cronolog.1.6.2.tar.gz解压并安装tar -zxvf cronolog-1.6.2.tar.gz  ./configure  make make insta
xinsir999·2016-01-20 18:50

tomcat日志分割

在tomcat配置的项目中有时会在tomcat/logs文件夹中自动生成好多log文件，如：host-manager.2008-01-02.log，localhost.2008-01-02.log，manager.2008-01-02.log，catalina.2008-01-02.log，admin.2008-01-07.log，如果不需要生成这些文件，可以配置tomcat/conf文件夹中的l
fabing·2016-01-12 14:01

tomcat日志分割

在tomcat配置的项目中有时会在tomcat/logs文件夹中自动生成好多log文件，如：host-manager.2008-01-02.log，localhost.2008-01-02.log，manager.2008-01-02.log，catalina.2008-01-02.log，admin.2008-01-07.log，如果不需要生成这些文件，可以配置tomcat/conf文件夹中的l
fabing·2016-01-12 14:01

tomcat日志分割

在tomcat配置的项目中有时会在tomcat/logs文件夹中自动生成好多log文件，如：host-manager.2008-01-02.log，localhost.2008-01-02.log，manager.2008-01-02.log，catalina.2008-01-02.log，admin.2008-01-07.log，如果不需要生成这些文件，可以配置tomcat/conf文件夹中的l
fabing·2016-01-12 14:01

tomcat--catalina-daemon.out日志分割和输出等级控制

    为了更加安全，生产环境中我更加青睐把tomcat使用jsvc以守护进程的方式启动（daemon.sh）。这样tomcat自身将会生成另外一个日志文件(catalina-daemon.out)，而不是之前的catalina.out。但是随之出现2个问题:1.catalina-daemon.out这个文件不会自动切割，而且会无线增大。2.catalina-daemon.out里面log输出等级
ask8427·2015-12-31 11:30

apache日志分割

一、日志切割安装cronologCentOS5.4中编译安装Apache默认日志是不切割的，需要用用工具Cronnolog进行日志切割1.下载及安装wgethttp://cronolog.org/download/cronolog-1.6.2.tar.gztarzxvfcronolog-1.6.2.tar.gzcdcronolog-1.6.2./configuremake&& makeinstal
lcdmusic·2015-12-24 17:00

nginx日志分割脚本

#cut_nginx_logs.sh #!/bin/bash #function:cut nginx log files #set the path to nginx log files log_files_path="/usr/local/nginx/logs/" log_files_dir=${log_files_path}$(date +%Y%m%d) #set nginx log fil
ciscoxushaojie·2015-12-17 09:01
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他