Justin_1e34
Justin_1e34

k8s-logstash

input { rabbitmq { host => "rabbitmq" port => "5672" user => "admin" password => "xxxxxxxx" queue => "logstash" durable => true subscription_retry_interval_seconds => 5 }}filter { json { source => "message" }}output { elasticsearch { hosts => ["xxxxxxxxxxxxxxxxxxxx"] user => "elastic" password => "xxxxxxx" index => "%{[profile]}-%{[service]}-%{+YYYY.MM-ww}" template_name => "xl_log" manage_template => false } stdout { codec => rubydebug }}



logstashyml内容

apiVersion: v1

data:

  jvm.options: |-

    ## JVM configuration

    # Xms represents the initial size of total heap space

    # Xmx represents the maximum size of total heap space

    -Xms1g

    -Xmx1g

    ################################################################

    ## Expert settings

    ################################################################

    ##

    ## All settings below this section are considered

    ## expert settings. Don't tamper with them unless

    ## you understand what you are doing

    ##

    ################################################################

    ## GC configuration

    -XX:+UseParNewGC

    -XX:+UseConcMarkSweepGC

    -XX:CMSInitiatingOccupancyFraction=75

    -XX:+UseCMSInitiatingOccupancyOnly

    ## Locale

    # Set the locale language

    #-Duser.language=en

    # Set the locale country

    #-Duser.country=US

    # Set the locale variant, if any

    #-Duser.variant=

    ## basic

    # set the I/O temp directory

    #-Djava.io.tmpdir=$HOME

    # set to headless, just in case

    -Djava.awt.headless=true

    # ensure UTF-8 encoding by default (e.g. filenames)

    -Dfile.encoding=UTF-8

    # use our provided JNA always versus the system one

    #-Djna.nosys=true

    # Turn on JRuby invokedynamic

    -Djruby.compile.invokedynamic=true

    # Force Compilation

    -Djruby.jit.threshold=0

    ## heap dumps

    # generate a heap dump when an allocation from the Java heap fails

    # heap dumps are created in the working directory of the JVM

    -XX:+HeapDumpOnOutOfMemoryError

    # specify an alternative path for heap dumps

    # ensure the directory exists and has sufficient space

    #-XX:HeapDumpPath=${LOGSTASH_HOME}/heapdump.hprof

    ## GC logging

    #-XX:+PrintGCDetails

    #-XX:+PrintGCTimeStamps

    #-XX:+PrintGCDateStamps

    #-XX:+PrintClassHistogram

    #-XX:+PrintTenuringDistribution

    #-XX:+PrintGCApplicationStoppedTime

    # log GC status to a file with time stamps

    # ensure the directory exists

    #-Xloggc:${LS_GC_LOG_FILE}

    # Entropy source for randomness

    -Djava.security.egd=file:/dev/urandom

  log4j2.properties: |-

    status = error

    name = LogstashPropertiesConfig

    appender.console.type = Console

    appender.console.name = plain_console

    appender.console.layout.type = PatternLayout

    appender.console.layout.pattern = [%d{ISO8601}][%-5p][%-25c] %m%n

    appender.json_console.type = Console

    appender.json_console.name = json_console

    appender.json_console.layout.type = JSONLayout

    appender.json_console.layout.compact = true

    appender.json_console.layout.eventEol = true

    rootLogger.level = ${sys:ls.log.level}

    rootLogger.appenderRef.console.ref = ${sys:ls.log.format}_console

  logstash.yml: >-

    http.host: "0.0.0.0"

    xpack.monitoring.elasticsearch.url:

    http://es-cn-mp918la4l000cny3g.elasticsearch.aliyuncs.com:9200

    xpack.monitoring.elasticsearch.username: "elastic"

    xpack.monitoring.elasticsearch.password: "Xlpro2019"

    xpack.monitoring.enabled: true

    #config.debug: true

    #log.level: debug

  pipelines.yml: |-

    # This file is where you define your pipelines. You can define multiple.

    # For more information on multiple pipelines, see the documentation:

    #  https://www.elastic.co/guide/en/logstash/current/multiple-pipelines.html

    - pipeline.id: main

      path.config: "/usr/share/logstash/pipeline"

  startu.poptions: >-

    ################################################################################

    # These settings are ONLY used by $LS_HOME/bin/system-install to create a

    custom

    # startup script for Logstash and is not used by Logstash itself. It should

    # automagically use the init system (systemd, upstart, sysv, etc.) that your

    # Linux distribution uses.

    #

    # After changing anything here, you need to re-run

    $LS_HOME/bin/system-install

    # as root to push the changes to the init script.

    ################################################################################

    # Override Java location

    #JAVACMD=/usr/bin/java

    # Set a home directory

    LS_HOME=/usr/share/logstash

    # logstash settings directory, the path which contains logstash.yml

    LS_SETTINGS_DIR=/etc/logstash

    # Arguments to pass to logstash

    LS_OPTS="--path.settings ${LS_SETTINGS_DIR}"

    # Arguments to pass to java

    LS_JAVA_OPTS=""

    # pidfiles aren't used the same way for upstart and systemd; this is for

    sysv users.

    LS_PIDFILE=/var/run/logstash.pid

    # user and group id to be invoked as

    LS_USER=logstash

    LS_GROUP=logstash

    # Enable GC logging by uncommenting the appropriate lines in the GC logging

    # section in jvm.options

    LS_GC_LOG_FILE=/var/log/logstash/gc.log

    # Open file limit

    LS_OPEN_FILES=16384

    # Nice level

    LS_NICE=19

    # Change these to have the init script named and described differently

    # This is useful when running multiple instances of Logstash on the same

    # physical box or vm

    SERVICE_NAME="logstash"

    SERVICE_DESCRIPTION="logstash"

    # If you need to run a command or script before launching Logstash, put it

    # between the lines beginning with `read` and `EOM`, and uncomment those

    lines.

    ###

    ## read -r -d '' PRESTART << EOM

    ## EOM

kind: ConfigMap

metadata:

  annotations:

    kubectl.kubernetes.io/last-applied-configuration: >-

      {"apiVersion":"v1","data":{"jvm.options":"## JVM configuration\n\n# Xms

      represents the initial size of total heap space\n# Xmx represents the

      maximum size of total heap

      space\n\n-Xms1g\n-Xmx1g\n\n################################################################\n##

      Expert

      settings\n################################################################\n##\n##

      All settings below this section are considered\n## expert settings. Don't

      tamper with them unless\n## you understand what you are

      doing\n##\n################################################################\n\n##

      GC

      configuration\n-XX:+UseParNewGC\n-XX:+UseConcMarkSweepGC\n-XX:CMSInitiatingOccupancyFraction=75\n-XX:+UseCMSInitiatingOccupancyOnly\n\n##

      Locale\n# Set the locale language\n#-Duser.language=en\n\n# Set the locale

      country\n#-Duser.country=US\n\n# Set the locale variant, if

      any\n#-Duser.variant=\n\n## basic\n\n# set the I/O temp

      directory\n#-Djava.io.tmpdir=$HOME\n\n# set to headless, just in

      case\n-Djava.awt.headless=true\n\n# ensure UTF-8 encoding by default (e.g.

      filenames)\n-Dfile.encoding=UTF-8\n\n# use our provided JNA always versus

      the system one\n#-Djna.nosys=true\n\n# Turn on JRuby

      invokedynamic\n-Djruby.compile.invokedynamic=true\n# Force

      Compilation\n-Djruby.jit.threshold=0\n\n## heap dumps\n\n# generate a heap

      dump when an allocation from the Java heap fails\n# heap dumps are created

      in the working directory of the JVM\n-XX:+HeapDumpOnOutOfMemoryError\n\n#

      specify an alternative path for heap dumps\n# ensure the directory exists

      and has sufficient

      space\n#-XX:HeapDumpPath=${LOGSTASH_HOME}/heapdump.hprof\n\n## GC

      logging\n#-XX:+PrintGCDetails\n#-XX:+PrintGCTimeStamps\n#-XX:+PrintGCDateStamps\n#-XX:+PrintClassHistogram\n#-XX:+PrintTenuringDistribution\n#-XX:+PrintGCApplicationStoppedTime\n\n#

      log GC status to a file with time stamps\n# ensure the directory

      exists\n#-Xloggc:${LS_GC_LOG_FILE}\n\n# Entropy source for

      randomness\n-Djava.security.egd=file:/dev/urandom","log4j2.properties":"status

      = error\nname = LogstashPropertiesConfig\n\nappender.console.type =

      Console\nappender.console.name =

      plain_console\nappender.console.layout.type =

      PatternLayout\nappender.console.layout.pattern =

      [%d{ISO8601}][%-5p][%-25c] %m%n\n\nappender.json_console.type =

      Console\nappender.json_console.name =

      json_console\nappender.json_console.layout.type =

      JSONLayout\nappender.json_console.layout.compact =

      true\nappender.json_console.layout.eventEol = true\n\nrootLogger.level =

      ${sys:ls.log.level}\nrootLogger.appenderRef.console.ref =

      ${sys:ls.log.format}_console","logstash.yml":"http.host:

      \"0.0.0.0\"\nxpack.monitoring.elasticsearch.url:

      http://es-cn-45912geyo000aw6wf.elasticsearch.aliyuncs.com:9200\nxpack.monitoring.elasticsearch.username:

      \"elastic\" \nxpack.monitoring.elasticsearch.password:

      \"9vePfeVH6dReFVTt\"\nxpack.monitoring.enabled: true\n#config.debug:

      true\n#log.level: debug","pipelines.yml":"# This file is where you define

      your pipelines. You can define multiple.\n# For more information on

      multiple pipelines, see the documentation:\n# 

      https://www.elastic.co/guide/en/logstash/current/multiple-pipelines.html\n\n-

      pipeline.id: main\n  path.config:

      \"/usr/share/logstash/pipeline\"","startu.poptions":"################################################################################\n#

      These settings are ONLY used by $LS_HOME/bin/system-install to create a

      custom\n# startup script for Logstash and is not used by Logstash itself.

      It should\n# automagically use the init system (systemd, upstart, sysv,

      etc.) that your\n# Linux distribution uses.\n#\n# After changing anything

      here, you need to re-run $LS_HOME/bin/system-install\n# as root to push

      the changes to the init

      script.\n################################################################################\n\n#

      Override Java location\n#JAVACMD=/usr/bin/java\n\n# Set a home

      directory\nLS_HOME=/usr/share/logstash\n\n# logstash settings directory,

      the path which contains logstash.yml\nLS_SETTINGS_DIR=/etc/logstash\n\n#

      Arguments to pass to logstash\nLS_OPTS=\"--path.settings

      ${LS_SETTINGS_DIR}\"\n\n# Arguments to pass to

      java\nLS_JAVA_OPTS=\"\"\n\n# pidfiles aren't used the same way for upstart

      and systemd; this is for sysv

      users.\nLS_PIDFILE=/var/run/logstash.pid\n\n# user and group id to be

      invoked as\nLS_USER=logstash\nLS_GROUP=logstash\n\n# Enable GC logging by

      uncommenting the appropriate lines in the GC logging\n# section in

      jvm.options\nLS_GC_LOG_FILE=/var/log/logstash/gc.log\n\n# Open file

      limit\nLS_OPEN_FILES=16384\n\n# Nice level\nLS_NICE=19\n\n# Change these

      to have the init script named and described differently\n# This is useful

      when running multiple instances of Logstash on the same\n# physical box or

      vm\nSERVICE_NAME=\"logstash\"\nSERVICE_DESCRIPTION=\"logstash\"\n\n# If

      you need to run a command or script before launching Logstash, put it\n#

      between the lines beginning with `read` and `EOM`, and uncomment those

      lines.\n###\n## read -r -d '' PRESTART \u003c\u003c EOM\n##

      EOM"},"kind":"ConfigMap","metadata":{"annotations":{},"name":"logstashyml","namespace":"default"}}

  creationTimestamp: '2019-07-29T12:15:24Z'

  name: logstashyml

  namespace: default

  resourceVersion: '3773741'

  selfLink: /api/v1/namespaces/default/configmaps/logstashyml

  uid: 8b1e1f21-b1fa-11e9-b5ec-e6ec5e606ec5

你可能感兴趣的:(k8s-logstash)

  • k8s-logstash Justin_1e34
    input{rabbitmq{host=>"rabbitmq"port=>"5672"user=>"admin"password=>"xxxxxxxx"queue=>"logstash"durable=>truesubscription_retry_interval_seconds=>5}}filter{json{source=>"message"}}output{elasticsearch{ho
  • 多线程编程之存钱与取钱 周凡杨 javathread多线程存钱取钱
      生活费问题是这样的：学生每月都需要生活费，家长一次预存一段时间的生活费，家长和学生使用统一的一个帐号，在学生每次取帐号中一部分钱，直到帐号中没钱时 通知家长存钱，而家长看到帐户还有钱则不存钱，直到帐户没钱时才存钱。   问题分析：首先问题中有三个实体，学生、家长、银行账户，所以设计程序时就要设计三个类。其中银行账户只有一个，学生和家长操作的是同一个银行账户，学生的行为是
  • java中数组与List相互转换的方法 征客丶 JavaScriptjavajsonp
    1.List转换成为数组。（这里的List是实体是ArrayList) 　　调用ArrayList的toArray方法。 　　toArray 　　public T[] toArray(T[] a)返回一个按照正确的顺序包含此列表中所有元素的数组；返回数组的运行时类型就是指定数组的运行时类型。如果列表能放入指定的数组，则返回放入此列表元素的数组。否则，将根据指定数组的运行时类型和此列表的大小分
  • Shell 流程控制 daizj 流程控制if elsewhilecaseshell
    Shell 流程控制 和Java、PHP等语言不一样，sh的流程控制不可为空，如(以下为PHP流程控制写法)： <?php if(isset($_GET["q"])){ search(q);}else{// 不做任何事情} 在sh/bash里可不能这么写，如果else分支没有语句执行，就不要写这个else，就像这样 if else if if 语句语
  • Linux服务器新手操作之二 周凡杨 Linux 简单 操作
    1.利用关键字搜寻Man Pages    man -k keyword  其中-k 是选项，keyword是要搜寻的关键字 如果现在想使用whoami命令，但是只记住了前3个字符who，就可以使用 man -k who来搜寻关键字who的man命令       [haself@HA5-DZ26 ~]$ man -k
  • socket聊天室之服务器搭建 朱辉辉33 socket
    因为我们做的是聊天室，所以会有多个客户端，每个客户端我们用一个线程去实现，通过搭建一个服务器来实现从每个客户端来读取信息和发送信息。    我们先写客户端的线程。 public class ChatSocket extends Thread{ Socket socket; public ChatSocket(Socket socket){ this.sock
  • 利用finereport建设保险公司决策分析系统的思路和方法 老A不折腾 finereport金融保险分析系统报表系统项目开发
    决策分析系统呈现的是数据页面，也就是俗称的报表，报表与报表间、数据与数据间都按照一定的逻辑设定，是业务人员查看、分析数据的平台，更是辅助领导们运营决策的平台。底层数据决定上层分析，所以建设决策分析系统一般包括数据层处理（数据仓库建设）。   项目背景介绍 通常，保险公司信息化程度很高，基本上都有业务处理系统（像集团业务处理系统、老业务处理系统、个人代理人系统等）、数据服务系统（通过
  • 始终要页面在ifream的最顶层 林鹤霄
    index.jsp中有ifream，但是session消失后要让login.jsp始终显示到ifream的最顶层。。。始终没搞定，后来反复琢磨之后，得到了解决办法，在这儿给大家分享下。。 index.jsp--->主要是加了颜色的那一句 <html> <iframe name="top" ></iframe> <ifram
  • MySQL binlog恢复数据 aigo mysql
    1，先确保my.ini已经配置了binlog：   # binlog log_bin = D:/mysql-5.6.21-winx64/log/binlog/mysql-bin.log log_bin_index = D:/mysql-5.6.21-winx64/log/binlog/mysql-bin.index log_error = D:/mysql-5.6.21-win
  • OCX打成CBA包并实现自动安装与自动升级 alxw4616 ocxcab
    近来手上有个项目,需要使用ocx控件 (ocx是什么? http://baike.baidu.com/view/393671.htm) 在生产过程中我遇到了如下问题. 1. 如何让 ocx 自动安装?     a) 如何签名?     b) 如何打包?     c) 如何安装到指定目录? 2.
  • Hashmap队列和PriorityQueue队列的应用 百合不是茶 Hashmap队列PriorityQueue队列
      HashMap队列已经是学过了的,但是最近在用的时候不是很熟悉,刚刚重新看以一次,   HashMap是K,v键 ,值     put()添加元素      //下面试HashMap去掉重复的 package com.hashMapandPriorityQueue; import java.util.H
  • JDK1.5 returnvalue实例 bijian1013 javathreadjava多线程returnvalue
    Callable接口： 返回结果并且可能抛出异常的任务。实现者定义了一个不带任何参数的叫做 call 的方法。 Callable 接口类似于 Runnable，两者都是为那些其实例可能被另一个线程执行的类设计的。但是 Runnable 不会返回结果，并且无法抛出经过检查的异常。        ExecutorService接口方
  • angularjs指令中动态编译的方法(适用于有异步请求的情况) 内嵌指令无效 bijian1013 JavaScriptAngularJS
            在directive的link中有一个$http请求，当请求完成后根据返回的值动态做element.append('......');这个操作，能显示没问题，可问题是我动态组的HTML里面有ng-click，发现显示出来的内容根本不执行ng-click绑定的方法！     
  • 【Java范型二】Java范型详解之extend限定范型参数的类型 bit1129 extend
    在第一篇中，定义范型类时，使用如下的方式：   public class Generics<M, S, N> { //M,S,N是范型参数 }  这种方式定义的范型类有两个基本的问题：   1. 范型参数定义的实例字段，如private M m = null;由于M的类型在运行时才能确定，那么我们在类的方法中，无法使用m，这跟定义pri
  • 【HBase十三】HBase知识点总结 bit1129 hbase
    1. 数据从MemStore flush到磁盘的触发条件有哪些？    a.显式调用flush，比如flush 'mytable'    b.MemStore中的数据容量超过flush的指定容量，hbase.hregion.memstore.flush.size,默认值是64M 2. Region的构成是怎么样？ 1个Region由若干个Store组成
  • 服务器被DDOS攻击防御的SHELL脚本 ronin47
    mkdir /root/bin vi /root/bin/dropip.sh #!/bin/bash/bin/netstat -na|grep ESTABLISHED|awk ‘{print $5}’|awk -F:‘{print $1}’|sort|uniq -c|sort -rn|head -10|grep -v -E ’192.168|127.0′|awk ‘{if($2!=null&a
  • java程序员生存手册-craps 游戏-一个简单的游戏 bylijinnan java
    import java.util.Random; public class CrapsGame { /** * *一个简单的赌*博游戏，游戏规则如下： *玩家掷两个骰子，点数为1到6，如果第一次点数和为7或11，则玩家胜， *如果点数和为2、3或12，则玩家输， *如果和为其它点数，则记录第一次的点数和，然后继续掷骰，直至点数和等于第一次掷出的点
  • TOMCAT启动提示NB: JAVA_HOME should point to a JDK not a JRE解决 开窍的石头 JAVA_HOME
    当tomcat是解压的时候，用eclipse启动正常，点击startup.bat的时候启动报错; 报错如下：   The JAVA_HOME environment variable is not defined correctly This environment variable is needed to run this program NB: JAVA_HOME shou
  • [操作系统内核]操作系统与互联网 comsci 操作系统
         我首先申明：我这里所说的问题并不是针对哪个厂商的，仅仅是描述我对操作系统技术的一些看法       操作系统是一种与硬件层关系非常密切的系统软件，按理说，这种系统软件应该是由设计CPU和硬件板卡的厂商开发的，和软件公司没有直接的关系，也就是说，操作系统应该由做硬件的厂商来设计和开发
  • 富文本框ckeditor_4.4.7 文本框的简单使用 支持IE11 cuityang 富文本框
    <html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /> <title>知识库内容编辑</tit
  • Property null not found darrenzhu datagridFlexAdvancedpropery null
    When you got error message like "Property null not found ***", try to fix it by the following way: 1)if you are using AdvancedDatagrid, make sure you only update the data in the data prov
  • MySQl数据库字符串替换函数使用 dcj3sjt126com mysql函数替换
    需求：需要将数据表中一个字段的值里面的所有的  .   替换成  _   原来的数据是  site.title  site.keywords  .... 替换后要为     site_title  site_keywords   使用的SQL语句如下：   updat
  • mac上终端起动MySQL的方法 dcj3sjt126com mysqlmac
    首先去官网下载: http://www.mysql.com/downloads/ 我下载了5.6.11的dmg然后安装,安装完成之后..如果要用终端去玩SQL.那么一开始要输入很长的:/usr/local/mysql/bin/mysql 这不方便啊,好想像windows下的cmd里面一样输入mysql -uroot -p1这样...上网查了下..可以实现滴. 打开终端,输入: 1
  • Gson使用一（Gson） eksliang jsongson
    转载请出自出处：http://eksliang.iteye.com/blog/2175401 一.概述 从结构上看Json，所有的数据（data）最终都可以分解成三种类型： 第一种类型是标量（scalar），也就是一个单独的字符串（string）或数字（numbers），比如"ickes"这个字符串。 第二种类型是序列（sequence），又叫做数组（array）
  • android点滴4 gundumw100 android
    Android 47个小知识 http://www.open-open.com/lib/view/open1422676091314.html Android实用代码七段（一） http://www.cnblogs.com/over140/archive/2012/09/26/2611999.html http://www.cnblogs.com/over140/arch
  • JavaWeb之JSP基本语法 ihuning javaweb
      目录   JSP模版元素  JSP表达式  JSP脚本片断  EL表达式  JSP注释  特殊字符序列的转义处理  如何查找JSP页面中的错误   JSP模版元素    JSP页面中的静态HTML内容称之为JSP模版元素，在静态的HTML内容之中可以嵌套JSP
  • App Extension编程指南（iOS8/OS X v10.10）中文版 啸笑天 ext
             当iOS 8.0和OS X v10.10发布后，一个全新的概念出现在我们眼前，那就是应用扩展。顾名思义，应用扩展允许开发者扩展应用的自定义功能和内容，能够让用户在使用其他app时使用该项功能。你可以开发一个应用扩展来执行某些特定的任务，用户使用该扩展后就可以在多个上下文环境中执行该任务。比如说，你提供了一个能让用户把内容分
  • SQLServer实现无限级树结构 macroli oraclesqlSQL Server
    表结构如下： 数据库id path titlesort 排序 1 0 首页 0 2 0,1 新闻 1 3 0,2 JAVA 2 4 0,3 JSP 3 5 0,2,3 业界动态 2 6 0,2,3 国内新闻 1 创建一个存储过程来实现，如果要在页面上使用可以设置一个返回变量将至传过去   create procedure test as begin decla
  • Css居中div，Css居中img，Css居中文本，Css垂直居中div qiaolevip 众观千象学习永无止境每天进步一点点css
    /**********Css居中Div**********/ div.center { width: 100px; margin: 0 auto; } /**********Css居中img**********/ img.center { display: block; margin-left: auto; margin-right: auto; }
  • Oracle 常用操作(实用) 吃猫的鱼 oracle
    SQL>select text from all_source where owner=user and name=upper('&plsql_name');  SQL>select * from user_ind_columns where index_name=upper('&index_name');  将表记录恢复到指定时间段以前
  • iOS中使用RSA对数据进行加密解密 witcheryne iosrsaiPhoneobjective c
      RSA算法是一种非对称加密算法,常被用于加密数据传输.如果配合上数字摘要算法, 也可以用于文件签名. 本文将讨论如何在iOS中使用RSA传输加密数据. 本文环境 mac os  openssl-1.0.1j, openssl需要使用1.x版本, 推荐使用[homebrew](http://brew.sh/)安装. Java 8 RSA基本原理 RS
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他