1004_d014
1004_d014

K8S-EFK-01

节点数
zookeeper 1或3
kafka 1+

k8s-zookeeper

docker pull zookeeper:3.6.2

mkdir /data/nfs-volume/zookeeper


# 这个是单机，打开注释replicas 3集群
cat >zookeeper-cluster.yaml<<\EOF
apiVersion: v1
kind: ConfigMap
metadata:
  name: zookeeper
  namespace: efk
data:
  zoo.cfg: |
    tickTime=2000
    initLimit=5
    syncLimit=2
    maxClientCnxns=120
    dataDir=/data
    log_Dir=/data
    server.1=zookeeper-0:2888:3888;2181
#    server.2=zookeeper-1:2888:3888;2181
#    server.3=zookeeper-2:2888:3888;2181
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  labels:
    name: zookeeper
  name: zookeeper
  namespace: efk
spec:
  replicas: 1
  serviceName: zookeeper
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      name: zookeeper
  template:
    metadata:
      labels:
        name: zookeeper
    spec:
      nodeSelector:
        efk: "true"   ## 指定部署在哪个节点。需根据环境来修改      
      initContainers:
      - name: fix-permissions
        image: alpine:3.6
        securityContext:
          privileged: true
        env:
        - name: NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        command: [ "sh", "-c", "mkdir -p /mnt/${NAMESPACE}/${POD_NAME}/data && echo ${POD_NAME} |awk -F '-' '{print $2+1}' >/mnt/${NAMESPACE}/${POD_NAME}/myid &&  chown -R 1000:1000 /mnt"]
        imagePullPolicy: IfNotPresent
        volumeMounts:
        - name: zookeeper-data
          mountPath: /mnt
      containers:
      - name: zookeeper
        image: zookeeper:3.6.2
        securityContext:
          runAsUser: 1000
          runAsGroup: 1000
        env:
        - name: NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: JVMFLAGS
          value: "-Xms512m -Xmx512m"
        resources:
          limits:
            cpu: 1000m
            memory: 1Gi
          requests:
            cpu: 500m
            memory: 600Mi
        ports:
        - containerPort: 2181
          protocol: TCP
        - containerPort: 2888
          protocol: TCP
        - containerPort: 3888
          protocol: TCP
        volumeMounts:
        - name: zkp-config
          mountPath: /conf/zoo.cfg
          subPath: zoo.cfg
        - name: zookeeper-data
          mountPath: /data
          subPathExpr: $(NAMESPACE)/$(POD_NAME)
      volumes:
      - name: zkp-config
        configMap:
          name: zookeeper
      - name: zookeeper-data
        nfs:
          server: 10.0.0.2
          path: /data/nfs-volume/zookeeper/
---
apiVersion: v1
kind: Service
metadata:
  name: zookeeper
  namespace: efk
spec:
  ports:
  - name: client
    port: 2181
    protocol: TCP
    targetPort: 2181
  - name: server
    port: 2888
    protocol: TCP
    targetPort: 2888
  - name: leade
    port: 3888
    protocol: TCP
    targetPort: 3888
  selector:
    name: zookeeper
  clusterIP: None

EOF

# 登陆pod验证
zkServer.sh status
Mode: xxx

k8s-kafka

官网


cat >Dockerfile<<\EOF
FROM infra/jre8:8u271
ARG KAFKA_USER=kafka
ADD kafka_2.13-2.6.0.tgz /opt
RUN ln -ns /opt/kafka_2.13-2.6.0/  /opt/kafka \
    && useradd $KAFKA_USER \
    && [ `id -u $KAFKA_USER` -eq 1000 ] \
    && [ `id -g $KAFKA_USER` -eq 1000 ] \
    && chown -R $KAFKA_USER:$KAFKA_USER /opt/kafka*
USER kafka
WORKDIR /opt/kafka
EOF

docker build .  -t infra/kafka:2.6.0



mkdir /data/nfs-volume/kafka

# 参考 https://github.com/cuishuaigit/k8s-kafka/blob/master/kafka.yaml
# 更改  replicas: 进行集群
cat >kafka.yaml<<\EOF
apiVersion: v1
kind: Service
metadata:
  name: kafka
  namespace: efk
spec:
  ports:
  - name: kafka
    port: 9092
    targetPort: 9092
  clusterIP: None
  selector:
    name: kafka
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  labels:
    name: kafka
  name: kafka
  namespace: efk
spec:
  replicas: 1
  serviceName: kafka
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      name: kafka
  template:
    metadata:
      labels:
        name: kafka
    spec:
#      nodeSelector:
#        elasticsearch: "true"   ## 指定部署在哪个节点。需根据环境来修改
      securityContext:
        runAsUser: 1000
      containers:
      - name: kafka
        image: infra/kafka:2.6.0
        resources:
          requests:
            memory: 800Mi
            cpu: 500m
        ports:
        - containerPort: 9092
          protocol: TCP
        command:
        - sh
        - -c
        - "exec bin/kafka-server-start.sh /opt/kafka/config/server.properties --override broker.id=${HOSTNAME##*-} \
          --override listeners=PLAINTEXT://:9092 \
          --override zookeeper.connect=zookeeper.efk.svc.cluster.local \
          --override log.dir=/var/lib/kafka \
          --override auto.create.topics.enable=true \
          --override auto.leader.rebalance.enable=true \
          --override delete.topic.enable=true \
          --override log.retention.hours=72 \
          --override socket.request.max.bytes=104857600 \
          --override socket.send.buffer.bytes=102400 \
          --override unclean.leader.election.enable=true \
          --override zookeeper.session.timeout.ms=6000 \
          --override max.request.size=5242880 \
          --override message.max.bytes=6291456 \
          --override fetch.max.bytes=7340032"
        env:
        - name: KAFKA_HEAP_OPTS
          value : "-Xmx512M -Xms512M"
        - name: KAFKA_OPTS
          value: "-Dlogging.level=INFO"
        - name: NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        readinessProbe:
          tcpSocket:
            port: 9092
          timeoutSeconds: 1
          initialDelaySeconds: 5
        volumeMounts:
        - name: kafka-data
          mountPath: /var/lib/kafka
          subPathExpr: $(NAMESPACE)/$(POD_NAME)
      volumes:
      - name: kafka-data
        nfs:
          server: 10.0.0.2
          path: /data/nfs-volume/kafka/

EOF

log.retention.hours


优化参考: https://zhuanlan.zhihu.com/p/137720038

num.partitions=3
# 更具节点数量来看
#指定创建topic的默认分区数量，该值默认为1，建议根据具体的情况进行设定，越多的分区对于海量数据来说可以提高吞吐，但是对于>少量数据来说，也可能增加网络消耗
#注意:分区数一旦指定，只能增加，不能减少


# 自动创建topics，例如，当收到消息时，topics未创建,配置elk,不然filebeat无法自动创建topice
auto.create.topics.enable

# 是否开启leader自动平衡
auto.leader.rebalance.enable
# 对应影响的其他两个参数
# leader.imbalance.per.broker.percentage : 每个broker允许leader不平衡比例(如果每个broker上超过了这个值，controller将会>执行分区再平衡)，默认值10.
# leader.imbalance.check.interval.seconds: 主分区再平衡的频率，默认值为300s


# 是否允许删除topic，通过管理工具删除topic仅为标记删除，建议设由集群管理员定期统一的进行删除和管理
delete.topic.enable

# 默认副本因子，适用于自动创建的主题的默认复制因子,默认1，建议2
default.replication.factor

min.insync.replicas=2

# 为false，就只从ISR中获取leader保证了数据的可靠性，，true则从replica中获取，则可用性增强
unclean.leader.election.enable=false

登陆pod验证

# 创建主题
bin/kafka-topics.sh  \
--zookeeper zookeeper.efk.svc.cluster.local:2181 \
--create  \
--topic test1  \
--partitions 2 \
--replication-factor 1  

# 展示主题
bin/kafka-topics.sh  \
--zookeeper zookeeper.efk.svc.cluster.local:2181 \
--list  

# 查看主题详情
bin/kafka-topics.sh  \
--zookeeper zookeeper.efk.svc.cluster.local:2181 \
--describe  --topic  test1  

#--topic                 指定所创建主题名称  
#--partitions         指定分区个数
#--replication-factor   指定分区副本因子

k8s-kafkamanager

# docker pull kafkamanager/kafka-manager:3.0.0.4

cat >kafkamanager.yaml<

验证

# 访问 主机:30900
# Add Cluster
Cluster Zookeeper Hosts:  zookeeper.efk.svc.cluster.local


# 也可以添加ingress
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: kafka
  namespace: efk
  annotations:
    nginx.ingress.kubernetes.io/backend-protocol: "HTTP"
spec:
  rules:
  - host: kafka.zs.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: kafka-manager
            port:
              number: 9000

你可能感兴趣的:(K8S-EFK-01)

  • K8S-EFK-01 1004_d014
    节点数zookeeper1或3kafka1+k8s-zookeeperdockerpullzookeeper:3.6.2mkdir/data/nfs-volume/zookeeper#这个是单机，打开注释replicas3集群cat>zookeeper-cluster.yaml/mnt/${NAMESPACE}/${POD_NAME}/myid&&chown-R1000:1000/mnt"]ima
  • jquery实现的jsonp掉java后台 知了ing javajsonpjquery
    什么是JSONP？ 先说说JSONP是怎么产生的： 其实网上关于JSONP的讲解有很多，但却千篇一律，而且云里雾里，对于很多刚接触的人来讲理解起来有些困难，小可不才，试着用自己的方式来阐释一下这个问题，看看是否有帮助。 1、一个众所周知的问题，Ajax直接请求普通文件存在跨域无权限访问的问题，甭管你是静态页面、动态网页、web服务、WCF，只要是跨域请求，一律不准； 2、
  • Struts2学习笔记 caoyong struts2
    SSH : Spring + Struts2 + Hibernate 三层架构(表示层,业务逻辑层,数据访问层) MVC模式 (Model View Controller) 分层原则:单向依赖，接口耦合 1、Struts2  =  Struts  + Webwork 2、搭建struts2开发环境    a>、到www.apac
  • SpringMVC学习之后台往前台传值方法 满城风雨近重阳 springMVC
    springMVC控制器往前台传值的方法有以下几种： 1.ModelAndView    通过往ModelAndView中存放viewName：目标地址和attribute参数来实现传参：      ModelAndView mv=new ModelAndView();  mv.setViewName="success
  • WebService存在的必要性？ 一炮送你回车库 webservice
    做Java的经常在选择Webservice框架上徘徊很久，Axis  Xfire Axis2 CXF ，他们只有一个功能，发布HTTP服务然后用XML做数据传输。 是的，他们就做了两个功能，发布一个http服务让客户端或者浏览器连接，接收xml参数并发送xml结果。 当在不同的平台间传输数据时，就需要一个都能解析的数据格式。 但是为什么要使用xml呢？不能使json或者其他通用数据
  • js年份下拉框 3213213333332132 java web ee
    <div id="divValue">test...</div>测试 //年份 <select id="year"></select> <script type="text/javascript"> window.onload =
  • 简单链式调用的实现技术 归来朝歌 方法调用链式反应编程思想
    在编程中，我们可以经常遇到这样一种场景：一个实例不断调用它自身的方法，像一条链条一样进行调用 这样的调用你可能在Ajax中，在页面中添加标签： $("<p>").append($("<span>").text(list[i].name)).appendTo("#result");   也可能在HQ
  • JAVA调用.net 发布的webservice 接口 darkranger webservice
    /** * @Title: callInvoke * @Description: TODO(调用接口公共方法) * @param @param url 地址 * @param @param method 方法 * @param @param pama 参数 * @param @return * @param @throws BusinessException
  • Javascript模糊查找 | 第一章 循环不能不重视。 aijuans Way
    最近受我的朋友委托用js+HTML做一个像手册一样的程序，里面要有可展开的大纲，模糊查找等功能。我这个人说实在的懒，本来是不愿意的，但想起了父亲以前教我要给朋友搞好关系，再加上这也可以巩固自己的js技术，于是就开始开发这个程序，没想到却出了点小问题，我做的查找只能绝对查找。具体的js代码如下： function search(){ var arr=new Array("my
  • 狼和羊，该怎么抉择 atongyeye 工作
    狼和羊，该怎么抉择 在做一个链家的小项目，只有我和另外一个同事两个人负责，各负责一部分接口，我的接口写完，并全部测联调试通过。所以工作就剩下一下细枝末节的，工作就轻松很多。每天会帮另一个同事测试一些功能点，协助他完成一些业务型不强的工作。 今天早上到公司没多久，领导就在QQ上给我发信息，让我多协助同事测试，让我积极主动些，有点责任心等等，我听了这话，心里面立马凉半截，首先一个领导轻易说
  • 读取android系统的联系人拨号 百合不是茶 androidsqlite数据库内容提供者系统服务的使用
           联系人的姓名和号码是保存在不同的表中,不要一下子把号码查询来,我开始就是把姓名和电话同时查询出来的,导致系统非常的慢   关键代码:     1, 使用javabean操作存储读取到的数据 package com.example.bean; /** * * @author Admini
  • ORACLE自定义异常 bijian1013 数据库自定义异常
    实例： CREATE OR REPLACE PROCEDURE test_Exception ( ParameterA IN varchar2, ParameterB IN varchar2, ErrorCode OUT varchar2 --返回值,错误编码 ) AS /*以下是一些变量的定义*/ V1 NUMBER; V2 nvarc
  • 查看端号使用情况 征客丶 windows
    一、查看端口 在windows命令行窗口下执行： >netstat -aon|findstr "8080" 显示结果： TCP     127.0.0.1:80         0.0.0.0:0    &
  • 【Spark二十】运行Spark Streaming的NetworkWordCount实例 bit1129 wordcount
    Spark Streaming简介   NetworkWordCount代码   /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with
  • Struts2 与 SpringMVC的比较 BlueSkator struts2spring mvc
    1. 机制：spring mvc的入口是servlet，而struts2是filter，这样就导致了二者的机制不同。 2. 性能：spring会稍微比struts快。spring mvc是基于方法的设计，而sturts是基于类，每次发一次请求都会实例一个action，每个action都会被注入属性，而spring基于方法，粒度更细，但要小心把握像在servlet控制数据一样。spring
  • Hibernate在更新时，是可以不用session的update方法的(转帖） BreakingBad Hibernateupdate
    地址：http://blog.csdn.net/plpblue/article/details/9304459 public void synDevNameWithItil() {Session session = null;Transaction tr = null;try{session = HibernateUtil.getSession();tr = session.beginTran
  • 读《研磨设计模式》-代码笔记-观察者模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.List; import java.util.Observable; import java.util.Observer; /** * “观
  • 重置MySQL密码 chenhbc mysql重置密码忘记密码
    如果你也像我这么健忘，把MySQL的密码搞忘记了，经过下面几个步骤就可以重置了（以Windows为例，Linux/Unix类似）： 1、关闭MySQL服务 2、打开CMD，进入MySQL安装目录的bin目录下，以跳过权限检查的方式启动MySQL mysqld --skip-grant-tables  3、新开一个CMD窗口，进入MySQL mysql -uroot  
  • 再谈系统论，控制论和信息论 comsci 设计模式生物能源企业应用领域模型
                               再谈系统论，控制论和信息论     偶然看
  • oracle moving window size与 AWR retention period关系 daizj oracle
    转自： http://tomszrp.itpub.net/post/11835/494147 晚上在做11gR1的一个awrrpt报告时,顺便想调整一下AWR snapshot的保留时间,结果遇到了ORA-13541这样的错误.下面是这个问题的发生和解决过程. SQL> select * from v$version; BANNER -------------------
  • Python版B树 dieslrae python
    话说以前的树都用java写的,最近发现python有点生疏了,于是用python写了个B树实现,B树在索引领域用得还是蛮多了,如果没记错mysql的默认索引好像就是B树... 首先是数据实体对象,很简单,只存放key,value class Entity(object): '''数据实体''' def __init__(self,key,value)
  • C语言冒泡排序 dcj3sjt126com 算法
    代码示例： # include <stdio.h> //冒泡排序 void sort(int * a, int len) { int i, j, t; for (i=0; i<len-1; i++) { for (j=0; j<len-1-i; j++) { if (a[j] > a[j+1]) // >表示升序
  • 自定义导航栏样式 dcj3sjt126com 自定义
    -(void)setupAppAppearance { [[UILabel appearance] setFont:[UIFont fontWithName:@"FZLTHK—GBK1-0" size:20]]; [UIButton appearance].titleLabel.font =[UIFont fontWithName:@"FZLTH
  • 11.性能优化-优化-JVM参数总结 frank1234 jvm参数性能优化
    1.堆 -Xms --初始堆大小 -Xmx --最大堆大小 -Xmn --新生代大小 -Xss --线程栈大小 -XX:PermSize  --永久代初始大小 -XX:MaxPermSize  --永久代最大值 -XX:SurvivorRatio --新生代和suvivor比例,默认为8 -XX:TargetSurvivorRatio --survivor可使用
  • nginx日志分割 for linux HarborChung nginxlinux脚本
    nginx日志分割 for linux 默认情况下，nginx是不分割访问日志的，久而久之，网站的日志文件将会越来越大，占用空间不说，如果有问题要查看网站的日志的话，庞大的文件也将很难打开，于是便有了下面的脚本   使用方法，先将以下脚本保存为 cutlog.sh，放在/root 目录下，然后给予此脚本执行的权限   复制代码代码如下: chmo
  • Spring4新特性——泛型限定式依赖注入 jinnianshilongnian springspring4泛型式依赖注入
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • centOS安装GCC和G++ liuxihope centosgcc
    Centos支持yum安装，安装软件一般格式为yum install .......，注意安装时要先成为root用户。 按照这个思路，我想安装过程如下： 安装gcc：yum install gcc 安装g++： yum install g++ 实际操作过程发现，只能有gcc安装成功，而g++安装失败，提示g++ command not found。上网查了一下，正确安装应该
  • 第13章 Ajax进阶（上） onestopweb Ajax
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • How to determine BusinessObjects service pack and fix pack blueoxygen BO
    http://bukhantsov.org/2011/08/how-to-determine-businessobjects-service-pack-and-fix-pack/   The table below is helpful. Reference   BOE XI 3.x 12.0.0. y BOE XI 3.0 12.0. x. y BO
  • Oracle里的自增字段设置 tomcat_oracle oracle
    　大家都知道吧，这很坑，尤其是用惯了mysql里的自增字段设置，结果oracle里面没有的。oh，no 　　我用的是12c版本的，它有一个新特性，可以这样设置自增序列，在创建表是，把id设置为自增序列 create table t ( id 　　 　　 number generated by default as identity (start with 1 increment b
  • Spring Security（01）——初体验 yang_winnie springSecurity
    Spring Security（01）——初体验     博客分类： spring Security Spring Security入门安全认证        首先我们为Spring Security专门建立一个Spring的配置文件，该文件就专门用来作为Spring Security的配置
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他