ShowMeCoding
ShowMeCoding

云原生|Kubernetes技术架构

01：容器运行时技术深度剖析

1.1 容器引擎和运行时机制原理解析

  • kubernetes定义的容器运行时接口：CRI，当前较为主流的实现包括dockershim、cri-containerd、cri-o
  • OCI runtime spec 定义了运行时实现中，文件格式和命令行格式，runc、kata、gVisor等运行时都符合这个标准
  • Containerd定义了一套trrpc接口，方便运行时实现者更好地进行容器状态管理

1.2 业界主流容器运行时技术架构剖析

  • Runc: 基于linux的namespace、cgroup和capability等技术实现隔离的容器实现
  • Kata containers：基于虚拟化隔离技术的容器实现
  • gVisor：一种基于拦截系统调用的实现隔离的容器实现

1.3 华为云容器运行时技术架构剖析

  • 基于EulerOS和自研的qumu-microvm对安全容器进行了轻量化改造
  • 支持GPU、nvlink等各种硬件设备
  • 安全容器和华为云的VPC网络等服务无缝对接

1.4 容器运行时技术的发展方向

  • 通过rust改写，减少host进程，进一步轻量化hypervisor等方式实现更加轻量级的安全容器
  • 结合机密计算技术，实现更加安全的容器技术

02：Kubernetes技术架构深度剖析

2.1 Kubernetes系统架构详解

  • K8S是谷歌开源的容器集群管理系统；他构建在容器之上，为容器化的应用提供资源调度，部署运行，服务发现，扩容缩容等一整套功能。
  • 将容器宿主机组成集群，统一进行资源调度，自动管理容器生命周期，提供跨节点服务发现和负载均衡；更好的支持服务概念、划分、细分服务之间的边界，比如label，pod等概念的引入
  • 轻量，迁移方便，部署快捷，插件化，可扩展

Kubernetes核心组件

2.2 controller控制器原理详解

Controller Manager主要提供了一个分发事件的能力，而不同的Controller只需要注册对应的Handler来等待接受和处理事件。
在Controller Manager的帮助下， Controller的逻辑可以做的非常纯粹，只需要实现相应的EventHandler即可，以Deployment controller为例。

  • List & Watch
  • Controller manager与api-server的通信主要有两种方式：List和Watch
  • List是短连接实现，用于获取该资源的所有Object
  • Watch是长连接实现，用于监听在List中获取的资源的变换
  • api-server检测到资源产生变更时，会主动通知到Controller manager(利用分块传输编码)
  • client-go
  • 实现统一管理每种Controller的List和Watch
  • 将收到的event事件放到缓存中，异步分发给每个Controller的注册的eventHandler

2.3 list-watch机制详解

3：Kubernetes高级调度原理

3.1 Kubernetes的调度流程原理与算法

Kubernetes default scheduler的特点：基于队列的调度器；一次调度一个Pod；调度时刻全局最优。

Kubernetes scheduler架构和调度流程
  • Informer list/watch资源变化，更新queue和cache;
  • NextPod() 从待调度队列获取队首的Pod;
  • 从cache中获取Node列表
  • 针对Pod和Nodelist执行Predicate算法，过滤掉不合适的节点，避免资源冲突，节点超载等
  • 针对Pod和Nodelist执行Priority算法，给节点打分，优化资源分配，应用分布
  • 根据打分，计算出得分最高的节点
  • 当高优先级的Pod没有找到合适的节点时，调度器尝试为其抢占优先级低的Pod
  • 当调度器为Pod选择了一个合适的节点时，通过Bind将Pod和节点进行绑定

3.2 Kubernetes高级调度算法

  • Kubernetes中的Label通常用来标记“身份”、Selector机制查询过滤
  • Node Affinity让Pod在一组指定的Node上运行

3.3 华为云CCE Volcano批量调度算法与应用场景

云计算批量计算面临的挑战：1、作业管理缺失；2、调度策略局限；3、领域计算框架支持不足；4、资源规划复用、异构计算支持不足

4：Kubernetes存储架构原理剖析（上）

4.1 K8s容器存储发展历程

容器存储能力

4.2 K8S持久化存储体系

名称 简介
PresistVolumn 简称pv,持久化存储，是k8s为云原生应用提一种拥有独立生命周期的、用户可管理的存储抽象设计
PresistVolumnClaim 简称pvc，吃计划存储声明，是K8S为解耦云原生应用和数据存储设计的，通过PVC可以让资源管控更加细致灵活、团队职责分离、应用模板更通用，进一步解除了用户被云平台锁定的顾虑
StorageClass 简称sc，存储类，是K8S平台为存储提供商提供存储接入的一种声明，通过sc和相应的存储插件
Deiver Plugin 存储驱动插件，由存储提供商提供，能够对接网络存储，并管理持久存储卷的生命周期

与临时存储相比，持久化存储的优势：

  • 每个数据卷可以拥有独立的生命周期，不再跟随pod常见和销毁
  • 使能计算+数据的迁移：存储卷中的数据可以随着pod在集群中迁移
  • 多个不同的pod可以共享同一个存储卷

引入PV/SC之后带来更大的效益：

  • 1 资源管控更加灵活，可适应资源管控严格、宽松的不同场景
  • 2 团队职责更加明确，开发人员只需要考虑存储需求，不需要关注存储类型，升值品牌
  • 3 灵活的扩展一些增强功能，比如：扩容、快照能力
  • 4 应用模板更加通用，可通过配置参数，适应不同类型的K8S平台
  • 5 进一步消除用户被存储提供商、云平台锁定的顾虑

4.3 PV/PVC的工作原理剖析

两种pv/pvc的工作方式

pv/pvc适合在资源管理比较严格的场景

  • 1 开发人员向集群管理员申请存储需求
  • 2 存储管理员按需求分配存储
  • 3 集群管理员按照分配的存储创建pv
  • 4 开发人员创建pvc, pvc关联合适的pv
  • 5 开发人员创建pod，并且pod使用pvc

pvc绑定pv的流程

本课总结

名称 简介
StatefulSet 简称sts，有状态应用，一种K8S为用户提供一组有序、唯一、稳定的应用实例集合
Volumn 卷，K8S为存算分离所做的解耦设计，让用户更加专注于业务功能设计。它在K8S中是依托于Pod而使用的
PresistVolumn 简称pv,持久化存储，是k8s为云原生应用提一种拥有独立生命周期的、用户可管理的存储抽象设计
PresistVolumnClaim 简称pvc，吃计划存储声明，是K8S为解耦云原生应用和数据存储设计的，通过PVC可以让资源管控更加细致灵活、团队职责分离、应用模板更通用，进一步解除了用户被云平台锁定的顾虑
StorageClass 简称sc，存储类，是K8S平台为存储提供商提供存储接入的一种声明，通过sc和相应的存储插件（csi/flexvolumn）为容器应用提供动态分配存储卷的能力

05: Kubernetes存储架构原理剖析（下）

5.1 StorageClass工作原理分析

无论在资源管控严格还是资源管控敏捷的场景，资源管理员都希望通过创建K8S的存储接口来管理容器存储资源
K8S通过存储声明（PVC）、存储类（SC）和存储插件（driver）联合工作，满足用户一键式定义，创建存储。

  • 1 用户在StatefulSet模板中定义对存储的需要
  • 2 StatefulSet控制器负责将Claim模板转换为pvc
  • 3 结合自定的sc和sc中指定的driver,创建应用苏需要的pv卷

5.2 CSI容器存储接口架构解读

什么是云原生存储

云原生的理解

  • 1 从技术角度看：一种还在不断演进中的设计思想，它主要是为了充分利用云计算的优势，促进云计算技术发展而构建和运行应用的设计思想
  • 2 从用户角度看：一种让用户从迭代慢、运维重、升级难得包袱中解脱出来，聚焦业务开展的设计思想

云原生应用的理解：基于云原生技术构建、运行的应用程序，它具有：

  • 行为可预测，快速弹性扩缩容
  • 持续交付，是研发流程更敏捷
  • 基于API构建，团队协作更流畅
  • 独立性强，促进DevOps的开展
  • 依赖少，轻量，故障恢复快速

云原生存储的理解

  • 1 从技术角度看：符合以应用为中心，可被声明和组合实现、是API驱动和服务自治、具有敏捷等特性的存储系统
  • 2 从用户角度看：最大的利用云原生应用特性的存储系统

以CSI存储架构为例，解读容器存储架构

  • 1 控制接口A:K8S平台通过控制接口调用存储提供商发布的控制API
  • 2 控制接口B：K8S平台通过sideCar（external-provisioner/attacher等）调用存储提供商发布的控制API

  • 3 数据接口C: 数据面，存储通过文件系统、块设备等方式为K8S平台中运行的workload提供存储读写等能力


    容器存储架构

5.3 云原生存储最佳实践：从FlexVolumn插件向CSI插件迁移

两种插件的对比

CSI架构：部署简单、功能强大、扩展灵活、容器存储接口的标准

08：Kubernetes运维管理详解（上）

8.1工作负载更新和回滚机制详解

无状态工作负载（deployment）更新

  • Recreate: 停止所有旧版本然后部署新版本
  • RollingUpdate: 滚动升级，即逐步创建新Pod再删除旧Pod，为默认策略
    可以通过maxSurge和maxUnavailable两个参数控制升级过程中重新创建Pod的比例
    在更新出现问题之后，可能需要对应用进行回滚。K8S支持根据deployment的历史版本进行回滚。
    有状态工作负载（StatefulSet）更新
  • OnDelete：用户必须手动删除Pod以便让控制器创建新的Pod
  • RollingUpdate：滚动更新过程也和Deployment大致相同，区别在于滚动更新的过程是有序的，支持部分实例滚动更新，部分不更新。
    有状态工作负载回滚：因为statefulset的使用对象是有状态服务，大部分有状态副本集都会用到持久化存储，statefulset下的每个pod正常情况下都会关联一个pv对象，对stateful对象回滚非常容易，但其使用的pv中保存的数据无法回滚，所以在生产环境下进行回滚时需要谨慎操作。

8.2 应用探针健康检查机制详解

容器健康检查使用liveness probe(工作负载存活探针)和readiness probe(工作负载业务探针)。
Kubernetes支持如下三种探测机制：

机制 原理
HTTP GET 向容器发送HTTP GET请求，如果probe收到2xx或3xx，说明容器是健康的
TCP Socket 尝试与容器指定端口建立TCP连接，如果连接成功，说明容器是健康的
Exec Probe执行容器中的命令并检查命令退出的状态码，如果状态码为0则说明容器是健康的

8.3 应用弹性伸缩原理详解

弹性伸缩是根据业务需求和策略，经济地自动调整弹性计算资源的管理服务。包括工作负载弹性收缩和节点弹性收缩。

小结

名称 简介
liveness probe 工作负载存活探针，指示容器是否正在运行。如果存活态探测失败，则kubelet会杀死容器，并且容器将根据重启策略进行重启。如果容器不提供存活探针，则默认为Success
readiness probe 工作负载业务探针，指示容器是否准备好为请求提供服务。只有当Pod中的容器都处于就绪状态时kubelet才会认定该Pod处于就绪态。该信号的作用是控制哪些Pod应该作为service的后端。如果Pod处于非就绪状态，那么他们将会被从service的load balancer中移除
Cluster AutoScaler 简称CA，Autoscaler是Kubernetes提供的集群节点弹性伸缩组件，根据Pod调度状态及资源使用情况对集群的节点进行自动扩容和缩容
Horizontal Pod Autoscaler 简称HPA，是用来控制Pod水平伸缩的控制器，HPA周期性检查Pod的度量数据，计算满足HPA资源所配置的目标数值所需的副本数量，进而调整目标资源（如Deployment）的replices字段

09：Kubernetes运维管理详解（下）

9.1 集群可观测性

云原生应用特点：

设施 特点
应用架构 从单体应用向微服务过渡，应用架构过渡为松耦合系统，应用版本迭代更快、周期更短
基础设施层 容器化、应用自身快、轻、微，Kubernetes成为运行容器的默认平台，IaaS、PaaS平台底层来承载Kubernetes平台
软件生命周期 服务通过DevOps流水线持续部署，服务变更低成本和低风险，呈现高频率和全自动变更

云原生可观测性

数据类型 具体情况
Metrics 收集并存储海量指标，通过指标阈值等手段实现告警通知，从而告知有没有问题发生
Traces 通过告警指标发现问题后，依据调用追踪分析，进一步明确是什么问题
Logs 明确了问题发生的对象或者位置之后，通过日志分析等手段实现为什么问题会发生，即找到问题的根因

9.2 指标监控与prometheus

指标（Metrics）是在许多个连续的时间周期里度量的KPI数值，一般将指标进行如下分类：

指标 描述
系统指标 集群CPU使用率、磁盘使用率以及网络带宽等情况
应用指标 QPS、出错率、平均延时
业务指标 用户会话、订单数量和营业额等

目前，Prometheus已经成为云原生监控领域的事实标准

9.3常见集群故障排错分析

  • 查看Kubernetes对象的当前运行时信息，特别是与对象关联的Event事件。这些事件记录了相关主题、发生时间、最近发生的时间、发生次数及事件原因等，对排查故障非常有价值
  • 对于服务、容器方面的问题，可能需要深入容器内部进行故障诊断，此时可以通过查看容器日志来定位具体问题
  • 对于某些复杂问题，例如Pod调度这种全局性问题，可能需要结合集群中的每个节点上的Kubernetes服务日志来排查。

10：Kubernetes安全权限管理深度剖析

Kubernetes本身并没有用户管理能力，无法像操作Pod一样，通过API的方式创建/删除一个用户实例，也无法在etcd中找到用户对应的存储对象
在Kubernetes的访问控制流程中，用户模型是通过请求方的访问控制凭证（如Kubectl使用的kube-config中的证书、Pod中引入的ServerAccount）产生

10.1 Kubernetes API 访问控制

认证

  • 集群创建脚本或者集群管理员配置API服务器，使之运行一个或多个身份认证组件
  • 认证步骤输入整个HTTP请求，主要检查头部和客户端证书
  • 认证模块包含客户端证书、密码、普通令牌、引导令牌和JSON Web令牌，API server依次尝试每个验证模块，直到有一个成功。
  • 如果请求认证不通过，服务器将以HTTP状态码401拒绝该请求

鉴权

  • 认证通过后，可以识别具体的客户信息，并根据用户和请求信息进行鉴权。
  • Kubernetes鉴权要求通过使用公共REST属性与现有的组织范围或云提供商范围的访问控制系统进行交互。请求必须包含请求者的用户名，请求的行为以及受该操作影响的对象。
  • 如果现有策略声明用户有权完成请求的操作，那么该请求被鉴权通过

11：Kubernetes应用管理深度剖析

名称 总结
Helm 可以将Helm看作Kubernetes下的apt-get/yum。Helm是Deis(https://deis.com)开发的一个用于kubernetes的包管理器：1、对于应用发布者而言，可以通过Helm打包应用，管理应用依赖关系，管理应用版本并发布到软件仓库；2、对于使用者而言，使用Helm后不需要了解Kubernetes的Yaml语法并编写应用部署文件，可以通过Helm下载并在Kubernetes上安装需要的应用；3、除此之外，Helm还提供了kubenetes上的软件部署，删除，升级，回滚应用的能力
operator kubernetes operator 是一种封装、部署和管理Kubernetes应用的方法。kubernetes operator 是一种特定于应用的控制器可扩展Kubernetes API的功能，来代表kubernetes用户创建、配置和管理复杂应用的实例；它基于基本kubernetes资源和控制器概念构建，但又涵盖了特定于域或应用的知识，用于实现其所管理软件的整个生命周期的自动化

12：Istio控制面架构深度剖析

Istio架构分层主要分为：控制面Istiod(Pilot Citadel Galley Sidecar-Injector)和数据面(Envoy Pilot-Agent)

模块 功能
Pilot xDS服务器，为数据代理提供各种配置
Citadel 为数据面签发证书
Gallery Admission Webhook, 校验Istio API配置
Sidecar-Injector 自动注入Sidecar

Sidecar基本介绍

  • Sidecar自动注入，由Sidecar Injector负责，支持按照Namespace以及按照应用注入
  • 业务代码不感知Sidecar的存在
  • Sidecar负责拦截应用的流量，并且提供流量治理、安全、监控三大功能

流量治理基本API

API 意义
ServiceEntry 定义Kubernetes集群外部服务，提供非K8S服务发现或者跨集群的服务发现
VirtualService 定义一些路由匹配、灰度、故障注入等功能
DestinationRule 提供目标服务的负载均衡策略以及连接管理，熔断等策略
Gateway 为服务网格边缘提供基本的流量转发策略

13：Istio数据面（Envoy）架构深度解析

名称 简介
Enovy 基于C++11，14的高性能服务网格数据面代理
xDS Enovy与上层控制面如istiod使用的基于gRPC的应用层协议，用于传输配置变更
自动注入及流量拦截 Pod创建时，由Istiod进行自动修改deployment，并将istio-proxy容器注入到新创建的pod内；当发生调用时，iptables规则将自动拦截出入流量进入Enovy代理
线程模型 Enovy采用每个工作线程独立处理网格及定时器事件，线程间无数据共享，提升性能
过滤器架构 Enovy采用可扩展插件架构实现监听过滤器、L4网络过滤器、L7 HTTP过滤器；同时支持基于L4/L7 WASM及L7 Lua过滤器的二次扩展

14：Istio流量治理与监控管理深度剖析

14.1 Istio流量治理基本介绍

简化服务治理配置：熔断、降级，超时，重试，A/B测试，金丝雀发布，基于权重的流量切分，故障检测与恢复

14.2 Istio流量治理深度剖析

名称 功能
VirtualService 允许您配置如何将请求路由到Istio服务网格中的服务，构建在Istio和您的平台提供基本连接和发现之上。without VS,请求将按照基本的负载均衡策略分发到所有的服务实例。with VS,可以将请求按照百分比（weight）分发到一组或者多组后端实例，或者根据请求属性（Match）,将请求路由到不同的服务实例组。典型的使用场景是灰度发布
DestinationRule 常常与VS配合使用，VS定义一些策略将流量路由到某些目标服务，而DestinationRule允许用户针对目标服务配置一些负载均衡，异常检测，连接池以及证书。特别是利用DR Subset定义特定服务的实力分组，结合VitualService可以实现完整的蓝绿部署，金丝雀发布等功能
Gateway 类似Ingress，看s gateway API,应用于网格边缘独立运行的Enovy代理，配置L4-L6的负载均衡，比如端口、证书，L7层的路由能力需要与VirtualService绑定
Sidecar 限制负载可访问的服务，精确控制部分端口可被访问，大规模场景下，降低控制面和数据面开销（内存，CPU,带宽）

14.3 Istio监控深度剖析

Istio提供以下可观测能力（非侵入）：

  • Metrics，应用流量粒度的监控统计
  • Distributed Traces：调用链上报
  • Access Logs：访问日志

课程链接：https://edu.huaweicloud.com/activity/Cloud-native2.html
打卡链接：https://bbs.huaweicloud.com/forum/thread-136621-1-1.html

你可能感兴趣的:(云原生|Kubernetes技术架构)

  • 腾讯云技术深度探索：构建高效云原生微服务架构 我的运维人生 云原生架构腾讯云运维开发技术共享
    腾讯云技术深度探索：构建高效云原生微服务架构在当今快速发展的技术环境中，云原生技术已成为企业数字化转型的关键驱动力。腾讯云作为行业领先的云服务提供商，不断推出创新的产品和技术，助力企业构建高效、可扩展的云原生微服务架构。本文将深入探讨腾讯云在微服务领域的最新进展，并通过一个实际案例展示如何在腾讯云平台上构建云原生应用。腾讯云微服务架构概览腾讯云微服务架构基于云原生理念，旨在帮助企业快速实现应用的容
  • react-intl——react国际化使用方案 苹果酱0567 面试题汇总与解析java开发语言中间件springboot后端
    国际化介绍i18n：internationalization国家化简称，首字母+首尾字母间隔的字母个数+尾字母，类似的还有k8s(Kubernetes)React-intl是React中最受欢迎的库。使用步骤安装#usenpmnpminstallreact-intl-D#useyarn项目入口文件配置//index.tsximportReactfrom"react";importReactDOMf
  • Kubernetes数据持久化 看清所苡看轻 kubernetes(k8s)emptyDirHostPathpvpvckubernetes
    在k8s中，Volume（数据卷）存在明确的生命周期（与包含该数据卷的容器组（pod）相同）。因此Volume的生命周期比同一容器组（pod）中任意容器的生命周期要更长，不管容器重启了多少次，数据都被保留下来。当然，如果pod不存在了，数据卷自然退出了。此时，根据pod所使用的数据卷类型不同，数据可能随着数据卷的退出而删除，也可能被真正持久化，并在下次容器组重启时仍然可以使用。从根本上来说，一个数
  • Kubernetes部署MySQL数据持久化 沫殇-MS KubernetesMySQL数据库kubernetesmysql容器
    一、安装配置NFS服务端1、安装nfs-kernel-server：sudoapt-yinstallnfs-kernel-server2、服务端创建共享目录#列出所有可用块设备的信息lsblk#格式化磁盘sudomkfs-text4/dev/sdb#创建一个目录：sudomkdir-p/data/nfs/mysql#更改目录权限：sudochown-Rnobody:nogroup/data/nfs
  • Kubernetes的3种数据持久化方式 Seal^_^ 【云原生】容器化与编排技术持续集成#Kuberneteskubernetes容器云原生EmptyDir面试HostPath
    Kubernetes的3种数据持久化方式1.EmptyDir2.HostPath3.PersistentVolume(PV)TheBegin点点关注，收藏不迷路Kubernetes提供了几种数据持久化方式，以满足不同场景的需求：1.EmptyDir用途：临时数据存储，Pod内容器间共享。特点：生命周期与Pod相同，Pod删除时数据也删除。2.HostPath用途：访问宿主机特定文件或目录。特点：增
  • 【Kubernetes】常见面试题汇总（十一） summer.335 Kuberneteskubernetes容器云原生
    目录33.简述Kubernetes外部如何访问集群内的服务？34.简述Kubernetesingress？35.简述Kubernetes镜像的下载策略？33.简述Kubernetes外部如何访问集群内的服务？（1）对于Kubernetes，集群外的客户端默认情况，无法通过Pod的IP地址或者Service的虚拟IP地址：虚拟端口号进行访问。（2）通常可以通过以下方式进行访问Kubernetes集群
  • k8s中Service暴露的种类以及用法 听说唐僧不吃肉 K8Skubernetes容器云原生
    一、说明在Kubernetes中，有几种不同的方式可以将服务（Service）暴露给外部流量。这些方式通过定义服务的spec.type字段来确定。二、详解1.ClusterIP定义：默认类型，服务只能在集群内部访问。作用：通过集群内部IP地址暴露服务。示例：spec:type:ClusterIPports:-port:80targetPo
  • Kubernetes 自定义控制器开发 IT回忆录 Kubeneteskubernetes
    目录前言一、CRD二、创建数据库表（Mysql）二、控制器开发1.使用kubernetes的examplecontroller模板2.在controller.go中新增数据表监听方法3.修改tools工具生成资源对象结构体定义这里记录开发k8s控制器的一般方式，controller开发主要使用k8s提供的client-go库进行。前言Controller监听集群内部资源对象的变化，编辑资源对象(增
  • 用kubedam搭建的k8s证书过期处理方法 我滴鬼鬼呀wks k8s1024程序员节
    kubeadm部署的k8s证书过期1、查看证书过期时间kubeadmalphacertscheck-expiration若证书已经过期无法试用kubectl命令建议修改服务器时间到未过期的时间段2、配置kube-controller-manager.yaml文件cat/etc/kubernetes/manifests/kube-controller-manager.yamlapiVersion:v
  • k8s证书过期问题处理 olina_qin kubernetes容器云原生
    k8s证书过期问题处理opensslx509-in/etc/kubernetes/pki/apiserver.crt-noout-dateskubeadmcertsrenewallsystemctlrestartkubeleopensslx509-in/etc/kubernetes/pki/apiserver.crt-noout-text|grep"NotAfter"cp/etc/kubernet
  • Kubernetes Ingress 控制器（Nginx）安装与使用教程 农优影
    KubernetesIngress控制器（Nginx）安装与使用教程kubernetes-ingressNGINXandNGINXPlusIngressControllersforKubernetes项目地址:https://gitcode.com/gh_mirrors/ku/kubernetes-ingress1.项目目录结构及介绍在nginxinc/kubernetes-ingress仓库中，
  • 【K8s】专题十一：Kubernetes 集群证书过期处理方法 行者Sun1989 Kuberneteskubernetes云原生容器
    本文内容均来自个人笔记并重新梳理，如有错误欢迎指正！如果对您有帮助，烦请点赞、关注、转发、订阅专栏！专栏订阅入口Linux专栏|Docker专栏|Kubernetes专栏往期精彩文章【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法（续）【Docker】MySQL源码构建Docker镜
  • Docker学习十一：Kubernetes概述 爱打羽球的程序猿 Docker学习系列dockerkubernetes学习
    一、Kubernetes简介2006年，Google提出了云计算的概念，当时的云计算领域还是以虚拟机为代表的云平台。2013年，Docker横空出世，Docker提出了镜像、仓库等核心概念，规范了服务的交付标准，使得复杂服务的落地变得更加简单，之后Docker又定义了OCI标准，Docker在容器领域称为事实的标准。但是，Docker诞生只是帮助定义了开发和交付标准，如果想要在生产环境中大批量的使
  • Cloud Native Weekly | 华为云抢先发布Redis5.0，红帽宣布收购混合云提供商 weixin_34302561 数据库devops大数据
    1——华为云抢先发布Redis5.02——DigitalOceanK8s服务正式上线3——红帽宣布收购混合云提供商NooBaa4——微软发布多项AzureKubernetes服务更新1华为云抢先发布Redis5.012月17日，华为云在DCS2.0的基础上，快人一步，抢先推出了新的Redis5.0产品，这是一个崭新的突破。目前国内在缓存领域的发展普遍停留在Redis4.0阶段，华为云率先发布了Re
  • SpringBoot整合ES搜索引擎 实现网站热搜词及热度计算 码踏云端 springbootElasticsearchspringbootelasticsearch后端热搜词热度计算java
    博主简介：历代文学网（PC端可以访问：https://literature.sinhy.com/#/literature?__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，热衷于探索科技的边界，并将理论知识转化为实际应用。保持对新技术的好奇心，乐于
  • （k8s）Kubernetes 从0到1容器编排之旅 道不贱卖，法不轻传 kubernetskubernetes容器云原生
    一、引言在当今数字化的浪潮中，Kubernetes如同一艘强大的航船，引领着容器化应用的部署与管理。它以其卓越的灵活性、可扩展性和可靠性，成为众多企业和开发者的首选。然而，要真正发挥Kubernetes的强大威力，仅仅掌握基本操作是远远不够的。本文将带你深入探索Kubernetes使用过程中的奇技妙法，为你开启一段优雅的容器编排之旅。二、高级资源管理之精妙艺术1.资源配额与限制：雕琢资源之美•Ku
  • 【数字化供应链】数字化供应链架构、全景管理、全流程贯通方案 数字化建设方案 数字化转型数据治理主数据数据仓库供应链数字仓储智慧物流智慧仓储物流园区架构微服务数据挖掘大数据人工智能
    原文《数字化供应链架构、全景管理、全流程贯通方案》PPT格式。主要从供应链管理全景、智慧供应链建设总体目标、供应链总体业务流程、供应链总体功能架构、供应链总体技术架构、供应链全流程贯通、供应链全领域管理、供应链数据数据分析、供应链决策中台等进行建设。本文仅对主要内容进行介绍。来源网络公开渠道，旨在交流学习，如有侵权联系速删，更多参考公众号：优享智库基于先进IT技术、大数据能力、物联网应用、区块链平
  • 【K8S】kubernetes集群架构与组件 奇奇怪怪^ 云LinuxIT运维服务器linux
    文章目录【K8S】kubernetes集群架构与组件kubernetes组件**master组件**node组件整体流程POD终止过程【K8S】kubernetes集群架构与组件kubernetes组件K8S是属于主从设备模型(Master-slave架构)，即有Master节点负责集群的调度、管理和运维，Slave节点是集群中的运算工作负载节点在K8S中，主节点一般被称为Master节点，而从节
  • K8S学习笔记02——K8S组件 沉淅尘 #Docker#K8Skubernetes
    Kubernetes组件一、控制平面组件（ControlPlaneComponents）(1)kube-apiserver(2)etcd(3)kube-scheduler(4)kube-controller-manager(5)cloud-controller-manager二、Node组件1.kubelet2.kube-proxy3.容器运行时（ContainerRuntime）三、插件（Add
  • Kubernetes——组件 窒息う Kuberneteskubernetes容器
    文章目录K8S的优势核心架构角色与功能集群图例K8S的优势能管理大量跨主机容器快速部署应用快速扩展应用无缝对接新的应用节省资源，优化硬件资源的使用核心架构master（管理节点）node（计算节点）images（镜像节点）角色与功能Master功能提供集群的控制对集群进行全局决策检测和响应集群事件Master节点核心组件APIServer是整个系统的对外接口，提供客户端和其他组件调用后端元数据存储
  • Kubernetes组件 汉只只 网络docker大数据分布式hadoop
    Kubernetes核心组件Kubernetes定义了一组构建块，它们可以共同提供部署、维护和扩展应用程序的机制。组成Kubernetes的组件设计为松耦合和可扩展的，这样可以满足多种不同的工作负载。可扩展性在很大程度上由KubernetesAPI提供——它被作为扩展的内部组件以及Kubernetes上运行的容器等使用。Kubernetes主要由以下几个核心组件组成：etcd保存了整个集群的状态；
  • 首次全面解析云原生成熟度模型：解决企业「诊断难、规划难、选型难」问题 阿里云云栖号 云原生云计算运维阿里云
    从“上云”到“云上”原生，云原生提供了最优用云路径，云原生的技术价值已被广泛认可。当前行业用户全面转型云原生已是大势所趋，用户侧云原生平台建设和应用云原生化改造进程正在加速。然而，云原生复杂的技术栈和传统IT的历史包袱给用户带来了巨大挑战，针对平台建设和应用改造的能力要求缺少统一规范成为企业转型的最大障碍。在用户侧，企业执行层面存在“三难”问题，即诊断难、规划难、选型难，需求和供给不能精准对应，缺
  • 【Linux 从基础到进阶】Kubernetes 集群搭建与管理 爱技术的小伙子 Linux从基础到进阶linuxkubernetes运维
    Kubernetes集群搭建与管理Kubernetes（简称K8s）是一个用于自动化部署、扩展和管理容器化应用程序的开源平台。它提供了容器编排功能，能够管理大量的容器实例，并支持应用的自动扩展、高可用性和自愈能力。本文将详细介绍如何在CentOS和Ubuntu系统上安装和配置Kubernetes集群，并讲解Kubernetes的基本概念和管理操作。1.Kubernetes基础概念在了解如何搭建Ku
  • 【Kubernetes】常见面试题汇总（十三） summer.335 Kuberneteskubernetes容器云原生
    目录39.简述KubernetesScheduler使用哪两种算法将Pod绑定到worker节点？40.简述Kuberneteskubelet的作用？41.简述Kuberneteskubelet监控Worker节点资源是使用什么组件来实现的？39.简述KubernetesScheduler使用哪两种算法将Pod绑定到worker节点？KubernetesScheduler根据如下两种调度算法将Po
  • 新一代网络研发利器——开物™，让用户每一行代码都贡献在核心创新 中科驭数 网络云计算大数据人工智能
    随着云计算、人工智能、大数据的快速发展，现有的IT系统越来越复杂，传统网络技术难以满足新的业务需求，DPU技术开始崭露头角，越来越多的企业与研究机构认识到高性能网络处理技术带来的巨大价值，并积极开展创新与实践，从而实现更匹配的功能和更高的系统性能。但是，从零开始进行网络系统的搭建，开发人员需要掌握各类创新技术无关的、最底层的技术架构原理，如硬件设计逻辑、API接口、底层IP、硬件驱动等一系列复杂的
  • Ansible自动化部署kubernetes集群 theo.wu kubernetesansible自动化
    机器环境介绍1.1.机器信息介绍IPhostnameapplicationCPUMemory192.168.204.129k8s-master01etcd，kube-apiserver，kube-controller-manager，kube-scheduler,kubelet,kube-proxy,containerd2C4G192.168.204.130k8s-worker01etcd，kub
  • 一张图详解开源监控夜莺（Nightingale）的架构 夜莺开源监控 开源架构夜莺监控Nightingale开源夜莺
    夜莺监控是一款开源云原生观测分析工具，采用All-in-One的设计理念，集数据采集、可视化、监控告警、数据分析于一体，与云原生生态紧密集成，提供开箱即用的企业级监控分析和告警能力。夜莺于2020年3月20日，在github上发布v1版本，已累计迭代100多个版本。夜莺最初由滴滴开发和开源，并于2022年5月11日，捐赠予中国计算机学会开源发展委员会（CCFODC），为CCFODC成立后接受捐赠的
  • K8S - Emptydir - 取代ELK 使用fluentd 构建logging saidcar nvd11 K8Skubernetes
    由于k8s的无状态service通常部署在多个POD中，实现多实例面向高并发。但是k8s本身并没有提供集中查询多个pod的日志的功能其中1个常见方案就是ELK.本文的方案是利用fluentdsidecar和emptydir把多个pod的日志导向到bigquery的table中。Emptydir的简介Kubernetes中的EmptyDir是一种用于容器之间共享临时存储的空目录卷类型。EmptyDi
  • 信创环境下源代码防泄露解决方案 Felixwb 网络服务器
    在当今数字化时代，信息安全已成为企业生存与发展的基石，尤其是在信息技术应用创新（信创）环境下，数据保护更是被提升至前所未有的高度。SDC沙盒防泄露系统以其独特的技术架构和卓越的安全性能，在信创环境中构筑起一道坚不可摧的数据防护墙，有效保障了企业数据的安全与隐私。SDC沙盒防泄露系统是一款专为解决数据泄露问题而设计的高端安全产品。该系统通过构建一个隔离的、可控的执行环境（即“沙盒”），对敏感数据的访
  • 探索未来Web开发的精简之道：ASP.NET Core 8.0 Minimal API 示例项目 尚舰舸Elsie
    探索未来Web开发的精简之道：ASP.NETCore8.0MinimalAPI示例项目随着微服务和云原生架构的兴起，轻量级API成为了开发社区的新宠。ASP.NETCore8.0MinimalAPIExample正是这样一个项目，它集成了最新技术栈，简化了API开发过程，让开发者能够以最少的代码实现强大的功能。本文将带你深入了解这一开源杰作，揭示其技术魅力，并探索其应用场景。项目介绍ASP.NET
  • 如何用ruby来写hadoop的mapreduce并生成jar包 wudixiaotie mapreduce
    ruby来写hadoop的mapreduce，我用的方法是rubydoop。怎么配置环境呢： 1.安装rvm：     不说了 网上有 2.安装ruby：     由于我以前是做ruby的，所以习惯性的先安装了ruby，起码调试起来比jruby快多了。 3.安装jruby：     rvm install jruby然后等待安
  • java编程思想 -- 访问控制权限 百合不是茶 java访问控制权限单例模式
    访问权限是java中一个比较中要的知识点,它规定者什么方法可以访问,什么不可以访问   一:包访问权限;   自定义包: package com.wj.control; //包 public class Demo { //定义一个无参的方法 public void DemoPackage(){ System.out.println("调用
  • [生物与医学]请审慎食用小龙虾 comsci 生物
         现在的餐馆里面出售的小龙虾,有一些是在野外捕捉的,这些小龙虾身体里面可能带有某些病毒和细菌,人食用以后可能会导致一些疾病,严重的甚至会死亡.....      所以,参加聚餐的时候,最好不要点小龙虾...就吃养殖的猪肉,牛肉,羊肉和鱼,等动物蛋白质     
  • org.apache.jasper.JasperException: Unable to compile class for JSP: 商人shang maven2.2jdk1.8
    环境： jdk1.8    maven  tomcat7-maven-plugin  2.0 原因： tomcat7-maven-plugin  2.0 不知吃 jdk 1.8，换成 tomcat7-maven-plugin  2.2就行，即     <plugin>
  • 你的垃圾你处理掉了吗?GC oloz GC
    前序:本人菜鸟，此文研究学习来自网络，各位牛牛多指教　 1.垃圾收集算法的核心思想 　　Java语言建立了垃圾收集机制，用以跟踪正在使用的对象和发现并回收不再使用(引用)的对象。该机制可以有效防范动态内存分配中可能发生的两个危险：因内存垃圾过多而引发的内存耗尽，以及不恰当的内存释放所造成的内存非法引用。 　　垃圾收集算法的核心思想是：对虚拟机可用内存空间，即堆空间中的对象进行识别
  • shiro 和 SESSSION 杨白白 shiro
    shiro 在web项目里默认使用的是web容器提供的session，也就是说shiro使用的session是web容器产生的，并不是自己产生的，在用于非web环境时可用其他来源代替。在web工程启动的时候它就和容器绑定在了一起，这是通过web.xml里面的shiroFilter实现的。通过session.getSession()方法会在浏览器cokkice产生JESSIONID，当关闭浏览器，此
  • 移动互联网终端 淘宝客如何实现盈利 小桔子 移動客戶端淘客淘寶App
           2012年淘宝联盟平台为站长和淘宝客带来的分成收入突破30亿元，同比增长100%。而来自移动端的分成达1亿元，其中美丽说、蘑菇街、果库、口袋购物等App运营商分成近5000万元。 可以看出，虽然目前阶段PC端对于淘客而言仍旧是盈利的大头，但移动端已经呈现出爆发之势。而且这个势头将随着智能终端(手机，平板)的加速普及而更加迅猛
  • wordpress小工具制作 aichenglong wordpress小工具
    wordpress 使用侧边栏的小工具，很方便调整页面结构 小工具的制作过程 1 在自己的主题文件中新建一个文件夹(如widget)，在文件夹中创建一个php(AWP_posts-category.php) 小工具是一个类,想侧边栏一样，还得使用代码注册，他才可以再后台使用，基本的代码一层不变 <?php class AWP_Post_Category extends WP_Wi
  • JS微信分享 AILIKES js
    // 所有功能必须包含在 WeixinApi.ready 中进行    WeixinApi.ready(function(Api) {        // 微信分享的数据            var wxData = {       &nb
  • 封装探讨 百合不是茶 JAVA面向对象 封装
    //封装   属性 方法 将某些东西包装在一起，通过创建对象或使用静态的方法来调用，称为封装；封装其实就是有选择性地公开或隐藏某些信息，它解决了数据的安全性问题，增加代码的可读性和可维护性   在 Aname类中申明三个属性，将其封装在一个类中：通过对象来调用   例如   1： //属性 将其设为私有 姓名 name 可以公开
  • jquery radio/checkbox change事件不能触发的问题 bijian1013 JavaScriptjquery
    我想让radio来控制当前我选择的是机动车还是特种车，如下所示：  <html> <head> <script src="http://ajax.googleapis.com/ajax/libs/jquery/1.7.1/jquery.min.js" type="text/javascript"><
  • AngularJS中安全性措施 bijian1013 JavaScriptAngularJS安全性XSRFJSON漏洞
            在使用web应用中，安全性是应该首要考虑的一个问题。AngularJS提供了一些辅助机制，用来防护来自两个常见攻击方向的网络攻击。 一.JSON漏洞         当使用一个GET请求获取JSON数组信息的时候（尤其是当这一信息非常敏感，
  • [Maven学习笔记九]Maven发布web项目 bit1129 maven
    基于Maven的web项目的标准项目结构 user-project     user-core     user-service     user-web        src      
  • 【Hive七】Hive用户自定义聚合函数(UDAF) bit1129 hive
    用户自定义聚合函数，用户提供的多个入参通过聚合计算(求和、求最大值、求最小值)得到一个聚合计算结果的函数。 问题：UDF也可以提供输入多个参数然后输出一个结果的运算，比如加法运算add(3，5)，add这个UDF需要实现UDF的evaluate方法,那么UDF和UDAF的实质分别究竟是什么？   Double evaluate(Double a, Double b)  
  • 通过 nginx-lua 给 Nginx 增加 OAuth 支持 ronin47
    前言：我们使用Nginx的Lua中间件建立了OAuth2认证和授权层。如果你也有此打算，阅读下面的文档，实现自动化并获得收益。SeatGeek 在过去几年中取得了发展，我们已经积累了不少针对各种任务的不同管理接口。我们通常为新的展示需求创建新模块，比如我们自己的博客、图表等。我们还定期开发内部工具来处理诸如部署、可视化操作及事件处理等事务。在处理这些事务中，我们使用了几个不同的接口来认证： &n
  • 利用tomcat-redis-session-manager做session同步时自定义类对象属性保存不上的解决方法 bsr1983 session
    在利用tomcat-redis-session-manager做session同步时，遇到了在session保存一个自定义对象时，修改该对象中的某个属性，session未进行序列化，属性没有被存储到redis中。 在 tomcat-redis-session-manager的github上有如下说明： Session Change Tracking As noted in the &qu
  • 《代码大全》表驱动法-Table Driven Approach-1 bylijinnan java算法
    关于Table Driven Approach的一篇非常好的文章： http://www.codeproject.com/Articles/42732/Table-driven-Approach package com.ljn.base; import java.util.Random; public class TableDriven { public
  • Sybase封锁原理 chicony Sybase
           昨天在操作Sybase IQ12.7时意外操作造成了数据库表锁定，不能删除被锁定表数据也不能往其中写入数据。由于着急往该表抽入数据，因此立马着手解决该表的解锁问题。     无奈此前没有接触过Sybase IQ12.7这套数据库产品，加之当时已属于下班时间无法求助于支持人员支持，因此只有借助搜索引擎强大的
  • java异常处理机制 CrazyMizzz java
    java异常关键字有以下几个，分别为 try catch final throw throws 他们的定义分别为 try：    Opening exception-handling statement. catch：  Captures the exception. finally： Runs its code before terminating
  • hive 数据插入DML语法汇总 daizj hiveDML数据插入
    Hive的数据插入DML语法汇总1、Loading files into tables语法：1) LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]解释：1)、上面命令执行环境为hive客户端环境下： hive>l
  • 工厂设计模式 dcj3sjt126com 设计模式
      使用设计模式是促进最佳实践和良好设计的好办法。设计模式可以提供针对常见的编程问题的灵活的解决方案。 工厂模式 工厂模式（Factory）允许你在代码执行时实例化对象。它之所以被称为工厂模式是因为它负责“生产”对象。工厂方法的参数是你要生成的对象对应的类名称。 Example #1 调用工厂方法（带参数） <?phpclass Example{ 
  • mysql字符串查找函数 dcj3sjt126com mysql
      FIND_IN_SET(str,strlist) 假如字符串str 在由N 子链组成的字符串列表strlist 中，则返回值的范围在1到 N 之间。一个字符串列表就是一个由一些被‘,’符号分开的自链组成的字符串。如果第一个参数是一个常数字符串，而第二个是type SET列，则   FIND_IN_SET() 函数被优化，使用比特计算。如果str不在strlist 或st
  • jvm内存管理 easterfly jvm
    一、JVM堆内存的划分 分为年轻代和年老代。年轻代又分为三部分：一个eden,两个survivor。 工作过程是这样的：e区空间满了后，执行minor gc，存活下来的对象放入s0, 对s0仍会进行minor gc，存活下来的的对象放入s1中，对s1同样执行minor gc，依旧存活的对象就放入年老代中； 年老代满了之后会执行major gc，这个是stop the word模式，执行
  • CentOS-6.3安装配置JDK-8 gengzg centos
    JAVA_HOME=/usr/java/jdk1.8.0_45 JRE_HOME=/usr/java/jdk1.8.0_45/jre PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib export JAVA_HOME
  • 【转】关于web路径的获取方法 huangyc1210 Web路径
    假定你的web application 名称为news,你在浏览器中输入请求路径：  http://localhost:8080/news/main/list.jsp  则执行下面向行代码后打印出如下结果：  1、 System.out.println(request.getContextPath()); //可返回站点的根路径。也就是项
  • php里获取第一个中文首字母并排序 远去的渡口 数据结构PHP
    很久没来更新博客了，还是觉得工作需要多总结的好。今天来更新一个自己认为比较有成就的问题吧。 最近在做储值结算，需求里结算首页需要按门店的首字母A-Z排序。我的数据结构原本是这样的： Array ( [0] => Array ( [sid] => 2885842 [recetcstoredpay] =&g
  • java内部类 hm4123660 java内部类匿名内部类成员内部类方法内部类
         　在Java中，可以将一个类定义在另一个类里面或者一个方法里面，这样的类称为内部类。内部类仍然是一个独立的类，在编译之后内部类会被编译成独立的.class文件，但是前面冠以外部类的类名和$符号。内部类可以间接解决多继承问题,可以使用内部类继承一个类，外部类继承一个类，实现多继承。      &nb
  • Caused by: java.lang.IncompatibleClassChangeError: class org.hibernate.cfg.Exten zhb8015
    maven pom.xml关于hibernate的配置和异常信息如下，查了好多资料，问题还是没有解决。只知道是包冲突，就是不知道是哪个包....遇到这个问题的分享下是怎么解决的。。   maven pom:   <dependency> <groupId>org.hibernate</groupId> <ar
  • Spark 性能相关参数配置详解－任务调度篇 Stark_Summer sparkcachecpu任务调度yarn
    随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。   由于篇幅较长，所以在这里分篇组织，如果要看最新完整的网页版内容，可以戳这里：http://spark-config.readthedocs.org/，主要是便
  • css3滤镜 wangkeheng htmlcss
    经常看到一些网站的底部有一些灰色的图标，鼠标移入的时候会变亮，开始以为是js操作src或者bg呢，搜索了一下，发现了一个更好的方法：通过css3的滤镜方法。 html代码： <a href='' class='icon'><img src='utv.jpg' /></a> css代码： .icon{-webkit-filter: graysc
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他