Y先森0.0
Y先森0.0

【k8s权威指南】第三章 k8s核心原理

k8s 核心原理分析

本文内容

  • API Server 原理分析
  • Controller Manager原理分析
  • Scheduler 调度器原理分析
  • kubelet 运行机制分析

一. k8s API Server原理分析

1) API Server 作用：

  • 集群内各模块间数据交互和通信的中心枢纽，是系统的"数据总线"

API Server提供k8s各类资源对象的增删改查以及Watch等http rest接口

2) API Server 功能特性：

  • 集群管理的API入口
  • 资源配额控制的入口
  • 提供了完善的集群安全机制

API server进程运行在master节点上，命令行工具kubectl就是和API Server进行交互

3) k8s集群各个模块之间如何通信？

  • 集群内各个功能模块通过API Server将信息存入etcd，当需要获取和操作这些数据时，则通过API Server提供的REST接口来实现，从而实现各模块之间的信息交互

模块间通信样例如下

kubelet进程与API Server的交互 ：每个Node节点上的kubelet每隔一个时间周期，就会调用一次API Server的REST接口报告自身状态，API Server接收到这些信息后，将节点状态信息更新到etcd中

二. Controller Manager 原理分析

1) Controller Manager 作用

  • 集群内部的管理控制中心
  • 负责集群内部Node，Pod副本，服务端点，命名空间，服务账号，资源定额等的管理

当某个Node意外宕机时，Controller Manager会及时发现此故障并执行自动化修复流程，确保集群始终处于预期的工作状态

2) Controller Manager 结构

所属控制器 描述
Replication Controller 副本控制器
Node Controller 节点控制器
ResourceQuota Controller 资源控制器
Namespace Controller 命名空间控制器
ServiceAccount Controller 准入控制器
Token Controller token控制器
Service Controller 服务控制器
Endpoint Controller 端点控制器

各控制器原理分析

1. Replication Controller

RC 简介

  • 副本控制器，简称RC
  • 作用就是确保集群中任何一个RC关联的Pod副本数量在任何时候保持预设值

Pod可以通过修改它的标签来脱离RC的控制

该方法可以用于将Pod从集群中迁移，数据修复等调试，对于一个被迁移的Pod副本，RC会创建一个新的Pod副本来替换被迁移的副本

RC 作用
  • 重新调度：确保集群中不多不少，仅有N个Pod实例
  • 弹性伸缩：修改spec.replicas属性，很容易扩大或缩小副本数量
  • 滚动更新：逐个替换Pod的方式来辅助进行服务的滚动更新，这样即便在滚动更新的过程中发生了不可预料的错误，Pod集合的更新也都在可控的范围内

2. Node Controller

简介

  • 节点控制器
  • 通过 API Server 实时获取Node的相关信息，实现管理和监控集群中的各个Node节点的相关控制功能

kubelet 进程在启动时通过API Server注册自身的节点信息，并且定时向API Server汇报状态信息，API Server接受到这些信息后，将这些信息存储到etcd中

节点的健康状态包括：就绪，未就绪，未知

3. ResourceQuota Controller

简介

  • 资源配额管理器
  • 确保指定的资源对象在任何时候都不会超量占用系统资源，避免某些业务进程的设计或实现的缺陷导致整个系统的运行紊乱甚至意外宕机

支持以下三个层次的资源配额管理

  • 容器级别：对cup和内存进行限制
  • Pod级别：对一个Pod内所有容器的可用资源进行限制
  • namespace级别：对pod数量，RC数量，service数量，resourceQuota数量，secret数量，可持有的pv数量进行限制

k8s的配额管理是通过AdmissionController准入控制来实现的，准入控制提供了两种方式进行配额约束

  • LimitRanger: 作用于pod和container
  • ResourceQuota: 作用于namespace

如果pod定义时声明了LimitRanger，那么用户通过AIPservice请求修改/创建资源时，准入控制会计算当前配额的使用情况，如果不符合配额约束，则修改/创建资源失败

4.Namespace Controller

简介

  • 用户通过APIServer可以创建新的namespace并保存在etcd中，Namespace Controller定时通过APIserver读取这些Namespace信息
  • 如果NameSpace被API标识为优雅删除，则将该Namespace的状态设置成Terminating并保存到etcd中，同时Namespace Controller删除该Namespace下的ServiceAccount，RC，Pod，Sercret，persistentVoluem，ListRange，ResourceQuota和Event等资源对象

5.Endpoint Controller

简介

  • Endpoints表示一个Service对应的所有Pod副本的访问地址，kube-proxy进程获取每个Service的Endpoints，从而实现了Service的负载均衡功能
  • Endpoints Controller是负责生成和维护所有Endpoints对象的控制器

作用

  • 负责监听Service和对应的Pod副本的变化
  • 如果检测到Service被删除，则删除和该Service同名的Endpoints对象
  • 如果检测到新的Service被创建或修改，则根据该Service信息获得相关的Pod列表，然后创建或更新Service对应的Endpoints对象

6.Service Controller

简介

  • Service Controller其实是k8s集群和外部云平台之间的一个接口控制器
  • Service Controller监听Service的变化
  • 如果是一个LoadBalancer类型的Service，则Service Controller确保外部的云平台上该Service对应的LoadBalancer实例被相应的创建，删除以及更新路由转发表

三. Scheduler 原理分析

简介

  • 负责Pod调度
  • 将待调度的Pod按照特定的调度算法和调度策略绑定到集群中的某个合适的Node上，并将绑定信息写入etcd

调度流程

  • 1.预选调度过程 ： 即遍历所有的目标Node，通过预选策略，筛选出符合要求的候选Node
  • 2.确定最优节点 ： 在第一步基础上，通过优选策略，计算出每个候选节点的积分，积分最高者胜出

预选策略

  • NoDiskConflict ： 判断是否存在磁盘冲突
  • PodFitsResources ： 判断Node剩余资源是否满足要求
  • PodSelectorMatches ： 判断Node是否包含待调度Pod的指定标签
  • PodFitsHost ： 判断待调度Pod指定的节点名称是否和Node名称一致
  • CheckNodeLabelPresence ： 判断列出的标签在备选Node中存在时，是否选择该Node
  • CheckServiceAffinity ： 判断备选Node是否包含指定标签，或包含和待调度Pod在相同Service和Namespace下Pod所在节点的标签列表
  • PodFitsPorts ： 判断待调度Pod所需的端口是否在在Node中被占用

优选策略

  • LeastRequestedPriority ： 用于选出资源消耗最小的节点
  • CalculateNodeLabelPriority ： 用于判断列出的标签在备选节点存在时，是否选择该备选节点
  • BalanceResourceAllocation ：用于选出各项资源使用率最均衡的节点

四. kubelet 运行机制分析

简介

  • 在k8s集群中，每个Node节点上都会启动一个kubelet服务进程，该进程用于处理Master节点下发到本节点的任务，管理Pod以及Pod中的容器
  • 每个kubelet进程会在API Server上注册节点自身信息，定期想Master节点汇报节点资源的使用情况，并通过cAdvisor监控容器和节点资源

作用

  • 节点管理
  • Pod管理
  • 容器健康检查
  • 资源监控

节点管理

  • 节点通过kubelet的启动参数来决定是否向API Server注册自己
  • 当前每个kubelet被授予创建和修改任何节点的权限，但是在实践中，它仅仅创建和修改自己
  • 当集群资源不足时，用户很容易通过kubelet的自注册模式来实现扩容

kubelet在启动时通过API Server注册节点信息，并定时向API Server发送节点的新消息，API Server在接受到这些信息后，将其写入etcd，通过kubelet的启动参数可设置每隔多长时间向API Server报告节点自身状态，默认为10s

Pod管理

1.kubelet如何获取自身Node所要运行的Pod清单？

  • 文件 ： 通过获取指定路径下的配置文件，并定期检查该文件，指定路径通过启动参数配置
  • HTTP ：通过获取指定URL下的数据，并定期轮询该URL，指定URL通过启动参数配置
  • API Server ： 通过API Server监听etcd目录，同步Pod列表

本章只讨论通过API Server获取Pod清单的方式

2.kubelet是如何创建和修改Pod任务的？流程大致是怎样？

  • 1)为该Pod创建一个数据目录
  • 2)从API Server读取Pod清单
  • 3)为该Pod挂载外部卷
  • 4)下载Pod用到的secret
  • 5)检查已经运行在节点的Pod，如果该Pod中没有容器或Pause容器没有启动，则先停止Pod里所有容器的进程，如果有Pod中需要删除的容器，则删除这些容器
  • 6)用k8s的pause镜像为每个Pod创建一个Pause容器，该Pause容器用于接管Pod中其他容器的网络
  • 7)对Pod中的每个容器做以下处理
    • 为容器计算一个hash值，然后用容器的名字去查询对应Docker容器的hash值，若查找到容器并且二者hash值不一样，则停止容器中的进程，并停止与之关联的pause
      容器进程，若两个hash值相同，则不做任何处理
    • 如果容器被终止了，且容器没有指定任何重启策略，则不做任何处理
    • 调用docker client下载容器镜像，调用docker client运行容器

容器健康检查

1.kubelet如何检查容器的检查状态？

  • 存活探针：判断容器是否健康

如果存活探针探测到容器不健康，那么kubelet将删除容器，并根据容器的重启策略做相应处理

  • 就绪探针：判断容器是否启动完成

如果就绪探针探测到容器没就绪，则该Pod的状态将被修改，Endpoint Controller将从Service的Endpoint中删除包含该容器所在的Pod的IP地址的Endpoint条目

2.kubelet如何实现存活探针和就绪探针的？

  • 命令：在容器内部执行一个命令，如果该命令的退出状态码为0，则表示容器健康
  • TCP： 通过容器的IP地址和端口号执行TCP检查，如果端口可以被访问，则表示容器健康
  • HTTP： 通过容器的IP地址和端口号以及路径调用http get方法，如果响应大于等于200且小于等于400，则表示容器健康

资源监控

1.是如何实现资源监控的？

  • Heapster为k8s提供了一个基本的监控平台，它是集群级别的监控和事件数据集成器
  • Heapster的Pod通过kubelet发现所有运行在集群中的节点，并查看来自这些节点的资源使用状况信息
  • kubelet通过cAdvisor获取其所在节点以及容器的数据，Heapster通过带着关联标签的Pod分组这些信息，这些数据被推送到一个可配置的后端，用于存储和可视化展示

2.kubelet使用到的cAdvisor是什么？

  • cAdivsor是一个开源的分析容器资源使用率和性能特性的代理工具，它被集成到k8s中，cAdvisor通过它所在Node的Root容器，采集并分析该Node的全面使用状况

kubelet作为连接master和各Node之间的桥梁，管理运行在Node上的Pod和容器，kubelet将每个Pod转换成它的成员容器，同时从cAdvisor获取单独的容器使用统计信息，然后通过该REST API暴露这些聚合后的Pod资源使用统计信息

你可能感兴趣的:(数据库,python,java,docker,linux)

  • 吊打全网所有精美导航页引导页HTML源码 6v6-博客 开源
    吊打全网所有精美导航页引导页HTML源码这款精美的导航页引导页HTML源码，自适应手机和电脑，无需后台，上传到网站根目录即可使用。首页内容在index.html中修改，支持双页切换，搭建简单，附带详细修改教程。源码特点自适应设计：完美适配手机和电脑端，用户体验极佳。无后台依赖：纯静态页面，无需数据库或后台支持。双页切换：支持双页切换功能，灵活展示内容。搭建简单：上传到网站根目录即可使用，无需复杂配
  • 一个神奇 Python 库，PyPDF2帮你在工作中轻松驾驭PDF 代码小念 软件测试面试自动化测试pythonpdf职场和发展软件测试面试
    大家好，很多人学习Python进行办公自动化，其中一个场景就是处理PDF，PyPDF2是一个非常强大的Python库，它允许你管理和操作PDF文件。不论是分割、合并、旋转还是加密PDF，PyPDF2都能轻松应对。PyPDF2是一个纯Python编写的库，用于读取PDF文件和操作PDF页面。它允许你进行以下操作：•读取PDF:使用PyPDF2读取PDF文件非常简单。首先需要导入库，然后加载PDF文件
  • seacmsv9注入 2022计科一班唐文 oracle数据库
    一、当注入时，information_schema被禁用的解决方法information_schema数据库是MySQL和其他一些数据库系统中存储元数据的标准视图，包含表、列、权限等信息。攻击时可以直接查询这些信息来获取数据库结构，比如表名和列名。当information_schema被禁用时需要寻找其他途径来获取必要的信息。在information_schema数据库中储存了整个MySQL服务器
  • RHCE-web篇 2022计科一班唐文 前端
    一.web服务器Web服务器是一种软件或硬件系统，用于接收、处理和响应来自客户端（通常是浏览器）的HTTP请求。它的主要功能是存储和提供网站内容，比如HTML页面、图像、视频等。Web服务器的主要功能处理请求：当用户在浏览器中输入网址时，浏览器会发送一个HTTP请求到Web服务器。服务器接收到请求后，处理该请求并生成响应。提供内容：Web服务器根据请求的资源类型（例如HTML、CSS、JavaSc
  • 如何利用PyPDF2库轻松提取PDF中的文本？ 字节王德发 pythonpdf
    在数字化时代，PDF格式的文件随处可见。从电子书到官方文档，PDF是我们经常遇到的一种文件格式。不过，有时候我们需要从这些PDF里提取文本，这就需要一些工具来帮忙了！今天我们就来聊聊Python的一个强大工具——PyPDF2库，它能让我们轻松实现PDF文本提取。PyPDF2库的简介PyPDF2是一个开源的Python库，主要用于处理PDF文件。这个库支持多种操作，包括合并、拆分、加密和解密PDF文
  • 使用MySQL Yum 源在Linux上安装MySQL Run Out Of Brain mysqllinux数据库
    OracleLinux、RedHatEnterpriseLinux、CentOS和Fedora的MySQLYum源提供了RPM安装包，用于安装MySQL服务器、客户端、MySQLWorkbench、MySQL实用程序、MySQL路由器、MySQLShell、连接器/ODBC、连接器/Python等在你开始之前作为一种流行的开源软件，MySQL以其原始或重新打包的形式被广泛安装在来自各种来源的许多系
  • python中的Counter函数 算法小菜鸟moon pythonpython开发语言
    在Python中，Counter是collections模块中的一个类，用于统计可迭代对象中元素的出现次数，并以字典的形式返回，键为元素，值为对应的计数。它非常适合处理频率统计问题。用之前必须先导入fromcollectionsimportCounter统计元素的频率ss="helloworld"ss_counter=Counter(ss)print(ss_counter)Counter({'l'
  • Linux高阶——1116—SOCKET套接字基础 爱吃涮毛肚的肥肥 Linux高阶linux服务器运维开发语言c++后端
    目录1、SOCKET套接字基础2、socket函数1、socket()——socket创建2、bind()——socket绑定3、listen()——监听网络连接状态4、accept()——执行此函数等待连接，并完成握手（服务端使用）5、connect()——通过此函数对目标请求tcp连接（客户端使用）6、recv()读取指定sockfd中的数据包7、send()向sockfd发送数据包3、客户端
  • 测试江湖：为什么大多数人宁愿吃生活的苦，也不愿意吃学习的苦 爱吃 香菜 软件测试自动化测试职场经验学习软件测试自动化测试测试工具职场经验程序员功能测试
    面试求职：「面试试题小程序」，内容涵盖测试基础、Linux操作系统、MySQL数据库、Web功能测试、接口测试、APPium移动端测试、Python知识、Selenium自动化测试相关、性能测试、性能测试、计算机网络知识、Jmeter、HR面试，命中率杠杠的。（大家刷起来…）职场经验干货：软件测试工程师简历上如何编写个人信息（一周8个面试）软件测试工程师简历上如何编写专业技能（一周8个面试）软件测
  • Python--类 墨上烟雨 Pythonpython开发语言
    Python--类一、类的定义方法二、创建类的实例三、创建类的成员1、创建属性创建类属性创建实例属性2、创建方法实例方法类方法四、类成员的访问权限1、保护属性成员2、私有属性成员五、装饰器一、类的定义方法在Python中，类可以通过关键字class来定义。类的定义包含在一个代码块中，并且通常以冒号:结尾。类的定义方法有以下几种：1.空类定义：classMyClass:pass这是一个最简单的类定义
  • 【Steg】CTF 隐写术题目解题思路图 D-river CTF安全网络安全
    以下是专门针对CTF隐写术（Steganography）的解题思路与步骤树形图，包含常见分类、工具链和关键方法：CTF隐写术题目解题思路图隐写术（Steganography）├──1.图片隐写（ImageSteg）│├──1.1LSB隐写（最低有效位）││├──步骤：StegSolve逐通道分析，提取LSB数据。││└──工具：StegSolve、zsteg、PythonPIL库。│││├──1.
  • Android TCP封装工具类 tangweiguo03051987 androidtcp/ip网络协议
    TCP通信的封装，我们可以从以下几个方面进行改进：线程池优化：使用更高效的线程池配置，避免频繁创建和销毁线程。连接重试机制：在网络不稳定时，自动重试连接。心跳机制：保持长连接，避免因超时断开。数据缓冲区优化：动态调整缓冲区大小，适应不同数据量。异常处理增强：区分不同类型的异常，提供更详细的错误信息。代码简洁性：减少冗余代码，提高可读性和可维护性。TCP客户端封装（Java）importandroi
  • python中Counter的用法 V.E. python
    Python中，Counter是一个字典子类，用于计算可哈希对象（如列表、元组、字符串）中元素的出现次数。Counter可以用于快速计数元素，而不需要手动循环计算。以下是一些Counter的用法：导入Counter：fromcollectionsimportCountermy_list=[1,2,3,2,4,3,1,2,2]my_counter=Counter(my_list)访问Counter对
  • Python精进系列：ord 函数 进一步有进一步的欢喜 python开发语言
    目录一、引言二、基本概念2.1Unicode编码简介2.2ord函数定义三、使用示例3.1处理ASCII字符3.2处理非ASCII字符四、与chr函数的关系五、实际应用场景5.1字符排序5.2简单加密算法5.3字符验证六、注意事项6.1输入参数要求6.2跨平台兼容性七、总结一、引言在Python编程里，字符和编码的处理是常见的操作。ord函数作为Python内置函数之一，在字符和Unicode编码
  • Python精进系列：divmod 函数 进一步有进一步的欢喜 python
    目录一、引言二、基本语法与原理2.1语法格式2.2返回值2.3原理理解三、使用示例3.1整数运算示例3.2浮点数运算示例四、应用场景4.1时间单位转换4.2数据分组4.3循环计数与位置计算五、注意事项5.1除数不能为零5.2浮点数运算的精度问题六、总结一、引言divmod()函数就是其中一个小巧而强大的工具，它能同时进行除法运算并返回商和余数，在很多场景下都能大显身手。本文将对divmod()函数
  • 【Linux】一万七千字详解 —— 基本指令(二) 安 度 因 Linuxlinux运维服务器centosvim
    作者主页：@安度因学习社区：安度因的学习社区专栏链接：Linux文章目录man指令cp指令mv指令echo指令(含输出重定向)cat指令(含输入重定向)wc指令more指令less指令head和tail指令(含管道用法)date指令cal指令sort指令find和which和whereis指令alias指令grep指令top指令zip和unzip指令如果无聊的话，就来逛逛我的博客栈吧!今天的主要内
  • Linuxday03、代码移植 lrydnh c++
    文章目录Linux下pause命令制作代码移植Linux根目录Linux下pause命令制作#!/bin/bashget_char(){read-s-n1-p"按任意键继续..."}get_char创建一个pause文件。命令用于为名为pause的文件添加可执行权限。使用sudo是因为你可能需要管理员权限来修改该文件的权限。这使得你可以通过在终端中直接运行./pause来执行这个文件。将当前目录下
  • 如何本地运行和开发 Langchain 项目 dgay_hua langchainpython
    在这篇指南中，我们将详细讲解如何在本地运行Langchain仓库，并提交您的第一个代码变更。如果您希望在开发容器中操作，可参考.devcontainer文件夹中的指南。技术背景介绍Langchain项目是一个高级框架，围绕构建“链”这种概念来组织代码。每个链的基本构件是微型逻辑单元，它们彼此结合，并可通过可编辑的配置文件进行管理。这个项目依托于Python生态，利用了Poetry作为其依赖管理工具
  • 在Fedora上安装MySQL ZaxfSass mysqladb数据库
    MySQL是一种流行的开源关系型数据库管理系统，被广泛用于各种应用程序和网站。在Fedora操作系统上安装MySQL非常简单，本文将向您展示安装MySQL的步骤和相关源代码。步骤1：更新系统在安装MySQL之前，首先需要更新您的Fedora系统以确保您拥有最新的软件包和安全补丁。打开终端并执行以下命令：sudodnfupdate步骤2：安装MySQL服务器现在，我们可以使用DNF包管理器在Fedo
  • Apollo部署及整合SpringBoot实战 It_BeeCoder SpringBoot
    前言：最近在完成毕业设计，题目是《基于微服务的B2C网上商城系统的设计与实现》，整个项目最早是我在看黑马的培训视频时学习JavaWeb做的一个项目，第一次做完大约在去年过年的时候，这个项目前前后后自己改了差不多5、6次了，使用技术不断更新（还有一些小细节的修改比如最早购物车用Session后来用Redis存储），从最早的Servlet+Filter到SSM+Redis到SpringBoot+Thy
  • 携程开源的分布式apollo技术，整合springboot集成实现动态刷新配置 2401_84584854 程序员java面试学习
    最后这份文档从构建一个键值数据库的关键架构入手，不仅带你建立起全局观，还帮你迅速抓住核心主线。除此之外，还会具体讲解数据结构、线程模型、网络框架、持久化、主从同步和切片集群等，帮你搞懂底层原理。相信这对于所有层次的Redis使用者都是一份非常完美的教程了。整理不易，觉得有帮助的朋友可以帮忙点赞分享支持一下小编~你的支持，我的动力；祝各位前程似锦，offer不断！！！本文已被CODING开源项目：【
  • Python 基础：类 诸葛思颖 pythonpython开发语言
    目录一、类的概念二、定义类三、创建对象并进行访问四、修改属性的值方法一：句点表示法直接访问并修改方法二：通过方法进行修改五、继承继承父类属性和方法重写父类方法六、将实例用作属性七、导入类导入单个类从一个模块中导入多个类导入整个模块导入模块中的所有类八、一些代码编写规范遇到看不明白的地方，欢迎在评论中留言呐，一起讨论，一起进步！本文参考：《Python编程：从入门到实践（第2版）》一、类的概念类是是
  • ‌Visual Studio Code（VS Code）支持的编程语言 计算机辅助工程 vscode
    ‌JavaScript‌：VSCode原生支持JavaScript，提供语法高亮、代码折叠、自动补全等功能。推荐使用ESLint和Prettier进行代码格式化和错误检查‌。‌TypeScript‌：作为JavaScript的超集，TypeScript在VSCode中也得到原生支持，提供类似的编辑功能‌。‌Python‌：通过安装Python扩展，VSCode支持Python编程，提供调试、Int
  • Python精进系列：Counter 函数 进一步有进一步的欢喜 python编程语言
    目录一、Counter函数概述二、基本使用案例（一）列表元素计数（二）字符串字符计数（三）元组计数三、Counter对象的常用方法（一）most_common()方法（二）update()方法（三）subtract()方法（四）elements()方法四、Counter对象的数学运算（一）加法运算（二）减法运算（三）交集运算（四）并集运算五、实际应用场景（一）文本分析（二）数据分析（三）游戏开发应
  • 数据库语句 lrydnh 数据库android
    环境变量path下的目录是系统目录。#include#include#pragmacomment(lib,"libmysql.lib")//链接libmysql.dll动态库的中间桥//MYSQL*conn;//数据库句柄。后面还有网络句柄（用来网络收发数据）boolconnect(){conn=mysql_init(NULL);if(conn==NULL){printf("Error%u:%s\
  • RK3568笔记六十八：Yolov11目标检测部署测试 殷忆枫 RK3568学习笔记笔记YOLO
    若该文为原创文章，转载请注明原文出处。看到yolov11出了，山水无移大佬测试通过，跟个风测试一下效果。使用的是正点原子的ATK-DLRK3568开发板。这里不训练自己的模型了，使用官方模型测试。一、环境搭建1、下载源码ultralytics/ultralytics:UltralyticsYOLO112、创建虚拟环境condacreate-nyolov11_envpython=3.83、激活con
  • 记一次多线程导入问题排查过程 程序辕日记 javaMySqljavaspringboot
    记一次多线程导入问题排查过程1.需求2.遇到问题3.排查解决问题1.需求大数据量的核对：现在有1000个excel文件，每个excel文件内有21个sheet页，现在要对这些数据进行核对，需要先将这些数据导入到库中，再进行核对。2.遇到问题库使用的是MySql，程序是Java，springcloud生态，在串行导入的时候，导入一次大概需要60分钟，现在对其进行改造，使用多线程导入，其思路为：创建线
  • Python 爬虫实战：从大众点评爬取餐厅评价，探寻美食打卡地 西攻城狮北 python爬虫美食实战案例
    目录引言一、项目背景与需求分析1.1大众点评平台的特点1.2数据爬取目标二、技术选型与工具准备2.1技术选型2.2工具准备三、爬取餐厅信息3.1获取餐厅列表3.2获取餐厅详情四、数据存储五、数据处理与分析5.1数据清洗5.2数据分析六、可视化展示七、总结与展望引言大众点评作为国内知名的本地生活服务平台，提供了丰富的餐厅信息和用户评价。通过爬取大众点评上的餐厅评价数据，我们可以分析餐厅的受欢迎程度、
  • K8S单机部署 qq_48704877 kubernetes容器云原生
    主线:部署简单的单节点k8s-sowler-博客园学习网址：为什么我不能获取到镜像，ImagePullBackoff|Kuboarddocker镜像源：https://chuxia.blog.csdn.net/article/details/145090710?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task
  • Python高级开发工程师 巴啦啦小魔仙变身 python开发语言
    Python高级开发工程师通常会围绕技术能力、项目经验、问题解决能力等方面展开,以下为你详细介绍面试的常见内容、准备方式及注意事项:常见面试内容技术基础语言特性:深入理解Python的高级特性,如装饰器、元类、描述符等的原理和应用场景。例如,面试官可能会要求你现场编写一个装饰器来实现函数执行时间的统计。数据结构与算法:熟悉常见的数据结构(如列表、字典、集合、堆、栈、队列、链表、树、图等)和算法(如
  • 强大的销售团队背后 竟然是大数据分析的身影 蓝儿唯美 数据分析
    Mark Roberge是HubSpot的首席财务官，在招聘销售职位时使用了大量数据分析。但是科技并没有挤走直觉。 大家都知道数理学家实际上已经渗透到了各行各业。这些热衷数据的人们通过处理数据理解商业流程的各个方面，以重组弱点，增强优势。 Mark Roberge是美国HubSpot公司的首席财务官，HubSpot公司在构架集客营销现象方面出过一份力——因此他也是一位数理学家。他使用数据分析
  • Haproxy+Keepalived高可用双机单活 bylijinnan 负载均衡keepalivedhaproxy高可用
    我们的应用MyApp不支持集群，但要求双机单活（两台机器：master和slave）： 1.正常情况下，只有master启动MyApp并提供服务 2.当master发生故障时，slave自动启动本机的MyApp，同时虚拟IP漂移至slave，保持对外提供服务的IP和端口不变 F5据说也能满足上面的需求，但F5的通常用法都是双机双活，单活的话还没研究过 服务器资源 10.7
  • eclipse编辑器中文乱码问题解决 0624chenhong eclipse乱码
    使用Eclipse编辑文件经常出现中文乱码或者文件中有中文不能保存的问题，Eclipse提供了灵活的设置文件编码格式的选项，我们可以通过设置编码 格式解决乱码问题。在Eclipse可以从几个层面设置编码格式：Workspace、Project、Content Type、File 本文以Eclipse 3.3（英文）为例加以说明： 1. 设置Workspace的编码格式： Windows-&g
  • 基础篇--resources资源 不懂事的小屁孩 android
    最近一直在做java开发，偶尔敲点android代码，突然发现有些基础给忘记了，今天用半天时间温顾一下resources的资源。 String.xml    字符串资源   涉及国际化问题  http://www.2cto.com/kf/201302/190394.html   string-array
  • 接上篇补上window平台自动上传证书文件的批处理问卷 酷的飞上天空 window
    @echo off : host=服务器证书域名或ip，需要和部署时服务器的域名或ip一致 ou=公司名称, o=公司名称 set host=localhost set ou=localhost set o=localhost set password=123456 set validity=3650 set salias=s
  • 企业物联网大潮涌动：如何做好准备？ 蓝儿唯美 企业
    物联网的可能性也许是无限的。要找出架构师可以做好准备的领域然后利用日益连接的世界。 尽管物联网（IoT）还很新，企业架构师现在也应该为一个连接更加紧密的未来做好计划，而不是跟上闸门被打开后的集成挑战。“问题不在于物联网正在进入哪些领域，而是哪些地方物联网没有在企业推进，” Gartner研究总监Mike Walker说。 Gartner预测到2020年物联网设备安装量将达260亿，这些设备在全
  • spring学习——数据库（mybatis持久化框架配置） a-john mybatis
    Spring提供了一组数据访问框架，集成了多种数据访问技术。无论是JDBC，iBATIS(mybatis)还是Hibernate，Spring都能够帮助消除持久化代码中单调枯燥的数据访问逻辑。可以依赖Spring来处理底层的数据访问。 mybatis是一种Spring持久化框架，要使用mybatis，就要做好相应的配置： 1，配置数据源。有很多数据源可以选择，如：DBCP，JDBC，aliba
  • Java静态代理、动态代理实例 aijuans Java静态代理
    采用Java代理模式，代理类通过调用委托类对象的方法，来提供特定的服务。委托类需要实现一个业务接口，代理类返回委托类的实例接口对象。 按照代理类的创建时期，可以分为：静态代理和动态代理。 所谓静态代理：　指程序员创建好代理类，编译时直接生成代理类的字节码文件。 所谓动态代理：　在程序运行时，通过反射机制动态生成代理类。   一、静态代理类实例： 1、Serivce.ja
  • Struts1与Struts2的12点区别 asia007 Struts1与Struts2
    1) 在Action实现类方面的对比：Struts 1要求Action类继承一个抽象基类；Struts 1的一个具体问题是使用抽象类编程而不是接口。Struts 2 Action类可以实现一个Action接口，也可以实现其他接口，使可选和定制的服务成为可能。Struts 2提供一个ActionSupport基类去实现常用的接口。即使Action接口不是必须实现的，只有一个包含execute方法的P
  • 初学者要多看看帮助文档 不要用js来写Jquery的代码 百合不是茶 jqueryjs
    解析json数据的时候需要将解析的数据写到文本框中,  出现了用js来写Jquery代码的问题;   1, JQuery的赋值  有问题    代码如下: data.username 表示的是:  网易            $("#use
  • 经理怎么和员工搞好关系和信任 bijian1013 团队项目管理管理
            产品经理应该有坚实的专业基础，这里的基础包括产品方向和产品策略的把握，包括设计，也包括对技术的理解和见识，对运营和市场的敏感，以及良好的沟通和协作能力。换言之，既然是产品经理，整个产品的方方面面都应该能摸得出门道。这也不懂那也不懂，如何让人信服？如何让自己懂？就是不断学习，不仅仅从书本中，更从平时和各种角色的沟通
  • 如何为rich:tree不同类型节点设置右键菜单 sunjing contextMenutreeRichfaces
    组合使用target和targetSelector就可以啦，如下： <rich:tree id="ruleTree" value="#{treeAction.ruleTree}" var="node" nodeType="#{node.type}" selectionChangeListener=&qu
  • 【Redis二】Redis2.8.17搭建主从复制环境 bit1129 redis
    开始使用Redis2.8.17 Redis第一篇在Redis2.4.5上搭建主从复制环境，对它的主从复制的工作机制，真正的惊呆了。不知道Redis2.8.17的主从复制机制是怎样的，Redis到了2.4.5这个版本，主从复制还做成那样，Impossible is nothing! 本篇把主从复制环境再搭一遍看看效果，这次在Unbuntu上用官方支持的版本。   Ubuntu上安装Red
  • JSONObject转换JSON--将Date转换为指定格式 白糖_ JSONObject
    项目中，经常会用JSONObject插件将JavaBean或List<JavaBean>转换为JSON格式的字符串，而JavaBean的属性有时候会有java.util.Date这个类型的时间对象，这时JSONObject默认会将Date属性转换成这样的格式：   {"nanos":0,"time":-27076233600000,
  • JavaScript语言精粹读书笔记 braveCS JavaScript
    【经典用法】：   //①定义新方法 Function .prototype.method=function(name, func){ this.prototype[name]=func; return this; } //②给Object增加一个create方法，这个方法创建一个使用原对
  • 编程之美-找符合条件的整数 用字符串来表示大整数避免溢出 bylijinnan 编程之美
    import java.util.LinkedList; public class FindInteger { /** * 编程之美 找符合条件的整数 用字符串来表示大整数避免溢出 * 题目：任意给定一个正整数N，求一个最小的正整数M(M>1)，使得N*M的十进制表示形式里只含有1和0 * * 假设当前正在搜索由0，1组成的K位十进制数
  • 读书笔记 chengxuyuancsdn 读书笔记
    1、Struts访问资源 2、把静态参数传递给一个动作 3、<result>type属性 4、s:iterator、s:if c:forEach 5、StringBuilder和StringBuffer 6、spring配置拦截器 1、访问资源 (1)通过ServletActionContext对象和实现ServletContextAware,ServletReque
  • [通讯与电力]光网城市建设的一些问题 comsci 问题
          信号防护的问题,前面已经说过了,这里要说光网交换机与市电保障的关系       我们过去用的ADSL线路,因为是电话线,在小区和街道电力中断的情况下,只要在家里用笔记本电脑+蓄电池,连接ADSL,同样可以上网........     
  • oracle 空间RESUMABLE daizj oracle空间不足RESUMABLE错误挂起
    空间RESUMABLE操作  转 Oracle从9i开始引入这个功能，当出现空间不足等相关的错误时，Oracle可以不是马上返回错误信息，并回滚当前的操作，而是将操作挂起，直到挂起时间超过RESUMABLE TIMEOUT，或者空间不足的错误被解决。 这一篇简单介绍空间RESUMABLE的例子。 第一次碰到这个特性是在一次安装9i数据库的过程中，在利用D
  • 重构第一次写的线程池 dieslrae 线程池 python
    最近没有什么学习欲望,修改之前的线程池的计划一直搁置,这几天比较闲,还是做了一次重构,由之前的2个类拆分为现在的4个类. 1、首先是工作线程类:TaskThread,此类为一个工作线程,用于完成一个工作任务,提供等待(wait),继续(proceed),绑定任务(bindTask)等方法 #!/usr/bin/env python # -*- coding:utf8 -*-
  • C语言学习六指针 dcj3sjt126com c
    初识指针，简单示例程序： /* 指针就是地址，地址就是指针 地址就是内存单元的编号 指针变量是存放地址的变量 指针和指针变量是两个不同的概念 但是要注意： 通常我们叙述时会把指针变量简称为指针，实际它们含义并不一样 */ # include <stdio.h> int main(void) { int * p; // p是变量的名字， int *
  • yii2 beforeSave afterSave beforeDelete dcj3sjt126com delete
    public function afterSave($insert, $changedAttributes) { parent::afterSave($insert, $changedAttributes); if($insert) { //这里是新增数据 } else { //这里是更新数据 } }  
  • timertask shuizhaosi888 timertask
    java.util.Timer timer = new java.util.Timer(true); // true 说明这个timer以daemon方式运行（优先级低， // 程序结束timer也自动结束），注意，javax.swing // 包中也有一个Timer类，如果import中用到swing包， // 要注意名字的冲突。 TimerTask task = new
  • Spring Security（13）——session管理 234390216 sessionSpring Security攻击保护超时
    session管理 目录   1.1     检测session超时 1.2     concurrency-control 1.3     session 固定攻击保护         
  • 公司项目NODEJS实践0.3[ mongo / session ...] 逐行分析JS源代码 mongodbsessionnodejs
        http://www.upopen.cn   一、前言         书接上回，我们搭建了WEB服务端路由、模板等功能，完成了register 通过ajax与后端的通信，今天主要完成数据与mongodb的存取，实现注册 / 登录 /
  • pojo.vo.po.domain区别 LiaoJuncai javaVOPOJOjavabeandomain
    　　POJO = "Plain Old Java Object"，是MartinFowler等发明的一个术语，用来表示普通的Java对象，不是JavaBean, EntityBean 或者 SessionBean。POJO不但当任何特殊的角色，也不实现任何特殊的Java框架的接口如，EJB， JDBC等等。 　　 　　即POJO是一个简单的普通的Java对象，它包含业务逻辑
  • Windows Error Code OhMyCC windows
    0 操作成功完成. 1 功能错误. 2 系统找不到指定的文件. 3 系统找不到指定的路径. 4 系统无法打开文件. 5 拒绝访问. 6 句柄无效. 7 存储控制块被损坏. 8 存储空间不足, 无法处理此命令. 9 存储控制块地址无效. 10 环境错误. 11 试图加载格式错误的程序. 12 访问码无效. 13 数据无效. 14 存储器不足, 无法完成此操作. 15 系
  • 在storm集群环境下发布Topology roadrunners 集群stormtopologyspoutbolt
    storm的topology设计和开发就略过了。本章主要来说说如何在storm的集群环境中，通过storm的管理命令来发布和管理集群中的topology。   1、打包 打包插件是使用maven提供的maven-shade-plugin，详细见maven-shade-plugin。 <plugin> <groupId>org.apache.maven.
  • 为什么不允许代码里出现“魔数” tomcat_oracle java
    　　在一个新项目中，我最先做的事情之一，就是建立使用诸如Checkstyle和Findbugs之类工具的准则。目的是制定一些代码规范，以及避免通过静态代码分析就能够检测到的bug。 　　迟早会有人给出案例说这样太离谱了。其中的一个案例是Checkstyle的魔数检查。它会对任何没有定义常量就使用的数字字面量给出警告，除了-1、0、1和2。 　　很多开发者在这个检查方面都有问题，这可以从结果
  • zoj 3511 Cake Robbery(线段树) 阿尔萨斯 线段树
    题目链接：zoj 3511 Cake Robbery 题目大意：就是有一个N边形的蛋糕，切M刀，从中挑选一块边数最多的，保证没有两条边重叠。 解题思路：有多少个顶点即为有多少条边，所以直接按照切刀切掉点的个数排序，然后用线段树维护剩下的还有哪些点。 #include <cstdio> #include <cstring> #include <vector&
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他