TKE_cendy
TKE_cendy

华为路由与交换--交换机高级特性简介

本次博客将会介绍交换机的高级特性，主要有3个技术，分别是MUX VLAN、端口隔离和端口安全功能。

MUX VLAN（Multiplex VLAN）提供了一种通过VLAN进行网络资源控制的机制。通过MUX VLAN提供的二层流量隔离的机制可以实现企业内部员工之间互相通信，而企业外来访客之间的互访是隔离的。

为了实现报文之间的二层隔离，用户可以将不同的端口加入不同的VLAN，但这样会浪费有限的VLAN资源，VLAN可用的数量只有4096个，其中还有一些vlan是不能用的。采用端口隔离功能，可以实现同一VLAN内端口之间的隔离。端口隔离功能为用户提供了更安全、更灵活的组网方案。

在安全性要求较高的网络中，交换机可以开启端口安全功能，禁止非法MAC地址设备接入网络；当学习到的MAC地址数量达到上限后不再学习新的MAC地址，只允许学习到MAC地址的设备通信。

 MUX VLAN应用场景

如下图所示，服务器与汇聚层交换机相连，为了实现所有用户都可访问企业服务器，可通过配置VLAN间通信来实现。对于企业来说，希望企业内部员工之间可以互相访问，而企业外来访客之间是隔离的，可通过配置每个访客使用不同的VLAN来实现。但如果企业拥有大量的外来访客员工，此时不但需要耗费大量的VLAN ID，还增加了网络维护的难度。MUX VLAN提供的二层流量隔离的机制可以实现企业内部员工之间互相通信，而企业外来访客之间的互访是隔离的。

 

 华为路由与交换--交换机高级特性简介_第1张图片

 MUX VLAN基本概念

在MUX VLAN里面有以下几种vlan的类型，

主VLAN（Principal VLAN）：可以与MUX VLAN内的所有VLAN进行通信。

隔离型从VLAN（Separate VLAN）：只能和Principal VLAN进行通信，和其他类型的VLAN完全隔离，Separate VLAN内部也完全隔离。

互通型从VLAN（Group VLAN）：可以和Principal VLAN进行通信，在同一Group VLAN内的用户也可互相通信，但不能和其他Group VLAN或Separate VLAN内的用户通信的VLAN。

 如下图所示，根据MUX VLAN特性，解决方案如下：

华为路由与交换--交换机高级特性简介_第2张图片

企业管理员可以将服务器划分到Principal VLAN。MUX VLAN技术中只能将一个VLAN设置为Separate VLAN，所以可以将外来访客划分到Separate VLAN。由于可以将多个VLAN设置为Group VLAN，所以可以将企业员工划分到Group VLAN，企业内部不同部门之间通过划分到不同的VLAN进行隔离。

这样就能够实现：企业外来访客、企业员工都能够访问企业服务器。企业员工部门内部可以通信，而企业员工部门之间不能通信。企业外来访客间不能通信、外来访客和企业员工之间不能互访。

如下图所示：

 华为路由与交换--交换机高级特性简介_第3张图片

 LSW1上的配置

[LSW1]dis cu
#
sysname LSW1
#
vlan batch 10 20 30 40
#
vlan 40
 mux-vlan  //将VLAN 40设置为Principal VLAN
 subordinate separate 30    //将VLAN 30设置为Separate VLAN
 subordinate group 10 20     //将VLAN 10与VLAN 20设置为Group VLAN 
#
interface GigabitEthernet0/0/1
 port link-type trunk
 port trunk allow-pass vlan 10 20 30 40
#
interface GigabitEthernet0/0/2
 port link-type access
 port default vlan 40
 port mux-vlan enable   //在接口下开启MUX VLAN功能
#
interface GigabitEthernet0/0/3
 port link-type trunk
 port trunk allow-pass vlan 10 20 30 40

LSW2上的配置

dis cu
#
sysname LSW2
#
vlan batch 10 20 30 40
#
vlan 40
 mux-vlan
 subordinate separate 30
 subordinate group 10 20
#
interface Vlanif1
#
interface MEth0/0/1
#
interface Ethernet0/0/1
 port link-type access
 port default vlan 10
 port mux-vlan enable
#
interface Ethernet0/0/2
 port link-type access
 port default vlan 10
 port mux-vlan enable
#
interface Ethernet0/0/3
 port link-type access
 port default vlan 20
 port mux-vlan enable
#
interface Ethernet0/0/4
 port link-type access
 port default vlan 20
 port mux-vlan enable
#
interface Ethernet0/0/5
 port link-type trunk
 port trunk allow-pass vlan 10 20 30 40
 

LSW3上的配置 

dis cu
#
sysname LSW3
#
vlan batch 10 20 30 40
#
vlan 40
 mux-vlan
 subordinate separate 30
 subordinate group 10 20
#
interface Ethernet0/0/1
 port link-type access
 port default vlan 30
 port mux-vlan enable
#
interface Ethernet0/0/2
 port link-type access
 port default vlan 30
 port mux-vlan enable
#
interface Ethernet0/0/3
 port link-type access
 port default vlan 30
 port mux-vlan enable
#
interface Ethernet0/0/4
 port link-type access
 port default vlan 30
 port mux-vlan enable
#
interface Ethernet0/0/5
 port link-type trunk
 port trunk allow-pass vlan 10 20 30 40
#
结果验证：

1.对于所有用户都可访问企业服务器，在VLAN 10,VLAN 20 VLAN 30的员工都可以访问服务器，如下图所示

华为路由与交换--交换机高级特性简介_第4张图片

华为路由与交换--交换机高级特性简介_第5张图片

华为路由与交换--交换机高级特性简介_第6张图片

2.企业员工部门内部可以通信，而企业员工部门之间不能通信

处于同一个部门的pc1和pc2可以互访，但是和不同部门的pc3不能互访

华为路由与交换--交换机高级特性简介_第7张图片

3.企业外来访客间不能通信、外来访客和企业员工之间不能互访 

华为路由与交换--交换机高级特性简介_第8张图片

端口隔离应用场景

 如下图所示，为了实现用户之间的二层隔离，可以将不同的用户加入不同的VLAN，但这样会浪费有限的VLAN资源。采用端口隔离功能，可以实现同一VLAN内端口之间的隔离。用户只需要将端口加入到同一隔离组中，就可以实现隔离组内端口之间二层数据的隔离。端口隔离功能为用户提供了更安全、更灵活的组网方案。

华为路由与交换--交换机高级特性简介_第9张图片

端口隔离基本概念 

如下图所示，同一端口隔离组内的用户不能进行二层的通信，但是不同端口隔离组内的用户可以进行正常通行；未划分端口隔离的用户也能与端口隔离组内的用户正常通信。
 

 华为路由与交换--交换机高级特性简介_第10张图片

端口隔离分为二层隔离三层互通和二层三层都隔离两种模式 ：
如果用户希望隔离同一 VLAN 内的广播报文，但是不同端口下的用户还可以进行三层通信，则可以将隔离模式设置为二层隔离三层互通。
如果用户希望同一 VLAN 不同端口下用户彻底无法通信，则可以将隔离模式配置为二层三层均隔离。
配置注意事项：
S 系列交换机均支持配置二层隔离三层互通模式。
S 系列框式交换机均支持二层三层都隔离模式， S 系列盒式交换机仅 V100R006C05 版本仅 S2700SI 、 S2700EI 不支持二层三层都隔离模式， V100R002 及后续版本 S1720 、 S2720 、 S2750EI 、 S5700LI 、 S5700S-LI 不支持二层三层都隔离模式。
如果不是特殊情况要求，建议用户 不要将上行口和下行口加入到同一端口隔离组 中，否则上行口和下行口之间不能相互通信。

 

配置命令：
port-isolate enable命令用来使能端口隔离功能，默认将端口划入隔离组group 1。
如果希望创建新的 group 组，使用命令 port-isolate enable group 后面接所要创建的隔离组组号。
可以在系统视图下执行 port-isolate mode all命令配置隔离模式为二层三层都隔离。
查看命令：
使用 display port-isolate group all 命令可以查看所有创建的隔离组情况。

使用display port-isolate group X（组号）命令可以查看具体的某一个隔离组接口情况。 

 如下图所示：

华为路由与交换--交换机高级特性简介_第11张图片

 在LSW2上的配置如下

[LSW2]dis cu
#
sysname LSW2
#
vlan batch 10
#
interface Ethernet0/0/1
 port link-type access
 port default vlan 10
 port-isolate enable group 1
#
interface Ethernet0/0/2
 port link-type access
 port default vlan 10
 port-isolate enable group 1   //使能端口隔离功能，默认将端口划入隔离组group 1
#
interface Ethernet0/0/3
 port link-type access
 port default vlan 10
 port-isolate enable group 1
#
interface Ethernet0/0/4
 port link-type access
 port default vlan 10
 port-isolate enable group 1
#
interface Ethernet0/0/5
 port link-type trunk
 port trunk allow-pass vlan 10

结果验证：

 外部员工192.168.1.1和192.168.1.2之间不能通信，但是外部员工192.168.1.1可以和内部员工192.168.1.5通信

华为路由与交换--交换机高级特性简介_第12张图片

 内部员工192.168.1.5和192.168.1.6之间是可以通信的

华为路由与交换--交换机高级特性简介_第13张图片

 端口安全应用场景

如下图所示，为了保证接入设备安全性，如何防止非法用户的攻击？为了保证汇聚设备的安全性，如何防止非法用户的攻击？

华为路由与交换--交换机高级特性简介_第14张图片

 

端口安全经常使用在下列场景中：
应用在接入层设备，通过配置端口安全可以防止仿冒用户从其他端口攻击。  
应用在汇聚层设备，通过配置端口安全可以控制接入用户的数量。

 

 端口安全解决方案

 在对接入用户的安全性要求较高的网络中，可以配置端口安全功能，将接口学习到的MAC地址转换为安全MAC地址，接口学习的最大MAC数量达到上限后不再学习新的MAC地址，只允许学习到MAC地址的设备通信。这样可以阻止其他非信任用户通过本接口和交换机通信，提高设备与网络的安全性。

如图所示，

华为路由与交换--交换机高级特性简介_第15张图片

解决方案如下：

接入层交换机的每个接口都开启端口安全功能，并绑定接入用户的MAC地址与VLAN信息，当有非法用户通过已配置端口安全的接口接入网络时，交换机会查找对应的MAC地址表，发现非法用户的MAC地址与表中的不符，将数据包丢弃。

汇聚层交换机开启端口安全功能，并设置每个接口可学习到的最大MAC地址数，当学习到的MAC地址数达到上限时，其他的MAC地址的数据包将被丢弃。

端口安全类型 

端口安全（Port Security）通过将接口学习到的动态MAC地址转换为安全MAC地址（包括安全动态MAC、安全静态MAC和Sticky MAC）阻止非法用户通过本接口和交换机通信，从而增强设备的安全性。

 

类型

定义

特点

安全动态MAC地址

使能端口安全而未使能Sticky MAC功能时转换的MAC地址。

设备重启后表项会丢失，需要重新学习。

缺省情况下不会被老化，只有在配置安全MAC的老化时间后才可以被老化。

安全静态MAC地址

使能端口安全时手工配置的静态MAC地址。

不会被老化，手动保存配置后重启设备不会丢失。

Sticky MAC地址

使能端口安全后又同时使能Sticky MAC功能后转换得到的MAC地址。

不会被老化，手动保存配置后重启设备不会丢失。
说明：
接口使能端口安全功能时，接口上之前学习到的动态 MAC 地址表项将被删除，之后学习到的 MAC 地址将变为安全动态 MAC 地址。
接口使能 Sticky MAC 功能时，接口上的安全动态 MAC 地址表项将转化为 Sticky MAC 地址，之后学习到的 MAC 地址也变为 Sticky MAC 地址。
接口去使能端口安全功能时，接口上的安全动态 MAC 地址将被删除，重新学习动态 MAC 地址。
接口去使能 Sticky MAC 功能时，接口上的 Sticky MAC 地址会转换为安全动态 MAC 地址。

 端口安全限制动作

超过安全MAC地址限制数后的动作：

动作

实现说明

restrict

丢弃源MAC地址不存在的报文并上报告警。推荐使用restrict动作。

protect

只丢弃源MAC地址不存在的报文，不上报告警。

shutdown

接口状态被置为error-down，并上报告警。默认情况下，接口关闭后不会自动恢复，只能由网络管理人员在接口视图下使用restart命令重启接口进行恢复。

 接口上安全MAC地址数达到限制后，如果收到源MAC地址不存在的报文，端口安全则认为有非法用户攻击，就会根据配置的动作对接口做保护处理。缺省情况下，保护动作是restrict。

端口安全配置实现

执行命令 interface interface-type interface-number ，进入接口视图。
执行命令 port-security enable ，使能端口安全功能。
缺省情况下，未使能端口安全功能。
执行命令 port-security mac-address sticky，使能接口Sticky MAC功能。
缺省情况下，接口未使能Sticky MAC功能。
执行命令 port-security max-mac- num max-number ，配置接口 Sticky MAC 学习限制数量。
使能接口 Sticky MAC 功能后，缺省情况下，接口学习的 MAC 地址限制数量为 1 。
（可选）执行命令 port-security protect-action { protect | restrict | shutdown } ，配置端口安全保护动作。
缺省情况下，端口安全保护动作为 restrict 。
（可选）执行命令 port-security mac-address sticky mac-address vlan vlan -id ，手动配置一条 sticky-mac 表项。
 
 
如下图所示， 园区网络要求保障接入用户的安全性。财务部人员流动性较低，可以使用端口安全技术静态绑定接入用户的 MAC 与 VLAN 信息；市场部的人员流动性较高，使用端口安全技术的动态 MAC 地址学习保证接入用户的合法性。
华为路由与交换--交换机高级特性简介_第16张图片

 LSW2上的配置

interface Ethernet0/0/1

 port link-type access

 port default vlan 10

 port-security enable

 port-security mac-address sticky

 port-security mac-address sticky 5489-983F-24E5 vlan 10

 

LSW2上的配置

interface Ethernet0/0/1

 port link-type access

 port default vlan 20

 port-security enable

你可能感兴趣的:(路由控制,mux,vlan,端口隔离和安全)

  • 通过 Python FastAPI 开发一个快速的 Web API 项目 Python_P叔 pythonfastapi前端
    Python如此受欢迎的众多原因之一是Python有大量成熟和稳定的库可供选择:网页开发有：Django和Flask，提供了很好的网络开发体验和大量的有用文档机器学习有：scikit-learn、Keras等，提供了丰富的机器学习的包和数据处理和可视化工具。FastAPI是一个快速、轻量级的现代API，与其他基于Python的Web框架（如Flask和Django）相比，有一个更容易的学习曲线。F
  • 【Java 面试 八股文】Spring Cloud 篇 落啦啦 javajava面试springcloud
    SpringCloud篇1.SpringCloud5大组件有哪些？2.服务注册和发现是什么意思？SpringCloud如何实现服务注册发现？3.我看你之前也用过nacos，你能说下nacos与eureka的区别？4.你们项目负载均衡如何实现的？5.Ribbon负载均衡策略有哪些？6.如果想自定义负载均衡策略如何实现？7.什么是服务雪崩，怎么解决这个问题？8.你们的微服务是怎么监控的？9.你们项目中
  • 分布式服务——注册中心 庄隐 #架构java注册中心
    介绍想象一下，一个繁忙的周末，阳光明媚，公园里的孩子们在尽情玩耍，大人们则坐在长椅上享受着难得的闲暇时光。突然，一个小女孩跑到一位陌生的先生面前，甜甜地说：“叔叔，你能不能帮我找回我丢失的小狗？我叫它‘豆豆’。”这位先生虽然被打扰了休息，但他并没有生气，反而微笑着答应了小女孩的请求，并开始在公园里寻找那只名叫“豆豆”的小狗。这个故事虽然简单，但它却生动地展示了注册中心的功能和价值。就像那个小女孩通
  • 利用GPT开发应用005：Codex、Turbo、ChatGPT、GPT-4 翰墨之道 GPT开发GPT应用专栏GPT-1GPT-3GPT开发CodexTurboChatGPT
    文章目录一、GPT-3Codex二、GPT-3.5Turbo二、ChatGPT三、GPT-4一、GPT-3Codex  2022年3月，OpenAI发布了GPT-3Codex的新版本。  这个新模型具有编辑和插入文本的能力。它们是通过截至2021年6月的数据进行训练的，并被描述为比之前版本更强大。到2022年11月底，OpenAI开始将这些模型称为GPT-3.5系列的一部分。  Codex系列模型
  • Python爬虫获取item_search_img-按图搜索淘宝商品（拍立淘）接口 Jelena15779585792 APIpython爬虫图搜索算法
    一、引言随着电商行业的不断发展，消费者对商品搜索的效率和准确性要求越来越高。淘宝作为国内领先的电商平台，推出了按图搜索商品的功能（拍立淘），极大地提升了用户的购物体验。本文将详细介绍如何使用淘宝按图搜索商品的API接口（item_search_img），包括注册账号、上传图片、调用接口及解析响应等步骤。二、注册账号与获取API密钥注册淘宝开放平台账号要使用淘宝的按图搜索功能，首先需要在淘宝开放平台
  • 使用Python爬虫获取淘宝搜索词推荐API接口 Jelena15779585792 淘宝APIPythonpython爬虫开发语言
    在电商领域，搜索词推荐功能对于优化用户体验和提升搜索效率至关重要。淘宝作为国内领先的电商平台，提供了丰富的API接口，其中item_search_suggest接口可以获取搜索词推荐。本文将详细介绍如何使用Python爬虫技术调用该API接口，并获取搜索词推荐信息。一、概述淘宝的item_search_suggestAPI接口允许开发者根据提供的搜索关键字或其他相关条件，返回与搜索词相关的推荐词组
  • 数据湖构建 HaoHao_010 服务器云服务器云计算阿里云
    阿里云的数据湖构建（DataLake）是一种用于存储和处理大量不同类型数据的解决方案，通常用于大数据分析和机器学习等应用场景。数据湖与传统的数据仓库不同，它能够存储结构化、半结构化和非结构化数据，支持大规模数据的整合、存储、查询和分析。阿里云提供了一整套工具和服务来帮助企业构建数据湖，以下是数据湖构建的主要步骤和关键服务：1.数据湖概述数据湖是一种统一的数据存储库，能承载来自多个来源的数据，包括：
  • 阿里云 人工智能与机器学习 HaoHao_010 阿里云云服务器云计算服务器
    阿里云的人工智能（AI）与机器学习（ML）服务为企业提供了全面的AI解决方案，帮助用户在多个行业实现数据智能化，提升决策效率，推动业务创新。阿里云通过先进的技术和丰富的工具，支持用户开发、部署和管理AI应用。以下是阿里云在人工智能和机器学习方面的主要产品与服务：1.云上机器学习平台—PaaS服务PAI(PlatformforAI)PAI是阿里云推出的人工智能平台，提供一系列机器学习与深度学习工具和
  • Spring MVC视图解析器的定制与应用 t0_54program springmvcpython个人开发
    SpringMVC视图解析器的定制与应用在SpringMVC框架中，视图解析器（ViewResolver）是一个非常重要的组件，它负责将控制器返回的逻辑视图名称解析为实际的视图资源。通过自定义视图解析器，我们可以灵活地控制视图的渲染路径和格式。本文将通过一个具体的例子，展示如何通过扩展WebMvcConfigurerAdapter类来定制视图解析器，并实现一个简单的页面渲染。一、扩展WebMvcC
  • 位操作符的骚操作 （&） 小郝 小郝 算法c语言c++
    首先复习一下作用按位与操作&的作用将n和n-1的二进制逐位比较：最右侧的1的位置：在n中是1，在n-1中变为0→按位与后为0。右侧的位：在n中为0，在n-1中为1→按位与后为0。左侧的位：n和n-1完全一致→按位与后保留原值。操作一：如何计算一个整数储存在内存中的二进制的1的个数（储存的是补码计算的也为补码）（这是详细讲述补码的很精彩原码、反码、补码知识详细讲解（此作者是我找到的讲的最细最明白的一
  • 利用Java获取京东SKU接口指南 不会玩技术的技术girl 京东APIJavaAPIjavapython数据库
    在电商领域，SKU（StockKeepingUnit）信息对于商家至关重要，它包含了商品的规格、价格、库存等关键信息。京东作为中国领先的电商平台之一，提供了丰富的API接口，允许开发者获取商品的SKU信息。本文将详细介绍如何使用Java获取京东SKU接口，并提供详细的步骤和代码示例。准备工作注册京东开放平台账号：前往京东开放平台官网，进行账号注册和登录。登录后，进入“我的应用”页面，点击“创建应用
  • 京东商品信息高效抓取：利用API实现数据获取的实战指南 技术猿18870278351 自动化
    在当今的电商时代，数据成为了企业决策和市场分析的重要基石。对于希望深入了解京东平台商品信息、优化供应链管理、或进行市场调研的商家和开发者而言，如何高效地获取京东商品信息成为了一项关键技能。本文将引导您通过API（应用程序接口）的方式，实战学习如何快速、准确地抓取京东商品信息，为您的业务赋能。一、了解京东开放平台与API京东开放平台（JDP）是京东为第三方开发者提供的一个接入京东电商生态系统的门户，
  • 学习C的第32天 2401_87766835 学习c语言c++
    今天是学习C的第32天，分享一下学习感受经验及学习的成果。1.感受：课程已经刷完了，基本的语法和知识点感觉都掌握了，剩下的就是每天做一些题巩固语法，提升代码思维。花了32天学习，从25号过年那天晚上下定决心进步，然后寒假每天都在b站上刷课，每天看七八个小时，然后自己上手去练两三个小时。我是一名计算机小白，到大学才配了电脑，然后对这方面感兴趣就找课程自学，刚开始是很不理解编程语言，什么C、C++、J
  • Python 异常：深度剖析与实战应用 秋夜Autumn pythonwindows开发语言
    目录一、引言二、异常的基本概念（一）定义与本质（二）常见异常类型详解三、异常处理机制（一）try-except语句（二）try-except-else语句（三）try-finally语句（四）嵌套异常处理四、主动抛出异常（一）raise语句的使用方法（二）自定义异常类五、断言（assert）（一）断言的语法与功能（二）断言在调试和测试中的应用六、异常处理的最佳实践（一）具体的异常处理策略（二）异常
  • 【第三天】零基础学习量化基础代码分析-持续更新 Long_poem 学习
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录记录量化基础代码总览引言基本概念量化投资伪代码示例：量化投资模型框架总结每日-往期回看第一天零基础学量化基础知识点总览-持续更新第二天零基础学习量化基础代码总览-持续更新第三天零基础学习量化基础代码分析-持续更新记录量化基础代码总览引言量化投资是一种基于数学模型和计算机算法来制定投资策略的方法。通过分析历史数据，发现市场规律，
  • 案例分析：大对象复用的目标和注意点15 是小旭啊 mybatisniodubbo
    对于“大对象”的优化。这里的“大对象”，是一个泛化概念，它可能存放在JVM中，也可能正在网络上传输，也可能存在于数据库中。那么为什么大对象会影响我们的应用性能呢？第一，大对象占用的资源多，垃圾回收器要花一部分精力去对它进行回收；第二，大对象在不同的设备之间交换，会耗费网络流量，以及昂贵的I/O；第三，对大对象的解析和处理操作是耗时的，对象职责不聚焦，就会承担额外的性能开销。结合我们前面提到的缓存，
  • 深入理解 JavaScript 的 IntersectionObserver API 小华0000 javascript开发语言ecmascript
    现代Web开发中，性能和用户体验是不可忽视的两个核心。为了实现页面的高效滚动加载、懒加载图片、观察元素是否进入视口等功能，JavaScript提供了一个强大的工具——IntersectionObserverAPI。在这篇博客中，我们将深入解析IntersectionObserver的核心功能、使用方法，以及最佳实践。一、什么是IntersectionObserver？IntersectionObs
  • 使用 Python 爬虫抓取电商平台特定商品库存与销售数据的完整指南 Python爬虫项目 2025年爬虫实战项目python爬虫开发语言信息可视化自动化
    一、引言随着电子商务的蓬勃发展，库存和销售数据已经成为商家、供应链管理者和市场分析师的重要参考。对于电商平台而言，实时获取商品库存、销量以及价格等信息，能够帮助商家及时调整策略、优化存货管理、做出销售预测。因此，抓取这些电商平台上的商品数据变得至关重要。本文将详细介绍如何使用Python编写爬虫，抓取电商平台（如淘宝、京东、亚马逊等）上特定商品的库存、销售数据。我们将结合最新技术，使用Reques
  • Python 实战：构建分布式文件存储系统全解析 tekin Python网络编程python分布式Python分布式文件存储系统
    Python实战：构建分布式文件存储系统全解析在当今数据爆炸的时代，分布式文件存储系统凭借其高可扩展性、高可靠性等优势，成为了数据存储领域的热门选择。本文将详细介绍如何使用Python构建一个简单的分布式文件存储系统。从系统架构设计，包括中央控制器、存储节点和客户端的功能介绍，到具体的代码实现，涵盖网络通信、文件操作等关键技术，再到运行步骤的说明，让你全面了解分布式文件存储系统的构建过程。即使你是
  • 分布式服务注册与发现 点滴~ 面试大型网站技术架构分布式分布式
    目录核心概念常见实现方式常见工具与框架优点挑战应用场景总结分布式服务注册与发现是微服务架构中的关键组件，用于动态管理服务的注册、发现和调用。它帮助服务在分布式环境中自动找到彼此，确保系统的高可用性和可扩展性。核心概念服务注册：服务启动时向注册中心注册自己的信息（如服务名、IP、端口等）。注册中心维护服务实例的元数据。服务发现：客户端或服务消费者通过注册中心查找目标服务的实例信息。支持动态获取服务的
  • 爬取淘宝商品链接的图片和视频-第一部分 yunAike 前端javascript开发语言python
    输入需要爬取商品品类的网址和需要爬取的页数，程序将爬取所有商品的链接输入需要爬取商品品类的网址和需要爬取的页数，程序将爬取所有商品的链接importtimefromDrissionPageimportChromiumPageimportcsvfromlxmlimportetreeimportjsonimportos#确保存放数据的data文件夹存在，若不存在就创建folder_path=r".\d
  • LakeSoul 国产湖仓框架新篇章：开源基金会孵化，国产信创认证，新版本重磅发布 元灵数智 开源人工智能语言模型gpt-3chatgpt大数据
    LakeSoul作为国产自研开源湖仓框架，具备湖仓一体、流批一体、BI/AI一体等核心设计理念和实现，在并发读写和IO性能等方面有着显著的优势。近期，LakeSoul项目又有了多项重要的新进展：LakeSoul开源项目正式捐赠进入Linux基金会孵化，成功通过了国产信创认证，并发布了2.3.0全新版本。这也标志着LakeSoul项目的发展进入了一个新的阶段，本文将为您一一解读。LakeSoul项目
  • 国产唯一开源湖仓框架LakeSoul 2.0 重磅升级：支持快照回滚、Flink和Hive对接 元灵数智 大数据数据库spark
    首先，附上Github链接LakeSoul：https://github.com/meta-soul/LakeSoul，可搜索公众号元灵数智，在底部菜单了解我们-用户交流获取官方技术交流群二维码，进群与业内大佬进行技术交流。DMetaSoul团队于7月初发布了LakeSoul2.0版本，对1.0版本进行了多方面升级优化，提高了自身架构设计的灵活性，也更好地适应客户未来业务高速发展的需要。2.0版本
  • 使用 LakeSoul 构建实时机器学习样本库 元灵数智 bigdata大数据数据仓库数据库架构数据库开发
    首先，附上Github链接LakeSoul：https://github.com/meta-soul/LakeSoul，可搜索公众号元灵数智，在底部菜单了解我们-用户交流获取官方技术交流群二维码，进群与业内大佬进行技术交流。在之前的公众号文章《重磅！开源湖仓平台LakeSoul设计理念详解》中，我们介绍了LakeSoul开源流批一体表存储框架的设计理念和部分实现原理。LakeSoul设计的初衷，是
  • AI探索笔记：浅谈人工智能算法分类 安意诚Matrix 机器学习笔记人工智能笔记
    人工智能算法分类这是一张经典的图片，基本概况了人工智能算法的现状。这张图片通过三个同心圆展示了人工智能、机器学习和深度学习之间的包含关系，其中人工智能是最广泛的范畴，机器学习是其子集，专注于数据驱动的算法改进，而深度学习则是机器学习中利用多层神经网络进行学习的特定方法。但是随着时代的发展，这张图片表达得也不是太全面了。我更喜欢把人工智能算法做如下的分类：传统机器学习算法-线性回归、逻辑回归、支持向
  • python dag调度系统开发_基于DAG的分布式任务调度平台-Maat weixin_39634997 pythondag调度系统开发
    背景什么是MaatMaat是一个基于开源项目Airflow的流程调度系统，它支持用户自定义地组装流程节点，流程可以在用户指定的时间触发(支持crontab格式)，或由用户手动触发。Maat的所有节点分布式地运行在Hippo上，由Drogo调度。用户可以创建自己的调度节点和执行节点，达到资源隔离的目的。用户可以通过配置的方式安装自己执行节点的运行环境，也可以配置执行节点的副本数。下图展示了一个任务的
  • Python 文本处理神器：textwrap 模块深度解析 tekin Python编程秘籍库python开发语言Python文本处理textwrap模块深度解析
    Python文本处理神器：textwrap模块深度解析在Python编程中，处理文本是一项常见任务，比如自动换行、填充文本、缩短文本等。textwrap模块就像是一个贴心助手，专门用来解决这些问题。本文将带你深入了解textwrap模块的各种功能，通过丰富的示例代码和清晰的讲解，让你轻松掌握它的使用技巧，提升文本处理能力。文章目录Python文本处理神器：textwrap模块深度解析一、`text
  • C++ | 面向对象 | 类 拟墨画扇_ C++c++类深拷贝友元函数静态成员类拷贝构造函数类构造析构函数
    类语法格式classclassName{Accessspecifiers://访问权限DataTypevariable;//变量returnTypefunctions(){}//方法};访问权限classclassName{public://公有成员protected://受保护成员private://私有成员};公有成员public公有成员在类外部可访问，可不使用任何成员函数来设置和获取公有变量
  • 算法-数据结构-图-邻接表构建 程序员南飞 算法数据结构java职场和发展
    邻接表的基本概念顶点（Vertex）：图中的每个顶点用一个节点表示。每个顶点存储一个链表或数组，用于记录与该顶点直接相连的其他顶点。边（Edge）：如果顶点A和顶点B之间有一条边，那么在A的邻接表中会记录B，同时在B的邻接表中也会记录A（如果是无向图）。存储方式：邻接表可以用多种方式实现，比如：链表：每个顶点对应一个链表，链表中存储与该顶点相连的其他顶点。动态数组：每个顶点对应一个动态数组（如Ar
  • 网络安全-攻击篇-攻击载体 划过日落 网络安全网络攻击模型
    前言随着网络的安全事态不断演变、新的威胁不断出现，从而也萌生了形式多样的网络攻击载体，攻击者利用这些载体进行网络安全攻击。网络安全攻击是指针对计算机信息系统、基础设施、计算机网络或个人计算机设备的任何类型的进攻动作。这些攻击可能会破坏网络系统运行的安全、信息内容的安全、信息通信与传播安全，使计算机或网络系统中的数据被篡改、窃取或丢失，导致严重的安全后果。网络安全攻击通常由黑客或其他恶意行为者发起，
  • 二分查找排序算法 周凡杨 java二分查找排序算法折半
    一：概念 二分查找又称 折半查找（ 折半搜索/ 二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而 查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表 分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
  • java中的BigDecimal bijian1013 javaBigDecimal
            在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。         原文地址：http://blog.csdn.net/ugg/article/de
  • Shell echo命令详解 daizj echoshell
    Shell echo命令 Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： echo string 您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: echo "It is a test" 这里的双引号完全可以省略，以下命令与上面实例效果一致： echo Itis a test 2.显示转义
  • Oracle DBA 简单操作 周凡杨 oracle dba sql
    --执行次数多的SQL select sql_text,executions from (      select sql_text,executions from v$sqlarea order by executions desc      ) where rownum<81;  &nb
  • 画图重绘 朱辉辉33 游戏
      我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。   在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
  • 线程之初体验 西蜀石兰 线程
    一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。 之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。 线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。 你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
  • linux集群互相免登陆配置 林鹤霄 linux
    配置ssh免登陆 1、生成秘钥和公钥    ssh-keygen -t rsa 2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub    其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密    c
  • mysql : Lock wait timeout exceeded; try restarting transaction aigo mysql
    原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html   原因是你使用的InnoDB   表类型的时候, 默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 因为有的锁等待超过了这个时间,所以抱错.   你可以把这个时间加长,或者优化存储
  • Socket编程 基本的聊天实现。 alleni123 socket
    public class Server { //用来存储所有连接上来的客户 private List<ServerThread> clients; public static void main(String[] args) { Server s = new Server(); s.startServer(9988); } publi
  • 多线程监听器事件模式(一个简单的例子) 百合不是茶 线程监听模式
        多线程的事件监听器模式   监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到        创建多线程的事件监听器模式 思路:    1, 创建线程并启动,在创建线程的位置设置一个标记     2,创建队
  • spring InitializingBean接口 bijian1013 javaspring
    spring的事务的TransactionTemplate，其源码如下： public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{ ... } TransactionTemplate继承了DefaultT
  • Oracle中询表的权限被授予给了哪些用户 bijian1013 oracle数据库权限
            Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 select t.table_name as "表名", t.grantee as "被授权的属组", t.owner as "对象所在的属组"
  • 【Struts2五】Struts2 参数传值 bit1129 struts2
    Struts2中参数传值的3种情况 1.请求参数绑定到Action的实例字段上 2.Action将值传递到转发的视图上 3.Action将值传递到重定向的视图上   一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上 Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
  • 【Kafka十四】关于auto.offset.reset[Q/A] bit1129 kafka
    I got serveral questions about  auto.offset.reset. This configuration parameter governs how  consumer read the message from  Kafka when  there is no initial offset in ZooKeeper or
  • nginx gzip压缩配置 ronin47 nginx gzip 压缩范例
    nginx gzip压缩配置 更多 0 nginx gzip 配置   随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
  • java-13.输入一个单向链表，输出该链表中倒数第 k 个节点 bylijinnan java
    two cursors. Make the first cursor go K steps first. /* * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点 */ public void displayKthItemsBackWard(ListNode head,int k){ ListNode p1=head,p2=head;
  • Spring源码学习-JdbcTemplate queryForObject bylijinnan javaspring
    JdbcTemplate中有两个可能会混淆的queryForObject方法： 1. Object queryForObject(String sql, Object[] args, Class requiredType) 2. Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 第1个方法是只查
  • [冰川时代]在冰川时代,我们需要什么样的技术? comsci 技术
         看美国那边的气候情况....我有个感觉...是不是要进入小冰期了?      那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段...   &nb
  • js 获取浏览器型号 cuityang js浏览器
    根据浏览器获取iphone和apk的下载地址 <!DOCTYPE html> <html> <head>     <meta charset="utf-8" content="text/html"/>     <meta name=
  • C# socks5详解 转 dalan_123 socketC#
    http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html  这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
  • 运维 Centos问题汇总 dcj3sjt126com 云主机
    一、sh 脚本不执行的原因 sh脚本不执行的原因 只有2个 1.权限不够 2.sh脚本里路径没写完整。   二、解决You have new mail in /var/spool/mail/root 修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 MailTo = MailFrom   三、查询连接数
  • Yii防注入攻击笔记 dcj3sjt126com sqlWEB安全yii
    网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号 这里有个转义对照表： http://blog.csdn.net/xinzhu1990/articl
  • MongoDB简介[一] eksliang mongodbMongoDB简介
    MongoDB简介 转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用        MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。        另外，不
  • zookeeper windows 入门安装和测试 greemranqq zookeeper安装分布式
    一、序言       以下是我对zookeeper 的一些理解：      zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。       栗子1号：       假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
  • Spring之使用事务缘由(2-注解实现) ihuning spring
      Spring事务注解实现   1. 依赖包：     1.1 spring包：           spring-beans-4.0.0.RELEASE.jar           spring-context-4.0.0.
  • iOS App Launch Option 啸笑天 option
    iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。   launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节 。 1、若用户直接
  • jdk与jre的区别（_） macroli javajvmjdk
    简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。  JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。 如果安装了JDK，会发同你
  • Updates were rejected because the tip of your current branch is behind qiaolevip 学习永无止境每天进步一点点众观千象git
    $ git push joe prod-2295-1 To [email protected]:joe.le/dr-frontend.git ! [rejected] prod-2295-1 -> prod-2295-1 (non-fast-forward) error: failed to push some refs to '[email protected]
  • [一起学Hive]之十四-Hive的元数据表结构详解 superlxw1234 hivehive元数据结构
    关键字：Hive元数据、Hive元数据表结构   之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。 本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。   文章最后面，会以一个示例来全面了解一下，
  • Spring 3.2.14，4.1.7，4.2.RC2发布 wiselyman Spring 3
      Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。   其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。   其中Spring 4.1.7主要包含这些更新内容。
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他