DevilRex119
DevilRex119

实现linux双网卡绑定

Linux双网卡绑定实现就是使用两块网卡虚拟成为一块网卡，这个聚合起来的设备看起来是一个单独的以太网接口设备，通俗点讲就是两块网卡具有相同的IP地址而并行链接聚合成一个逻辑链路工作。其实这项 技术在Sun和Cisco中早已存在，被称为Trunking和Etherchannel技术，在Linux的2.4.x的内核中也采用这这种技术，被称为bonding。bonding技术的最早应用是在集群――beowulf上，为了提高集群节点间的数据传输而设计的。下面我们讨论一下bonding 的原理,什么是bonding需要从网卡的混杂(promisc)模式说起。我们知道，在正常情况下，网卡只接收目的硬件地址(MAC Address)是自身Mac的以太网帧，对于别的数据帧都滤掉，以减轻驱动程序的负担。但是网卡也支持另外一种被称为混杂promisc的模式，可以接收网络上所有的帧，比如说tcpdump，就是运行在这个模式下。bonding也运行在这个模式下，而且修改了驱动程序中的mac地址，将两块网卡的Mac地址改成相同，可以接收特定mac的数据帧。然后把相应的数据帧传送给bond驱动程序处理。

说了半天理论，其实配置很简单，一共四个步骤：

实验的操作系统是Redhat Linux Enterprise 3.0
绑定的前提条件：芯片组型号相同，而且网卡应该具备自己独立的BIOS芯片。

1.编辑虚拟网络接口配置文件,指定网卡IP
vi /etc/sysconfig/ network-scripts/ ifcfg-bond0
[root@rhas-13 root]# cp /etc/sysconfig/network-scripts/ifcfg-eth0 ifcfg-bond0
2 #vi ifcfg-bond0
将第一行改成 DEVICE=bond0
# cat ifcfg-bond0
DEVICE=bond0
BOOTPROTO=static
IPADDR=172.31.0.13
NETMASK=255.255.252.0
BROADCAST=172.31.3.254
ONBOOT=yes
TYPE=Ethernet
这里要主意，不要指定单个网卡的IP 地址、子网掩码或网卡 ID。将上述信息指定到虚拟适配器(bonding)中即可。
[root@rhas-13 network-scripts]# cat ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=dhcp
[root@rhas-13 network-scripts]# cat ifcfg-eth1
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=dhcp

3 # vi /etc/modules.conf
编辑 /etc/modules.conf 文件，加入如下一行内容，以使系统在启动时加载bonding模块，对外虚拟网络接口设备为 bond0

加入下列两行
alias bond0 bonding
options bond0 miimon=100 mode=1
说明：miimon是用来进行链路监测的。 比如:miimon=100，那么系统每100ms监测一次链路连接状态，如果有一条线路不通就转入另一条线路；mode的值表示工作模式，他共有0，1,2,3四种模式，常用的为0,1两种。
mode=0表示load balancing (round-robin)为负载均衡方式，两块网卡都工作。
mode=1表示fault-tolerance (active-backup)提供冗余功能，工作方式是主备的工作方式,也就是说默认情况下只有一块网卡工作,另一块做备份.
bonding只能提供链路监测，即从主机到交换机的链路是否接通。如果只是交换机对外的链路down掉了，而交换机本身并没有故障，那么bonding会认为链路没有问题而继续使用
4 # vi /etc/rc.d/rc.local
加入两行
ifenslave bond0 eth0 eth1
route add -net 172.31.3.254 netmask 255.255.255.0 bond0

到这时已经配置完毕重新启动机器.
重启会看见以下信息就表示配置成功了
................
Bringing up interface bond0 OK
Bringing up interface eth0 OK
Bringing up interface eth1 OK
................

下面我们讨论以下mode分别为0,1时的情况

mode=1工作在主备模式下,这时eth1作为备份网卡是no arp的
[root@rhas-13 network-scripts]# ifconfig 验证网卡的配置信息
bond0 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B
inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0
UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1
RX packets:18495 errors:0 dropped:0 overruns:0 frame:0
TX packets:480 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:1587253 (1.5 Mb) TX bytes:89642 (87.5 Kb)

eth0 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B
inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0
UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1
RX packets:9572 errors:0 dropped:0 overruns:0 frame:0
TX packets:480 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:833514 (813.9 Kb) TX bytes:89642 (87.5 Kb)
Interrupt:11

eth1 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B
inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0
UP BROADCAST RUNNING NOARP SLAVE MULTICAST MTU:1500 Metric:1
RX packets:8923 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:753739 (736.0 Kb) TX bytes:0 (0.0 b)
Interrupt:15
那也就是说在主备模式下,当一个网络接口失效时(例如主交换机掉电等),不回出现网络中断,系统会按照cat /etc/rc.d/rc.local里指定网卡的顺序工作,机器仍能对外服务,起到了失效保护的功能.

在mode=0 负载均衡工作模式,他能提供两倍的带宽,下我们来看一下网卡的配置信息
[root@rhas-13 root]# ifconfig
bond0 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B
inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0
UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1
RX packets:2817 errors:0 dropped:0 overruns:0 frame:0
TX packets:95 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:226957 (221.6 Kb) TX bytes:15266 (14.9 Kb)

eth0 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B
inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0
UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1
RX packets:1406 errors:0 dropped:0 overruns:0 frame:0
TX packets:48 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:113967 (111.2 Kb) TX bytes:7268 (7.0 Kb)
Interrupt:11

eth1 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B
inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0
UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1
RX packets:1411 errors:0 dropped:0 overruns:0 frame:0
TX packets:47 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:112990 (110.3 Kb) TX bytes:7998 (7.8 Kb)
Interrupt:15

在这种情况下出现一块网卡失效,仅仅会是服务器出口带宽下降,也不会影响网络使用.



通过查看bond0的工作状态查询能详细的掌握bonding的工作状态
[root@rhas-13 bonding]# cat /proc/net/bonding/bond0
bonding.c:v2.4.1 (September 15, 2003)

Bonding Mode: load balancing (round-robin)
MII Status: up
MII Polling Interval (ms): 0
Up Delay (ms): 0
Down Delay (ms): 0
Multicast Mode: all slaves

Slave Interface: eth1
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:0e:7f:25:d9:8a

Slave Interface: eth0
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:0e:7f:25:d9:8b

Linux下通过网卡邦定技术既增加了服务器的可靠性,又增加了可用网络带宽,为用户提供不间断的关键服务。用以上方法均在redhat的多个版本测试成功,而且效果良好.心动不如行动，赶快一试吧！

你可能感兴趣的:(实现linux双网卡绑定)

  • 13.zookeeper开机自启动配置 小黑要上天 pgmpzookeeperlinux分布式
    要在Linux(RHEL7.7)系统中设置zookeeper开机自启动，可以创建一个系统服务单元文件。以下是为详细配置部署，假设你已经安装了zookeeper并且可以通过zkServer.sh命令启动它。1.进入/lib/systemd/system目录命令：cd/lib/systemd/system[root@rhel77system]#cd/lib/systemd/system[root@rh
  • 如何将手机的画面和音频全部传输到电脑显示和使用电脑外放输出 yangshuo1281 智能手机音视频
    要将手机音频通过电脑输出，scrcpy本身并不直接支持音频转发功能。可以结合其他工具（如sndcpy）实现音频转发。以下是一个完整的命令示例，同时结合scrcpy和sndcpy来实现音频和屏幕投屏的同步：1.下载sndcpy从以下链接下载sndcpy：sndcpyGitHub页面2.使用scrcpy和sndcpy同时投屏和输出音频确保你已安装scrcpy和sndcpy，然后按以下步骤操作：开启sc
  • spring AOP一般用在什么场景 杨半仙儿还未成仙儿 springjava后端
    SpringAOP（面向切面编程）在许多场景中都非常有用，主要用于解耦横切关注点，使代码更清晰、可维护。以下是一些常见的应用场景：1.日志记录使用AOP可以自动记录方法的调用日志，包括方法的参数、执行时间、返回值和异常等。这样可以统一管理日志，避免在每个方法中手动添加日志代码。2.权限控制AOP可以在方法执行前检查用户权限，确保只有具备权限的用户才能调用某些方法。通过AOP实现权限控制，可以减少业
  • 通过 Docker 部署 Mastodon 服务器 的教程 shelby_loo docker服务器容器
    如何使用Edu邮箱申请Azure订阅并开通免费的VPS想要免费获得Azure的VPS吗？拥有一个Edu邮箱就能让你轻松实现！Edu邮箱不仅可以帮助你申请Azure的学生订阅，还能免费使用Adobe和Notion等软件，让你的学习和工作更加便捷。如果你还没有Edu邮箱，可以参考末尾的衍生参考。在Azure100学生订阅中新建一台UbuntuVPS，并在Ubuntu下通过Docker部署Mastodo
  • persistent_homology_cpu.cpython-37m-x86_64-linux-gnu.so: No such file or directory类似问题的解决思路 蛐蛐蛐 深度学习科研工具Python技巧linux运维服务器
    这篇博客也就是简单记录一下。由于工作需要，想尝试一下这篇论文的工作：https://github.com/ljj-cyber/TopoGDN发现很多人真是开源不用脑子，自己也不测试一下（当然不是针对这个作者），只是感觉大家都太不认真了（草台班子太严重）。总结一下遇到的问题：首先，看作者这里介绍：Toinstallthisproject,youneedtoinstallthefollowingPyt
  • Python正则表达式完全指南 CrMylive. python正则表达式mysql
    一、前言正则表达式是一种强大的文本处理工具，Python语言中也提供了正则表达式的支持。正则表达式的主要作用是：匹配、查找、替换等操作。Python中提供了re模块来实现正则表达式的功能，本文将从基础语法、常见操作、调试技巧等方面详细介绍Python中的正则表达式。二、基本语法在Python中，使用正则表达式的第一步是导入re模块。在导入后，可以使用re模块提供的函数来执行匹配、查找、替换等操作。
  • Python学习笔记 - 探索正则表达式对象和对象匹配 Mr数据杨 Python编程基础正则表达式python正则re
    在文本处理和数据清洗任务中，正则表达式无疑是一把锋利的“瑞士军刀”。它不仅能够简洁地表达复杂的字符串匹配规则，还可以在各种编程语言中实现高效的文本处理。在Python中，re库提供了强大的正则表达式功能，允许开发者轻松进行模式匹配、数据提取、验证等操作。本教程将深入探讨Python中正则表达式的高级功能，尤其是如何使用正则表达式对象及其方法来高效处理文本。我们将详细讲解如何通过re.compile
  • 【中科院1区】Matlab实现黏菌优化算法SMA-RF锂电池健康状态估计算法研究 matlab科研助手 matlab算法开发语言
    ✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，代码获取、论文复现及科研仿真合作可私信。个人主页：Matlab科研工作室个人信条：格物致知。更多Matlab完整代码及仿真定制内容点击智能优化算法神经网络预测雷达通信无线传感器电力系统信号处理图像处理路径规划元胞自动机无人机物理应用机器学习内容介绍摘要锂离子电池作为一种重要的储能器件，在电动汽车、便携式电子设备等领域发挥着至关重要的
  • Spring的设计理念之【事务管理】 冰糖心158 java
    Spring框架的事务管理是其核心设计理念之一，旨在简化复杂的事务处理逻辑，提供统一的编程模型，同时支持灵活的事务策略配置。以下是Spring事务管理的关键设计理念和实现机制：一、设计目标解耦业务逻辑与事务管理将事务管理代码从业务逻辑中剥离，开发者只需关注业务逻辑，事务的开启、提交、回滚等由框架统一处理。统一事务抽象提供PlatformTransactionManager接口，抽象不同事务实现（如
  • 【llm对话系统】大模型 Llama 源码分析之 LoRA 微调 kakaZhui llama深度学习pytorchAIGCchatgpt
    1.引言微调(Fine-tuning)是将预训练大模型(LLM)应用于下游任务的常用方法。然而，直接微调大模型的所有参数通常需要大量的计算资源和内存。LoRA(Low-RankAdaptation)是一种高效的微调方法，它通过引入少量可训练参数，固定预训练模型的权重，从而在保持性能的同时大大减少了计算开销。本文将深入分析LoRA的原理，并结合Llama源码解读其实现逻辑，最后探讨LoRA的优势。2
  • JCR一区级 | Matlab实现蜣螂算法DBO-Transformer-LSTM多变量回归预测 Matlab机器学习之心 算法matlabtransformer
    ✅作者简介：热爱数据处理、数学建模、仿真设计、论文复现、算法创新的Matlab仿真开发者。更多Matlab代码及仿真咨询内容点击主页：Matlab科研工作室个人信条：格物致知，期刊达人。内容介绍摘要:水质预测对于环境保护和资源管理至关重要。本文提出了一种基于蜣螂算法(DungBeetleOptimizer,DBO)、DBO-Transformer和LSTM的多变量水质回归预测模型，旨在提高水质参数
  • 使用Elasticsearch和SelfQueryRetriever实现智能电影检索 hgSdaegva elasticsearchjenkins大数据python
    在当今信息爆炸的时代，快速而准确地检索数据变得尤为重要。Elasticsearch是一个强大的分布式搜索和分析引擎，能够高效地处理大量数据。在这篇文章中，我们将结合Elasticsearch和SelfQueryRetriever，展示如何通过语言模型实现智能电影查询。技术背景介绍Elasticsearch提供多租户能力和无模式的JSON文档存储，广泛应用于全文搜索和分析场景。通过将其与语言模型结合
  • 使用 ChatPremAI 和 LangChain 构建高级聊天模型功能 hgSdaegva python
    ##使用ChatPremAI和LangChain构建高级聊天模型功能###技术背景介绍随着生成式AI的快速发展，诸如ChatGPT等大型语言模型逐渐成为开发智能应用的核心组件。然而，如何高效利用这些模型，并将其部署到生产环境中，仍然是开发者面临的一大挑战。ChatPremAI是一款整合所有核心功能的生成式AI平台，通过与LangChain的完美结合，为开发者提供了灵活且功能强大的接口以实现复杂功能
  • 基于LeNet-5实现交通标志分类任务 鱼弦 机器学习设计类系统分类深度学习人工智能
    基于LeNet-5实现交通标志分类任务介绍LeNet-5是由YannLeCun等人在1998年提出的一种卷积神经网络（CNN）结构，最初用于手写数字识别。由于其简单高效的架构，LeNet-5也被广泛应用于图像分类任务，包括交通标志识别。应用使用场景交通标志分类在智能驾驶、车道辅助系统等领域有重要应用，可以帮助自动驾驶车辆识别道路上的各种交通标志，从而进行相应的决策，提高行车安全性。原理解释LeNe
  • 基于能量检测的语音信号端点检测 FPGA 实现 鱼弦 人工智能时代fpga开发
    基于能量检测的语音信号端点检测FPGA实现介绍语音信号端点检测（VoiceActivityDetection,VAD）是语音处理中的一个重要步骤，用于确定语音信号的起始和结束点。基于能量检测的方法通过计算语音信号的能量来识别活跃语音段。FPGA的并行处理能力使其非常适合用于实时的语音信号处理。应用使用场景语音识别系统：提高识别准确性，减少处理非语音片段。通信设备：降低带宽需求，通过仅传输语音部分节
  • 基于Lagrange-Newton法的SQP局部算法python实现 笛在月明 算法Pythonpython算法优化
    序列二次规划（SQP）是解决约束优化问题中较好的一种算法，其流程为在实现算法的过程中，使用了scipy.optimize模块：scipy.optimize.minimize(fun,x0,args=(),method=None,jac=None,hess=None,hessp=None,bounds=None,constraints=(),tol=None,callback=None,option
  • 【Python】 python实现我的世界(Minecraft)计算器(重制版) 杰九 python开发语言开源游戏程序
    【Python】python实现我的世界(Minecraft)计算器文章目录【Python】python实现我的世界(Minecraft)计算器1.引言与原理2.写代码之前的配置1.BuidTools.jar文件配置服务器2.raspberryjuice-1.12.1.jar用python控制服务器3.第三方库mcpi的基本方法4.计算器构建的思路5.源码展示6.操作示例7.结语这是配置资源以及教
  • Qpython+Flask监控添加发送语音中文信息功能 eybk flaskpython后端
    对Qpython+Flask实现对小孩学习的监控-CSDN博客中html页面进行改造，利用Ajax，提交一段文字，发送到数据库，再在服务器，发送该段文件给手机端，然手机端TTS朗读出来，增加了父母监控小孩学习，自定义提醒小孩的功能。一、index.html的更改。实时**学习情况图//设置定时器，每20秒（20000毫秒）刷新一次页面setInterval(function(){location.
  • Qwen 模型自动构建知识图谱，生成病例 + 评价指标优化策略 2301_79306982 ai千问语言模型人工智能
    关于数据库和检索方式的选择AIMedicalConsultantforVisualQuestionAnswering(VQA)系统：更适合在前端使用向量数据库（如FAISS）结合关系型数据库来实现图像和文本的检索与存储。因为在VQA场景中，你需要对患者上传的图像或文本症状进行语义向量化，以便快速查找相似病例或相关医学图像内容；同时用关系型数据库维护患者基础信息和简单的交互记录即可。AI-Power
  • 因果推断与机器学习—因果推断入门（1） 樱花的浪漫 因果推断机器学习人工智能计算机视觉搜索引擎深度学习算法
    在机器学习被广泛应用于对人类产生巨大影响的场景（如社交网络、电商、搜索引擎等）的今天，因果推断的重要性开始在机器学习社区的论文和演讲中被不断提及。图灵奖得主YoshuaBengio在对系统2（system2，这个说法来自心理学家DanielKahneman的作品，人类大脑由两套系统构成：系统1负责快速思考，做出下意识的反应；系统2则负责比较耗时的思考，如理解事物之间的因果关系）的畅想中强调，在实现
  • Python 批量下载 ERA-5 Reanalysis 数据 zhe是我呀 数据下载ERA-5数据下载python
    ECMWF大气再分析数据集ERA-interim已被ERA-5数据集取代，ERA-5详细信息看这里下面介绍下载的具体步骤：1.要下载ERA-5数据集，需要先注册一个CDS账号。登录之后进入ClimateDataStoreAPI页面复制自己的key和url，如下图2.创建.cdsapirc文件，windows系统就是自己的用户目录下面，linux就是根目录，内容为自己的key和url，示例如下图
  • 99.20 金融难点通俗解释：中药配方比喻马科维茨资产组合模型(MPT) AI量金术师 金融资产组合模型进化论金融人工智能python机器学习大数据数据库
    目录0.承前1.核心知识点拆解2.中药搭配比喻方案分析2.1比喻的合理性3.通俗易懂的解释3.1以中药房为例3.2配方原理4.实际应用举例4.1基础配方示例4.2效果说明5.注意事项5.1个性化配置5.2定期调整6.总结7.代码实现0.承前本文主旨：本文通过中药配方这一生动比喻来解释马科维茨资产组合模型的核心概念。将投资收益比作药效，风险比作苦味，资产相关性比作药材相互作用，并通过Python代码
  • 【MySQL】探索 MySQL 中的 NVL：使用 IFNULL 和 COALESCE 实现 音乐学家方大刚 MySQLmysqlandroid数据库
    缘分让我们相遇乱世以外命运却要我们危难中相爱也许未来遥远在光年之外我愿守候未知里为你等待我没想到为了你我能疯狂到山崩海啸没有你根本不想逃我的大脑为了你已经疯狂到脉搏心跳没有你根本不重要邓紫棋《光年之外》什么是NVL？NVL是SQL中常用的一个函数，最早出现在Oracle数据库中，用于替换NULL值。具体来说，NVL函数接受两个参数，如果第一个参数为NULL，则返回第二个参数；否则，返回第一个参数。
  • Three.js + GIS：打造三维地理信息系统的教程 全栈探索者chen threeJSjavascript开发语言ecmascript学习three.js前端3d
    Three.js+GIS：打造三维地理信息系统的教程Three.js是构建WebGL3D应用的强大工具，而结合GIS（地理信息系统）后，可以实现炫酷的三维地理可视化效果。本教程将从基础入手，教你如何用Three.js打造一个简单的三维GIS应用。一、项目规划1.目标功能我们希望实现以下功能：加载三维地图：加载全球地图或指定区域。添加三维数据：在地图上展示建筑、标注等3D数据。交互功能：用户可以缩放
  • Please install flash attention flash_attn AI算法网奇 python宝典python
    Pleaseinstallflashattentionflash_atten安装pipinstallflash_attnlinux安装成功：版本flash-attn-2.7.0.post2github如果失败：https://github.com/Dao-AILab/flash-attention/releases/download/v2.7.0.post2/flash_attn-2.7.0.po
  • 全球司库｜方向与发展趋势：政企双驱推动司库体系建设 用友智能财务 全球司库人工智能金融科技
    连载导语司库体系建设是企业实现财务数字化转型和资金管理现代化的重要手段，是企业实现战略转型和高质量发展的关键支撑，也是企业应对复杂多变的全球经济环境和风险挑战的重要保障。司库承担着组织中的领导和战略引导作用，越来越多的企业以司库建设为抓手，加快推进自身财务数智化转型。用友深耕领域资金二十余年，持续研究企业司库建设的经验与运行规律，2024年发布了最新一期的司库白皮书；本期将为大家分享第1期：第一期
  • C#中使用FreeSql进行数据库操作，并在WPF的MVVM模式下使用 ysdysyn c#数据库wpf
    在java转C#WPF上位机，MVVM过程中，遇到数据库的问题，经过简单的学习FreeSql语法糖，进行一下简单的封装及使用。我们在C#项目中实现FreeSql技术，首先在我们需要在使用语法糖所在的文件下点击依懒性>管理NuGet程序包，搜索FreeSql并进行下载：在appsettings.json配置文件中输入数据库连接配置，如果没有可在文件夹下自行创建，这里的连接的数据库是MYSQL和SQL
  • JVM运行时数据区常见知识点&面试题总结 栗子酱- 后端开发面试题#JVM面试题jvmjava开发语言面试springboot
    目录运行时数据区前言面试题JVM内存区域/运行时数据区？说一下JDK1.6、1.7、1.8内存区域的变化？为什么使用元空间替代永久代作为方法区的实现？Java堆的内存分区了解吗？运行时常量池？字符串常量池了解吗？为什么将字符串常量池移动到堆中？运行时数据区前言已经找到工作了，分享秋招时的笔记。祝大家都能顺利找到自己心仪的工作。面试题JVM内存区域/运行时数据区？JVM运行时数据区包括程序计数器、虚
  • 【自然语言处理（NLP）】基于Transformer架构的预训练语言模型：BERT 训练之数据集处理、训练代码实现 道友老李 自然语言处理(NLP)自然语言处理transformer
    文章目录介绍BERT训练之数据集处理BERT原理及模型代码实现数据集处理导包加载数据生成下一句预测任务的数据从段落中获取nsp数据生成遮蔽语言模型任务的数据从token中获取mlm数据将文本转换为预训练数据集创建Dataset加载WikiText-2数据集BERT训练代码实现导包加载数据构建BERT模型模型损失训练获取BERT编码器个人主页：道友老李欢迎加入社区：道友老李的学习社区介绍**自然语言
  • 深入理解动态代理：JDK动态代理与CGLIB动态代理 捕风捉你 深入探索设计模式java开发语言代理模式
    引言在软件开发中，动态代理是一种强大的技术，它允许在运行时创建代理对象，从而为原对象添加额外的功能。Java中主要有两种动态代理机制：JDK动态代理和CGLIB动态代理。本篇文章将详细介绍这两种动态代理的概念、实现方式、应用场景，并进行对比分析。1.什么是动态代理？动态代理是一种在运行时创建代理对象的技术，通过代理对象来控制对原对象的访问，能够在不修改原对象的情况下添加额外的功能。动态代理主要有以
  • Spring4.1新特性——综述 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • Schema与数据类型优化 annan211 数据结构mysql
    目前商城的数据库设计真是一塌糊涂，表堆叠让人不忍直视，无脑的架构师，说了也不听。 在数据库设计之初，就应该仔细揣摩可能会有哪些查询，有没有更复杂的查询，而不是仅仅突出 很表面的业务需求，这样做会让你的数据库性能成倍提高，当然，丑陋的架构师是不会这样去考虑问题的。 选择优化的数据类型 1 更小的通常更好 更小的数据类型通常更快，因为他们占用更少的磁盘、内存和cpu缓存，
  • 第一节 HTML概要学习 chenke htmlWebcss
    第一节 HTML概要学习 1. 什么是HTML HTML是英文Hyper Text Mark-up Language(超文本标记语言)的缩写，它规定了自己的语法规则，用来表示比“文本”更丰富的意义，比如图片，表格，链接等。浏览器（IE,FireFox等）软件知道HTML语言的语法，可以用来查看HTML文档。目前互联网上的绝大部分网页都是使用HTML编写的。 打开记事本 输入一下内
  • MyEclipse里部分习惯的更改 Array_06 eclipse
    继续补充中---------------------- 1.更改自己合适快捷键windows-->prefences-->java-->editor-->Content Assist-->      Activation triggers for java的右侧“.”就可以改变常用的快捷键 选中 Text
  • 近一个月的面试总结 cugfy 面试
    本文是在学习中的总结，欢迎转载但请注明出处：http://blog.csdn.net/pistolove/article/details/46753275 前言       打算换个工作，近一个月面试了不少的公司，下面将一些面试经验和思考分享给大家。另外校招也快要开始了，为在校的学生提供一些经验供参考，希望都能找到满意的工作。 
  • HTML5一个小迷宫游戏 357029540 html5
         通过《HTML5游戏开发》摘抄了一个小迷宫游戏，感觉还不错，可以画画，写字，把摘抄的代码放上来分享下，喜欢的同学可以拿来玩玩！ <html> <head> <title>创建运行迷宫</title> <script type="text/javascript"
  • 10步教你上传githib数据 张亚雄 git
    官方的教学还有其他博客里教的都是给懂的人说得，对已我们这样对我大菜鸟只能这么来锻炼，下面先不玩什么深奥的，先暂时用着10步干净利索。等玩顺溜了再用其他的方法。 操作过程（查看本目录下有哪些文件NO.1）ls （跳转到子目录NO.2）cd+空格+目录 （继续NO.3）ls （匹配到子目录NO.4）cd+ 目录首写字母+tab键+（首写字母“直到你所用文件根就不再按TAB键了”） （查看文件
  • MongoDB常用操作命令大全 adminjun mongodb操作命令
    成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。输入help可以看到基本操作命令，只是MongoDB没有创建数据库的命令，但有类似的命令 如：如果你想创建一个“myTest”的数据库，先运行use myTest命令，之后就做一些操作（如：db.createCollection('user')）,这样就可以创建一个名叫“myTest”的数据库。 一
  • bat调用jar包并传入多个参数 aijuans
    下面的主程序是通过eclipse写的： 1.在Main函数接收bat文件传递的参数（String[] args）  如：   String ip =args[0];          String user=args[1];       &nbs
  • Java中对类的主动引用和被动引用 ayaoxinchao java主动引用对类的引用被动引用类初始化
      在Java代码中，有些类看上去初始化了，但其实没有。例如定义一定长度某一类型的数组，看上去数组中所有的元素已经被初始化，实际上一个都没有。对于类的初始化，虚拟机规范严格规定了只有对该类进行主动引用时，才会触发。而除此之外的所有引用方式称之为对类的被动引用，不会触发类的初始化。虚拟机规范严格地规定了有且仅有四种情况是对类的主动引用，即必须立即对类进行初始化。四种情况如下：1.遇到ne
  • 导出数据库 提示 outfile disabled BigBird2012 mysql
    在windows控制台下，登陆mysql，备份数据库：   mysql>mysqldump -u root -p test test > D:\test.sql 使用命令 mysqldump 格式如下： mysqldump -u root -p *** DBNAME > E:\\test.sql。 注意：执行该命令的时候不要进入mysql的控制台再使用，这样会报
  • Javascript 中的 && 和 || bijian1013 JavaScript&&||
            准备两个对象用于下面的讨论 var alice = { name: "alice", toString: function () { return this.name; } } var smith = { name: "smith",
  • [Zookeeper学习笔记之四]Zookeeper Client Library会话重建 bit1129 zookeeper
    为了说明问题，先来看个简单的示例代码：   package com.tom.zookeeper.book; import com.tom.Host; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.Wat
  • 【Scala十一】Scala核心五：case模式匹配 bit1129 scala
    package spark.examples.scala.grammars.caseclasses object CaseClass_Test00 { def simpleMatch(arg: Any) = arg match { case v: Int => "This is an Int" case v: (Int, String)
  • 运维的一些面试题 yuxianhua linux
    1、Linux挂载Winodws共享文件夹   mount -t cifs //1.1.1.254/ok /var/tmp/share/ -o username=administrator,password=yourpass 或 mount -t cifs -o username=xxx,password=xxxx //1.1.1.1/a /win    
  • Java lang包-Boolean BrokenDreams boolean
             Boolean类是Java中基本类型boolean的包装类。这个类比较简单，直接看源代码吧。 public final class Boolean implements java.io.Serializable,
  • 读《研磨设计模式》-代码笔记-命令模式-Command bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.Collection; import java.util.List; /** * GOF 在《设计模式》一书中阐述命令模式的意图：“将一个请求封装
  • matlab下GPU编程笔记 cherishLC matlab
    不多说，直接上代码 gpuDevice % 查看系统中的gpu,,其中的DeviceSupported会给出matlab支持的GPU个数。 g=gpuDevice(1); %会清空 GPU 1中的所有数据,,将GPU1 设为当前GPU reset(g) %也可以清空GPU中数据。 a=1; a=gpuArray(a); %将a从CPU移到GPU中 onGP
  • SVN安装过程 crabdave SVN
    SVN安装过程   subversion-1.6.12   ./configure --prefix=/usr/local/subversion --with-apxs=/usr/local/apache2/bin/apxs --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr --with-openssl=/
  • sql　行列转换 daizj sql行列转换行转列列转行
    行转列的思想是通过case when 来实现 列转行的思想是通过union all 来实现 下面具体例子： 假设有张学生成绩表(tb)如下: Name Subject Result 张三 语文　　74 张三 数学　　83 张三 物理　　93 李四 语文　　74 李四 数学　　84 李四 物理　　94 */ /* 想变成 姓名   &
  • MySQL--主从配置 dcj3sjt126com mysql
    linux下的mysql主从配置： 说明：由于MySQL不同版本之间的(二进制日志)binlog格式可能会不一样，因此最好的搭配组合是Master的MySQL版本和Slave的版本相同或者更低， Master的版本肯定不能高于Slave版本。（版本向下兼容） mysql1  : 192.168.100.1    //master mysq
  • 关于yii 数据库添加新字段之后model类的修改 dcj3sjt126com Model
    rules: array('新字段','safe','on'=>'search') 1、array('新字段', 'safe')//这个如果是要用户输入的话，要加一下， 2、array('新字段', 'numerical'),//如果是数字的话 3、array('新字段', 'length', 'max'=>100),//如果是文本 1、2、3适当的最少要加一条，新字段才会被
  • sublime text3 中文乱码解决 dyy_gusi Sublime Text
    sublime text3中文乱码解决 原因：缺少转换为UTF-8的插件 目的：安装ConvertToUTF8插件包 第一步：安装能自动安装插件的插件，百度“Codecs33”，然后按照步骤可以得到以下一段代码： import urllib.request,os,hashlib; h = 'eb2297e1a458f27d836c04bb0cbaf282' + 'd0e7a30980927
  • 概念了解：CGI，FastCGI，PHP-CGI与PHP-FPM geeksun PHP
    CGI CGI全称是“公共网关接口”(Common Gateway Interface)，HTTP服务器与你的或其它机器上的程序进行“交谈”的一种工具，其程序须运行在网络服务器上。 CGI可以用任何一种语言编写，只要这种语言具有标准输入、输出和环境变量。如php,perl,tcl等。 FastCGI FastCGI像是一个常驻(long-live)型的CGI，它可以一直执行着，只要激活后，不
  • Git push 报错 "error: failed to push some refs to " 解决 hongtoushizi git
    Git push 报错 "error: failed to push some refs to " . 此问题出现的原因是：由于远程仓库中代码版本与本地不一致冲突导致的。 由于我在第一次git pull --rebase 代码后，准备push的时候，有别人往线上又提交了代码。所以出现此问题。 解决方案： 1： git pull    2：
  • 第四章 Lua模块开发 jinnianshilongnian nginxlua
    在实际开发中，不可能把所有代码写到一个大而全的lua文件中，需要进行分模块开发；而且模块化是高性能Lua应用的关键。使用require第一次导入模块后，所有Nginx 进程全局共享模块的数据和代码，每个Worker进程需要时会得到此模块的一个副本（Copy-On-Write），即模块可以认为是每Worker进程共享而不是每Nginx Server共享；另外注意之前我们使用init_by_lua中初
  • java.lang.reflect.Proxy liyonghui160com
      1.简介   Proxy 提供用于创建动态代理类和实例的静态方法 （1）动态代理类的属性 代理类是公共的、最终的，而不是抽象的 未指定代理类的非限定名称。但是，以字符串 "$Proxy" 开头的类名空间应该为代理类保留 代理类扩展 java.lang.reflect.Proxy 代理类会按同一顺序准确地实现其创建时指定的接口
  • Java中getResourceAsStream的用法 pda158 java
    1.Java中的getResourceAsStream有以下几种： 1. Class.getResourceAsStream(String path) ： path 不以’/'开头时默认是从此类所在的包下取资源，以’/'开头则是从ClassPath根下获取。其只是通过path构造一个绝对路径，最终还是由ClassLoader获取资源。 　　2. Class.getClassLoader.get
  • spring 包官方下载地址（非maven） sinnk spring
    SPRING官方网站改版后，建议都是通过 Maven和Gradle下载，对不使用Maven和Gradle开发项目的，下载就非常麻烦，下给出Spring Framework jar官方直接下载路径:   http://repo.springsource.org/libs-release-local/org/springframework/spring/   s
  • Oracle学习笔记(7) 开发PLSQL子程序和包 vipbooks oraclesql编程
        哈哈，清明节放假回去了一下，真是太好了，回家的感觉真好啊！现在又开始出差之旅了，又好久没有来了，今天继续Oracle的学习！      这是第七章的学习笔记，学习完第六章的动态SQL之后，开始要学习子程序和包的使用了……，希望大家能多给俺一些支持啊！     编程时使用的工具是PLSQL
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他