防预第9页

LitGPT - 20多个高性能LLM，具有预训练、微调和大规模部署的recipes

文章目录一、关于LitGPT二、快速启动安装LitGPT高级安装选项从20多个LLM中进行选择三、工作流程1、所有工作流程2、微调LLM3、部署LLM4、评估LLM5、测试LLM6、预训练LLM7、继续预训练

伊织产研·2025-02-01 19:38

nginx安全配置

Nginx版本号#默认响应头:Server:nginx/1.18.0#关闭后响应头:Server:nginxserver_tokensoff;}配置安全Headers添加安全相关的HTTP响应头，可以有效防

凉生ㄨ゛゛记忆﹎ゝ·2025-02-01 17:21

pytorch基于 Transformer 预训练模型的方法实现词嵌入（tiansz/bert-base-chinese）

以下是一个完整的词嵌入（WordEmbedding）示例代码，使用modelscope下载tiansz/bert-base-chinese模型，并通过transformers加载模型，获取中文句子的词嵌入。frommodelscope.hub.snapshot_downloadimportsnapshot_downloadfromtransformersimportBertTokenizer,Be

纠结哥_Shrek·2025-02-01 15:05

LLM-预训练：深入理解 Megatron-LM（2）原理介绍

最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDAMegatron团队公开发布的2篇论文，并结合最近Megatron-LM代码库的更新，整理成了这几篇系列文章。Megatron-LM代码版本：23.06https://github.com/NVIDIA/Megatron-LM/tr

u013250861·2025-02-01 15:05

深度学习-笔记1

在这儿做一个笔记：网址：https://gitee.com/paddlepaddle/PaddleNLPpaddle-nlp是一个自然语言处理NLP方面的工具包(代码库)ERNIEERNIE是百度基于BERT改进的预训练大模型

·2025-02-01 12:15

【学习心得】Python好库推荐——PEFT

这种技术主要应用于大型预训练模型的微调过程中，目的是在保持模型性能的同时减少所需的计算资源和时间。通过PEFT，可以有效地调整模型以适应特定任务或数据集，而无需对整个模型的所有参数进行全面微调。

小oo呆·2025-02-01 06:48

深度学习篇---深度学习框架

简介特点动态计算图易于上手强大的社区支持与Python的集成度高核心组件2.TensorFlow简介特点静态计算图跨平台强大的生态系统Keras集成核心组件3.PaddlePaddle简介特点易于使用高性能工业级应用丰富的预训练模型核心组件第二部分

Ronin-Lotus·2025-01-31 21:05

【大模型入门必看】LLM大语言模型导读

本章将简要梳理大语言模型的技术要点以及构建过程，并且列举了可用于预训练以及微调模型的常用数据集，介绍了目前开发大语言模型常用的代码库、预训练大语言模型的步骤以及涉及的关键技术，包括数据准备阶段、模型

古-月·2025-01-31 16:24

python 使用Whisper模型进行语音翻译

多尺寸预训练模型：官方提供了5个不同大小的模型（tiny,

哦里哦里哦里给·2025-01-31 15:16

KineStop：手机上的智能防晕车助手

KineStop是一款专为晕车用户设计的智能防晕车应用，通过手机传感器精准识别车辆运动状态，并在屏幕上实时提示用户，帮助缓解晕车不适。

非凡ghost·2025-01-31 13:00

Deepseek两项关键发现：无需人类专家介入SFT、有自己

目前尚未实现AGI，主流AI行业和公众普遍认为通过扩大纯语言模型（LLM）的预训练规模就能实现突破

极道Jdon·2025-01-31 08:13

GGUF 大模型文件格式

1.基础原理GGUF简介当前的大模型的参数规模较大，数以千亿的参数导致了它们的预训练结果文件都在几十GB甚至是几百GB，这不仅导致其使用成本很高，在不同平台进行交换也非常困难。

香菜烤面包·2025-01-31 07:04

2025年：网络安全犯罪活动发展新趋势

勒索软件生态系统的持续扩张勒索软件生态系统正以前所未有的速度发展，不断适应并规避防

网安加社区·2025-01-31 07:34

vue3+vite+Electron构建跨平台应用

集中配置主进程、渲染器和预加载脚本的Vite配置，并针对Electron的独特环境进行预配置。为渲染器提供快速模块热替换（H

vitenode·2025-01-31 06:28

使用numpy自定义数据集使用tensorflow框架实现逻辑回归并保存模型，然后保存模型后再加载模型进行预

1.引言逻辑回归（LogisticRegression）是一种常见的分类算法，广泛应用于二分类问题。在本篇博客中，我们将使用numpy生成一个简单的自定义数据集，并使用TensorFlow框架构建和训练逻辑回归模型。训练完成后，我们会保存模型，并演示如何加载保存的模型进行预测。2.创建自定义数据集首先，我们使用numpy生成一个简单的二分类数据集，包含两个特征和对应的标签。标签0表示负类，标签1表

辞落山·2025-01-31 04:11

程序员护眼指南：Windows设置护眼色

白领工作难免长期面对电脑屏幕，时间长了会导致眼镜干涩、视力加深等问题，推荐走以下几步：（1）为显示器贴上防蓝光膜，可在淘宝上搜索“显示器防蓝光膜”（2）降低屏幕亮度，安装护眼软件，如f.lux，或在腾讯电脑管家中打开工具箱

英国老鼠_·2025-01-31 03:57

BGP边界网关协议

AS：自治系统AS号：具有防环机制当收到BGP路由时，查看ASPath中是否存在自己的AS号，如果有，则认为存在环路，不接收该路由，如果没有则接收编号不同AS通过AS号区分，AS号存在16bit、32bit

祈愿星空·2025-01-31 02:54

AI绘画能取代设计师吗？

1.AI绘画的现状1.1AI绘画技术的形成与发展AI绘画的背后，离不开图像风格迁移、图文预训练模型和扩散模型这三大技术的共同推动。有点像是一位多才多艺的音乐家，利用不同

网络安全我来了·2025-01-30 20:09

BGP——边界网关协议

1.BGP报文类型：2.BGP状态机八、BGP路由宣告1.BGP数据库：2.BGP路由宣告规则：缺省情况下，BGP不发布任何本地路由3.BGP路由宣告方法：本地宣告和引入宣告九、BGP下一跳十、BGP防环机制和聚合

网工彭于晏·2025-01-30 17:31

模型架构选择：从传统NLP到Transformer

模型架构选择：从传统NLP到Transformer关键词：自然语言处理(NLP),模型架构,传统NLP,Transformer,RNN,CNN,预训练模型文章目录模型架构选择：从传统NLP到Transformer1

AI天才研究院·2025-01-30 08:23

大型语言模型构建指南：从头开始构建大语言模型《Build a Large Language Model (From Scratch)》免费PDF

你将从最初的设计和创建到通用语料库的预训练，一直到特定任

AGI大模型学习·2025-01-30 05:34

书籍推荐：《从零构建大型语言模型》附免费PDF下载

你将从最初的设计和创建到通用语料库的预训练，一直到特定任

大模型入门学习·2025-01-30 05:33

如何评价deepseek上线的deepseek-V3模型？怎么使用？

DeepSeek-V3模型是深度求索公司最新推出的自研MoE（混合专家）模型，具有6710亿参数，激活参数为370亿，经过14.8万亿token的预训练。

百态老人·2025-01-30 01:36

DeepSeek V3 模型微调（SFT）技术详解

DeepSeekV3模型微调（SFT）技术详解目录引言背景知识2.1深度学习与预训练模型2.2微调（Fine-tuning）的概念2.3监督微调（SupervisedFine-tuning,SFT）DeepSeekV3

zhangjiaofa·2025-01-30 00:28

Mooncake：面向大语言模型服务的以 KVCache 为中心的架构

它采用以KVCache为中心的分解架构，将预填充和解码集群分离。它还利用GPU集群未充分利用的CPU、DRAM和SSD资源来实现KVCache的分解缓存。

步子哥·2025-01-29 22:42

Lua+Nginx+Redis实现灰度测试和防刷限流

前言了解到lua脚本和nginx的搭配之后，一直想知道这东西能用来做点什么。于是动手实践了一下...下面开始正文前期准备获取openresty：openresty官网(其实就是一个通过lua扩展的nginx服务器)http://openresty.org/cn/getting-started.html获取redis：redis中文网站http://www.redis.cn/功能概述1灰度测试用户访

xiaoy990·2025-01-29 21:00

如何从零开始训练大模型（预训练方向）

但还有一个很直观的情况，随着预训练样本的质量不断提升，训练手段的优化。新的模型，往往效果能轻松反超参数量两倍于它的模型。例如，最新出的minicpm，微信内部评测效果也是非常棒的。

AI小白熊·2025-01-29 16:43

前端性能优化：HMR热更新和预获取加载

本文将深入探讨预获取（Prefetch）、动态导入（DynamicImport）和热模块替换（HMR）这三个关键技术1.预获取（Prefetch）：加速后续页面加载1.1什么是预获取？

疯狂小料·2025-01-29 12:07

亚马逊防关联的核心操作指南

但在这之前，有一件至关重要的事情需要你们注意——那就是防关联。别小看了这个看似不起眼的基础工作，它可是关乎你账号生死存亡的大问题。

跨境卫士球球·2025-01-29 10:17

如何在亚马逊上避免账户关联风险？全面解析与实用策略

本文将从关联的原理出发，为您提供全方位的防关联操作流程解析。亚马逊关联风险：是什么，为什么重要？亚马逊规定，一个卖家原则上只能拥有一个账户，除非获得官方批准的多账户权限。

跨境猫小妹·2025-01-29 09:07

为什么要做源代码防泄露

使你疲倦的不是远方的群山，而是你鞋里的一粒石子。让企业恐惧的不是强大的对手，而是自己的商业机密变成了对方手里的底牌——机密到底是怎样泄漏的？离职高峰潜伏的风险年底将至，企业开始渐渐进入一年中的跳槽高峰期。最近一份调查显示：85%的职员可以轻松地下载“有竞争力”的资料和信息，然后带到下一份工作中。尽管大部分工作者可以从现在的公司下载资料，但只有32%会为了增加在下一份工作中的竞争力而“出卖”资料。超

广陵之北·2025-01-29 03:14

PyAutoGUI 使用教程 —— 喜欢你就 Copy 一下

自动防故障：将鼠标快速移到屏幕左上角，脚本会立即停止执行。

冰雪危境·2025-01-28 22:32

LLM架构与优化：从理论到实践的关键技术

重点分析了预训练、后训练、监督微调（SFT）和偏好对齐（PreferenceAlignment）在提升模型性能中的作用，并对比了直接偏好优化（DPO）

XianxinMao·2025-01-28 20:14

Spring Boot 接口防抖 + AOP注解 + 自定义异常处理 (防重复提交)的实现方案

前言在开发后端Java业务系统，包括各种管理后台和小程序等。在这些项目中，我设计过单/多租户体系系统，对接过许多开放平台，也搞过消息中心这类较为复杂的应用，但幸运的是，我至今还没有遇到过线上系统由于代码崩溃导致资损的情况。这其中的原因有三点：一是业务系统本身并不复杂；二是我一直遵循某大厂代码规约，在开发过程中尽可能按规约编写代码；三是经过多年的开发经验积累，我成为了一名熟练工，掌握了一些实用的技巧

cherry5230·2025-01-28 17:24

第76期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。

云起无垠·2025-01-28 15:05

第84期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。

云起无垠·2025-01-28 14:30

Silero VAD 开源项目教程

SileroVAD开源项目教程项目地址:https://gitcode.com/gh_mirrors/si/silero-vad项目介绍SileroVAD是一个预训练的企业级语音活动检测器（VoiceActivityDetector

苏鹃咪Healthy·2025-01-28 14:55

一篇带你搞懂为什么Vue3比Vue2效率更高！

目录一、静态提升二、预字符串化三、缓存事件处理函数四、BlockTree五、PatchFlag一、静态提升Vue3中的静态提升（StaticTreeHoisting）是一种编译阶段的优化技术，它能够提高组件的渲染性能

一朵好运莲·2025-01-28 08:49

高效向量搜索RAG解决方案（Canopy）

一、基本原理1.向量嵌入：Canopy首先会将文本数据转换为向量表示，通常使用预训练的语言模型等技术，将文本映射到

deepdata_cn·2025-01-28 08:18

预训练语言模型

一.预训练模型的基本介绍预训练模型是一种在大规模数据上训练而得的模型，通常通过无监督学习或自监督学习的方式进行。在预训练阶段，模型被训练来学习数据的内在表示，而无需标注数据或任务特定的目标函数。

Algorithm_Engineer_·2025-01-28 04:51

ERROR: Could not install packages due to an OSError: [Errno 13] Permission denied: ‘d:\\python\\liwe

当python安装库的时候出现这样的报错的时候1、关闭防火防2、关闭360安全管家，杀毒软件等3、重新执行pip命令即可

无事闲。·2025-01-28 02:02

【赵渝强老师】MongoDB写入数据的过程

在MongoDB数据更新时，WiredTiger存储引擎使用预写日志的机制先将数据更新写入到Journal日志文件中。然后在创建检查点操作开始时，再将日志文件中记录的操作刷新到数据文件。

·2025-01-27 18:09

华为OD机试C卷-- 精准核酸检测（Java & JS & Python & C）

题目描述为了达到新冠疫情精准防控的需要，为了避免全员核酸检测带来的浪费，需要精准圈定可能被感染的人群。现在根据传染病流调以及大数据分析，得到了每个人之间在时间、空间上是否存在轨迹交叉。

飞码创造者·2025-01-27 14:35

.NET 8 WebAssembly 加载体验优化

今天我们来探讨如何在.NET8RC2中实现一个无预渲染的WebAssembly页面，并且在页面加载时显示一个加载动画。

t0_54coder·2025-01-27 12:24

利用MMDetection进行模型微调和权重初始化

目录模型微调修改第一处：更少的训练回合Epoch修改第二处：更小的学习率LearningRate修改第三处：使用预训练模型权重初始化实际使用案例init_cfg的具体使用规则初始化器配置汇总本文基于MMDetection

MickeyCV·2025-01-27 07:27

顶刊论文:一种用于病理学的多模态全切片基础模型 TITAN

MultimodalWholeSlideFoundationModelforPathology”提出了一种用于病理学的多模态全切片基础模型TITAN，通过在大量组织切片图像（WSIs）上的自监督学习和视觉语言对齐预训练

思陌Ai算法定制·2025-01-27 04:06

对话小羊驼vicuna

文章目录1.gpu租用2.公网网盘存储实例/数据3.登录实例4.预训练模型下载5.llama、alpaca、vicuna的前世今生6.对话Vicuna（1）llama-2-7b-hf（2）vicuna-

Always_Shine·2025-01-27 01:44

Firefly-LLaMA2-Chinese - 开源中文LLaMA2大模型

文章目录关于模型列表&数据列表训练细节增量预训练&指令微调数据格式&数据处理逻辑增量预训练指令微调模型推理权重合并模型推理部署关于github:https://github.com/yangjianxin1

伊织产研·2025-01-27 00:07

跨域请求的终极武器：Spring MVC一招搞定OPTIONS预检

若我告诉你，SpringMVC通过一个简单配置，便可轻松解决烦人的OPTIONS预检请求，你能相信吗？没错，就是这么简单！

星际编程喵·2025-01-26 23:26

【TCN回归预测】蜣螂算法优化时间卷积神经网络DBO-TCN负荷数据回归预测【含Matlab源码 6222期】

Matlab领域·2025-01-26 18:23

推荐频道

防预