词表

LLM之Colossal-LLaMA-2：源码解读(init_tokenizer.py文件)实现基于源词表的扩展、(init_model.py文件)实现过计算均值扩展模型、(prepare_pretr

LLM之Colossal-LLaMA-2：源码解读(init_tokenizer.py文件)实现基于jsonl文件中读取新词列表(新中文词汇)→for循环去重实现词表的扩展(中文标记的新词汇)→保存新的分词模型

一个处女座的程序猿·2025-03-15 18:38

DeepSeek面试——分词算法

其核心原理是将文本分解为字节（Byte）序列，通过统计高频相邻字节对的共现频率进行逐层合并，最终形成128K扩展词表。二、BBPE的核心优势1.多语言统一处理能力跨语言

mzgong·2025-03-15 00:27

LLM填坑：训练自己的分词器-Tokenizer 2

merges.txtmerges文件存放的是训练tokenizer阶段所得到的合并词表结果，就是tokenizer.json中，model.merges下的内容。

微风❤水墨·2025-03-13 08:53

Restful 接口设计规范

一、资源与URL1.使用名词表示资源URL应该以名词为主，用来表示具体的资源，而不是动词。例如，/users表示用户资源集合，/users/{id}表示单个用户资源。

yqcoder·2025-03-11 15:49

第N4周：NLP中的文本嵌入

本人往期文章可查阅：深度学习总结词嵌入是一种用于自然语言处理（NLP）的技术，用于将单词表示为数字，以便计算机可以处理它们。通俗的讲就是，一种把文本转为数值输入到计算机中的方法。

OreoCC·2025-03-10 18:05

大模型中的Token究竟是什么？从原理到作用深度解析

Token化技术全景图核心处理流程原始文本→预处理→分词算法→词表映射→模型输入↓↓↓大小写转换子词拆分策略特殊Token添加标点规

·2025-03-05 16:48

词向量Word Embedding

词向量词向量做的事情就是将词表中的单词映射为实数向量。

m0_60217276·2025-03-05 09:01

Llama 3.2入门基础教程（非常详细），Llama 3.2微调、部署以及多模态训练入门到精通，收藏这一篇就够了！

Tokenizer变成了128K的词表，使用了GQA，不在是原来的只在Llama2-70B里使用了。所以说，最大的改变就是词表与GQA。然后在训练上变化比较大，参数变大了，400B的还没放出来

中年猿人·2025-03-03 17:49

word2vec（一） CBOW与Skip-Gram模型基础

1.词向量词向量就是用来将语言中的词进行数学化的一种方式，顾名思义，词向量就是把一个词表示成一个向量。这样做的初衷就是机器只认识01符号。所以，词向量是自然语言到机器语言的转换。

浮汐·2025-02-22 18:24

动态词表采样：一种控制模型词表大小的新方法

面对超大规模的词表，如何有效地管理和利用这些词汇成为了研究者们关注的重点。

东方佑·2025-02-09 18:50

词表设计：特殊Token区域与共享去区域的深入探讨

在自然语言处理（NLP）中，Tokenizer的设计对于模型性能有着至关重要的影响。Tokenizer不仅决定了文本如何被分割成更小的单位（即token），还决定了这些token如何被映射到模型可以理解的形式。本文将详细探讨一种特殊的Tokenizer设计方法——特殊Token区域与共享去区域的设计理念，并介绍其应用场景和实现方式。特殊Token区域概述特殊Token区域通常包括一些特定的标识符，

东方佑·2025-01-30 14:44

Python的优缺点

Python语言是高级语言，它接近人类语言，只要掌握由英语单词表示的助记符，大致读懂Python代码；此外Python通过强制缩进体现语句间的逻辑关系，任何人编写Python代码都有规范且具有统一风格，

Coke_lovingcloud·2025-01-28 16:42

{每日一道算法题}

423.从英文中重建数字难度中等题目描述：给你一个字符串s，其中包含字母顺序打乱的用英文单词表示的若干数字（0-9）。

zzh666ya·2025-01-28 12:18

大模型中的分词技术 BBPE

一、OOV问题和多语言场景在自然语言处理（NLP）中，OOV（Out-of-Vocabulary）问题是指模型在处理文本时遇到未在词表中出现过的词汇，导致无法有效处理这些词汇的情况。

禅与计算机技术·2025-01-26 01:05

人类大脑与大规模神经网络的对比及未来展望

特别地，我们将分析达到人类大脑突触连接规模所需的时间框架、可能面临的挑战以及使用转义词表技术所带来的优势。人类大脑的基本结构人类大脑是一个极其复杂的系统，包含大约

东方佑·2025-01-23 00:47

想专升本，但是英语毫无基础该怎样提升？

高中英语零基础的同学要参加专升本英语考试，必须要先从单词基础打起，不建议大家直接去背专升本的英语单词表。因为专升本的相关资源比较匮乏，单词表通常是

大咖看学习·2024-09-05 03:35

NLP中的词向量及其应用

https://www.toutiao.com/a6643219722961682947/2019-01-0611:25:24词向量基本上是一种单词表示形式，它将人类对语言的理解与机器的理解连接起来。

喜欢打酱油的老鸟·2024-09-04 05:01

爱你在心口难开

该用怎样的词表达感受呢？这种所谓的爱其实是一种付出，一种煎熬，一种焦虑，甚至是一种折磨。没有她的时候，生活似乎平淡如水。在几点一线的时空上，日复一日，年复一年的重复着看似单调的生活。

狼牙棒_·2024-09-03 14:37

儿子放假第三天，我快被逼疯了

单词表，短

榆木虫·2024-09-01 07:49

【ShuQiHere】“从 One-Hot 到 GPT：窥探词表示技术的演变”

而词表示（WordRepresentation）正是解决这个问题的基础技术。

ShuQiHere·2024-08-25 08:06

不自伤（723）

不像英语，每个单词表达的意思很精准，所以，翻译成英语的唐诗，不但没有朦胧的美感，而且读不出一点趣味。如

烽火煤·2024-08-25 02:30

每日一词 factor in

这大概是截至目前最不会这么用的一个词组factor”作为名词表示“因素”，作动词它有一个很灵活的动词短语：factor(something)in，意思是“将......考虑进去”。

Beryl_latte·2024-08-25 00:25

行走在布拉格的脚步

记得尼采说过～当我想以一个词表达音乐时，我找到维也纳，而当我想用一个词来表达神秘的，我只想到了布拉格～歌德也曾说过布拉格是最美的城市。

老穆N·2024-08-24 00:04

共读营第7天学习

〖从怕学习到爱学习〗复盘章节：2.1何为逻辑思维[爱心]我是：姚秀风✅〖新知〗一：自查孩子是否缺乏逻辑思维，从三个方面观察：1.观察孩子描述事物时是不是总用单一的词表述，有词汇匮乏的表现？

遇见很好的自己·2024-08-23 07:21

hive sql实现查找商品表名称中包含敏感词的商品

背景用户上传的商品表一般会包含商品名称，由于这些商品名称是用户自己起的，里面可能包含了敏感词，需要通过sql找出来哪些商品的商品名称包含了敏感词汇hivesql实现查找商品表名称中包含敏感词的商品实现思路：1.商品表和敏感词表进行

lixia0417mul2·2024-03-24 03:50

《那么慢，那么美:三生三世里的宋词》读后感

这是一个文盛武衰的朝代，一个没有唐代的繁华，却也更加深情柔美的朝代，这是一个英雄与美人同在，同情与悲伤同存，无论高低贵贱，每一个宋人都以宋词表达酸甜哀乐。也更具有散漫的朝代——宋朝。

我要做白日梦·2024-02-20 20:22

【汉字词表】记韩语单词其实很简单

我们都知道，韩语中的汉字词能多达60%以上（大概数据），所以掌握好汉字词，并且理解汉字词是我一直强调的。读句子要有语感，背单词要有词感！下面我根据《标准韩国语》给大家整理了一下常用的汉字词词根！原汉字有可能繁体字，为了方便理解我均已转换成简体字，如有不严谨情况，可以私信留言告知。因为工程量比较大，下文非完整版，我会一边整理一边发布，大家可以先收藏着吧~（因为单词有两个或两个以上的字组成，所有会有重

七七学韩语·2024-02-20 16:00

背单词的一些思考我不是针对谁，我是说在座各位...

不管你是拿一个四级六级GRE的词表来，还是有各种语音，例句，图片，乃至视频辅记手段的卡片，都是看英文，背中文意思

我在想想·2024-02-20 14:34

读仓央嘉措词传

用诗词表达所作所为，没有华丽的词藻，也不引经据典，就用那么些朴实无华的语言写内心真实的感受。读读他的诗句，你会被他的情愫牵动，不知不觉跟着走进丰富多彩的爱情世界。

品一壶春色·2024-02-20 13:14

从零开始学粤语5.7问候词汇解析（1）

：写低se2dai1=写下来记低gei3dai1=记下来留低lau4dai1=留下来坐低co5dai1=坐下来放低fong3dai1=放下来训低faan3dai1=睡下来但是有的“动词+低”这种结构的词表示的意思跟普通话有点不一样

采蘑菇的小Timor·2024-02-19 14:31

快速上手LSTM

-CSDN博客中我们详细叙述了在wordembedding之前我们需要对文本数据进行什么样的处理，现在，基于用所有训练数据构建完词表，我们的文本数据再用普通的前馈神经网络来作为模型是否合适呢？

liaolaa·2024-02-15 08:14

如何处理我们的文本数据成构建词表

我们拿到在拿到一堆语料数据，或者是在网络中爬取下来的文本数据如何处理成为模型能够训练的数据呢？这里有我们先经过停用词和按字分词的处理之后，得到的问答对文本数据，input_by_word.txt和target_by_word.txt。其中，input_by_word.txt里面存放问题，如下：target_by_word.txt里面存放回答，如下：对应行组成一个问答对（qa_pair）。我们的目的

liaolaa·2024-02-15 08:14

Task6 基于深度学习的文本分类3

基于深度学习的文本分类学习目标了解Transformer的原理和基于预训练语言模型（Bert）的词表示学会Bert的使用，具体包括pretrain和finetune文本表示方法Part4Transformer

listentorain_W·2024-02-15 07:53

自学英语的复盘日志

我在本篇文章中学到的怦然心动的单词compromise3.在本篇文章中我最喜欢的一句话bettergradescomefrombetterunderstanding4.我在学习今天材料中遇到的问题单词记忆量少，要依靠旁边给出的单词表来理解文章

旅二46闫祎倬·2024-02-14 09:24

使用word2vec+tensorflow自然语言处理NLP

Word2Vec可以将单词表示为高维空间中的向量，使得具有相似含义的单词在向量空间中距离较近。这种向量表示可以用于各种自然语言处理任务，如语义相似度计算、文本分类和命名实体识别等。

取名真难.·2024-02-14 05:18

使用Word Embedding+Keras进行自然语言处理NLP

目录介绍：one-hot：pad_sequences:建模:介绍：WordEmbedding是一种将单词表示为低维稠密向量的技术。它通过学习单词在文本中的上下文关系，将其映射到一个连续的向量空间中。

取名真难.·2024-02-14 05:18

word2vec工具学习笔记

网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示

适说心语·2024-02-13 11:42

每日一词 35 appeal

也表示“吸引力，感染力，魅力”，相当于attraction,morepopular.appeal前面加形容词表示某一方面的吸引力，commercial/visual/aestheticappeal例句:

你好Ruby·2024-02-13 04:26

强量

强量按表面的意思可以理解为～这个人有强大的力量，这股力量可以震撼到身边的人，再仔细分析一下“强量”这个词的内在涵义，其实“强量”这个词表现出一个人由内而外带给大家的一种力量，那就是坚强，乐观，笑对人生的态度

z风清云淡·2024-02-13 00:45

考研124

背了1575的1个半的单词表。原来是打算背两个单词表，把昨天的一块补上的。在机场等待的2个多小时背完了单词表2；在飞机上则用了一个多小时勉强背完了单词表3的一半。

懿狼说·2024-02-12 09:29

作业9：少有人走的路—成长与宗教

难点在案例的关键词表达上，我用了“病、成熟”等去形容三个人。科学宗教与信仰（信上帝），这部分我能分得清楚，就是

卓均·2024-02-11 21:35

【海滨的清晨复盘129】关于情绪

用形容词表达当前的心情，如生气、焦虑、忧伤或开心、惊喜等。孩子表达不出来，家长说出几个

L海滨·2024-02-11 08:44

Finetune时更改tokenizer词表

由于模型训练的需要，当前词表对分词操作不理想，因此选择修改tokenizer词表～在special_tokens中添加不想被拆分开的单词或者文字special_tokens=[]withopen("待添加词所在文件

Alicesla·2024-02-09 19:20

MySQL进阶45讲【16】如何正确地显示随机消息？

假设一个英语学习App首页有一个随机显示单词的功能，也就是根据每个用户的级别有一个单词表，然后这个用户每次访问首页的时候，都会随机滚动显示三个单词。他们发现随着单词表变大

吴名氏.·2024-02-08 00:12

Linux系统安全加固指南（万字长文）

以“$”符号开头的单词表示一个变量，不同终端之间可能会有所不同。—1—选择正确的Linux发行版选择一个好的Linux发行版有很多因素。避免分发冻结程序

架构文摘·2024-02-07 16:43

每日宋词13:《金明池》

从古至今，关于暮春的诗灿若繁星，通过描述暮春的景，如天高云阔，春潮急流，燕飞蝶舞，朱门映柳，触景生情，借用愁、怨、恨、悔、惊、思等词表达忧伤惋惜。《金明池》天高云阔，溪横水远，昨日寒生轻晕。

爱笑的77呀·2024-02-07 16:16

字典树进行大数据次数的统计

1、给出n个单词和m个询问，每次询问一个单词，回答这个单词是否在单词表中出现过，以及出现的次数。如果内存可以存储下，可以直接使用hashmap进行处理，key存储当前的单词，value存储出现的次数。

Tim在路上·2024-02-07 13:25

赋新表

吾尝习文，诗词表赋，皆有所猎，泼墨乘兴，执笔随情，无一家之格致，仿先哲之诗情。积木成楼，似有所悟，惶恐不怠，书以记之；吾少览诗文，但思之甚深，以文记情，以备他日寻也。

夏天的沉思·2024-02-07 09:07

2021-11-03

5.ppt创设情境引导学生看图运用目标单词表达。6.巩固再领读。句子的处理

2fdc81a1d398·2024-02-07 08:57

“摸牛”or“卖牛”

一天晚上，我给他辅导英语，翻到课本后面的生词表，让他读，那些已经学过的单词竟读不出

纪尚凯·2024-02-06 03:44

推荐频道

词表