中分分词

本地运行stable-diffusion3.5

本地运行stable-diffusion3.5本地运行stable-diffusion3.5准备工作下载ComfyUI和需要的模型文件需要下载以下几类SD3.5文件启动ComfyUI启动在工作流中分别选中三个
wisfy_21·2025-02-21 12:08

PHP搜索引擎WindSearch，新增Faker伪数据生成功能

WindSearch是一个基于中文分词，由纯PHP开发全文检索引擎，可快速搭建PHP站点的站内搜索，他没有任何繁琐的安装配置、不需要维护调优、不占用服务器内存、可与PHP项目完美融合在一起。
·2025-02-20 17:17

java 实现TextRank算法提取文章摘要

使用TextRank实现文章摘要提取具体步骤如下：寻找文章中的关键句子：首先需要分割出文章中的句子，可以使用分词库将文章拆分成句子，然后使用TextRank算法找到文章中与主题相关的句子，这些句子通常包含有标题
melck·2025-02-20 17:39

资本资产定价模型（CAPM, Capital Asset Pricing Model）通俗解析

它帮助我们理解不同资产的风险与回报之间的关系，以及如何在投资组合中分配资金以获得最优的回报。今天，我们来一起通俗易懂地探讨一下CAPM模型的原理、公式、以及它的实际应用。CAPM模
阿正的梦工坊·2025-02-19 22:28

自然语言处理NLP 01语言转换&语言模型

目录语言转化方式1.数据预处理（DataPreprocessing）(1)文本清理(2)分词(3)语言特殊处理2.特征提取（FeatureExtraction）(1)词袋模型（BagofWords,BoW
伊一大数据&人工智能学习日志·2025-02-19 22:56

C语言分支语句

C语言中分支语句主要有以下几种：一.ifinta=1;if(2==a)printf("hehe\n);ifelseif(1==a)printf("hehe\n");elseprintf("haha\n"
2401_88435596·2025-02-19 21:24

基于 HanLP 的句子结构分析与关系抽取

HanLP是一款功能强大的中文自然语言处理工具包，提供了丰富的功能，包括分词、词性标注、依存句法分析等。本文将介绍如何使用HanLP进行句子结构分析与关系抽取。
梦落青云·2025-02-19 12:10

【JAVA工程师从0开始学AI】，第二步：从强类型到动态语言：Java工程师的Python语法避坑指南

首先我们看一下下面的Python代码，和具体在java当中分别代表了什么意思numbers=[1,2,3,4,5,6,7,8,9]#①创建数字列表（像Java的ArrayList，但不用写泛型）odd_numbers
架构默片·2025-02-19 01:39

Cesium高级开发教程之四十：分层分户单体化

一、效果图1、单体化定义：将三维场景中的对象从整体中分离出来，使其能够单独进行操作、查询、显示等，比如将一个小区中的每栋楼、每一层、每个房间都作为独立的个体进行处理。
CesiumMaster·2025-02-18 23:11

HarmonyOS Next 应用开发中的分布式能力提升

本文旨在深入探讨华为鸿蒙HarmonyOSNext系统（截止目前API12）中分布式能力相关技术细节，基于实际开发实践进行总结。
·2025-02-18 17:47

Jieba分词算法应用

1.Jieba分词算法简介Jieba是一个用于中文分词的Python库，其核心思想是基于词典和统计模型来进行分词。由于中文文本中没有明显的单词边界，因此分词是中文处理中的一个重要任务。
C嘎嘎嵌入式开发·2025-02-18 17:03

AI大模型应用开发实践：3.使用 tiktoken 计算 token 数量

使用tiktoken计算token数量tiktoken是OpenAI开发的一种BPE分词器。给定一段文本字符串（例如，"tiktokenisgreat!"）
Hugo_Hoo·2025-02-18 03:41

Python：第三方库

pipinstallmatplotlibPIL图像处理pipinstallpillowsklearn机器学习和数据挖掘pipinstallsklearnRequestsHTTP协议访问pipinstallrequestsJieba中文分词
衍生星球·2025-02-16 20:00

【科普】大模型应用中一个 Token 占多少汉字？答案超乎想象！

如腾讯1token≈1.8个汉字，通义千问、千帆大模型等1token=1个汉字，对于英文文本来说，1个token通常对应3至4个字母，不同的模型对相同的输入分词，分词结果是不一样的。
大模型.·2025-02-16 19:53

算法练习|Leetcode49字母异位词分词 ，Leetcode128最长连续序列，Leetcode3无重复字符的最长子串，sql总结

目录一、Leetcode49字母异位词分词题目描述解题思路方法:哈希总结二、Leetcode128最长连续序列题目描述解题思路方法:总结三、Leetcode3无重复字符的最长子串题目描述解题思路方法:双指针法总结
ambitious_Rgr·2025-02-16 16:05

微服务es搜索关键词，实现关键词高亮，来自黑马头条的总结

数据库中查询实现的效果，要求从标题和内容中搜索关键词，然后让关键词高亮步骤ElasticSearch环境搭建索引库创建文章搜索多条件复合查询索引数据同步ElasticSearch环境搭建这些都是死步骤，直接cvik分词器下载地址
菜鸡且互啄69·2025-02-16 15:26

OpenGL ES 文字渲染进阶--渲染中文字体

一文中分别介绍了OpenGL利用Canvas和FreeType绘制文字的方法。无论采用哪种方式进行渲染，本质上原理都是纹理贴图：将带有文字的图像上传到纹理，然后进行贴图。
字节流动·2025-02-16 07:53

golang使用redis实现全文搜索

简介使用redis实现全部文章精确到段落的搜索实现思路文章分段,使用一张表单独记录下段落信息段落分词,把段落划分成词分词后使用有序集合记录到redis中,每个词语后记录含有该分词的段落ID集使用一个哈希键记录下每个段落的分词
千年死缓·2025-02-16 07:52

Oracle DBA日常任务——查杀死锁

Oracle的锁分为两大类，一类就是极为常见的DML事务锁，是为保障数据库系统数据一致性而存在的锁，其中分共享锁、排它锁等，不同的DBMS对这类锁的实现参差不齐；另一大类锁就是DDL级锁，这类锁一般出现在开发或发布时候
薛定谔之死猫·2025-02-15 05:08

WebP2P+自研回音消除：视频通话SDK嵌入式EasyRTC构建高交互性音视频应用

回音消除算法的核心在于从麦克风采集的混合信号中分离出原始语音信号和回声信号，并将回声信号从混合信号中移除。EasyRTC采用的自研算法基于以下几种技术：自适应滤波器：通过实时调整滤波器
Likeadust·2025-02-14 22:10

1.1、Ray-关键概念Key Concepts

这些资源请求被集群调度器用来在整个集群中分配任务，以实现并行执行。参见
MaxCode-1·2025-02-14 20:23

【如何在Apollo中利用JSON/XML/config来减少代码量】

使用JSON和XML等配置文件，可以将很多与代码逻辑无关的配置和行为控制从代码中分离出来，从而减少代码量和复杂性。
勾魂凉皮·2025-02-14 20:48

【Elasticsearch】文本分析Text analysis概述

分析通过分词实现全文搜索：将文本分解成更小的单元，称为词
risc123456·2025-02-14 10:05

【Elasticsearch】token filter分词过滤器

以下是Elasticsearch中常见的分词过滤器（TokenFilter）的详细说明，基于搜索结果中的信息整理：1.Apostrophe•功能：处理文本中的撇号（apostrophe），例如将“O'Reilly
risc123456·2025-02-14 06:40

【Elasticsearch】字符过滤器Character Filters

在Elasticsearch中，字符过滤器（CharacterFilters）是文本分析器的重要组成部分，用于在分词之前对原始文本进行预处理。它们可以对字符流进行转换，例如添加、删除或更改字符。
risc123456·2025-02-14 06:40

回环地址127.0.0.1跟自身IP有什么区别？

自身IP地址：是计算机或设备在网络中分配的实际IP地址（例如，192.168.1.2、10.0.0.5等），用于标识设备在局域网或广域网中的唯一位置。2.从
跟着杰哥学嵌入式·2025-02-14 04:53

前端如何安全存储密钥，防止信息泄露

这样可以将密钥从源代码中分离出来，避免意外泄露。a.前端设置环境变量将密钥作为前端应用的环境变量进行配置。但是直接使用环境变量存储密钥也是很危险的，前端代码可以被任何人查看和修改，这意味着敏感信息可
m0_54804970·2025-02-14 04:18

【Elasticsearch】分词器概述

Elasticsearch分词与神经网络分词的区别Elasticsearch的分词过程产生的是优化用于搜索和检索的语言学分词。这与机器学习和自然语言处理中的神经分词不同。
risc123456·2025-02-13 22:28

Python NLP 自然语言处理

PythonNLP自然语言处理"""基于https://github.com/isnowfy/snownlp$pipinstallsnownlp"""fromsnownlpimportSnowNLP#分词
简简单单OnlineZuozuo·2025-02-13 09:19

C++智能指针使用

智能指针通过使用RAII（资源获取即初始化）的原则，在对象的构造函数中分配内存，在对象的析构函数中释放内存，确保资源的正确释放。
流浪_彩虹·2025-02-12 11:43

Rust基础学习-标准库

要理解这些概念，我们必须首先了解如何在栈和堆中分配和释放内存。栈栈可以被看作一堆书。当我们添加更多书时，我们把它们放在堆叠的顶部。当我们需要一本书时，我们从顶部拿一本。栈按顺序插入值。
Xayla·2025-02-12 07:15

Nacos Python SDK 强势来袭，动态管理大模型 Prompt！

Nacos从0.8.0版本开始就一直参与Python生态建设，努力作为Python生态中分布式微服务发现和配置管理的解决方案一直往前演进。
·2025-02-11 21:46

Nacos Python SDK 强势来袭，动态管理大模型 Prompt！

Nacos从0.8.0版本开始就一直参与Python生态建设，努力作为Python生态中分布式微服务发现和配置管理的解决方案一直往前演进。
·2025-02-11 20:08

LTP/pyltp安装和使用教程

文章目录LTP介绍分句分词加载外部词典个性化分词词性标注命名实体识别NER依存句法分析语义角色标注LTP介绍官网：https://ltp.ai/下载可以到官网的下载专区：https://ltp.ai/download.html
Cachel wood·2025-02-11 19:16

docker pgsql实现pg_jieba全文检索

安装pg_jieba分词器安装依赖工具查看docker运行的所有容器dockerps进入pg数据库容器dockerexec-itpostgres4postgisbash安装必要的工具和依赖apt-getinstall-ygitbuild-essentialcmakelibpq-devpostgresql-server-dev-all
敏捷利齐·2025-02-11 13:05

0 Token 间间隔 100% GPU 利用率，百度百舸 AIAK 大模型推理引擎极限优化 TPS

大模型推理引擎的基本工作模式可以概括为，接收包括输入prompt和采样参数的并发请求，分词并且组装成batch输入给引擎，调度GPU执行前向推理，处理计算结果并转为词元返回给用户。
·2025-02-11 11:44

jieba库的使用

中文文本需要分词获得单个的词语分词依靠中文词库，确定汉字之间的关联概率除了分词，用户还可以添加自定义的词组；精确模式：把文本精确分开，不存在冗余模式全模式：把文本中所有可能的词语都扫描出来，有冗余搜索引擎模式
褐色的勺吷2025-02-11 04:52

python --jieba 分词

jieba库是什么jieba库中文分词第三方库，中文文本需要通过分词获得单个的词语。
好好学习的顾顾·2025-02-10 14:38

LLM 中的 vocabulary 和 embedding vector

这个过程通常分为两个步骤:分词(Tokenization)将输入的自然语言文本按照某种规则分割成一系列的token,可以是单词、子词或者字符等。
Overman..·2025-02-10 04:33

NLP_[2]-认识文本预处理

1文本预处理及其作用2.文本预处理中包含的主要环节2.1文本处理的基本方法2.2文本张量表示方法2.3文本语料的数据分析2.4文本特征处理2.5数据增强方法2.6重要说明2文本处理的基本方法1.什么是分词
闵少搞AI·2025-02-10 03:57

想做 Python 聊天机器人，有什么好用的中文分词、数据挖掘、AI方面的 Python 库或者开源项目推荐

想做Python聊天机器人，有什么好用的中文分词、数据挖掘、AI方面的Python库或者开源项目推荐？在当今数字化时代，聊天机器人已经成为了连接人与机器的重要桥梁。
xiamu_CDA·2025-02-09 20:01

AOP的作用和应用场景

OOP主要关注如何将数据和操作封装在对象中，通过对象之间的交互来实现业务逻辑；而AOP则侧重于将那些贯穿于多个模块的横切关注点（如日志记录、事务管理等）从业务逻辑中分离出来，形成独立的模块进行管理，从而提高代码的可维护性
肘击鸣的百k路·2025-02-09 13:18

MVVM和MVC的区别是什么？

MVVM（Model-View-ViewModel）和MVC（Model-View-Controller）是两种流行的软件架构模式，它们在应用程序中分离关注点，以实现代码的模块化和可维护性。
爱学习的白杨树·2025-02-08 09:19

深入学习Spring

通过IoC，Spring将对象的创建和管理从应用代码中分离出来，由Spring容器负责对象的创建、初始化和依赖注入，使得应用代码更加简洁、可测试和可维护。AO
胡图蛋.·2025-02-08 05:18

Lucene搜索引擎原理与代码实例讲解

Lucene搜索引擎原理与代码实例讲解关键词：搜索引擎,全文检索,倒排索引,查询优化,索引构建,分词,评分器1.背景介绍1.1问题由来在信息爆炸的互联网时代，如何高效地管理和搜索信息成为了一个严峻的挑战
杭州大厂Java程序媛·2025-02-08 04:41

ElasticSearch IK热词自动热更新原理与Golang实现

热更新概述ik分词器本身可以从配置文件加载扩张词库，也可以从远程HTTP服务器加载。从本地加载，则需要重启ES生效，影响比较大。所以，一般我们都会把词库放在远程服务器上。
Go和分布式IM·2025-02-07 20:22

docker安装es及分词器ik

系统是macos，docker是docker-desktop拉取镜像dockerpullbitnami/elasticsearch启动docker镜像dockercreate-e"discovery.type=single-node"\--nameelasticsearch1-p9200:9200-p9300:9300\bitnami/elasticsearch:8.17.1测试是否好使http:
陈墨1234·2025-02-07 20:21

C/C++调试---汇编2

在栈内存中分配的局部变量和参数很容易找到，因为只要函数没有返回，它们通常就不会被破坏。
麦兜c·2025-02-07 07:22

产品经理的人工智能课 02 - 自然语言处理

产品经理的人工智能课02-自然语言处理1自然语言处理是什么2一个NLP算法的例子——n-gram模型3预处理与重要概念3.1分词Token3.2词向量化表示与Word2Vec4与大语言模型的交互过程参考链接大语言模型
平头某·2025-02-07 05:12

LLM知识蒸馏代码讲解及训练实验

参考论文中分类了多个不同的版本，on-policy及off-policy。TRLGKD代码基于trl实现的GKDTrainer，GKDTrainer继承自SFTTrainer，SFTTrainer
淡水，·2025-02-06 18:33
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他