mindmanager切分

rag-给一篇几百页的pdf，如何从中找到关键信息并汇总出关系图

小思考对pdf肯定要做模糊chunk，能用模型切分就用模型切分，不能用模型就用规则，规则要尽可能保存连续文本，特殊数据格式（图、表格）必须完整保存，必须能被捕捉到。
蒸土豆的技术细节·2025-03-21 09:20

jieba库词频统计_jieba分词器（应用及字典的补充）及文档高频词提取实战

1、jieba分词器的分词模式jieba分词器提供了三种常用的分词模式1、精确模式：将句子按照最精确的方法进行切分，适合用于进行文本分析；2、全模式：将句子当中所有可以成词的词语都扫描出来，分词速度很快但容易产生歧义
袁圆园建建·2025-03-21 09:16

2020年第十一届蓝桥杯python组省赛

前言：python最简单的一套题了，适合小白入门练手目录填空题门牌制作寻找2020跑步锻炼蛇形填数排序编程大题成绩统计单词分析数字三角形平面切分装饰珠填空题门牌制作题目：小蓝要为一条街的住户制作门牌号。
Ruoki~·2025-03-21 01:47

Dify知识库构建流程及示例

2.文本分块固定长度分块：按字符或Token数切分，简单高效。语义分块：基于句子边界或主题分割（如NLP模型识别段落主旨）。重叠策略：相邻块间部分重叠，避免上下文断裂。
cqbelt·2025-03-19 14:54

Megatron-LM训练框架和Deepspeed训练框架最主要的异同和优劣是什么

张量并行通过切分模型层（如注意力头、MLP块）到不同设备，利用NVLink高速通信提升效率。流水线并行将不同层分配到不同设备，通过P2P通信协调。
强化学习曾小健·2025-03-19 09:15

Flink流式计算系统

一、发展背景1.1数据处理架构在流处理器出现之前，数据处理架构主要由批处理器组成，其是对无限数据的有限切分，具有吞吐量大、数据较为准确的特点。
xyzkenan·2025-03-18 07:13

XGBoost算法的相关知识

文章目录背景定义损失函数（1）原始目标函数Obj（2）原始目标函数Obj的泰勒展开（3）具体化目标函数的泰勒展开细节（4）求解目标函数中的wjw_jwj最优切分点算法基于分桶的划分策略正则化模型复杂度Shrinkage
VariableX·2025-03-18 01:46

大模型架构记录7-langchain

一个项目可能会包括：调用多个不同的大模型（gpt4,视频生成...)向量数据库数据类型（读取，trunk的切分...)langchain是面于大模型开发的框架
处女座_三月·2025-03-15 08:07

Milvus 本地Ollama向量化markdown文件

所用的切分方法是langchain中自带的markdown按照标题切分，且带有标题的metadata，非常清晰。但是用langchain提供的milvu
慌雨·2025-03-15 02:17

如何合理拆分微服务

它要求我们从业务领域出发，将高度聚合、密切相关的功能抽离成单独服务，避免粗放的“大而全”式切分。在实际落地时，应当以业务语义、数据交互频率等为出发点，力求服务粒度既不会过细导致管理成本飙升，
·2025-03-14 22:39

C# JIEBA.NET分词器开发指南

它的核心功能是将连续的中文文本切分成有意义的词语（分词），并支持关键词提取、词性标注等功能。
老胖闲聊·2025-03-14 15:12

声音克隆一键本地化部署 GPT-SoVITS

文章目录GPT-SoVITS介绍1：GPT-SoVITS安装2：GPT-SoVITS使用2.1人声伴奏分离，去混响去延时工具2.2语音切分工具2.3语音降噪工具2.4中文批量离线ASR工具2.5语音文本校对标注工具
博客胡·2025-03-12 18:48

golang mysql分表_go分库分表 主从分离例子

网上有很多介绍分库分表的文章，方法很多：```分区表切分垂直切分水平切分区间切分取模切分```这里不细说分库分表简单，但后期会带来一系列的难题：```事务Join分页```**数据库：**```master
连根塞·2025-03-05 04:26

基于规则的分词

找到匹配的字符串则切分，不匹配则减去边缘的某些字符。从头再次匹配，直至匹配完毕或者没有找到词典的字符串而结束。基于规则分词主要方法如下。正向最大匹配法（MaximumMatchMethod，MM法）。
李昊哲小课·2025-03-05 01:24

[2020蓝桥杯省B，C++]平面切分——[思维、平面几何]

/****我们知道新加的直线在原图中经过n个面，就会新增n个面。新增的直线与原图中的线共交于m个点，那么该新增直线经过m+1个平面。****/#includeusingnamespacestd;//用于去重操作set>dr;longn,a,b;doubleA[1000],B[1000];intmain(){cin>>n;//①输入与去重for(inti=
「已注销」·2025-03-04 03:40

蓝桥杯2020年第十一届省赛真题-I题-平面切分详细注释

原题链接2873.平面切分-AcWing题库https://www.acwing.com/problem/content/description/2876/代码#include#include//stl
shan1956·2025-03-04 03:08

打卡信奥刷题（692）用C++信奥P8720[普及组/提高] [蓝桥杯 2020 省 B2] 平面切分

[蓝桥杯2020省B2]平面切分题目描述平面上有NNN条直线,其中第iii条直线是y=Ai⋅x+Biy=A_{i}\cdotx+B_{i}y=Ai⋅x+Bi。请计算这些直线将平面分成了几个部分。
Loge编程生活·2025-03-04 03:37

蓝桥杯2020省B组——平面切分（找规律）

P8720[蓝桥杯2020省B2]平面切分-洛谷|计算机科学教育新生态(luogu.com.cn)关于此题规律，题解很详细。
小星星子·2025-03-04 02:35

P8720 [蓝桥杯 2020 省 B2] 平面切分--set、pair

P8720[蓝桥杯2020省B2]平面切分--set、pair题目分析一、pair1.1pair与vector的区别1.2两者使用场景两者组合使用二、set2.1核心特点2.2set的基本操作2.3setvsunordered_set
滨HI0·2025-03-04 02:04

轻松加载PDF、切分文档、向量化存储，再到智能问答

Java如何玩转大模型编排、RAG、Agent？？？在自然语言处理（NLP）的浪潮中，LangChain作为一种强大的模型编排框架，已经在Python社区中广受欢迎。然而，对于Java开发者来说，能否有一个同样高效、灵活的工具来实现类似功能？答案是肯定的！今天，我们将聚焦J-LangChain——一个专为Java打造的LangChain实现，带你探索如何用Java语言轻松构建从PDF处理到智能问答
花千树-010·2025-03-01 22:42

数据库必知必会系列：数据库分片与分布式事务

1.背景介绍分库分表分片集群分布式事务数据迁移2.核心概念与联系主从复制活动复制CAP原则BASE理论3.核心算法原理和具体操作步骤以及数学模型公式详细讲解分库分表水平分表垂直分库分片集群垂直拆分水平切分垂直切分水平拆分根据主键范围根据业务字段划分分布式事务两阶段提交协议三阶段提交协议可靠消息最终一致性
AI天才研究院·2025-03-01 03:51

Objective-C实现NLP中文分词（附完整源码）

Objective-C实现NLP中文分词实现中文分词（NLP中的重要任务之一）在Objective-C中需要处理文本的切分和识别词语边界。
源代码大师·2025-02-27 23:15

mycat 分布式mysql_MySQL 部署分布式架构 MyCAT (五)

如果你的业务中有些数据类似于数据字典，比如配置文件的配置，常用业务的配置或者数据量不大很少变动的表，这些表往往不是特别大，而且大部分的业务场景都会用到，那么这种表适合于Mycat全局表，无须对数据进行切分
weixin_39782573·2025-02-27 12:19

初识hadoop

客户端程序就开始找相应的nn，将相应的block块存进去（切分是由客户端切分的）。关于副本客户端在存入数据的时候只是将数据块block0存入相应的机器，然后由被存入的机器（nn）
西门吹水之城·2025-02-26 12:45

分表分库

分表分库（Sharding）是一种常用于处理大量数据的技术手段，它的目的是通过将数据水平切分成多个小的部分来提高数据库的性能、可扩展性和可维护性。
·2025-02-25 20:46

ATB概念之：算子tiling

在深度学习框架中，算子tiling可以应用于不同的场景：内存优化：通过将大的张量切分成更小的部分，
·2025-02-24 23:48

当你给大模型一段输入之后，它是怎么得到答案的

切分知识点：模型会把这句话拆解成词汇单元（比如：“太阳”“为什么”“东”“升”“西”“落”），就像你背单词时先拆解句子。
牛不才·2025-02-23 19:37

autok3s搭建k3s ha集群并支持gpu调度

本文描述了如何利用autok3s搭建k3s集群，同时支持对gpu的调用和切分。
StevenforAI·2025-02-21 12:34

代理IP服务如何优化AI大模型训练的分布式计算效率

场景一：数据采集与分发的“高速公路”分布式训练的第一步是将海量数据切分到不同计算节点。假设某团队要训练法律文书解析模型，需从20个省级法院网站抓取判例。如果所有
·2025-02-20 21:33

Jieba分词算法应用

Jieba提供了以下几种主要的分词模式：精确模式：尽可能准确地切分句子，适合用于文本分析。全模式：将句子中所有可能的词语都切分出来，适合用于搜索引擎。
C嘎嘎嵌入式开发·2025-02-18 17:03

AI大模型应用开发实践：3.使用 tiktoken 计算 token 数量

和一种编码方式（例如，"cl100k_base"），分词器可以将文本字符串切分成一系列的token（例如，["t","ik","token","is","great","!"]）。
Hugo_Hoo·2025-02-18 03:41

【科普】大模型应用中一个 Token 占多少汉字？答案超乎想象！

先说答案：不同模型可能采用各自的切分方法，因此，一个Token所对应的汉字数量也会有所不同。
大模型.·2025-02-16 19:53

软件架构设计分层架构与 PO、VO、DTO、BO、POJO、BO/DO、DAO

架构始于建筑，是因为人类发展（原始人自给自足住在树上，也就不需要架构），分工协作的需要，将目标系统按某个原则进行切分，切分的原则，是要便于不同的角色进行并行工作。
s_nshine·2025-02-16 00:08

python判断数据和excel中是否相等_对比Excel学习python数据分析-学习笔记4

一对一替换多对一替换多对多替换参考一列数值进行排序参照有缺失值的列排序参考多数值列排序数值排名删除列删除行删除特定列行数值计数唯一值获取数值查找区间切分插入新的行或列行列互换索引重塑长宽表转换apply
re1key·2025-02-15 13:36

力扣LeetCode139.单词拆分及Python源码实现

本来是完成一个项目中一个问题：给定一个字符串和词典将它进行切分，且切分的每个词语都要是词典中的单词，问一共有多少种不同的切分方法。
一只特立丶独行的猪·2025-02-11 09:00

jieba库的使用

中文文本需要分词获得单个的词语分词依靠中文词库，确定汉字之间的关联概率除了分词，用户还可以添加自定义的词组；精确模式：把文本精确分开，不存在冗余模式全模式：把文本中所有可能的词语都扫描出来，有冗余搜索引擎模式：在精确模式的基础上，对长词再进行切分
褐色的勺吷2025-02-11 04:52

k折交叉验证（k-fold Cross-validation）

交叉验证，顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。
向大厂出发·2025-02-11 03:43

python --jieba 分词

jieba库的使用jieba库分词有3种1.精确模式：一段文本精确地切分成若干个中文单词，若干个中文单词经过组合，精确还原原先地文本，不存在冗余单词。2.全模式：一段文本种所有可能出现地词语都扫描
好好学习的顾顾·2025-02-10 14:38

分库分表详解

分库分表确实有垂直切分和水平切分两种，针对给出的描述，以下是对这两种切分方式的详细分析和验证：垂直切分描述：将表按照功能模块、关系密切程度划分出来，部署到不同的库上。
HUNAG-DA-PAO·2025-02-09 07:02

doris：MySQL Load

一般来说，可以使用MySQLLoad导入10GB以下的文件，如果文件过大，建议将文件进行切分后使用MySQLLoad进行导入。MySQLLoad可以保证一批导入任务的原子性，要么全部导入成功，
向阳1218·2025-02-09 02:51

在线免费 HTML 预览导出为图片，并且支持水平切割

https://houbb.github.io/tools/html-preview.html创作背景有时候希望给一段html导出为长度，或者水平切分，感觉人工比较麻烦，就想着实现一个。
·2025-02-08 06:32

在线免费 HTML 预览导出为图片，并且支持水平切割

https://houbb.github.io/tools/html-preview.html创作背景有时候希望给一段html导出为长度，或者水平切分，感觉人工比较麻烦，就想着实现一个。
·2025-02-08 02:29

第十章：大内存的申请和释放

目录第一节：函数修改1-1.ConcurrentAlloc.h1-2.Common.h1-3.PageCache.cpp第二节：测试第三节：结语大内存的思路是将其以一页为对齐数，申请一个为切分的span
转调·2025-02-03 11:34

python多线程怎么写日志_Python日志记录在多进程下的使用

1、问题描述项目中，使用RotatingFileHandler根据日志文件大小来切分日志。设置文件的MaxBytes为1GB，backupCount大小为5。
可以不是真名·2025-02-02 18:48

hdfs的读写流程

1.hdfs写数据面试回答方式1、客户端向NameNode发起上传请求2、NameNode进行权限检查，如果没有问题，返回可以上传通知3、客户端将文件切分多个block，并上传第一个block，NameNode
披星戴月的蝈蝈·2025-01-30 13:35

华为OD机试 - 中文分词模拟器（Python/JS/C/C++ 2024 D卷 100分）

例如“ilovechina”，不同切分后可得到“i”,“love”,“china”。标点符号不分词，仅用于断句。词库：根据常识及词库统计出来的常用词汇。
哪 吒·2025-01-29 12:41

Kafka 日志存储 — 日志索引

1.1日志分段切分的条件日志分段文件
黄名富·2025-01-26 06:20

KT学算法（二）——循环有序数组查找指定元素

问题分析对于循环有序数组，一种简单的定义是：循环有序数组是将一个有序数组切成两段，并交换位置得到引用块内容比如现将1,4,6,9,12,16,18,20,41,100在9和12处切分，得到两段:1,4,6,9
bestswifter·2025-01-25 06:12

openresty+lua实现实时写kafka

一.背景在使用openresty+lua+nginx+flume，通过定时切分日志发送kafka的方式无法满足实时性的情况下，小编开始研究openresty+lua+nginx+kafka实时写kafka
sky@梦幻未来·2025-01-25 04:28

MySQL 分库分表方案

前言公司最近在搞服务分离，数据切分方面的东西，因为单张包裹表的数据量实在是太大，并且还在以每天60W的量增长。
·2025-01-23 22:31
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他