文本处理

LLMs模型选择，LLMs复读机问题，LLMs长文本处理方案

为什么会出现LLMs复读机问题？LLMs复读机问题（LLMsParrotingProblem）是指大型语言模型（LLMs）在生成文本时可能出现的重复或重复先前输入内容的现象。出现LLMs复读机问题可能有以下几个原因：数据偏差：大型语言模型通常是通过预训练阶段使用大规模无标签数据进行训练的。如果训练数据中存在大量的重复文本或者某些特定的句子或短语出现频率较高，模型在生成文本时可能会倾向于复制这些常见
lichunericli·2024-02-12 19:26

正则表达式与正则可视化工具：解密文本处理的利器

正则表达式与正则可视化工具：解密文本处理的利器引言在计算机科学和软件开发领域，正则表达式是一种强大而灵活的文本处理工具。然而，对于初学者来说，正则表达式的语法和规则可能会显得晦涩难懂。
qcidyu·2024-02-12 17:26

正则表达式与正则可视化工具：解密文本处理的利器

引言在计算机科学和软件开发领域，正则表达式是一种强大而灵活的文本处理工具。然而，对于初学者来说，正则表达式的语法和规则可能会显得晦涩难懂。
qcidyu·2024-02-12 17:55

Hadoop：认识MapReduce

它适用于那些可以分解为多个独立子任务的计算密集型作业，如文本处理、数据分析和大规模数据集的聚合等。
爱写代码的July·2024-02-12 06:41

Linux CentOS7 awk的反转功能

AWK是一种强大的文本分析工具，在Linux系统中常用于文本处理。然而，AWK本身并没有直接的反转功能，它能做的是通过一些编程技巧来实现文本或字段的反转。
·2024-02-11 18:56

揭秘神秘的字符串匹配工具——正则表达式

它能够以特定的模式匹配字符串，从而实现自动化文本处理。在许多编程语言中，正则表达式都被广泛用于文本处理、数据分析、网页抓取等领域。通过正则表达式，我们可以精确地筛选、操作和格式化文本，提高工作效率。
·2024-02-11 17:22

Windows下Python安装及pycharm，pip下载和安装第三方库

Python是方便的编程语言，基于其的文本处理工具非常方便。
雨林课堂·2024-02-09 23:53

使用embedding实现简单的内容查找

其作用是将文本处理成一个张量。思路通过将一个待查找文本使用分词器划分，然后使用embedding处理成张量。询问者输入问题也被处理一个张量此时进行匹配，程序将相似文本返回。在e
南子大帅哥·2024-02-08 17:09

vue element-ui中的this.$notifiy()中的message，怎么让里面的变量用换行符分开

$notify()默认将message属性作为纯文本处理，我们需要通过设置dangerouslyUseHTMLString属性为true来告诉ElementUI的消息内容是HTML字符串，这样HTML标签才会被正确解析
东方文艺复兴·2024-02-08 16:32

Python与自然语言处理库Gensim实战

同时它还提供了许多文本处理的功能，比如文档相似度计算和主题建模等。二、安装Gensim在安装Gensim
心梓知识·2024-02-08 11:17

源码与tarball软件安装

使用filefile/bin/bash那么我们如何做出二进制程序：首先使用文本处理器写程序，如vim，写完的程序就是所谓的源代码。
夏夏LJ·2024-02-08 03:39

学习笔记：正则表达式

正则表达式是文本处理方面功能最强大的工具之一。正则表达式语言用来构造正则表达式，最终构造出来的字符串就称为正则表达式，正则表达式用来完成搜索和替换操作。
manmanbab·2024-02-07 07:06

Java Character源码剖析

Character类除了封装了一个char外，还封装了Unicode字符级别的各种操作，是Java文本处理的基础。下面结合源码分析Character的贡献。
洒水水儿·2024-02-07 02:54

精通Python中的正则表达式

tab=BB08J2正则表达式是一种强大的文本处理工具，广泛应用于字符串搜索、替换、验证等多种场景。Python通过内置的re模块提供了对正则表达式的支持。
web安全工具库·2024-02-06 20:16

机器学习简要概述

机器学习+数据库=数据挖掘+工业应用=模式识别+图像处理=机器视觉+语音处理=语音识别+文本处理=自然语言处理二、数据集及模型数据集的划分：方法：
@Duang~·2024-02-06 19:03

css浮动

不会像行内块一样被当做文本处理（没有行内块的
Muko_0x7d2·2024-02-06 14:55

【OCR软件进化史】文字、表格、公式图片识别并与ChatGPT交互

第1年由于日常工作需要大量的文本处理，身为一个全栈pythoner是绝不允许手动复制粘贴。
civilpy·2024-02-06 12:14

精通Python中的正则表达式

tab=BB08J2正则表达式是一种强大的文本处理工具，广泛应用于字符串搜索、替换、验证等多种场景。Python通过内置的re模块提供了对正则表达式的支持。
web安全工具库·2024-02-06 08:08

python开发com组件_Python生成COM组件(原创)

经过一段对的使用，发现它确实是一门比较优秀的语言，语法简练，类库丰富且调用简单，在数据库，文本处理，网络编程方面都很棒。
weixin_39968724·2024-02-06 05:38

自然语言处理中所有任务的概括

NLP的发展为我们提供了许多强大的工具和技术，使得计算机能够执行各种任务，从简单的文本处理到复杂的语义理解。在本文中，我们将探讨自然语言处理可以完成的多个任务，以及每个任务的实际例子。
茫茫人海一粒沙·2024-02-06 02:04

shell中正则表达式

在Linux中，grep，sed，awk等文本处理工具都支持通过正则表达式进行模式匹配示例1：匹配passwd中所有包含atguigu的行。
看山不是山a·2024-02-05 23:07

正则表达式

正则表达式在文本处理中相当重要，各大编程语言中均有支持，但可能使用起来有细微的差别，该学习笔记中元字符介绍一节不特定于某一个编程语言，旨在简要描述正则本身的基本用法。    
sinat_26916241·2024-02-05 23:58

NLTK：一个先进的用来处理自然语言数据的Python程序。

它提供了易于使用的接口，通过这些接口可以访问超过50个语料库和词汇资源（如WordNet），还有一套用于分类、标记化、词干标记、解析和语义推理的文本处理库，以及工业级NLP库的封装器和一个活跃的讨论论坛
遗忘_eea2·2024-02-05 13:36

Swift实现富文本

在做搜索的时候，我们需要把搜索的关键字全部都进行高亮处理，这个时候就需要用到富文本处理。
何以消摇·2024-02-04 12:19

Python开发常用的库汇总，附官网链接

文章目录前言环境管理包管理包仓库分发构建工具交互式解析器文件日期和时间文本处理特殊文本格式处理自然语言处理文档配置命令行工具下载器图像处理OCR音频Video地理位置HTTP数据库数据库驱动ORMWeb
python零基础入门小白·2024-02-04 11:58

数据集

从文本处理到自动驾驶：机器学习最常用的50大免费数据集机器之心百家号06-1821:11机器学习领域里有哪些开放数据集？
一大白一·2024-02-04 00:43

c#中regex的命名空间_C#正则表达式Regex类使用

作为文本处理的利器——Perl语言对正则表达式的最强大支持起到了重要的作用，正因为如此，许多其他语言在加入正则表达式引擎的时候都会或多或少的兼顾perl风格的正则表达式，开发出相应的引擎。
医学生彼得·2024-02-03 10:23

正则表达式与文本处理工具

目录引言一、正则表达式基础（一）字符匹配1.基本字符2.特殊字符3.量词4.边界匹配（二）进阶用法1.组与引用2.选择二、命令之-----grep（一）基础用法（二）高级用法三、命令之-----sed（一）基本用法1.打印功能2.插入内容（二）查找替换（三）变量（四）高级用法四、命令之-----awk（一）基本介绍（二）基本用法（三）变量（四）正则匹配（五）lineranges：行范围（六）条件判
hy199707·2024-02-03 10:49

【自然语言处理】P2 PyTorch 基础 - 张量

拥有强大的工具和库生态系统，包含TorchVision（用于图像处理）、TorchText（用于文本处理）、TorchAudio（用于音频处理）等。
脚踏实地的大梦想家·2024-02-03 07:45

【高效运维】可以解决日常99%的问题，能用到退休的 600条 Linux 命令

3、文件和目录4、文件搜索5、挂载一个文件系统6、磁盘空间7、用户和群组8、文件的权限9、文件的特殊属性10、打包和压缩文件11、RPM包12、YUM软件包升级器13、DEB包14、查看文件内容15、文本处理
阿寻寻·2024-02-02 17:03

掌握AWK：文本处理的瑞士军刀

作为文本处理的瑞士军刀，AWK通过强大的模式匹配、条件语句和数学运算，让您在处理文本数据时犹如行云流水。快速学习AWK基本语法，为您的数据处理任务注入高效利器。
技术蜜糖罐·2024-02-02 12:18

Linux ---- Shell编程三剑客之AWK

AWK是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作。用来处理列。数据可以来自标准输入也可以是管道或文件。
AH努力中·2024-02-02 12:28

awk 文本处理工具三剑客

一、什么是awk1.1awk基本概念awk（语言）：读取一行处理一行是一个功能强大的编辑工具，逐行读取输入文本，默认以空格或tab键作为分隔符作为分隔，并按模式或者条件执行编辑命令。而awk比较倾向于将一行分成多个字段然后进行处理。AWK信息的读入也是逐行。1.2awk的格式awk[选项]‘模式条件{操作}’文件1文件2...awk-f|-v脚本文件文件1文件.....1.3工作原理前面提到sed
Linux学龄前儿童·2024-02-02 10:05

Shell 入门_4

编辑文件增删改查使用awk对文件分析使用sort对文件进行字符串或数字或多列排序能够理解场景面试题Shell好用的工具：cut目标使用cut可以切割提取指定列\字符\字节的数据介绍cut译为“剪切,切割”,是一个强大文本处理工具
萧曵 丶·2024-02-02 04:45

CentOS 文本处理

文本处理基本文本处理工具列拼接并打印输出：cat-nfile1file2(将文件内容拼接输出并显示行号)行拼接并打印输出：pastefile1file2按行合并两个文件内容并打印输出paste-d%file1file2
10点睡7点起·2024-02-02 01:19

【Linux】600条最强Linux命令总结—— 干货满满！！！

文件的权限使用“+”设置权限，使用“-”用于取消9.文件的特殊属性，使用“+”设置权限，使用“-”用于取消10.打包和压缩文件11.RPM包12.YUM软件包升级器13.deb包14.查看文件内容15.文本处理
王果冻ddd·2024-02-01 23:16

Golang学习日志 ━━ Go 常用包整理及介绍

文本处理包括字符串和文本内容的处理，比如字符编码转换等。对应于此分类的包有encoding、bytes、strings、strconv、text、mim
暂时先用这个名字·2024-02-01 19:50

【1】Linux文本处理三剑客---grep命令

一、grep命令选项--color=auto：对匹配到的文本着色显示-v：显示不被pattern匹配到的行-i：忽略字符大小写-n：显示匹配的行号-c：统计匹配的行号，不关心具体是哪些行-o：仅显示匹配到的字符串，有几个字符串就显示几遍-q：静默模式，不输出任何信息，可以搭配echo$?使用显示是否匹配到-A#：after，包含这个字符串的后#行-B#：before，包含这个字符串的前#行-C#：
亲爱的老少女·2024-02-01 18:43

Linux文本三剑客-sed

sed通常用于在命令行中进行文本处理，可以实现搜索、替换、删除、插入等操作。工作流程：seq的工作流程主要包括读取、执行和显示三个过程。
敢敢936·2024-02-01 18:41

Pandas文本处理高阶函数extract + extractall

公众号：尤而小屋作者：Peter编辑：Peter大家好，我是Peter~今天给大家介绍两个Pandas中处理文本数据的函数，主要功能是从文本内容中提取想要的信息：extract+extractallimageextract函数语法说明extract函数的具体使用形式如下，只有3个参数：Series.str.extract(pat,flags=0,expand=None)参数的具体解释为：pat：字
皮皮大·2024-02-01 11:30

Shell脚本之文本处理三剑客——awk

目录一、awk1、awk的基本介绍2、awk的基本格式3、awk的工作原理4、常见的内建变量（可以直接使用）二、awk相关示例1、打印文本内容2、根据$n以及NR提取字段①提取ip地址②提取ipv6的地址3、根据选项-F指定分隔符①打印/etc/passwd所有的用户名②打印多列内容③打印磁盘已经使用情况，去除%④取出文本中的ip地址及时间⑤取出文本中的主机并放回4、根据关键字提取所在行①提取/e
不知名汉堡·2024-02-01 08:00

Elasticsearch：构建自定义分析器指南

这使得文本处理具有高度的灵活性和定制性。正如我们所见，
Elastic 中国社区官方博客·2024-02-01 07:37

【ChatGPT】文本向量化与余弦相似度：揭开文本处理的神秘面纱

1、引言在这个数字化的时代，我们每天都会面对大量的文本信息，从社交媒体到新闻报道，文本无处不在。但是，计算机要如何理解和处理这些文字呢？本文将为大家揭开其中的一些奥秘，详细解释文本向量化的概念，以及通过余弦相似度如何计算文本之间的相似度。说白了，就是把文字、图片或其他东西变成一串数字，然后通过计算这些数字的距离来找相似的东西。这样做有啥好处呢？能够让搜索更快、更准确，而且在很多地方都能派上用场。2
魔道不误砍柴功·2024-02-01 07:01

正则表达式及文本处理三剑客（grep、sed、awk）

目录一、正则表达式1、正则表达式的概述1.1正则表达式的概念和作用1.2正则表达式支持的语言1.3正则表达式的优缺点1.4正则表达式的分类1.4.1基本正则表达式（BRE）：1.4.2扩展正则表达式（ERE）：1.4.3区别1.5帮助命令2、基础正则表达式2.1字符匹配2.1.1元字符点2.1.2字符组2.2匹配次数2.3位置锚定2.4分组或其他2.4.1分组2.4.2或者2.4.3非打印字符3、
十七拾·2024-02-01 04:15

【linux】文本处理命令-grep、awk、sed使用（1）

作用：grep数据查找定位awk数据切片sed数据修改类比SQL：grep=select*fromtableawk=selectfieldfromtablesed=updatetablesetfield=newwherefield=old一、grep1.1grep*Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。linux使用GNU版
穿山甲yyds·2024-01-31 21:09

flashtext，一个超酷的 Python 库！

Github地址：https://github.com/vi3k6i5/flashtext文本搜索和替换是文本处理中常见的任务，无论是在文本分析、数据清洗还是信息提取方面，都需要有效的工具来处理文本数据
程序媛了了·2024-01-31 15:05

linux获取匹配部分内容,Linux文本处理三剑客之grep

原标题：Linux文本处理三剑客之grep我们写脚本的时候，经常要截取命令输出的某项数据，比如：我要知道主机上有多少块硬盘这是很方便的。
Ai2clear·2024-01-31 15:36

linux找文本指定内容后删除所在行,Linux 文本处理 命令

感谢Linuxcast,感谢苏勇(nash_su)老师!文件浏览cat查看文件内容more以翻页形式查看文件内容(只能向下翻页)less以翻页形式查看文件内容(可以上下翻页)head查看文件的开始10行(或指定行数)tail查看文件的结束10行(或指定行数)这部分内容前面已经学过，这里只是做一下回顾。基于关键字进行搜索grep命令名称：grep命名所在路径：/bin/grep执行权限：所有用户语法
观透·2024-01-31 15:05

Linux文本处理三剑客

grepawksed是Linux下文本处理常用的命令，这篇笔记就是详细阐述文本三剑客的用法。
旺仔OO糖·2024-01-31 15:03

linux 文本处理

grep过滤格式：grep[选项]...查找条件目标文件选项-m匹配m次后停止grep-m1root/etc/passwd#多个匹配只取第一个-v取反-i忽略大小写-n显示匹配的行号-c统计匹配的行数-o仅显示匹配到的字符串-q静默模式不输出任何信息一般用于脚本-A打印后指定行-B打印前指定行-C前后各指定行-e实现多个选项间逻辑or关系grep-eroot-ebash/etc/passwd#包含
...emmm?·2024-01-31 15:31
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他