Sphinx中文分词

sphinx索引中关于indexer里的mem_limit配置项的大小限制

今天在进行sphinx索引的时候遇到报错：WARNING:collect_hits:mem_limit=-2097152kbtoolow,increasingto-118752kb，排查后发现是mem_limit
被遗忘的区域·2020-08-21 10:03

自然语言处理之中文分词技术与算法

1正向最大匹配法1.1正向最大匹配（MaximumMatchMethod,MM法）的基本思想：假定分词词典中的最长词有i个汉字字符，则用被处理文档的当前字串中的前i个字作为匹配字段，查找字典。若字典中存在这样的一个i字词，则匹配成功，匹配字段被作为一个词切分出来。如果词典中找不到这样的一个i字词，则匹配失败，将匹配字段中的最后一个字去掉，对剩下的字串重新进行匹配处理。如此进行下去，直到匹配成功，即
墨雨依旧付疏狂Q·2020-08-21 09:27

在python中使用哈工大LTP进行自然语言处理（安装和结果分析）

下载模型文件三、python下的功能实现1.代码参考2.结果说明1.分句2.分词3.词性标注4.依存句法分析5.命名实体识别6.语义角色标注7.语义依存分析四、总结一、LTP介绍语言技术平台(LTP)提供包括中文分词
本咸鱼也有梦想啦·2020-08-21 06:33

Python利用sphinx构建个人博客「文末含shell笔记」

一、基础概念利用sphinx+pandoc+github+readthedocs构建个人博客Sphinx：是一个基于ReStructuredText的文档生成工具，可以令人轻松的撰写出清晰且优美的文档,
weixin_33777877·2020-08-21 06:40

利用Sphinx编写文档

利用Sphinx编写文档1、Sphinx简介和使用理由=================Sphinx是一个用Python语言编写而成的文档编写工具。
weixin_30845171·2020-08-21 06:55

2019-11-19 Python sphinx 编写项目手册

首先点进来的应该都知道sphinx，一个python支持的项目文档框架，使用reStructuredText(.rst)语法规则进行文档编写语法入门点击这里，实验环境python3.7.2venv：Xnip2019
多吃水果少吃肉·2020-08-21 06:33

使用sphinx为python注释生成docAPI文档

sphinx简介sphinx是一种基于Python的文档工具，它可以令人轻松的撰写出清晰且优美的文档，由GeorgBrandl在BSD许可证下开发。
qdPython·2020-08-21 04:38

使用sphinx快速为你python注释生成API文档

sphinx是一种基于Python的文档工具，它可以令人轻松的撰写出清晰且优美的文档，由GeorgBrandl在BSD许可证下开发。
gaoyan0335·2020-08-21 03:16

【文档】使用Sphinx + reST编写文档

0前言写文档是开发人员日常工作中的一项重要内容，除了word之外，我更偏爱使用标记语言(MarkupLanguage)。使用标记语言，可以利用简单、免费的文本编辑器(记事本，vim,emacs...）编写文档并设置格式，再生成html或pdf等格式，或者直接把编辑好的文件传到github或wiki上面，通过浏览器可以直接查看带有格式的文档。目前标记语言主要有两种，Markdown和reStruct
dengdi8115·2020-08-21 03:59

中文分词工具(LAC) 试用笔记

一、背景笔者2年前写过一篇《PHP使用elasticsearch搜索安装及分词方法》的文章，记录了使用ES的分词的实现步骤，最近又需要用到分词，在网上发现一个百度的中文分词项目，中文词法分析（LAC），
汤青松·2020-08-21 03:55

利用Sphinx为项目生成文档

python-VPython3.7.32、查看pip版本查看pip版本C:\Users\Admin>pip-Vpip19.0.3fromd:\python37\lib\site-packages\pip(python3.7)3、安装sphinx
Joohong·2020-08-21 02:22

数据爬虫、词频统计可视化、词云绘制、语句情感审查——飞桨PaddleHub实战

需要的配置和准备工作1、中文分词需要jieba2、词云绘制需要wordcloud
奔波儿灞啊·2020-08-21 01:25

Elasticsearch进阶（倒排索引、高级查询_DSL语言查询与过滤、中文分词IK插件、文档映射）

1、ES9300端口号与9200区别9300端口：ES节点之间通讯使用，是tcp协议端口号9200端口：ES节点和外部通讯使用，暴露ESRESTful接口端口号2、Elasticsearch倒排索引原理全文检索检索底层采用排索为什么？倒排索引比数据库中B-tree树查询效率还要快？倒排索引会对文档内容进行关键词分词，可以使用关键次直接定位到文档内容。正向索引正排表是以文档的ID为关键字，表中记录文
王小白_Ada·2020-08-21 01:48

基于RNN的文本生成算法的代码运转

前言跳过废话，直接看正文RNN相对于传统的神经网络来说对于把握上下文之间的关系更为擅长，因此现在被大量用在自然语言处理的相关任务中，例如生成与训练文集相似的文字、序列标注、中文分词等。
jindg1980·2020-08-21 00:12

Sphinx的安装和使用

Sphinx的安装和使用sphinx的使用两种方式：1、使用sphinx的API来操作sphinx，PHP中将API编译到PHP中作为扩展2、使用mysql的sphinx的存储引擎sphinx是英文的全文检索引擎
刘笨笨·2020-08-21 00:16

sphinx的基本使用方法

==本文描述只针对linux环境下==安装sphinx简单的编译安装过程wgethttp://sphinxsearch.com/downloads/*.tar.gz==在解压后的源码包中有个api文件夹
吃饭饭睡觉觉·2020-08-20 23:51

sphinx/coreseek 常见的错误处理

==以下均是本人踩过的坑2333==安装wgethttp://files.opstool.com/man/coreseek-4.1-beta.tar.gztar-xzvfcoreseek-4.1-beta.tar.gzcdcoreseek-4.1-beta分词工具安装cdmmseg-3.2.14./configure--prefix=/usr/local/coreseek-4.1makemakei
吃饭饭睡觉觉·2020-08-20 23:50

使用cjieba(结巴分词库)实现php扩展中文分词-支持php5, php7

编译安装gitclonehttps://github.com/jonnywang/jz.git(php7)gitclonehttps://github.com/jonnywang/phpjieba.git(php5)cdjz/cjiebamakecd..phpize./configure--enable-jiebamakemakeinstall配置php.iniextension=jz.sojz.
极致极简·2020-08-20 23:39

使用cjieba(结巴分词库)实现php扩展中文分词-支持php5, php7

编译安装gitclonehttps://github.com/jonnywang/jz.git(php7)gitclonehttps://github.com/jonnywang/phpjieba.git(php5)cdjz/cjiebamakecd..phpize./configure--enable-jiebamakemakeinstall配置php.iniextension=jz.sojz.
极致极简·2020-08-20 23:38

Linux系统sphinx开机自启

首先要明白：Linux在启动的时候会去执行/etc/rc.local脚本的文件所以我们需要这样做：Bash[root@m/]#vim/etc/rc.local然后将sphinx创建索引和启动的命令放在这个文件里
刘笨笨·2020-08-20 23:02

[php7安装sphinx遇到的坑]

php7安装sphinx遇到的坑首先按照网上这个方法安装前半部分没有任何问题：地址：https://www.cnblogs.com/xi-jie/articles/10476860.html[root@
刘笨笨·2020-08-20 23:02

ElasticSearch的核心详解及中文分词

文档在Elasticsearch中，文档以JSON格式进行存储，可以是复杂的结构，如：{"_index":"haoke","_type":"user","_id":"1001","_score":1,"_source":{"id":1001,"name":"张三","age":20,"sex":"男"}}1）元数据（metadata）一个文档不只有数据。它还包含了元数据(metadata)——关于
Jello·2020-08-20 23:21

ElasticSearch的核心详解及中文分词

文档在Elasticsearch中，文档以JSON格式进行存储，可以是复杂的结构，如：{"_index":"haoke","_type":"user","_id":"1001","_score":1,"_source":{"id":1001,"name":"张三","age":20,"sex":"男"}}1）元数据（metadata）一个文档不只有数据。它还包含了元数据(metadata)——关于
Jello·2020-08-20 23:21

Elasticsearch + IK 中文分词插件在文档中心项目中的使用

前言既然是文档中心，对于前台用户而言除了基本的文档阅览功能之外，最重要的功能莫过于根据关键词搜索文档了。那么这一点无论是对于英文还是中文，其本质其实都是全文搜索，只不过针对中文需要做一些额外处理。Elasticsearch简介全文搜索属于最常见的需求，开源的Elasticsearch是目前全文搜索引擎的首选。它可以快速地存储、搜索和分析海量数据。维基百科、StackOverflow、Github都
NoTryNoSuccess·2020-08-20 22:48

es 中英文字母分词问题

ikes中文分词主流都推荐ik，使用简单，作者也一直持续更新,算是Lucene体系最好的中文分词了。但是索引的文本往往是复杂的，不仅包含中文，还有英文和数字以及一些符号。
螃蟹在晨跑·2020-08-20 22:08

es 中英文字母分词问题

ikes中文分词主流都推荐ik，使用简单，作者也一直持续更新,算是Lucene体系最好的中文分词了。但是索引的文本往往是复杂的，不仅包含中文，还有英文和数字以及一些符号。
螃蟹在晨跑·2020-08-20 22:08

Jieba库基本用法

Jieba库对中文分词的支持下较好，将文本分成粒度更细的词。
唛咦·2020-08-20 22:16

linux下php支持sphinx的扩展安装

php对于sphinx的扩展支持安装:Coreseek官方教程中建议php使用直接include一个php文件进行操作，事实上php有独立的sphinx模块可以直接操作coreseek(coreseek
school_1087·2020-08-20 21:59

使用 Sphinx 撰写技术文档并生成 PDF 总结

这几天准备编排部分翻译的书籍和文档，找了好些工具，最终定格在Sphinx上，并基于ReadTheDocs提供的SaaS服务进行分发和分享。本篇博客是对整个过程的一次记录和总结。
qiwihui·2020-08-20 21:17

Elasticsearch 及 IK 中文分词插件安装

Elasticsearch及IK中文分词插件安装一、安装Java并配置JAVA_HOME环境变量由于Elasticsearch是使用Java构建的，所以首先需要安装Java8或更高版本才能运行。
白菜1031·2020-08-20 21:35

Elasticsearch 及 IK 中文分词插件安装

Elasticsearch及IK中文分词插件安装一、安装Java并配置JAVA_HOME环境变量由于Elasticsearch是使用Java构建的，所以首先需要安装Java8或更高版本才能运行。
白菜1031·2020-08-20 21:35

ElasticSearch 连载二 中文分词

什么是中文分词器？分词器怎么安装？如何使用中文分词器？那么接下来就为大家细细道来。什么是中文分词器搜索引擎的核心是倒排索引而倒排索引的基础就是分词。
WilburXu·2020-08-20 21:56

ElasticSearch 连载二 中文分词

什么是中文分词器？分词器怎么安装？如何使用中文分词器？那么接下来就为大家细细道来。什么是中文分词器搜索引擎的核心是倒排索引而倒排索引的基础就是分词。
WilburXu·2020-08-20 21:56

全文模糊搜索

1.对原文进行分词,再通过相应的搜索算法进行查询主要是中文分词，这里推荐1.SCWS，简体中文在线演示地址2.NLPIR,在线演示地址2.数据库方式，通过全文索引进行搜索建立全文索引的表的存储引擎类型必须为
海上升明月·2020-08-20 21:43

全文模糊搜索

1.对原文进行分词,再通过相应的搜索算法进行查询主要是中文分词，这里推荐1.SCWS，简体中文在线演示地址2.NLPIR,在线演示地址2.数据库方式，通过全文索引进行搜索建立全文索引的表的存储引擎类型必须为
海上升明月·2020-08-20 21:42

Windows 下安装 SCWS

SCWSSCWS是SimpleChineseWordSegmentation的首字母缩写（即：简易中文分词系统）。这是一套基于词频词典的机械式中文分词引擎，它能将一整段的中文文本基本正确地切分成词。
haoyq·2020-08-20 20:39

Windows 下安装 SCWS

SCWSSCWS是SimpleChineseWordSegmentation的首字母缩写（即：简易中文分词系统）。这是一套基于词频词典的机械式中文分词引擎，它能将一整段的中文文本基本正确地切分成词。
haoyq·2020-08-20 20:38

Solr集成IKAnalyzer中文分词器

前言官网：https://code.google.com/archi...IKAnalyzer2012FF版本（即For4.0），在API和功能上保持不变，只是让其支持了Lucene4.0和Solr4.0，让这部分的用户能用起来。如果你还是Lucene3.2-3.6的用户，那么你只需要下载IKAnalyzer2012U6版本。因为FF版本的API与3.x是不兼容的。【IKAnalyzer安装包包含
Developer·2020-08-20 20:01

Solr集成IKAnalyzer中文分词器

前言官网：https://code.google.com/archi...IKAnalyzer2012FF版本（即For4.0），在API和功能上保持不变，只是让其支持了Lucene4.0和Solr4.0，让这部分的用户能用起来。如果你还是Lucene3.2-3.6的用户，那么你只需要下载IKAnalyzer2012U6版本。因为FF版本的API与3.x是不兼容的。【IKAnalyzer安装包包含
Developer·2020-08-20 20:01

Elasticsearch集成IK中文分词器

一、安装ik分词器IK分词器Github地址：https://github.com/medcl/elas...因为我安装的Elasticsearch是5.6.9版本，所以对应安装elasticsearch-analysis-ik-5.6.9版本$./bin/elasticsearch-plugininstallhttps://github.com/medcl/elasticsearch-analy
Developer·2020-08-20 20:26

自然语言处理基础技术之分词、向量化、词性标注

获取更多腾讯海量技术实践干货哦~作者：段石石前言前段时间，因为项目需求,开始接触了NLP，有感自己不是科班出身，很多东西理解不深，于是花时间再读了一些NLP的经典教程的部分章节，这里是第一部分，主要包括三小块：中文分词
腾讯云加社区·2020-08-20 20:06

自然语言处理基础技术之分词、向量化、词性标注

获取更多腾讯海量技术实践干货哦~作者：段石石前言前段时间，因为项目需求,开始接触了NLP，有感自己不是科班出身，很多东西理解不深，于是花时间再读了一些NLP的经典教程的部分章节，这里是第一部分，主要包括三小块：中文分词
腾讯云加社区·2020-08-20 20:06

中文分词工具

2imdict-chinese-analyzer是imdict智能词典的智能中文分词模块，作者高小平，算法基于隐马尔科夫模型(HiddenMarkovModel,HMM)，是中国科学
xiaochenchenhebobo·2020-08-20 20:46

搜索为将 -- IKAnalyzer -- lucene6.6适配

前言在中文分词器中，IKAnalyzer做的是相对不错的，有着细度分割和智能使用两个模式。但是，这个版本因为太陈旧，作者不再维护，（项目估计是。。。），所以与现在的Lucene6.6版本差距有些大。
Allen·2020-08-20 20:59

搜索为将 -- IKAnalyzer -- lucene6.6适配

前言在中文分词器中，IKAnalyzer做的是相对不错的，有着细度分割和智能使用两个模式。但是，这个版本因为太陈旧，作者不再维护，（项目估计是。。。），所以与现在的Lucene6.6版本差距有些大。
Allen·2020-08-20 20:27

python使用jieba进行中文分词wordcloud制作词云

准备工作抓取数据存到txt文档中，了解jieba问题jieba分词分的不太准确，比如机器学习会被切成机器和学习两个词，使用自定义词典，原本的想法是只切出自定义词典里的词，但实际上不行，所以首先根据jieba分词结果提取出高频词并自行添加部分词作为词典，切词完毕只统计自定义词典里出现过的词wordcloud自身不支持中文词云，需要指定中文字体，并且现在大部分的博客提供的generate_from_f
jasminecjc·2020-08-20 20:15

python使用jieba进行中文分词wordcloud制作词云

准备工作抓取数据存到txt文档中，了解jieba问题jieba分词分的不太准确，比如机器学习会被切成机器和学习两个词，使用自定义词典，原本的想法是只切出自定义词典里的词，但实际上不行，所以首先根据jieba分词结果提取出高频词并自行添加部分词作为词典，切词完毕只统计自定义词典里出现过的词wordcloud自身不支持中文词云，需要指定中文字体，并且现在大部分的博客提供的generate_from_f
jasminecjc·2020-08-20 20:15

推荐十款java开源中文分词组件

1：Elasticsearch的开源中文分词器IKAnalysis(Star:2471)IK中文分词器在Elasticsearch上的使用。
hguchen·2020-08-20 20:11

使用cjieba(结巴分词库)实现php扩展中文分词-支持php5, php7

作者git地址：https://github.com/jonnywang/...编译安装gitclonehttps://github.com/jonnywang/jz.git(php7)gitclonehttps://github.com/jonnywang/phpjieba.git(php5)cdjz/cjiebamakecd..phpize./configure--enable-jiebama
极致极简·2020-08-20 20:42

使用cjieba(结巴分词库)实现php扩展中文分词-支持php5, php7

作者git地址：https://github.com/jonnywang/...编译安装gitclonehttps://github.com/jonnywang/jz.git(php7)gitclonehttps://github.com/jonnywang/phpjieba.git(php5)cdjz/cjiebamakecd..phpize./configure--enable-jiebama
极致极简·2020-08-20 20:42
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他