Sphinx中文分词

研究了coreseek下的sphinx 配置及api调用，收获颇多。

最大的缺点就是要维护一个索引的成本很高，需要牵扯到很多方面，其中也包含业务方面；优点呢，不用多说了，速度快，支持查询的模式多，各种条件下的查询都能实现，所以想找一个更加符合现有应用状况的搜索引擎，故想到了coreseek=(sphinx
任亚军·2020-09-10 17:25

PTA:7-46 新浪微博热门话题 （30 分)

本题目要求实现一个简化的热门话题推荐功能，从大量英文（因为中文分词处理比较麻烦）微博中解析出话题，找出被最多条微博提到的话题。输入格式:输
黑白灰的猫·2020-09-10 16:25

手游开发攻防——一、游戏引擎的选择

现在手游火的一塌糊涂，引擎也是层出不穷除了引领3D市场的Unity3D，独霸2D市场的Cocos2D-X之外，还有虚幻、Sphinx等，甚至搜狐也开发了国产的Genesis-3D引擎。
kakashi8841·2020-09-10 14:41

最全NLP中文文本分类实践（上）——中文分词获取和Word2Vec模型构建

本文的实践内容包括文件的读取、中文分词、词向量表达、模型构建和模型融合。本文所采用的语料库为复旦中文文本分类语料库，包含20个类别。
我是你博哥啊·2020-09-02 11:57

Elasticsearch系列（3）IK中文分词器集成

1.背景Elasticsearch默认的分词器是standard，其对中文的分词是按字拆分，不智能。例如，输入“美丽的中国”GET_analyze{"analyzer":"standard","text":"美丽的中国"}对应的分词响应：{"tokens":[{"token":"美","start_offset":0,"end_offset":1,"type":"","position":0},{
正义的杰克船长·2020-08-31 22:06

利用Rust的中文分词服务

1、中文分词中文分词，简单理解就是将一句话进行分割成几个词语。在把百度百科中的定义是将一个汉字序列切分成一个个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。
LiuMedu·2020-08-26 23:05

只需五步 集成新版 Elasticsearch7.9 中文搜索 到你的 Laravel7 项目

只需五步骤：启动集成ik中文分词插件的Elasticsearch7.9Docker镜像Laravel7配置Scout配置Model模型导入数据搜索演示地址https://www.ar414.com搜索范围文章内容标题标签结果权重出现关键词数量出现关键词次数搜索页面高亮显示分词显示结果分页前言主要是博客刚好想做个搜索
ar414·2020-08-26 23:03

android 离线语言识别

搜索了一下只有Sphinx比较适合，资料也有。Sphinx库的编译和使用方法在网上比较多的资料都是源自http://ucla.jamesyxu.com/?
smile3670·2020-08-26 23:49

【R语言】结巴分词与词性提取（以“提取知乎问题标题的频繁词前100个形容词”实战为例）（3月25日学习笔记）

0.包的选取中文分词必不可少的包：jiebalibrary(jiebaR)library(jiebaRD)#用于分词作图包我们选择library(ggplot2)#用于作图读取数据可以不额外导入
纸羊同学·2020-08-26 15:19

中文分词工具

jiebaimportjiebaimportresentence='叶子本是肩并肩密密地挨着，这便宛然有了一道凝碧的波痕。叶子底下是脉脉的流水，遮住了，不能见一些颜色。'sentence=re.sub('[，。？！、]','',sentence)result=list(jieba.cut(sentence))print(result)#['叶子','本是','肩并肩','密密','地','挨着',
番茄要去皮·2020-08-26 15:03

Python个人快速入门学习（九）jieba库的使用

九、jieba库的使用1.jieba库：优秀的中文分词第三方库-中文文本需要通过分词获得单个的词语-jieba是第三方库，需要额外安装：-pipinstalljieba2.jieba分词的原理-利用了一个中文词库
CC_且听风吟·2020-08-26 15:03

中文分词简单理解及 jieba的简单运用

汉语分词中的基本问题：分词规范，歧义的切分和未登录词的识别分词规范：（一般也就是指“词”的概念的纠缠不清的问题，），一方面来源于单字词和词素之间的划界，另一方面就是词和短语（词组）的划界问题歧义切分问题：交集型切分歧义：汉字串AJB其中AJ,JB同时为词，此时的J称作交集串例如：结合成，“结合”，“合成”分别为词，此时的“合”则为交集串链长的概念：一个交集型切分歧义所拥有的交集串的集合成为交集串链
weixin_34205826·2020-08-26 15:11

Sphinx 排序模式 SetSortMode

可使用如下模式对搜索结果排序：SPH_SORT_RELEVANCE模式,按相关度降序排列（最好的匹配排在最前面）SPH_SORT_ATTR_DESC模式,按属性降序排列（属性值越大的越是排在前面）SPH_SORT_ATTR_ASC模式,按属性升序排列（属性值越小的越是排在前面）SPH_SORT_TIME_SEGMENTS模式,先按时间段（最近一小时/天/周/月）降序，再按相关度降序SPH_SORT
weixin_30652879·2020-08-26 14:34

自然语言处理——中英文分词工具（还可做词性标注与命名实体识别）

更多内容请至南木博客主页查看哦中文分词工具JiebaSnowNLPTHULACNLPIRNLPIRStanfordCoreNLPHanLP英文分词工具nltknltknltkSpacySpacyStanfordCoreNLP
南木Sir·2020-08-26 14:11

Python利用结巴模块统计《水浒传》词频

中文分词是中文文本处理的一个基础性工作，结巴分词利用进行中文分词。
try2035·2020-08-26 14:14

利用jieba对中文进行分词

由于中文文本中的单词不是通过空格或者标点符号分割，所以中文及类似语言存在一个重要的“分词”问题，jieba、SnowNLP(MIT)、pynlpir等都可以完成对中文的分词处理，该文章采用jieba进行中文分词
宋凯-SK·2020-08-26 14:00

Python之jieba库（例：文本词频统计）

1、jieba库概述jieba是优秀的中文分词第三方库-中文文本需要通过分词获得单个的词语-jieba是优秀的中文分词第三方库，需要额外安装-jieba库提供三种分词模式，最简单只需要掌握一个函数2、jieba
reb0rn初代·2020-08-26 13:19

基于python中jieba包的中文分词中详细使用

为了教别人jieba库的使用，顺便自己把这个整理一下，记录下来，省的之后使用又来找资料jieba：中文分词比较好，但是英文分词就用其他的3种分词模式：精确模式，将句子精确地切开，不存在冗余，适合文本分析
tantao666·2020-08-26 13:49

Elasticsearch如何安装中文分词插件ik

elasticsearch-analysis-ik是一款中文的分词插件，支持自定义词库。安装步骤：1、到github网站下载源代码，网站地址为：https://github.com/medcl/elasticsearch-analysis-ik右侧下方有一个按钮“DownloadZIP”，点击下载源代码elasticsearch-analysis-ik-master.zip。2、解压文件elast
oO归去来兮Oo·2020-08-26 13:31

python版本 字典树的构造和测试

最近在看中文分词基数,其中涉及到了字典树的知识,研究了一下:classTrie(object):classNode:def__init__(self):self.is_word=False#是否一个单词的结尾
透明的红萝卜221·2020-08-26 12:24

基于solr7.4入门学习一【solr的基本概念和用法、以及如何下载运行solr,配置中文分词器等】

本教程用于记录solr入门路上的一些爬坑的方法，毕竟好记性不如烂笔头。问题一：什么是Solr?Solr是基于lucene的企业级全文检索、搜索引擎框架。运行流程：对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定参数的POST，生成索引；也可以通过HttpGet操作提出查找请求，并得到返回结果。这部分后面将会进行详细学习。Lucene:是一个开放源
rpf_siwash·2020-08-26 12:01

Python jieba库的使用

1、jieba库基本介绍(1)、jieba库概述jieba是优秀的中文分词第三方库-中文文本需要通过分词获得单个的词语-jieba是优秀的中文分词第三方库，需要额外安装-jieba库提供三种分词模式，最简单只需掌握一个函数
MessiNine·2020-08-26 11:58

Django笔记（四） 搜索 django-haystack使用

搜索模块Haystackwhoosh为例安装pipinstalldjango-haystackpipinstallwhooshpipinstalljieba添加中文分词在haystack包目录拷贝一份whoosh_backend.py
今夕何夕_walker·2020-08-26 11:59

智能小车制作过程全纪录： 五、软件平台--- Sphinx语音识别

更多创客作品，请关注笔者网站园丁鸟，搜集全球极具创意，且有价值的创客作品ROS机器人知识请关注，diegorobot业余时间完成的一款在线统计过程分析工具SPC，及SPC知识分享网站qdo目前国内语音识别主要是使用科大讯飞的在线语音识别，而且准确度也非常高，这主要得益于其强大的语音库，甚至方言也可以识别。但有很多时候需要离线的环境，这就需要离线识别，另外本人在这个平台上使用开源的技术，所以这里使用
DiegoRobot·2020-08-26 11:27

Python之jieba库使用

jieba库的使用@(Python)jieba库概述jieba库是优秀的中文分词第三方库中文文本需要通过分词获得单个的词语需要额外安装jieba库提供三种分词模式，最简单只需掌握一个函数命令行安装pipinstalljiebajieba
jinsefm·2020-08-26 11:57

solr4.0环境搭建

服务器：tomcat6JDK：1.6SOLR：4.0中文分词器：ik-analyzer，mmseg4j安装：目前mmseg4j的版本是mmseg4j-1.9.0.v20120712-SNAPSHOT，经过测试
yangaming·2020-08-26 08:18

virtualbox上安装opensuse和sphinx

1.安装Opensuse，用15G空间，注意要选择安装的software。把开发软件全装上吧。根目录的空间分配要大一些。opensuse11.3下载地点http://ftp.riken.jp/Linux/opensuse/distribution/11.3/iso/openSUSE-11.3-DVD-i586.iso2.关闭Opensuse，在virtualBox选择Opensuse,右键选择设置
内核中的洋葱·2020-08-26 08:40

nginx开启关闭shell

/bin/sh#file:/usr/local/bin/sphinx.
diwan2439·2020-08-26 06:19

基于python实现whoosh全文搜索神器。

pipinstalljupyternotebookjupyternotebook命令在相应的目录下启动即可(2)、whoosh安装pipinstallwhoosh(3)、jieba分词器安装----->目前最火最叼的中文分词器
静月疏影·2020-08-25 18:36

基于结构化感知机的词性标注与命名实体识别框架

上周就关于《结构化感知机标注框架的内容》已经分享了一篇《分词工具Hanlp基于感知机的中文分词框架》，本篇接上一篇内容，继续分享词性标注与命名实体识别框架的内容。
adnb34g·2020-08-25 17:06

solr安装

这是在写淘淘商城的时候记录的,用了IKAnalyzer中文分词插件也添加了自己的业务域先解压然后在solr/dist/这个目录下又一个war包把这个war包放在tomcat的webapp目录下然后启动tomcat
_王仔·2020-08-25 14:05

痞子衡嵌入式：语音处理工具Jays-PySPEECH诞生记（5）- 语音识别实现(SpeechRecognition, PocketSphinx0.1.15)...

语音识别是Jays-PySPEECH的核心功能，Jays-PySPEECH借助的是SpeechRecognition系统以及CMUSphinx引擎来实现的语音识别功能，今天痞子衡为大家介绍语音识别在Jays-PySPEECH
weixin_34121304·2020-08-25 08:36

NLP（2）——中文分词

上一篇文章提到了词向量的相关知识，可如何用计算机对一篇文章或者一些句子进行分词，从而让计算机更好理解句子呢？分词的概念简单来说就是把词进行分开，分词的难点：1.如何避免歧义，如：“白开水不如果汁甜”。如何让机器避免将“如果”分到一起。2.如何识别未登录词，并判断词性（人物，地点）解决歧义的方法有很多，使用n_gram模型或者概率统计在解决歧义的作用下很好实现，如下面要介绍的HMM和CRF.分词方法
飘涯·2020-08-25 08:32

2020大型购物网数据库设计实践

与数据库基本操作介绍DAY_04:参照全国一线大型在线购物网设计十余个各类数据表实践DAY_05:大型购物网数据库常见业务逻辑问题解决方案DAY_06:透析秒杀方案与数据库安全防御问题DAY_07:订单拆分与中文分词技术
qq_38472425·2020-08-25 07:34

Centos7+Elasticsearch7.4.2+Kibana+IK分词+ElasticHD 安装配置以及集群搭建

Elasticsearch7.4.2+Kibana+IK分词+ElasticHD安装配置以及集群搭建1.elasticSearch7.4.2安装1.1关于jdk1.2安装ES2集群的搭建2.1配置文件2.2中文分词及可视化
Nica9799·2020-08-25 06:44

elasticsearch7.1.0 ik中文分词快速搭建本地测试环境（docker版本）

前言在es7.1.0中最大的变化莫过于type概念被废除了,也就意味着esindex(不做特殊说明,这里的索引均是指elasticsearch中的索引概念)不再被理解成数据库了,更加贴切的应该是把索引比作类似于表的,每个索引（表）都有一个映射关系mapping（数据表的设计结构）,很自然地联想到索引mapping主要是对字段作的一系列定义(包括存储类型,索引方式),详情看这本篇的搭建方式是基于do
乾坤瞬间·2020-08-25 04:27

7.X(7.6.2) ElasticSearch,ES集群搭建_head_ik绝对无坑

1.8JDK（本文14.0）2.网络对时:3.系统文件描述符，参数优化二、熟悉目录、配置文件三、部署集群1、安装ElasticSearch2、部署Head-web插件3、安装kibana查询工具4、部署中文分词器
 清欢渡.·2020-08-25 04:32

ElasticSearch7.0.0安装IK分词器

1.原因：为什么要在elasticsearch中要使用ik这样的中文分词呢，那是因为es提供的分词是英文分词，对于中文的分词就做的非常不好了，因此我们需要一个中文分词器来用于搜索和使用。
浅汐王·2020-08-25 03:38

Elasticsearch7.3.1 linux解压安装、head插件、ik分词器

目录解压安装elasticsearch-head插件安装analyzer-ik中文分词器安装解压安装1.下载安装包elastic中文官网下载百度云盘下载解压：tar-xvfelasticsearch-7.3.1
九州无尘·2020-08-25 03:23

Mac下Docker安装ELK环境

mac安装elk因为使用到中文分词，而当前的分词插件版本是7.5.0，所以我们使用elasticsearch版本也是7.5.0#查看是否安装了elkdockerimages#清理之前的版本dockerrmi
林子曰·2020-08-25 03:45

Elasticsearch7.4.0 安装analysis-ik中文分词插件

1.前言打开IK的github：https://github.com/medcl/elasticsearch-analysis-ik/tree/master2.安装方式一直接进入ES的根目录下，执行下面的这个命令安装即可：./bin/elasticsearch-plugininstallhttps://github.com/medcl/elasticsearch-analysis-ik/relea
李京京·2020-08-25 03:03

5-46 新浪微博热门话题 (30分)——unfinished HASH

本题目要求实现一个简化的热门话题推荐功能，从大量英文（因为中文分词处理比较麻烦）微博中解析出话题，找出被最多条微博提到的话题。输入格式:输
aocan6909·2020-08-25 02:34

ElasticSearch-6.4.1安装中文分词器Analysis-ik.

(Windows环境下)ElasticSearch默认的分词器对中文分词器支持不好,下面安装中文分词器.Linux下是一样的安装方式就是wget+url然后新建目录,解压到指定的目录下,然后重启ES即可
大道之简·2020-08-25 02:40

ElasticSearch之中文分词插件ik

文章目录说明：1.安装es2.简单测试ik分词器3.将ik分词器关联到索引库的字段上测试2).createamapping要指定索引库下的type(这里就指定hot)对应的元数据信息（指定相应的中文分词插件
C_time·2020-08-25 02:48

windows下安装elasticsearch-6.4.1及相应版本的IK中文分词器

（三）安装IK中文分词器。
蹉跎岁月新·2020-08-25 01:27

【Python】实现词云效果 wordcloud

1首先安装相关的包pipinstallwordcloudjiebaimageio2代码#导入词云制作库wordcloud和中文分词库jiebaimportjiebaimportwordcloud#导入imageio
哩哩的点滴记·2020-08-25 01:11

R语言 数据挖掘-文本分析(1)

刚接触R语言一周，和matab不同R作用于数据挖掘的库很多,详解见R语言数据挖掘包，下面简介文本分析经常使用到的三个包tm为文本挖掘提供综合性处理Rwordmsg进行中文分词wordcloud统计词云以第三届泰迪杯
语落心生·2020-08-25 00:18

分享Lucene中文分词组件"IK Analyzer V3.2.8"

IKAnalyzer3.X介绍IKAnalyzer是一个开源的，基于java诧言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。
linliangyi2006·2020-08-24 22:54

分享IKAnalyzer 3.0 中文分词器

1.IKAnalyzer3.0介绍IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。
linliangyi2006·2020-08-24 22:54

来自开源支持者的第一笔捐赠

IK中文分词开源项目在历经六个年头的发展，迈入第七个年头时，迎来的它的第一笔捐赠！感谢来自广州的热心支持者Andy!!!
linliangyi2006·2020-08-24 22:54
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他