[中文分词]

Python个人快速入门学习（九）jieba库的使用

九、jieba库的使用1.jieba库：优秀的中文分词第三方库-中文文本需要通过分词获得单个的词语-jieba是第三方库，需要额外安装：-pipinstalljieba2.jieba分词的原理-利用了一个中文词库
CC_且听风吟·2020-08-26 15:03

中文分词简单理解及 jieba的简单运用

汉语分词中的基本问题：分词规范，歧义的切分和未登录词的识别分词规范：（一般也就是指“词”的概念的纠缠不清的问题，），一方面来源于单字词和词素之间的划界，另一方面就是词和短语（词组）的划界问题歧义切分问题：交集型切分歧义：汉字串AJB其中AJ,JB同时为词，此时的J称作交集串例如：结合成，“结合”，“合成”分别为词，此时的“合”则为交集串链长的概念：一个交集型切分歧义所拥有的交集串的集合成为交集串链
weixin_34205826·2020-08-26 15:11

自然语言处理——中英文分词工具（还可做词性标注与命名实体识别）

更多内容请至南木博客主页查看哦中文分词工具JiebaSnowNLPTHULACNLPIRNLPIRStanfordCoreNLPHanLP英文分词工具nltknltknltkSpacySpacyStanfordCoreNLP
南木Sir·2020-08-26 14:11

Python利用结巴模块统计《水浒传》词频

中文分词是中文文本处理的一个基础性工作，结巴分词利用进行中文分词。
try2035·2020-08-26 14:14

利用jieba对中文进行分词

由于中文文本中的单词不是通过空格或者标点符号分割，所以中文及类似语言存在一个重要的“分词”问题，jieba、SnowNLP(MIT)、pynlpir等都可以完成对中文的分词处理，该文章采用jieba进行中文分词
宋凯-SK·2020-08-26 14:00

Python之jieba库（例：文本词频统计）

1、jieba库概述jieba是优秀的中文分词第三方库-中文文本需要通过分词获得单个的词语-jieba是优秀的中文分词第三方库，需要额外安装-jieba库提供三种分词模式，最简单只需要掌握一个函数2、jieba
reb0rn初代·2020-08-26 13:19

基于python中jieba包的中文分词中详细使用

为了教别人jieba库的使用，顺便自己把这个整理一下，记录下来，省的之后使用又来找资料jieba：中文分词比较好，但是英文分词就用其他的3种分词模式：精确模式，将句子精确地切开，不存在冗余，适合文本分析
tantao666·2020-08-26 13:49

Elasticsearch如何安装中文分词插件ik

elasticsearch-analysis-ik是一款中文的分词插件，支持自定义词库。安装步骤：1、到github网站下载源代码，网站地址为：https://github.com/medcl/elasticsearch-analysis-ik右侧下方有一个按钮“DownloadZIP”，点击下载源代码elasticsearch-analysis-ik-master.zip。2、解压文件elast
oO归去来兮Oo·2020-08-26 13:31

python版本 字典树的构造和测试

最近在看中文分词基数,其中涉及到了字典树的知识,研究了一下:classTrie(object):classNode:def__init__(self):self.is_word=False#是否一个单词的结尾
透明的红萝卜221·2020-08-26 12:24

基于solr7.4入门学习一【solr的基本概念和用法、以及如何下载运行solr,配置中文分词器等】

本教程用于记录solr入门路上的一些爬坑的方法，毕竟好记性不如烂笔头。问题一：什么是Solr?Solr是基于lucene的企业级全文检索、搜索引擎框架。运行流程：对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定参数的POST，生成索引；也可以通过HttpGet操作提出查找请求，并得到返回结果。这部分后面将会进行详细学习。Lucene:是一个开放源
rpf_siwash·2020-08-26 12:01

Python jieba库的使用

1、jieba库基本介绍(1)、jieba库概述jieba是优秀的中文分词第三方库-中文文本需要通过分词获得单个的词语-jieba是优秀的中文分词第三方库，需要额外安装-jieba库提供三种分词模式，最简单只需掌握一个函数
MessiNine·2020-08-26 11:58

Django笔记（四） 搜索 django-haystack使用

搜索模块Haystackwhoosh为例安装pipinstalldjango-haystackpipinstallwhooshpipinstalljieba添加中文分词在haystack包目录拷贝一份whoosh_backend.py
今夕何夕_walker·2020-08-26 11:59

Python之jieba库使用

jieba库的使用@(Python)jieba库概述jieba库是优秀的中文分词第三方库中文文本需要通过分词获得单个的词语需要额外安装jieba库提供三种分词模式，最简单只需掌握一个函数命令行安装pipinstalljiebajieba
jinsefm·2020-08-26 11:57

solr4.0环境搭建

服务器：tomcat6JDK：1.6SOLR：4.0中文分词器：ik-analyzer，mmseg4j安装：目前mmseg4j的版本是mmseg4j-1.9.0.v20120712-SNAPSHOT，经过测试
yangaming·2020-08-26 08:18

基于python实现whoosh全文搜索神器。

pipinstalljupyternotebookjupyternotebook命令在相应的目录下启动即可(2)、whoosh安装pipinstallwhoosh(3)、jieba分词器安装----->目前最火最叼的中文分词器
静月疏影·2020-08-25 18:36

基于结构化感知机的词性标注与命名实体识别框架

上周就关于《结构化感知机标注框架的内容》已经分享了一篇《分词工具Hanlp基于感知机的中文分词框架》，本篇接上一篇内容，继续分享词性标注与命名实体识别框架的内容。
adnb34g·2020-08-25 17:06

solr安装

这是在写淘淘商城的时候记录的,用了IKAnalyzer中文分词插件也添加了自己的业务域先解压然后在solr/dist/这个目录下又一个war包把这个war包放在tomcat的webapp目录下然后启动tomcat
_王仔·2020-08-25 14:05

NLP（2）——中文分词

上一篇文章提到了词向量的相关知识，可如何用计算机对一篇文章或者一些句子进行分词，从而让计算机更好理解句子呢？分词的概念简单来说就是把词进行分开，分词的难点：1.如何避免歧义，如：“白开水不如果汁甜”。如何让机器避免将“如果”分到一起。2.如何识别未登录词，并判断词性（人物，地点）解决歧义的方法有很多，使用n_gram模型或者概率统计在解决歧义的作用下很好实现，如下面要介绍的HMM和CRF.分词方法
飘涯·2020-08-25 08:32

2020大型购物网数据库设计实践

与数据库基本操作介绍DAY_04:参照全国一线大型在线购物网设计十余个各类数据表实践DAY_05:大型购物网数据库常见业务逻辑问题解决方案DAY_06:透析秒杀方案与数据库安全防御问题DAY_07:订单拆分与中文分词技术
qq_38472425·2020-08-25 07:34

Centos7+Elasticsearch7.4.2+Kibana+IK分词+ElasticHD 安装配置以及集群搭建

Elasticsearch7.4.2+Kibana+IK分词+ElasticHD安装配置以及集群搭建1.elasticSearch7.4.2安装1.1关于jdk1.2安装ES2集群的搭建2.1配置文件2.2中文分词及可视化
Nica9799·2020-08-25 06:44

elasticsearch7.1.0 ik中文分词快速搭建本地测试环境（docker版本）

前言在es7.1.0中最大的变化莫过于type概念被废除了,也就意味着esindex(不做特殊说明,这里的索引均是指elasticsearch中的索引概念)不再被理解成数据库了,更加贴切的应该是把索引比作类似于表的,每个索引（表）都有一个映射关系mapping（数据表的设计结构）,很自然地联想到索引mapping主要是对字段作的一系列定义(包括存储类型,索引方式),详情看这本篇的搭建方式是基于do
乾坤瞬间·2020-08-25 04:27

7.X(7.6.2) ElasticSearch,ES集群搭建_head_ik绝对无坑

1.8JDK（本文14.0）2.网络对时:3.系统文件描述符，参数优化二、熟悉目录、配置文件三、部署集群1、安装ElasticSearch2、部署Head-web插件3、安装kibana查询工具4、部署中文分词器
 清欢渡.·2020-08-25 04:32

ElasticSearch7.0.0安装IK分词器

1.原因：为什么要在elasticsearch中要使用ik这样的中文分词呢，那是因为es提供的分词是英文分词，对于中文的分词就做的非常不好了，因此我们需要一个中文分词器来用于搜索和使用。
浅汐王·2020-08-25 03:38

Elasticsearch7.3.1 linux解压安装、head插件、ik分词器

目录解压安装elasticsearch-head插件安装analyzer-ik中文分词器安装解压安装1.下载安装包elastic中文官网下载百度云盘下载解压：tar-xvfelasticsearch-7.3.1
九州无尘·2020-08-25 03:23

Mac下Docker安装ELK环境

mac安装elk因为使用到中文分词，而当前的分词插件版本是7.5.0，所以我们使用elasticsearch版本也是7.5.0#查看是否安装了elkdockerimages#清理之前的版本dockerrmi
林子曰·2020-08-25 03:45

Elasticsearch7.4.0 安装analysis-ik中文分词插件

1.前言打开IK的github：https://github.com/medcl/elasticsearch-analysis-ik/tree/master2.安装方式一直接进入ES的根目录下，执行下面的这个命令安装即可：./bin/elasticsearch-plugininstallhttps://github.com/medcl/elasticsearch-analysis-ik/relea
李京京·2020-08-25 03:03

5-46 新浪微博热门话题 (30分)——unfinished HASH

本题目要求实现一个简化的热门话题推荐功能，从大量英文（因为中文分词处理比较麻烦）微博中解析出话题，找出被最多条微博提到的话题。输入格式:输
aocan6909·2020-08-25 02:34

ElasticSearch-6.4.1安装中文分词器Analysis-ik.

(Windows环境下)ElasticSearch默认的分词器对中文分词器支持不好,下面安装中文分词器.Linux下是一样的安装方式就是wget+url然后新建目录,解压到指定的目录下,然后重启ES即可
大道之简·2020-08-25 02:40

ElasticSearch之中文分词插件ik

文章目录说明：1.安装es2.简单测试ik分词器3.将ik分词器关联到索引库的字段上测试2).createamapping要指定索引库下的type(这里就指定hot)对应的元数据信息（指定相应的中文分词插件
C_time·2020-08-25 02:48

windows下安装elasticsearch-6.4.1及相应版本的IK中文分词器

（三）安装IK中文分词器。
蹉跎岁月新·2020-08-25 01:27

【Python】实现词云效果 wordcloud

1首先安装相关的包pipinstallwordcloudjiebaimageio2代码#导入词云制作库wordcloud和中文分词库jiebaimportjiebaimportwordcloud#导入imageio
哩哩的点滴记·2020-08-25 01:11

R语言 数据挖掘-文本分析(1)

刚接触R语言一周，和matab不同R作用于数据挖掘的库很多,详解见R语言数据挖掘包，下面简介文本分析经常使用到的三个包tm为文本挖掘提供综合性处理Rwordmsg进行中文分词wordcloud统计词云以第三届泰迪杯
语落心生·2020-08-25 00:18

分享Lucene中文分词组件"IK Analyzer V3.2.8"

IKAnalyzer3.X介绍IKAnalyzer是一个开源的，基于java诧言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。
linliangyi2006·2020-08-24 22:54

分享IKAnalyzer 3.0 中文分词器

1.IKAnalyzer3.0介绍IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。
linliangyi2006·2020-08-24 22:54

来自开源支持者的第一笔捐赠

IK中文分词开源项目在历经六个年头的发展，迈入第七个年头时，迎来的它的第一笔捐赠！感谢来自广州的热心支持者Andy!!!
linliangyi2006·2020-08-24 22:54

中文分词技术(一)

不同于英文，计算机对中文分词时，由于中文句子中词与词之间是没有空格的，而且，两个字组合起来看似是一个词在句子中
kavadina·2020-08-24 19:16

solr4.5配置中文分词器mmseg4j

solr4.x虽然提供了分词器，但不太适合对中文的分词，给大家推荐一个中文分词器mmseg4jmmseg4j的下载地址：https://code.google.com/p/mmseg4j/通过以下几步就可以把
yaodick·2020-08-24 18:10

ELK学习3-kibana 深入学习

es默认的分词器主要针对的是英文的，所以我们需要安装中文分词，以下以ik分词器为例进行安装（网上的教程有些我觉得没有细说）通过GitHub获取插件
jani·2020-08-24 15:50

使用elasticsearch英文不能拆的问题

比如name字段有zhangsan、zhang三、zhangsan这三个名称查询zhang则只能查到zhang三、zhangsan，查不到zhangsan这是由于使用的IK分词器只支持中文分词而不支持英文分词解决办法以后用到了再写
qq_41609488·2020-08-24 15:55

样本类别均衡化、K均值算法等核心API使用 ---- 机器学习

中文分词（jieba）https://github.com/fxsjy/jieba样本类别均衡化上采样与下采样处理样本类别均衡化下采样：把样本数据量大的那一类样本减少到与数据量小的那一类样本数量相近。
大大枫free·2020-08-24 15:25

使用haystack实现django全文检索搜索引擎功能

中文搜索需要进行中文分词，使用jieba。
aaanthony·2020-08-24 13:27

基于 DHT 网络的磁力链接和BT种子的搜索引擎架构

系统包括几个独立的部分：使用Python的Scrapy框架开发的网络爬虫，用来爬取磁力链接和种子；使用PHPCI框架开发的简易网站；搜索引擎目前直接使用的MySQL，将来可以考虑使用sphinx；中文分词
justjavac·2020-08-24 13:17

Apache Lucene(全文检索引擎)—分词器

ApacheLucene(全文检索引擎)—分词器阅读目录目录1.分词器的作用2.英文分词器的原理3.中文分词器的原理4.停用词的规则5.分词器的使用代码6.Compass简单介绍(不建议使用)回到顶部目录返回目录
zmcyu·2020-08-24 12:05

中文分词预处理之N最短路径法小结(转)

所以，中文分词就自然而然的成了一切中文信息处理的必要前提。但是，由于中文往往会出现歧义、人
TheAlgorithmArt·2020-08-24 07:01

自然语言处理之维特比算法实现中文分词

维特比算法实现中文分词实例维特比(viterbi)算法介绍算法思路分词实例维特比(viterbi)算法介绍维特比算法是一种动态规划算法用于寻找最有可能产生观测事件序列的-维特比路径-隐含状态序列，可以解决任何一个图中的最短路径问题
Wake Up @Dionysus·2020-08-24 04:24

HMM实现中文分词

importnumpyasnpimportwarningsfromhmmlearn.hmmimportMultinomialHMMasmhmmdata=[{u"我要吃饭":"SSBE"},{u"天气不错":"BEBE"},{u"谢天谢地":"BMME"}]defprints(s):passprint(s)defget_startprob():"""getBMESmatrix"""c=0c_map=
润森·2020-08-24 04:12

隐马尔科夫HMM应用于中文分词

下图是描述天气变化的隐马尔科夫模型隐马尔科夫模型:一般用(A,B,pi)来表示A是指状态转移矩阵,在这里是指Rainy与Sunny之间四组的状态转移概率,在分词中也就是标注(比如SBME),B是发射矩阵,在这里是指Rainy中的Walk,Shop,Clean三种观测值的概率以及Sunny中的Walk,Shop,Clean三种观测值的概率,在分词中是指一个个的字,PI是初始状态分布,在这里就是sta
sdfreregtrh·2020-08-24 04:12

使用HMM进行中文分词

一、代码#%loadhmm_segment.py#（1）通过对语料库进行统计，建立隐马尔科夫链模型（初始概率，转移概率，观测概率）#（2）通过维特比算法（动态规划），确立某具体语句按其顺序出现每个字时，每个字对应的最大可能状态。#（3）确定了每个字对应的状态，按('BM*E|S')的模式进行分词#B代表词开始，M代表词的中间，E代表词的结尾。S代表单字词M*表示中间大于等于0#HiddenMark
sysu_zzd·2020-08-24 04:49

HMM中文分词_CodingPark编程公园

文章介绍新词识别OVV是中文分词一大难点，为此我们从词语级模型切换到字符级模型，将中文分词任务转换为序列标注问题。
TEAM-AG·2020-08-24 03:49

简单上手用于中文分词的隐马尔科夫模型

前段时间一直在看自然语言处理方面的知识，所以不可避免的接触到了隐马尔科夫模型和条件随机场模型。这两个模型可以说是自然语言处理方向的基础模型了，所以自然而然对它们上心许多。它们之间也确实是有许多的异同，当时为了清晰地区分开它们，确实是花费了我好一阵子时间，而且到现在自己也还没有完完全全把它们吃透，但还是斗胆把自己整理的一些资料和心得贴出来供大家参考，希望大家都能少走弯路，节约时间。隐马尔科夫模型第一
飞奔的菜猪·2020-08-24 03:09
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他