[中文分词]

Spark：Jieba对数据库里提取的记录进行中文分词

从数据库里读取记录我们要创建一个DataFrame来存储从数据库里读取的表。首先要创建Spark的入口–SparkSession对象。需要引入的包：importorg.apache.spark.sql.SparkSession在main函数里：valspark=SparkSession.builder().getOrCreate()//创建一个SparkSession对象然后使用spark.rea
你的莽莽没我的好吃·2020-08-22 00:39

自然语言中最好中文分词 -- jieba

美图欣赏：一.jieba介绍“结巴”中文分词：做最好的Python中文分词组件“Jieba”（中文为“tostutter”）中文文本分割：内置为最好的Python中文单词分割模块。
Jackson_MVP·2020-08-22 00:29

使用Spark框架中文分词统计

技术Spark+中文分词算法对爬取的网站文章的关键词进行统计，是进行主题分类，判断相似性的一个基础步骤。例如，一篇文章大量出现“风景”和“酒店”之类的词语，那么这篇文章归类为“旅游”类的概率就比较大。
07H_JH·2020-08-22 00:02

Spark 大数据中文分词统计（二） Java语言实现分词统计

上一篇文章中完成了Windows环境下Spark开发环境的搭建，这一篇来谈一下使用Java语言，基于纯Java语言、使用MapReduce模式以及Spark框架进行中文分词统计的编程实践。
dumbbellyang·2020-08-22 00:01

python jieba库的使用

jieba库的使用jieba库是python中一个重要的第三方中文分词函数库。我们pycharm是没有安装jieba库的，因此需要我们手动安装jieba库。安装第三方库的方法已经链接在置顶啦!
是zmj·2020-08-22 00:12

Lucene4.X实战类baidu搜索的大型文档海量搜索系统

教程一共有31讲，课程主要目的在于让学员了解Lucene4.X的基本概念及关键、掌握本课程由浅入深的介绍了Lucene4的发展历史，开发环境搭建，分析lucene4的中文分词原理，深入讲了lucenne4
u012254556·2020-08-21 21:40

ElasticSearch 分词器，了解一下

这篇文章主要来介绍下什么是Analysis，什么是分词器，以及ElasticSearch自带的分词器是怎么工作的，最后会介绍下中文分词是怎么做的。
武培轩·2020-08-21 19:33

实战baidu搜索的大型文档海量搜索系统

搜索的大型文档海量搜索系统课程分类：Java适合人群：初级课时数量：31课时用到技术：分词、过滤、排序、索引涉及项目：大型企业文档中心管理系统本课程由浅入深的介绍了Lucene4的发展历史，开发环境搭建，分析lucene4的中文分词原理
fewrfwef231·2020-08-21 19:50

Elasticsearch

Elasticsearch目录那些必须要知道的事儿搭建elasticsearch环境快速上手elasticsearch分析数据的过程漫谈IK中文分词器elasticsearchforPython集群other
daruan0435·2020-08-21 18:30

Lucene 实例教程(二)之IKAnalyzer中文分词器

原创作品，允许转载，转载时请务必以超链接形式标明文章原始出处、作者信息和本人声明。否则将追究法律责任。作者：永恒の_☆地址：http://blog.csdn.net/chenghui0317/article/details/10281311一、前言前面简单介绍了Lucene，以及如何使用Lucene将索引写入内存，地址：http://blog.csdn.net/chenghui0317/artic
夜空中苦逼的程序员·2020-08-21 18:21

文公子答疑 | 文公子答CP最困惑的是十大ASO难题

）——用于查看APP的关键词覆盖数（KCN）、关键词即时排名、关键词相关APP数量，苹果权重（iAR），下载量评级指数（DLR），AppStore数据（榜单排名／热门搜索词／关键词热度），关键词拓展，中文分词工具
APP干货铺子·2020-08-21 11:36

自然语言处理之中文分词技术与算法

1正向最大匹配法1.1正向最大匹配（MaximumMatchMethod,MM法）的基本思想：假定分词词典中的最长词有i个汉字字符，则用被处理文档的当前字串中的前i个字作为匹配字段，查找字典。若字典中存在这样的一个i字词，则匹配成功，匹配字段被作为一个词切分出来。如果词典中找不到这样的一个i字词，则匹配失败，将匹配字段中的最后一个字去掉，对剩下的字串重新进行匹配处理。如此进行下去，直到匹配成功，即
墨雨依旧付疏狂Q·2020-08-21 09:27

在python中使用哈工大LTP进行自然语言处理（安装和结果分析）

下载模型文件三、python下的功能实现1.代码参考2.结果说明1.分句2.分词3.词性标注4.依存句法分析5.命名实体识别6.语义角色标注7.语义依存分析四、总结一、LTP介绍语言技术平台(LTP)提供包括中文分词
本咸鱼也有梦想啦·2020-08-21 06:33

中文分词工具(LAC) 试用笔记

一、背景笔者2年前写过一篇《PHP使用elasticsearch搜索安装及分词方法》的文章，记录了使用ES的分词的实现步骤，最近又需要用到分词，在网上发现一个百度的中文分词项目，中文词法分析（LAC），
汤青松·2020-08-21 03:55

数据爬虫、词频统计可视化、词云绘制、语句情感审查——飞桨PaddleHub实战

需要的配置和准备工作1、中文分词需要jieba2、词云绘制需要wordcloud
奔波儿灞啊·2020-08-21 01:25

Elasticsearch进阶（倒排索引、高级查询_DSL语言查询与过滤、中文分词IK插件、文档映射）

1、ES9300端口号与9200区别9300端口：ES节点之间通讯使用，是tcp协议端口号9200端口：ES节点和外部通讯使用，暴露ESRESTful接口端口号2、Elasticsearch倒排索引原理全文检索检索底层采用排索为什么？倒排索引比数据库中B-tree树查询效率还要快？倒排索引会对文档内容进行关键词分词，可以使用关键次直接定位到文档内容。正向索引正排表是以文档的ID为关键字，表中记录文
王小白_Ada·2020-08-21 01:48

基于RNN的文本生成算法的代码运转

前言跳过废话，直接看正文RNN相对于传统的神经网络来说对于把握上下文之间的关系更为擅长，因此现在被大量用在自然语言处理的相关任务中，例如生成与训练文集相似的文字、序列标注、中文分词等。
jindg1980·2020-08-21 00:12

使用cjieba(结巴分词库)实现php扩展中文分词-支持php5, php7

编译安装gitclonehttps://github.com/jonnywang/jz.git(php7)gitclonehttps://github.com/jonnywang/phpjieba.git(php5)cdjz/cjiebamakecd..phpize./configure--enable-jiebamakemakeinstall配置php.iniextension=jz.sojz.
极致极简·2020-08-20 23:39

使用cjieba(结巴分词库)实现php扩展中文分词-支持php5, php7

编译安装gitclonehttps://github.com/jonnywang/jz.git(php7)gitclonehttps://github.com/jonnywang/phpjieba.git(php5)cdjz/cjiebamakecd..phpize./configure--enable-jiebamakemakeinstall配置php.iniextension=jz.sojz.
极致极简·2020-08-20 23:38

ElasticSearch的核心详解及中文分词

文档在Elasticsearch中，文档以JSON格式进行存储，可以是复杂的结构，如：{"_index":"haoke","_type":"user","_id":"1001","_score":1,"_source":{"id":1001,"name":"张三","age":20,"sex":"男"}}1）元数据（metadata）一个文档不只有数据。它还包含了元数据(metadata)——关于
Jello·2020-08-20 23:21

ElasticSearch的核心详解及中文分词

文档在Elasticsearch中，文档以JSON格式进行存储，可以是复杂的结构，如：{"_index":"haoke","_type":"user","_id":"1001","_score":1,"_source":{"id":1001,"name":"张三","age":20,"sex":"男"}}1）元数据（metadata）一个文档不只有数据。它还包含了元数据(metadata)——关于
Jello·2020-08-20 23:21

Elasticsearch + IK 中文分词插件在文档中心项目中的使用

前言既然是文档中心，对于前台用户而言除了基本的文档阅览功能之外，最重要的功能莫过于根据关键词搜索文档了。那么这一点无论是对于英文还是中文，其本质其实都是全文搜索，只不过针对中文需要做一些额外处理。Elasticsearch简介全文搜索属于最常见的需求，开源的Elasticsearch是目前全文搜索引擎的首选。它可以快速地存储、搜索和分析海量数据。维基百科、StackOverflow、Github都
NoTryNoSuccess·2020-08-20 22:48

es 中英文字母分词问题

ikes中文分词主流都推荐ik，使用简单，作者也一直持续更新,算是Lucene体系最好的中文分词了。但是索引的文本往往是复杂的，不仅包含中文，还有英文和数字以及一些符号。
螃蟹在晨跑·2020-08-20 22:08

es 中英文字母分词问题

ikes中文分词主流都推荐ik，使用简单，作者也一直持续更新,算是Lucene体系最好的中文分词了。但是索引的文本往往是复杂的，不仅包含中文，还有英文和数字以及一些符号。
螃蟹在晨跑·2020-08-20 22:08

Jieba库基本用法

Jieba库对中文分词的支持下较好，将文本分成粒度更细的词。
唛咦·2020-08-20 22:16

Elasticsearch 及 IK 中文分词插件安装

Elasticsearch及IK中文分词插件安装一、安装Java并配置JAVA_HOME环境变量由于Elasticsearch是使用Java构建的，所以首先需要安装Java8或更高版本才能运行。
白菜1031·2020-08-20 21:35

Elasticsearch 及 IK 中文分词插件安装

Elasticsearch及IK中文分词插件安装一、安装Java并配置JAVA_HOME环境变量由于Elasticsearch是使用Java构建的，所以首先需要安装Java8或更高版本才能运行。
白菜1031·2020-08-20 21:35

ElasticSearch 连载二 中文分词

什么是中文分词器？分词器怎么安装？如何使用中文分词器？那么接下来就为大家细细道来。什么是中文分词器搜索引擎的核心是倒排索引而倒排索引的基础就是分词。
WilburXu·2020-08-20 21:56

ElasticSearch 连载二 中文分词

什么是中文分词器？分词器怎么安装？如何使用中文分词器？那么接下来就为大家细细道来。什么是中文分词器搜索引擎的核心是倒排索引而倒排索引的基础就是分词。
WilburXu·2020-08-20 21:56

全文模糊搜索

1.对原文进行分词,再通过相应的搜索算法进行查询主要是中文分词，这里推荐1.SCWS，简体中文在线演示地址2.NLPIR,在线演示地址2.数据库方式，通过全文索引进行搜索建立全文索引的表的存储引擎类型必须为
海上升明月·2020-08-20 21:43

全文模糊搜索

1.对原文进行分词,再通过相应的搜索算法进行查询主要是中文分词，这里推荐1.SCWS，简体中文在线演示地址2.NLPIR,在线演示地址2.数据库方式，通过全文索引进行搜索建立全文索引的表的存储引擎类型必须为
海上升明月·2020-08-20 21:42

Windows 下安装 SCWS

SCWSSCWS是SimpleChineseWordSegmentation的首字母缩写（即：简易中文分词系统）。这是一套基于词频词典的机械式中文分词引擎，它能将一整段的中文文本基本正确地切分成词。
haoyq·2020-08-20 20:39

Windows 下安装 SCWS

SCWSSCWS是SimpleChineseWordSegmentation的首字母缩写（即：简易中文分词系统）。这是一套基于词频词典的机械式中文分词引擎，它能将一整段的中文文本基本正确地切分成词。
haoyq·2020-08-20 20:38

Solr集成IKAnalyzer中文分词器

前言官网：https://code.google.com/archi...IKAnalyzer2012FF版本（即For4.0），在API和功能上保持不变，只是让其支持了Lucene4.0和Solr4.0，让这部分的用户能用起来。如果你还是Lucene3.2-3.6的用户，那么你只需要下载IKAnalyzer2012U6版本。因为FF版本的API与3.x是不兼容的。【IKAnalyzer安装包包含
Developer·2020-08-20 20:01

Solr集成IKAnalyzer中文分词器

前言官网：https://code.google.com/archi...IKAnalyzer2012FF版本（即For4.0），在API和功能上保持不变，只是让其支持了Lucene4.0和Solr4.0，让这部分的用户能用起来。如果你还是Lucene3.2-3.6的用户，那么你只需要下载IKAnalyzer2012U6版本。因为FF版本的API与3.x是不兼容的。【IKAnalyzer安装包包含
Developer·2020-08-20 20:01

Elasticsearch集成IK中文分词器

一、安装ik分词器IK分词器Github地址：https://github.com/medcl/elas...因为我安装的Elasticsearch是5.6.9版本，所以对应安装elasticsearch-analysis-ik-5.6.9版本$./bin/elasticsearch-plugininstallhttps://github.com/medcl/elasticsearch-analy
Developer·2020-08-20 20:26

自然语言处理基础技术之分词、向量化、词性标注

获取更多腾讯海量技术实践干货哦~作者：段石石前言前段时间，因为项目需求,开始接触了NLP，有感自己不是科班出身，很多东西理解不深，于是花时间再读了一些NLP的经典教程的部分章节，这里是第一部分，主要包括三小块：中文分词
腾讯云加社区·2020-08-20 20:06

自然语言处理基础技术之分词、向量化、词性标注

获取更多腾讯海量技术实践干货哦~作者：段石石前言前段时间，因为项目需求,开始接触了NLP，有感自己不是科班出身，很多东西理解不深，于是花时间再读了一些NLP的经典教程的部分章节，这里是第一部分，主要包括三小块：中文分词
腾讯云加社区·2020-08-20 20:06

中文分词工具

2imdict-chinese-analyzer是imdict智能词典的智能中文分词模块，作者高小平，算法基于隐马尔科夫模型(HiddenMarkovModel,HMM)，是中国科学
xiaochenchenhebobo·2020-08-20 20:46

搜索为将 -- IKAnalyzer -- lucene6.6适配

前言在中文分词器中，IKAnalyzer做的是相对不错的，有着细度分割和智能使用两个模式。但是，这个版本因为太陈旧，作者不再维护，（项目估计是。。。），所以与现在的Lucene6.6版本差距有些大。
Allen·2020-08-20 20:59

搜索为将 -- IKAnalyzer -- lucene6.6适配

前言在中文分词器中，IKAnalyzer做的是相对不错的，有着细度分割和智能使用两个模式。但是，这个版本因为太陈旧，作者不再维护，（项目估计是。。。），所以与现在的Lucene6.6版本差距有些大。
Allen·2020-08-20 20:27

python使用jieba进行中文分词wordcloud制作词云

准备工作抓取数据存到txt文档中，了解jieba问题jieba分词分的不太准确，比如机器学习会被切成机器和学习两个词，使用自定义词典，原本的想法是只切出自定义词典里的词，但实际上不行，所以首先根据jieba分词结果提取出高频词并自行添加部分词作为词典，切词完毕只统计自定义词典里出现过的词wordcloud自身不支持中文词云，需要指定中文字体，并且现在大部分的博客提供的generate_from_f
jasminecjc·2020-08-20 20:15

python使用jieba进行中文分词wordcloud制作词云

准备工作抓取数据存到txt文档中，了解jieba问题jieba分词分的不太准确，比如机器学习会被切成机器和学习两个词，使用自定义词典，原本的想法是只切出自定义词典里的词，但实际上不行，所以首先根据jieba分词结果提取出高频词并自行添加部分词作为词典，切词完毕只统计自定义词典里出现过的词wordcloud自身不支持中文词云，需要指定中文字体，并且现在大部分的博客提供的generate_from_f
jasminecjc·2020-08-20 20:15

推荐十款java开源中文分词组件

1：Elasticsearch的开源中文分词器IKAnalysis(Star:2471)IK中文分词器在Elasticsearch上的使用。
hguchen·2020-08-20 20:11

使用cjieba(结巴分词库)实现php扩展中文分词-支持php5, php7

作者git地址：https://github.com/jonnywang/...编译安装gitclonehttps://github.com/jonnywang/jz.git(php7)gitclonehttps://github.com/jonnywang/phpjieba.git(php5)cdjz/cjiebamakecd..phpize./configure--enable-jiebama
极致极简·2020-08-20 20:42

使用cjieba(结巴分词库)实现php扩展中文分词-支持php5, php7

作者git地址：https://github.com/jonnywang/...编译安装gitclonehttps://github.com/jonnywang/jz.git(php7)gitclonehttps://github.com/jonnywang/phpjieba.git(php5)cdjz/cjiebamakecd..phpize./configure--enable-jiebama
极致极简·2020-08-20 20:42

结巴中文分词之PHP扩展

https://github.com/jonnywang/...functionsarrayjieba(string$text,booluse_extract=false,longextract_limit=10)installgitclonehttps://github.com/jonnywang/phpjieba.gitcdphpjieba/cjiebamakecd..phpize./conf
xingqiba·2020-08-20 20:42

使用cjieba(结巴分词库)实现php扩展中文分词

编译安装gitclonehttps://github.com/jonnywang/jz.gitcdjz/cjiebamakecd..phpize./configure--enable-jiebamakemakeinstall配置php.iniextension=jz.sojz.enable_jieba=1jz.dict_path=/Users/xingqiba/data/softs/jz/cjie
xingqiba·2020-08-20 20:07

Sphinx系列文章\SCWS中文分词

软件清单SCWS：1.2.2，下载XDB字典：下载安装ForMac/Linux请注意，我的系统是MacOSX10.11.2假设你已经下载好了上面的软件。第一步：编译和安装#解压➜tar-xvfscws-1.2.2.tar.bz2#编译和安装scws./configure--prefix=/usr/local/Cellar/scws#--preifx=[安装路径]make-j4makeinstall
路易港·2020-08-20 19:36

Sphinx系列文章\SCWS中文分词

软件清单SCWS：1.2.2，下载XDB字典：下载安装ForMac/Linux请注意，我的系统是MacOSX10.11.2假设你已经下载好了上面的软件。第一步：编译和安装#解压➜tar-xvfscws-1.2.2.tar.bz2#编译和安装scws./configure--prefix=/usr/local/Cellar/scws#--preifx=[安装路径]make-j4makeinstall
路易港·2020-08-20 19:36
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他