Tokenizer

利用CNN模型进行NLP文本分类

keras.preprocessing.text中有Tokenizer模块，可以帮助你把英文句子转换成数值序列，再用pad_sequ
ZesenChen·2018-11-22 22:39

elasticsearch 建立索引

创建mapping的过程介绍：分词器（analyzer）包括一个分解器（tokenizer）和多个词元过滤器（filter），词元过滤器的作是对分词器提取的词元进一步处理，比如转成小写，使用edge_ngram
微微一笑19·2018-11-21 11:08

Feature Extractors（特征提取）——Spark ML-2.3.0

{HashingTF,IDF,Tokenizer}importorg.apache.spark.sql.SparkSessionobjectTfld_feature{defmain(args:Array
Cookie_fzx·2018-11-09 19:39

经典MR之WordCount

1.WordCountV1.0publicclassWordCount{publicstaticclassTokenizerMapperextendsMapper{privatefinalstaticIntWritableone
花驴·2018-11-06 18:03

英文token预处理，用于将英文句子处理成单词

参考https://github.com/google-research/bert/blob/master/tokenization.py使用importtokenizationtokenizer=tokenization.BasicTokenizer
guotong1988·2018-11-03 12:45

ES学习——分析器和自定义分析器

从文档中提取词元（Token）的算法称为分词器（Tokenizer），在分词前预处理的算法称为字符过滤器（CharacterFilter），进一步处理词元的算法称为词元过滤器（TokenFilter），
lkj41110·2018-10-27 12:06

ElasticSearch教程——自定义分词器

Elasticsearch中，内置了很多分词器（analyzers），例如standard（标准分词器）、english（英文分词）和chinese（中文分词），默认的是standard，standardtokenizer
东天里的冬天·2018-10-24 15:14

字符串优化处理

：2、String对象内部结构：3、String对象的3个基本特点：（1）不变性：（2）针对常量池的优化：（3）类的final定义：4、字符串的分割和查找：（1）split（）方法：（2）StringTokenizer
百川灌河·2018-10-19 15:46

Java调用百度API实现翻译

APP_ID申请地址申请的详见点击打开链接申请之后，会得到APP_ID和SECURITY_KEY二、java代码如下 importIJFrame.IJFrame;importjava.util.StringTokenizer
bysjlwdx·2018-10-10 14:06

Elasticsearch（三）Analysis

1.standardanalyzer标准分析器由以下使用分词器和分词过滤器组成StandardTokenizerStandardTokenFilterLowerCaseTokenFilterStopTokenFilterPOST_analyze
zsf_lance·2018-09-27 11:32

keras 处理文本，分类，数值数据，并添加进网络的步骤和方法

这一步主要是划分数据集，drop()掉训练集里的预测那一列三，处理缺失值：可以使用fillna(value,inplace)来把缺失值补全四：送入网络之前的处理：1；分类信息的处理：主要使用Keras的Tokenizer
进击的程序员XA51·2018-09-21 11:01

keras 基础入门整理

第一部分文本与序列处理1.简介2text模块提供的方法3text.Tokenizer类3.1成员函数3.2成员变量4.示例第二部分Keras中的神经网络层组件简介神经网络的使用简介序列模型Sequential
IT界的小小小学生·2018-09-10 13:14

一些Java面试中经常出现的算法题

然后可选择升或者降序排序本题的splitStringByComma(String)方法纯属多余，可以用String的split方法一句话代替，且可读性也更强，下面的一段话源自JDK1.6API，StringTokenizer
梨花飘香·2018-09-03 18:26

spark-机器学习库-特征的提取，转换和选择

{HashingTF,IDF,Tokenizer}valsentenceData=spark.createDataFrame(Se
Alien_lily·2018-08-24 17:48

SQLFormatterUtil SQL格式化工具类

packagecom.utils.util;importjava.util.HashSet;importjava.util.LinkedList;importjava.util.Set;importjava.util.StringTokenizer
马哥哥哟·2018-08-22 10:38

【Keras】加载预训练词向量矩阵及文本数据序列化

from__future__importprint_functionimportosimportsysimportnumpyasnpfromkeras.preprocessing.textimportTokenizerfromkeras.preprocessing.sequenceimportpad_sequencesfromkeras.utilsimportto_categoricalfromk
蛋疼莙·2018-08-12 23:12

elasticsearch 深入 —— 分析器

参考：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-tokenizers.html在全文搜索（FulltextSearch
gmHappy·2018-08-02 14:37

【Spring Batch学习笔记】2：Reader-Processor-Writer操作csv文件的例子

SNAPSHOTorg.springframework.batchspring-batch-core3.0.7.RELEASEapplicationContext.xmlbatch.xml属性标记器;使用SpringBatch自带的DelimitedLineTokenizer
刘知昊·2018-08-01 12:40

Laravel 创建流程

1.安装laravelphp依赖PHPPDO扩展PHPMbstring扩展PHPTokenizer扩展PHPXML扩展PHPCtype扩展PHPJSON扩展例如apt-getinstallphp7.2php7.2
一个番茄柿·2018-07-26 15:16

es 不停机更新索引

将老索引数据导入新索引==>ii3.删除老索引别名,新建新索引别名==>iiii新建产品索引PUT/product_v2{"settings":{"analysis":{"analyzer":{"ik":{"tokenizer
weylan·2018-07-22 20:19

ElasticSearch 分词

分词将文本转换成一系列单词的过程,转换成的单词叫termortoken原理:倒排索引(b+)分词器的组成以及调用顺序1.CharacterFilter单词过滤器,对原始的文本进行处理2.Tokenizer
MJ丶·2018-07-03 14:18

elasticsearch系列三：索引详解（分词器、文档管理、路由详解（集群））

处理完后再交给tokenizer进行分词。一个analyzer中可包含0个或多个字符过滤器，多个按配置顺序依次进行处理。tokenizer：分词器，对文本进行分词。一个analyzer必需且只可包
weixin_34289744·2018-06-18 18:00

Laravel 5.5 的安装与配置

安装服务器要求Laravel5.5框架对PHP版本和扩展有一定要求：PHP>=7.0.0PHPOpenSSL扩展PHPPDO扩展PHPMbstring扩展PHPTokenizer扩展PHPXML扩展满足以上需求之后
lamp_yang_3533·2018-06-16 15:39

20165326 java实验五

这个代码在之前四则运算的结对编程写过，基本上是一样的代码：MyBC的中缀转后缀的函数publicvoidconversion(Stringexpr){//中缀转后缀Stringtoken;StringTokenizertok
#CZ·2018-06-14 16:00

彩票开奖代码

importjava.io.IOException;importjava.io.InputStreamReader;importjava.util.Random;importjava.util.StringTokenizer
小黑刘颜·2018-06-09 12:22

IMDb电影评论情感预测（文本数据预处理）--keras--python源码（24）

一、说明本代码使用keras对文本文档进行处理，主要包括1.使用urllib下载数据集2.使用tarfile解压数据集3.使用re书写正则表达式，替换文本中的格式符4.使用Tokenizer去建立字典5
HGaviN·2018-06-04 15:24

centos7.2装laravel5.5

1.环境要求laravel5.5对php环境有一定要求的必要条件PHP>=7.0.0PHPOpenSSL扩展PHPPDO扩展PHPMbstring扩展PHPTokenizer扩展PHPXML扩展可以通过
php程序猿coding·2018-05-30 16:43

[C++] #pragma once

defined(AFX_STRINGTOKENIZER_H__03F4D15A_A411
2222345345·2018-05-23 16:06

java ACM竞赛IO优化Petr模板

petr大佬的模板，果然速度提高10倍输入输出例子输入classInputReader{privatefinalstaticintBUF_SZ=65536;BufferedReaderin;StringTokenizertokenizer
孤鸿子_·2018-05-09 20:18

java ACM竞赛IO优化Petr模板

petr大佬的模板，果然速度提高10倍输入输出例子输入classInputReader{privatefinalstaticintBUF_SZ=65536;BufferedReaderin;StringTokenizertokenizer
孤鸿子_·2018-05-09 20:18

Mapreduce单词计数的例子

WordCount类packageorg.apache.hadoop.examples;//著名源文件存放的地方importjava.io.IOException;importjvaa.util.StringTokenizer
Homer_Simpson·2018-04-24 20:21

NLP中常用的分词器

基于正向最大匹配（https://code.google.com/p/mmseg4j/）mmseg4j用Chih-HaoTsai的MMSeg算法实现的中文分词器，并实现lucene的analyzer和solr的TokenizerFactory
象在舞·2018-04-17 19:08

Tensorflow VocabularyProcessor API

tf.contrib.learn.preprocessing.VocabularyProcessor(max_document_length,min_frequency=0,vocabulary=None,tokenizer_fn
听风1996·2018-04-08 10:34

PySpark学习笔记（5）——文本特征处理

先写下整个处理的流程：（1）从数据库中提取数据（2）将提取的数据转换成DataFrame格式（3）使用tokenizer分词（4）将文本向量转换成稀疏表示的数值向量（字符频率向量）（5）将tokenizer
飞鸟2010·2018-03-30 18:23

Elasticsearch实现变态的精确匹配，配置分析器

但是有些需求要求精确搜索匹配，用自定义的配置分析器可以实现精确搜索https://www.elastic.co/guide/en/elasticsearch/reference/5.6/analysis-ngram-tokenizer.html
liangxw1·2018-03-30 14:22

laravel5.6 安装实例

一、服务器需求请确保您的服务器满足下面的要求：PHP>=7.1.3OpenSSLPHPPHPPDO扩展PHPMbstring扩展PHPTokenizer扩展PHPXML扩展PHPCtype扩展PHPJSON
无风的雨·2018-03-15 23:06

java编写mapreduce并在hadoop中运行

utm_medium=referral1、mapreduce代码packagetest.mapreduce;importjava.io.IOException;importjava.util.StringTokenizer
不屑哥·2018-03-06 16:59

如何科学地使用keras的Tokenizer进行文本预处理

如何科学地使用keras的Tokenizer进行文本预处理缘起之前提到用keras的Tokenizer进行文本预处理，序列化，向量化等，然后进入一个simple的LSTM模型中跑。
江户川柯壮·2018-03-05 16:32

Keras 文本预处理 text sequence

预处理句子分割、ohe-hot：fromkeras.preprocessingimporttextfromkeras.preprocessing.textimportTokenizertext1='somethingtoeat'text2
青盏·2018-03-04 15:23

solr+jieba结巴分词

github.com/huaban/jieba-analysis编译cdjieba-analysismvninstall注意如果mvn版本较高，需要修改pom.xml文件，在plugins前面增加solrtokenizer
lotushy·2018-02-02 12:00

mapreduce算法之二次排序

importjava.net.URI;importjava.io.DataInput;importjava.io.DataOutput;importjava.io.IOException;importjava.util.StringTokenizer
Oceansidexue·2018-01-31 08:22

JAVA StringBuffer类与StringTokenizer类代码解析

StringBuffer类提供了一个字符串的可变序列，类似于String类，但它对存储的字符序列可以任意修改，使用起来比String类灵活得多。它常用的构造函数为：StringBuffer()构造一个空StringBuffer对象，初始容量为16个字符。StringBuffer(Stringstr)构造一个StringBuffer对象，初始内容为字符串str的拷贝。对于StringBuffer类，
sac761·2018-01-06 09:17

Mapper reduce

对应的java类：packagecom.paic;importjava.io.IOException; importjava.util.Iterator; importjava.util.StringTokenizer
Small-Apple·2017-12-22 18:37

解决Hadoop命令方式运行WordCount异常Class WordCount$XXXMapper not found

job.setJarByClass(WordCount.class);改成job.setJar("wc.jar");，解决类找不到的问题importjava.io.IOException;importjava.util.StringTokenizer
Leon-Zheng·2017-12-09 15:17

Keras, NLP 预处理

Keras提供了一些常用的封装,用于NLP类型的神经网络.fromkeras.preprocessingimportsequence,text,tensorflow的API里也有它们,位置在tf.keras.Tokenizerkeras.preprocessing.text.Tokenizer
yichudu·2017-11-26 19:16

MapReduce之WordCount单词计数（下）

阅读更多一代码Wordcount.javaimportjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration
cakin24·2017-10-20 20:00

MapReduce之WordCount单词计数（下）

阅读更多一代码Wordcount.javaimportjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration
cakin24·2017-10-20 20:00

切分表达式——写个tokenizer吧

7-6切分表达式——写个tokenizer吧（20分）[先说点出题背景]这个题是为低年级同学、学C语言的同学准备的，因为，对这部分同学，这个题目编写起来略有一点复杂。
爱上键盘的小哥哥·2017-10-20 16:39

利用MapReduce进行排序

112263154225266327328549921065011654127561359561465223三代码Sort.javaimportjava.io.IOException;importjava.util.StringTokenizer
cakin24·2017-10-19 20:00

利用MapReduce进行排序

112263154225266327328549921065011654127561359561465223三代码Sort.javaimportjava.io.IOException;importjava.util.StringTokenizer
cakin24·2017-10-19 20:00
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他