Tokenizer

词法分析器的工作过程分析

    Webkit中，有个词法分析器--HTMLTokenizer，她是怎么工作的呢，网页字节流是她的输入，她的输出是一个个的词语Token，比如div，input，img，script等等HTML文件中的标准元素
lichwei1983·2015-03-20 12:00

2000个软件开发领域的高频特殊词及精选例句（二）

276、单词tokenizer的匹配文本：Analysisisdonebytheanalyzer,whichisbuiltoftokenizerandzeroormorefilters,andcanalsohavezeroormorecharactermappers.Ma
杨尚川·2015-03-19 22:00

运行nltk示例 Resource u'tokenizers punkt english.pickle' not found解决

nltk安装完毕后，编写如下示例程序并运行，报Resource u'tokenizers/punkt/english.pickle' not found错误 import nltk sentence
·2015-03-18 17:00

使用Eclipse跟踪JDK源码

点“编辑”将出现如下的界面：    2.跟踪阅读源码   如上图，在我自己写的代码中包含了StringTokenizer类，我们要看它的具体定义，就只要按住“Ctrl”键，然后将鼠标放在该类上再单击就可
Coder哥·2015-03-14 20:00

索引模块-同义词词元过滤器（Index Modules-Synonym Token Filter）

这里是一个例子:{   "index":{     "analysis":{       "analyzer":{         "synonym":{           "tokenizer":"
july_2·2015-03-11 17:00

PAT1009 说反话 (20)

importjava.util.Stack; importjava.util.Scanner; importjava.util.StringTokenizer; publicclassMain{ publicstaticStringinput
bleuesprit·2015-03-10 09:00

Java根据文本内容生成网页

import java.util.StringTokenizer;public class WebpageMaker {    public static
march alex's blog·2015-03-06 16:00

基于iciba的英汉翻译大师

通过之前讲到的文件操作进行文件内容的读取，再通过StringTokenizer来分词，最后一个一个的翻译。这里有一个优化，就是通过HashMap来去重，这样可以优化文件中一些单词重复出现所
march alex's blog·2015-03-04 14:00

当需要将一个字符串按照指定的分隔符分割

当需要将一个字符串按照指定的分隔符分割，并且保存起来后边使用的时候，可以使用StringTokenizer这个方法。
iteye_10707·2015-02-27 09:53

当需要将一个字符串按照指定的分隔符分割

     当需要将一个字符串按照指定的分隔符分割，并且保存起来后边使用的时候，可以使用StringTokenizer 这个方法。
黄氏响声丸·2015-02-27 09:00

java代码优化方案

    换成：2=count)需要加上括号11、在创建数组是应该指定数组的大小12、如果在字符串中出现一个字符的时候要使用‘’代替“”，这样可以节省时间13、在字符串的截取与获取时，尽量使用StringTokenizer14
xfg0218·2015-02-26 08:00

从零开始写个编译器吧 - Parser 语法分析器

Parser（语法分析器）的编写相对于Tokenizer（词法分析器）要复杂得多，因此，在编写之前可能也会铺垫得更多一些。
MOsky泽·2015-02-20 00:00

mapreduce '找共同朋友'，面试题

第一字母表示本人，其他是他的朋友，找出有共同朋友的人，和共同朋友是谁答案如下：importjava.io.IOException;importjava.util.Set;importjava.util.StringTokenizer
乡里伢崽·2015-02-12 15:00

boost库

theboostcpplibraries.com/index#include #include #include #include usingnamespacestd; voidtest002() { typedefboost::tokenizer
earbao·2015-02-03 15:00

StringTokenizer

StringTokenizer是一个用来分隔String的应用类，相当于String的split方法。
·2015-02-02 23:00

Java 系统相关参数获取

package org.apache.lucene.util; import java.lang.reflect.Field; import java.util.StringTokenizer;
tmj_159·2015-01-29 15:00

性能问题汇总

三、十六、用StringTokenizer代替indexOf、substring()字符串的分
yclfdn2004·2015-01-29 11:00

Hadoop之wordcount源码分析和MapReduce流程分析

wordcount源代码importjava.io.IOException; importjava.util.StringTokenizer; importorg.apache.hadoop.conf.Configuration
liuyuan185442111·2015-01-20 12:00

GenericWritable

packagecom.test;importjava.io.IOException;importjava.util.Iterator;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration
Zero零_度·2015-01-11 19:00

NLineInputFormat

packagecom.test;importjava.io.IOException;importjava.util.Iterator;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration
Zero零_度·2015-01-11 18:00

从零开始写个编译器吧 - Token.java 文件的编写

如其名字所示，这个类实例化的对象用于表示词法分析器Tokenizer的产物。同时，也作为下一阶段的语法分析器Parser的原料。让我们开始吧！
MOsky泽·2015-01-11 00:00

从零开始写个编译器吧 - 词法分析器是一个状态机

词法分析器Tokenizer本身就是一个状态机，生成这个状态机有很多种方法，而我打算采取手写的方式。因为tao语言的词法还是相对比较简单的，手写不成问题。
MOsky泽·2015-01-11 00:00

从零开始写个编译器吧 - 编译器的结构

首先是Tokenizer（词法分析器），它读入一个一个字符，并将其合并成一个一个Token（单词）。这些Token将被Parser（语法分析器）接收并进行进一步处理。
MOsky泽·2015-01-11 00:00

从零开始写个编译器吧 - tao语言的词法分析器（Tokenizer）的类型定义

要为tao语言设计词法分析器，首先得知道tao语言是一种什么样的语言。不过呢，我脑海里还没有tao语言具体形象。我还是先贴一段tao语言的代码，大概展示下这是怎么回事吧。defsay_hello_world(who)print“helloworld”+whoendvarname=“tao”say_hello_worldname#我是注释，注释是这样写的看起来可能是这个样子。这个系列中的tao语言我
MOsky泽·2015-01-11 00:00

从零开始写个编译器吧 - 单词化简述（Tokenization）

但是，字符本身作为编译器的输入单位，粒度实在太小了，因此，我们往往需要对编译器进行第一层封装，即分割出一个称之为Tokenizer（词法分析器）的部分。
MOsky泽·2015-01-11 00:00

Other Basic PHP Extensions

GeoIPLocationJudyArraysSPLParsekitTokenizerV8jsYaf
pcyph·2015-01-06 20:00

StringTokenizer类的使用

StringTokenizer是一个用来分隔String的应用类，相当于VB的split函数。
Listener_ri·2014-12-31 09:00

Hadoop 调试第一个mapreduce程序过程详细记录总结

blog.itpub.net/26230597/viewspace-1370205/1，程序代码如下：​packagewc;importjava.io.IOException;importjava.util.StringTokenizer
mchdba·2014-12-31 00:00

JSP获取客户端的浏览器和操作系统信息

  string agent = request.getheader("user-agent");   　　stringtokenizer st = new
wenwang·2014-12-30 13:00

Command Line JMX Client

GNUCommandLine   import java.util.ArrayList; import java.util.List; import java.util.StringTokenizer
HuanYue·2014-12-29 13:00

Command Line JMX Client

GNUCommandLine   import java.util.ArrayList; import java.util.List; import java.util.StringTokenizer
HuanYue·2014-12-29 13:00

01背包问题的java界面实现

2371274publicclassBackProblem{ publicstaticvoidmain(String[]args){ newBackProblemJFrame("背包问题"); } } importjava.util.StringTokenizer
milin·2014-12-15 23:00

01背包问题的java界面实现

2371274publicclassBackProblem{ publicstaticvoidmain(String[]args){ newBackProblemJFrame("背包问题"); } } importjava.util.StringTokenizer
milin·2014-12-15 23:00

hadoop wordcount代码事例详解

importjava.io.IOException; importjava.util.StringTokenizer; importorg.apache.hadoop.conf.Configuration
nana_93·2014-12-14 09:00

WebKit中的html词法解析

在WebKit中，有两个类，同词法分析密切相关，它是HTMLToken和HTMLTokenizer类，可以简单将HTMLToken类理解为标记，HTML
liutianshx2012·2014-12-14 01:00

StringTokenizer初步了解

在Hadoop里面经常看到有StringTokenizer，用来分割字符串。那么在这里就简单地了解一下这个类到底有什么用。 
吐槽的达达仔·2014-12-05 22:00

MapReduce使用JobControl管理实例

  importjava.io.IOException; importjava.util.StringTokenizer; importorg.apache.hadoop.fs.Path; importorg.apache.hadoop.io.IntWritable
Man_华·2014-12-01 22:00

【计算机英语】词汇总结

tokenizer分解器digits数字annotations注释ordinary普通的平常的一般的JavaBeansJava对象JSP全名为JavaServerPages，其根本是一个简化的Servlet
timeyoyo·2014-12-01 14:00

StringTokenizer类的使用

StringTokenizer是一个用来分隔String的应用类，相当于VB的split函数。
u010022051·2014-11-30 17:00

对Mapreduce代码进行单元测试

源码如下：packageorg.apache.hadoop.examples;import java.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configu
qileilove·2014-11-26 14:00

[Elasticsearch] 索引管理 (二)

自定义解析器(CustomAnalyzers)虽然ES本身已经提供了一些解析器，但是通过组合字符过滤器(CharacterFilter)，分词器(Tokenizer)以及词条过滤器(TokenFilter
dm_vincent·2014-11-25 10:00

java程序优化

字符串优化与处理 使用效率更高的stringtokenizer类分割字符串。该类是jdk中提供的专门用来处理字符串分割子串的工具类。其效率仍明显高于split()方法。
endless·2014-11-22 14:00

Solr4.10和ANSJ 中文分词集成

1.具体代码 1.1 ANSJTokenizerFactory工厂类package org.ansj.solr; import org.apache.lucene.analysis.util.TokenizerFactory
go2school·2014-11-07 17:00

Apache SOLR and Carrot2 integration strategies 2

Inordertousecustomchinesetokenizer(eg.jcseg).Followingthenextsteps1.downloadcarrot2soucecode andimportittoeclipse
ylzhj02·2014-11-04 17:00

从零开始写个编译器吧 - 单词化简述（Tokenization）

但是，字符本身作为编译器的输入单位，粒度实在太小了，因此，我们往往需要对编译器进行第一层封装，即分割出一个称之为Tokenizer（词法分析器）的部分。
MOsky·2014-11-02 09:00

从零开始写个编译器吧 - 编译器的结构

首先是Tokenizer（词法分析器），它读入一个一个字符，并将其合并成一个一个Token（单词）。这些Token将被Parser（语法分析器）接收并进行进一步处理。
MOsky·2014-11-02 09:00

Java中字符串的分隔问题 "|" "." "*" "_" 特殊符号解决方案

  StringTokenizer(字符串分隔解析类型)java.util.StringTokenizer  功效:将字符串以定界符为界，分析为一个个的token（可理解为单词）
fengbin2005·2014-10-29 14:00

CDH5.0.0使用hue中的oozie编辑器创建一个wordcount的mapreduce job

nameNode} /shareScripts/xxmapred-site.xml mapreduce.job.map.class com.besttone.hbase.demo.WordCount$TokenizerMapper
xiao_jun_0820·2014-10-22 14:00

hadoop之hello world

//初学hadoop,这是第一个例子wordCountimportjava.io.IOException;importjava.util.StringTokenizer;importorg.apach.hadoop.conf
langmanqishizaijia·2014-10-17 09:00

比 StringTokenizer 更加优化的字符串分割

  上篇文中说到，StringTokenizer 是相对比较快的字符分割方法，split和正则表达式 是java 建议的使用方法，subString 在原始字符串很大，切割操作又被高频使用的情况下很容易出现
annan211·2014-10-11 11:00
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他