StreamTokenizer类的一些说明

博主笔记：最近用到这个StringTokenizer和StreamTokenizer两个类，感觉JDK的文档说的不怎么清楚，就在网上找了找相关文档，发现很多文章写得不好，这篇文章稍微清楚一点，但是也不是写得很好，先转载一下吧。有机会，我再自己写一个，最近比较懒，不想去测试，然后自己一个字一个字的敲。大家先凑或着一起学习吧，如果你有更好的想法或者发现更好的文章，请留言，非常感谢。

一直以来，我们都知道字符串的分割最常用的是java.util.StringTokenizer，但是某些时候，StringTokenizer有很大的局限性。
　　StreamTokenizer定义了几种基本的常量用于标识解析过程：TT_EOF(流结尾)、TT_EOL(行结尾)、
TT_NUMBER(数字符号,0123456789.-都属于数字语法)、TT_WORD(一个单词)。
　　其含有的基本方法介绍一下：
　　commenChar(intch)-指定某个字符为注释字符，此字符之后直到行结尾都被streamtokenizer忽略。
　　eolIsSignificant(booleanflag)-决定一个行结束符是否被当作一个基本的符号处理，如果是true，则被当作一个基本符号，不当作普通的分隔符，如果是false，则保持原义，即当作普通的分隔符。
　　lineno()-返回当前流所在的行号。
　　lowerCaseMode(booleanflag)-决定是否读取一个单词时是否转变成小写。
　　nextToken()-分析下一个。
　　ordinaryChar(intch)-指定字符在这个tokenizer中保持原义，即只会把当前字符认为普通的字符，不会有其他的语义。
　　ordinaryChars(intlow,inthi)-指定范围内的字符保持语义，同上
　　parseNumbers()-当streamtokenizer遭遇到一个单词为双精度的浮点数时，会把它当作一个数字，而不是一个单词。
　　pushBack()-回退，会引起下一个nextToken方法返回当前值。
　　quoteChar(intch)-指定当前字符为当前tokenizer中的分隔符，在两个符号之间被当作一个字符串解析。
　　resetSyntax()-重置语法表使所有的字符都被认为是“ordinary”。
　　slashSlashComments(booleanflag)-如果为true，则/*与*/之间的都被认为是注释，反之，不是。
　　slashStartComments(booleanflag)-如果为true，则//之后到行结尾的所有都被认为是注释，反之，不是。
　　whitespaceChars(intlow,inthi)-字符low与hi之间的所有字符都被当作为空格符，即被认识为tokenzier的分隔符。
　　wordChars(intlow,inthi)-字符low与hi之间的所有字符都被当作为单词的要素。
一个单词是由一个单词要素后面跟着0个或者更多个单词要素或者数字要素。
　　
　　api不是很复杂吧～应该不难理解。
　　一下举个例子会一幕了然：//SetupaStreamTokenizeronthecharactersinthisString
　　StreamTokenizerst=newStreamTokenizer(newStringReader(svalue));
　　//知道该怎么解析字符串了吧。
　　st.whitespaceChars(',',',');
　　//Commasaredelimiters
　　st.ordinaryChars('0','9');
　　//Neededtoturnoffnumericflag
　　st.ordinaryChars('.','.');
　　st.ordinaryChars('-','-');
　　st.wordChars('0','9');
　　//Neededtomakepartoftokens
　　st.wordChars('.','.');
　　st.wordChars('-','-');
　　//Splitcomma-delimitedtokensintoaList
　　ArrayListlist=newArrayList();
　　while(true)
　　{...
　　intttype=st.nextToken();
　　if((ttype==StreamTokenizer.TT_WORD)||(ttype>0))
　　{...
　　list.add(st.sval);
　　}
　　elseif(ttype==StreamTokenizer.TT_EOF)
　　{...
　　break;
　　}
　　else
　　{...
　　thrownewConversionException("Encounteredtokenoftype"+ttype);
　　}
　　}

[转载地址]：http://blog.csdn.net/yemy/archive/2005/12/07/546394.aspx