HtmlParser 错误解决 character mismatch (new: [] != old: []) for encoding change from ...

错误：

character mismatch (new: 军 [0x519b] != old: [0xbe¾]) for encoding change from ISO-8859-1 to GB2312 at character offset 186。

原因：

如果请求url返回的页面上中文的title写在了meta的前面,而且这个meta里设置的charset编码信息又和parser默认的或者使用者自己设置定编码不一样。

那么就会报这个错，但是如果meta之前没有任何中文，那么就不会报这个错。因为htmlparser本身会根据html源码中的charset信息设置编码：<原创网址：http://hi.csdn.net/space-8079523.html，作者：蛰伏神兽>

让我们就根据报出的错误栈来看下htmlparser源码，来看看到底是怎么回事：

org.htmlparser.util.EncodingChangeException: character mismatch (new: 军 [0x519b] != old: [0xbe¾]) for encoding change from ISO-8859-1 to GB2312 at character offset 186 at org.htmlparser.lexer.InputStreamSource.setEncoding(InputStreamSource.java:279) at org.htmlparser.lexer.Page.setEncoding(Page.java:864) at org.htmlparser.tags.MetaTag.doSemanticAction(MetaTag.java:149) at org.htmlparser.scanners.TagScanner.scan(TagScanner.java:68) at org.htmlparser.scanners.CompositeTagScanner.scan(CompositeTagScanner.java:159) at org.htmlparser.util.IteratorImpl.nextNode(IteratorImpl.java:91) at org.htmlparser.Parser.parse(Parser.java:700)

先来看下parser解析Node的流程，

parser会用IteratorImpl的nextNode()对指定的html源码一行一行的往下解析然后一个一个产生node，没产生一个Node就会用这个Node的扫描器扫描这个Node来构建子节点，或者执行一些操作。当遇到meta标签的时候他就会产生一个MetaTag标签，并且用对应Scanner（TagScanner）扫描这个标签：

public Tag scan (Tag tag, Lexer lexer, NodeList stack) throws ParserException { tag.doSemanticAction (); return (tag); }这个方法中科院看到实际上这个方法就是执行了一下MetaTag的doSemanticAction();方法：

public void doSemanticAction () throws ParserException { String httpEquiv; String charset; httpEquiv = getHttpEquiv ();//原创网址：http://hi.csdn.net/space-8079523.html，作者：蛰伏神兽 if ("Content-Type".equalsIgnoreCase (httpEquiv)) { charset = getPage ().getCharset (getAttribute ("CONTENT")); getPage ().setEncoding (charset); } }很明显这个方法的作用就是获取刚刚产生的MetaTag节点中的Content信息，编码信息，然后设置当前页面的编码。

也就是说htmlparser其实有自动搜索页面源码的编码的能力，<原创网址：http://hi.csdn.net/space-8079523.html，作者：蛰伏神兽
>在遍历整个html源码信息，一个一个产生Node的时候就开始设置了。

但是这必须要执行到拥有编码信息的Meta行才会发现这个页面的编码。那么也就是说之前用来解析的默认编码集很有可能和这个html页面编码是不一致的。

我们再来看看出错源的那段代码：

public void setEncoding (String character_set) throws ParserException { String encoding; InputStream stream; char[] buffer; int offset; char[] new_chars; encoding = getEncoding (); if (!encoding.equalsIgnoreCase (character_set)) //绿色 { stream = getStream (); try { buffer = mBuffer; offset = mOffset; stream.reset (); try { mEncoding = character_set; mReader = new InputStreamReader (stream, character_set); mBuffer = new char[mBuffer.length]; mLevel = 0; mOffset = 0; mMark = -1; if (0 != offset) { new_chars = new char[offset]; if (offset != read (new_chars)) throw new ParserException ("reset stream failed"); for (int i = 0; i < offset; i++) if(new_chars[i]!=buffer[i]) throw new EncodingChangeException ("character mismatch (new: " + new_chars[i] + " [0x" + Integer.toString (new_chars[i], 16) + "] != old: " + " [0x" + Integer.toString (buffer[i], 16) + buffer[i] + "]) for encoding change from " + encoding + " to " + character_set + " at character offset " + i); } } catch (IOException ioe) { throw new ParserException (ioe.getMessage (), ioe); } } catch (IOException ioe) { // bug #1044707 mark()/reset() issues throw new ParserException ("Stream reset failed (" + ioe.getMessage () + "), try wrapping it with a org.htmlparser.lexer.Stream", ioe); } } }之前MetaTag的doSematicAction();中的setEcoding(charset)最终执行的代码就是这一部分。<原创网址：http://hi.csdn.net/space-8079523.html，作者：蛰伏神兽
>
也就是说如果默认的编码集和从后面meta信息中扫描的编码集不同的话，那么就会执行绿色的这一段代码。它会将Source，reset掉，然后用新的编码集来转换之前用默认编码集转换的那部分字符串。但是很明显，如果两次编码集不一样，转换出来的英文字符串一样，中文字符串却往往会不一样。也就是说，当我解析到meta信息的时候如果meta之前没有中文信息(有些网站会把title标签写在meta信息之前比如说铁血网首页www.tiexue.net)那么不管编码是否一致都不会报错，因为报错的那部分代码是的这一段

if(new_chars[i]!=buffer[i])先后两种编码集转换的字符串要不一致才会报错，如果meta信息之前全是英文那肯定一致，也就不会报错了。

说到这里应该会有人和我一样有个疑问了：htmlparser的作者们为什么要设置这个错误类型呢？<原创网址：http://hi.csdn.net/space-8079523.html，作者：蛰伏神兽
>两种不同编码集转换的源代码，如果是中文的话肯定会不一致！

感觉这个错误类型完全没什么用啊。所以我解决这个错误的方法就是修改这部分源码，把这一段给注释掉~（就让他不一样吧，肯定不一样的啦。因为编码不同啦，所以不要报错啦）:修改后代码：

public void setEncoding (String character_set) throws ParserException { String encoding; InputStream stream; char[] buffer; int offset; char[] new_chars; encoding = getEncoding (); if (!encoding.equalsIgnoreCase (character_set)) { stream = getStream (); try { buffer = mBuffer; offset = mOffset; stream.reset (); try { mEncoding = character_set; mReader = new InputStreamReader (stream, character_set); mBuffer = new char[mBuffer.length]; mLevel = 0; mOffset = 0; mMark = -1; if (0 != offset) { new_chars = new char[offset]; if (offset != read (new_chars)) throw new ParserException ("reset stream failed"); /*for (int i = 0; i < offset; i++) if (new_chars[i] != buffer[i]) throw new EncodingChangeException ("character mismatch (new: " + new_chars[i] + " [0x" + Integer.toString (new_chars[i], 16) + "] != old: " + " [0x" + Integer.toString (buffer[i], 16) + buffer[i] + "]) for encoding change from " + encoding + " to " + character_set + " at character offset " + i);*/ } } catch (IOException ioe) { throw new ParserException (ioe.getMessage (), ioe); } } catch (IOException ioe) { // bug #1044707 mark()/reset() issues throw new ParserException ("Stream reset failed (" + ioe.getMessage () + "), try wrapping it with a org.htmlparser.lexer.Stream", ioe); }//原创网址：http://hi.csdn.net/space-8079523.html，作者：蛰伏神兽 } }好了.这样就行了，不管meta在title之前还是title之后都没关系了。htmlparser都会自动获取charset信息并且更改默认编码了。

大家有不同的看法欢迎留言讨论.转载请注明出处！谢谢啦。