Go语言 简单的爬虫示例(2)——编码转换

Go 语言官方没有提供处理 utf8、unicode 之外字符编码的包。这样转换就需要用第三方包，候选包：

https://github.com/xushiwei/go-iconv

https://github.com/djimenez/iconv-go

https://github.com/sloonz/go-iconv

例子：

下面源网页是国家地震局的一周内地震统计,编码是gb2312，这里需要把它编码成 utf-8 格式。

http://wendal.net/2013/0115.html

package main

import(

    iconv "github.com/djimenez/iconv-go"

    "io/ioutil"

    "log"

    "net/http"

)

func main(){

    log.SetFlags(log.LstdFlags|log.Lshortfile)

    resp,err:=http.Get("http://data.earthquake.cn/datashare/globeEarthquake_csn.html")

    if err!=nil{

        log.Fatal(err)

    }

    defer resp.Body.Close()

    input,err:=ioutil.ReadAll(resp.Body)

    out:=make([]byte,len(input))

    out=out[:]

    iconv.Convert(input,out,"gb2312","utf-8")

    ioutil.WriteFile("globeEarthquake_csn.html",out,0644)

}

 

参考资料：

Golang下进行字符集转换
http://wendal.net/2013/0115.html