Go语言爬虫(一)

过去的六个月由于一些原因在Go的学习上面花的精力很少,很庆幸在这段时间有不少人关注我,接下来主要学习Go在开发的一些应用,爬虫就是一个不可缺少的环节。首先介绍Go爬虫的简单应用
一、主要使用 goquery第三方框架进行爬虫开发,

package main

import (
    "fmt"
    "github.com/PuerkitoBio/goquery"
    "log"
    "os"
)

func main() {
    GetPase()
}

func GetPase() {
    file := "myfirst.txt"
    fout, err := os.Create(file)
    defer fout.Close()
    if err != nil {
        fmt.Println(file, err)
        return
    }
    doc, err := goquery.NewDocument("http://news.qq.com")
    if err != nil {
        log.Fatal(err)
    }
    doc.Find(".linkto").Each(func(i int, s *goquery.Selection) {
        fout.WriteString(s.Text())
        fout.WriteString("------")
        fout.WriteString("\n\r")
    })
}

你可能感兴趣的:(Go语言爬虫(一))