Sentiment.
Sentiment.

Golang爬虫初探

文章首发于Secin：Golang爬虫框架初探

前言

学到协程通信后感觉难理解了很多，目前在平时也用不到，所以Go方向就先学到这里吧，以最后的爬虫做个收尾，如果后期再用到的话再补充。

net/http实现第一个爬虫

Golang标准库中文文档

http包提供了HTTP客户端和服务端的实现。

import (
	"fmt"
	"io/ioutil"
	"net/http"
)

创建请求

常规请求方式

//GET
resp, err := http.Get(url)
//POST
resp, err := http.Post("http://example.com/upload", "image/jpeg", &buf)
//PostForm
resp, err := http.PostForm("http://example.com/form",url.Values{"key": {"Value"}, "id": {"123"}})

复杂请求方式

当需要在请求的时候设置头参数、cookie之类的数据，就可以使用http.Do方法。

client := &http.Client{}
req, _ := http.NewRequest("GET", url, nil)
//(参数头设置)
resp, err := client.Do(req)

参数头设置

设置请求header和cookie

req.Header.Set("User-Agent", "*****")
req.Header.Set("Cookie", "****")
//也可以用Add方法
req.Header.Add("User-Agent", "*****")
req.Header.Add("Cookie", "****")

区别：

  • 当我们使用Set时候，如果原来这一项已存在，后面的就修改已有的。
  • 当使用Add时候，如果原本不存在，则添加，如果已存在，就不做任何修改。

发出请求

resp, err := client.Do(req)
if err != nil {
   fmt.Println("Http get err:", err)
   return ""
}
if resp.StatusCode != 200 {
   fmt.Println("Http status code:", resp.StatusCode)
   return ""
}
defer resp.Body.Close()							//程序在使用完回复后必须关闭回复的主体。
body, err := ioutil.ReadAll(resp.Body) 			//ioutil.ReadAll用于读取文件或者网络请求
if err != nil {
   fmt.Println("Read error", err)
   return ""
}

重点注意下这两个地方

defer resp.Body.Close()							//程序在使用完回复后必须关闭回复的主体。
body, err := ioutil.ReadAll(resp.Body) 			//ioutil.ReadAll用于读取文件或者网络请求

最终调用一下定义的方法，返回请求内容

package main

import (
	"fmt"
	"io/ioutil"
	"net/http"
)

func fetch(url string) string {
	client := &http.Client{}
	req, _ := http.NewRequest("GET", url, nil)
	req.Header.Set("User-Agent", "1")
	req.Header.Set("Cookie", "1")
	resp, err := client.Do(req)
	//resp, err := http.Get(url)					//若不需要请求头信息上边的内容换成这一条就可以了
	if err != nil {
		fmt.Println("Http get err:", err)
		return ""
	}
	if resp.StatusCode != 200 {
		fmt.Println("Http status code:", resp.StatusCode)
		return ""
	}
	defer resp.Body.Close()
	body, err := ioutil.ReadAll(resp.Body) //读取文件或者网络请求时
	if err != nil {
		fmt.Println("Read error", err)
		return ""
	}
	return string(body)
}
func main() {
	s := fetch("https://blog.csdn.net/weixin_54902210?type=lately")
	fmt.Println(s)
}

解析页面

多了正则表达式部分

import (
	"fmt"
	"io/ioutil"
	"net/http"
	"regexp"
	"strings"
)

通过正则表达式获取当前页面的，边栏链接信息

Golang爬虫初探_第1张图片

func parse(html string) {
   // 替换空格
   html = strings.Replace(html, "\n", "", -1)
   //正则匹配内容块
   r_sidebar := regexp.MustCompile(``)
   //从传入的html开始匹配
   sidebar := r_sidebar.FindString(html)
   //正则匹配链接
   r_link := regexp.MustCompile(`href="(.*?)"`)
   //从上方匹配的内容中再次匹配链接
   link := r_link.FindAllString(sidebar, -1)
   url := "https://gorm.io/zh_CN/docs/"
   //切片遍历链接
   for _, v := range link {
      s := v[6 : len(v)-1]
      url1 := url + s
      fmt.Println(url1)
      body := fetch(url)
   }
}

加上前一部分的代码

package main

import (
   "fmt"
   "io/ioutil"
   "net/http"
   "regexp"
   "strings"
)

func fetch(url string) string {
   client := &http.Client{}
   req, _ := http.NewRequest("GET", url, nil)
   req.Header.Set("User-Agent", "1")
   req.Header.Set("Cookie", "1")
   resp, err := client.Do(req)
   //resp, err := http.Get(url)               //若不需要请求头信息上边的内容换成这一条就可以了
   if err != nil {
      fmt.Println("Http get err:", err)
      return ""
   }
   if resp.StatusCode != 200 {
      fmt.Println("Http status code:", resp.StatusCode)
      return ""
   }
   defer resp.Body.Close()
   body, err := ioutil.ReadAll(resp.Body) //读取文件或者网络请求时
   if err != nil {
      fmt.Println("Read error", err)
      return ""
   }
   return string(body)
}
func parse(html string) {
   // 替换空格
   html = strings.Replace(html, "\n", "", -1)
   //正则匹配内容块
   r_sidebar := regexp.MustCompile(``)
   //从传入的html开始匹配
   sidebar := r_sidebar.FindString(html)
   //正则匹配链接
   r_link := regexp.MustCompile(`href="(.*?)"`)
   //从上方匹配的内容中再次匹配链接
   link := r_link.FindAllString(sidebar, -1)
   url := "https://gorm.io/zh_CN/docs/"
   //切片遍历链接
   for _, v := range link {
      s := v[6 : len(v)-1]
      url1 := url + s
      fmt.Println(url1)
   }
}
func main() {
   s := fetch("https://gorm.io/zh_CN/docs/")
   parse(s)
}

成功爬取边栏链接

Golang爬虫初探_第2张图片

提取各页面信息

在成功提取边栏链接后，便可对各链接中的内容进行提取，这里以提取标题为例：

要提取的主体内容在

标签中，而标题在

，所以可以参考上方的正则提取方式，将标题提取出来

Golang爬虫初探_第3张图片

这里的切片从42开始是因为提取title后，前边会有长度42的源代码需要去掉

，后边的-5也是同理

长度为5

func parse2(body string) {
   // 替换空格
   body = strings.Replace(body, "\n", "", -1)
   //正则匹配内容块
   r_content := regexp.MustCompile(`
(.*?)
`)
   //从传入的body内容匹配
   content := r_content.FindString(body)
   //正则匹配文章标题
   r_title := regexp.MustCompile(`
(.*?)
`)
   //从上方匹配的内容中再次匹配标题
   title := r_title.FindString(content)
    //切片提取title
   title = title[42 : len(title)-5]
   fmt.Println(title)
}

之后就是需要调用parse2()了，在parse()的for循环最后加上：

body := fetch(url1)
//启动另外一个线程处理
go parse2(body)

调用fetch()方法，将正则获取的url的内容解析出来赋值给body，再将body传给parse2()，获取标题内容

Golang爬虫初探_第4张图片

保存文件

提取出我们想要的内容后，下一步就是保存内容了，实现起来也比较简单用的是os库

import (
	"fmt"
	"io/ioutil"
	"net/http"
	"os"
	"regexp"
	"strings"
)

定义一个save方法

func save(title string, content string) {
   err := os.WriteFile("./crawler/file/"+title+".html", []byte(content), 0644)
   if err != nil {
      panic(err)
   }
}

在parse2()的最后调用save(title, content)，将标题和内容写入到文件中

package main

import (
   "fmt"
   "io/ioutil"
   "net/http"
   "os"
   "regexp"
   "strings"
)

func fetch(url string) string {
   client := &http.Client{}
   req, _ := http.NewRequest("GET", url, nil)
   req.Header.Set("User-Agent", "1")
   req.Header.Set("Cookie", "1")
   resp, err := client.Do(req)
   //resp, err := http.Get(url)               //若不需要请求头信息上边的内容换成这一条就可以了
   if err != nil {
      fmt.Println("Http get err:", err)
      return ""
   }
   if resp.StatusCode != 200 {
      fmt.Println("Http status code:", resp.StatusCode)
      return ""
   }
   defer resp.Body.Close()
   body, err := ioutil.ReadAll(resp.Body) //读取文件或者网络请求时
   if err != nil {
      fmt.Println("Read error", err)
      return ""
   }
   return string(body)
}
func parse(html string) {
   // 替换空格
   html = strings.Replace(html, "\n", "", -1)
   //正则匹配内容块
   r_sidebar := regexp.MustCompile(``)
   //从传入的html开始匹配
   sidebar := r_sidebar.FindString(html)
   //正则匹配链接
   r_link := regexp.MustCompile(`href="(.*?)"`)
   //从上方匹配的内容中再次匹配链接
   link := r_link.FindAllString(sidebar, -1)
   url := "https://gorm.io/zh_CN/docs/"
   //切片遍历链接
   for _, v := range link {
      s := v[6 : len(v)-1]
      url1 := url + s
      fmt.Println(url1)
      body := fetch(url1)
      //启动另外一个线程处理
      go parse2(body)
   }
}
func parse2(body string) {
   // 替换空格
   body = strings.Replace(body, "\n", "", -1)
   //正则匹配内容块
   r_content := regexp.MustCompile(`
(.*?)
`)
   //从传入的body内容匹配
   content := r_content.FindString(body)
   //正则匹配文章标题
   r_title := regexp.MustCompile(`
(.*?)
`)
   //从上方匹配的内容中再次匹配标题
   title := r_title.FindString(content)
   title = title[42 : len(title)-5]
   fmt.Println(title)
   save(title, content)
}
func save(title string, content string) {
   err := os.WriteFile("./crawler/file/"+title+".html", []byte(content), 0644)
   if err != nil {
      panic(err)
   }
}
func main() {
   s := fetch("https://gorm.io/zh_CN/docs/")
   parse(s)
}

成功写入

Golang爬虫初探_第5张图片

Goquery

goquery package - github.com/PuerkitoBio/goquery - Go Packages

goquery为Go语言带来了一种语法和一组类似于jQuery的功能。它基于Go的net/html包和CSS Selector库cascadia。由于net/html解析器返回节点，而不是功能齐全的DOM树，因此jQuery的有状态操作函数（如height()，css()，detach()）被遗漏了。Go的著名爬虫框架colly就是基于goquery实现的。

安装

go get github.com/PuerkitoBio/goquery

Goquery爬虫简单实现

创建文档

dom, err := goquery.NewDocument(url)
dom, err := goquery.NewDocumentFromResponse(url)
dom, err := goquery.NewDocumentFromReader(reader io.Reader)

内容查找

主要用Find()方法，个人感觉还是通过class查找方式精确一些

dom.Find("#sidebar") //通过id查找

dom.Find(".sidebar-link") //通过class查找

dom.Find("asideid").Find("a") //通过标签链式查找

Golang爬虫初探_第6张图片

内容获取

selection.Html()
selection.Text()

属性获取

selection.Attr("href")
selection.AttrOr("href", "")

遍历

dom.Find(".sidebar-link").Each(func(i int, selection *goquery.Selection) {
}

Demo

package main

import (
   "fmt"
   "github.com/PuerkitoBio/goquery"
)

func main() {
   url := "https://gorm.io/zh_CN/docs/"
   dom, _ := goquery.NewDocument(url)
   dom.Find(".sidebar-link").Each(func(i int, selection *goquery.Selection) {
      href, _ := selection.Attr("href")
      text := selection.Text()
      fmt.Println(i, url+href, text)
   })
}

成功获取边栏链接

Golang爬虫初探_第7张图片

常见api

在爬虫的简单实现部分列举了创建文档、内容查找等方法，这里对上述用法做一点小总结

Document

GoQuery不知道要对哪个HTML文档执行操作。所以需要告诉它，这就是 Document 类的用途。它保存要操作的根文档节点，并且可以对此文档进行选择。

NewDocumentFromResponse

NewDocumentFromResponse 是一个 Document 构造函数，它将 http 响应作为参数。它加载指定响应的文档，对其进行分析，并存储根文档节点，以便随时进行操作。响应的主体在返回时关闭。

这里是结合前边的http库一起使用

client := &http.Client{}
req, _ := http.NewRequest("GET", url, nil)
resp, _ := client.Do(req)
dom, _ := goquery.NewDocumentFromResponse(resp)
dom.Find(".sidebar-link").Each(func(i int, selection *goquery.Selection) {
   href, _ := selection.Attr("href")
   text := selection.Text()
   fmt.Println(i, url+href, text)
})

NewDocumentFromReader

NewDocumentFromReader 从 io 返回一个 Document。读者。如果无法将读取器的数据解析为 html，它将返回错误作为第二个值。它不检查读取器是否也是 io。更近一点，提供的读取器永远不会被此调用关闭。如果需要，调用方有责任将其关闭。

传入的内容其实就是html的元素数据

resp, _ := http.Get(url)
dom, _ := goquery.NewDocumentFromReader(resp.Body)
dom.Find(".sidebar-link").Each(func(i int, selection *goquery.Selection) {
   href, _ := selection.Attr("href")
   text := selection.Text()
   fmt.Println(i, url+href, text)
})

上述是通过http请求的方式传入的参数，并不是通过io读取，这里再用io读取举例：

f, _ := os.Open("crawler/file/Context.html")
dom, _ := goquery.NewDocumentFromReader(f)
dom.Find("h1").Each(func(i int, selection *goquery.Selection) {
   text := selection.Text()
   fmt.Println(text)
})

除此外也可以从字符串中读取内容

    data := `

   
      Sentiment
   
   
      
Hello

   
`

   dom, _ := goquery.NewDocumentFromReader(strings.NewReader(data))
   dom.Find("title").Each(func(i int, selection *goquery.Selection) {
      text := selection.Text()
      fmt.Println(text)
   })

结果：

Sentiment

Demo

package main

import (
   "fmt"
   "github.com/PuerkitoBio/goquery"
   "net/http"
   "os"
)

func Document(url string) {
   client := &http.Client{}
   req, _ := http.NewRequest("GET", url, nil)
   resp, _ := client.Do(req)
   dom, _ := goquery.NewDocumentFromResponse(resp)
   dom.Find(".sidebar-link").Each(func(i int, selection *goquery.Selection) {
      href, _ := selection.Attr("href")
      text := selection.Text()
      fmt.Println(i, url+href, text)
   })
}
func Document1() {
   f, _ := os.Open("crawler/file/Context.html")
   dom, _ := goquery.NewDocumentFromReader(f)
   dom.Find("h1").Each(func(i int, selection *goquery.Selection) {
      text := selection.Text()
      fmt.Println(i, text)
   })
}

func main() {
   Document("https://gorm.io/zh_CN/docs/")
   Document1()
}

选择器

选择表示与某些条件匹配的节点的集合，可以使用 Document.Find 创建初始选择。

上边其实已经通过爬取页面举过例了，所以这里就简单看一下。

通过id查找

data := `

   Sentiment			//id="t1"


   
Hello

`

dom, _ := goquery.NewDocumentFromReader(strings.NewReader(data))
dom.Find("#t1").Each(func(i int, selection *goquery.Selection) {
   text := selection.Text()
   fmt.Println(text)
})

通过class查找

data := `

   Sentiment


   
Hello
			//class="c1"
`

dom, _ := goquery.NewDocumentFromReader(strings.NewReader(data))
dom.Find(".c1").Each(func(i int, selection *goquery.Selection) {
   text := selection.Text()
   fmt.Println(text)
})

通过标签查找

data := `

   Sentiment		//title标签


   
Hello

`

dom, _ := goquery.NewDocumentFromReader(strings.NewReader(data))
dom.Find("title").Each(func(i int, selection *goquery.Selection) {
   text := selection.Text()
   fmt.Println(text)
})

Demo

package main

import (
   "fmt"
   "github.com/PuerkitoBio/goquery"
   "strings"
)

func getId() {
   data := `
   
      Sentiment
   
   
      
Hello

   `

   dom, _ := goquery.NewDocumentFromReader(strings.NewReader(data))
   dom.Find("#t1").Each(func(i int, selection *goquery.Selection) {
      text := selection.Text()
      fmt.Println(text)
   })
}
func getClass() {
   data := `
   
      Sentiment
   
   
      
Hello

   `

   dom, _ := goquery.NewDocumentFromReader(strings.NewReader(data))
   dom.Find(".c1").Each(func(i int, selection *goquery.Selection) {
      text := selection.Text()
      fmt.Println(text)
   })
}
func find() {
   data := `
   
      Sentiment
   
   
      
Hello

   `

   dom, _ := goquery.NewDocumentFromReader(strings.NewReader(data))
   dom.Find("title").Each(func(i int, selection *goquery.Selection) {
      text := selection.Text()
      fmt.Println(text)
   })
}

func main() {
   getId()			//Sentiment
   getClass()		//Hello
   find()			//Sentiment
}

结果：

Sentiment
Hello
Sentiment

Goquery爬虫重构

http方式中，提取了页面信息并本地保存了下来，这里再用Goquery实践一下

Final Demo

package main

import (
   "fmt"
   "github.com/PuerkitoBio/goquery"
   "os"
)

func save(title string, content string) {
   err := os.WriteFile("./crawler/file1/"+title+".html", []byte(content), 0644)
   if err != nil {
      panic(err)
   }
}
func main() {
   url := "https://gorm.io/zh_CN/docs/"
   dom, _ := goquery.NewDocument(url)
   dom.Find(".sidebar-link").Each(func(i int, selection *goquery.Selection) {
      //获取链接
      href, _ := selection.Attr("href")
      text := selection.Text()
      fmt.Println(i, url+href, text)
      dom, _ = goquery.NewDocument(url + href)
      //获取标题
      title := dom.Find(".article-title").Text()
      //fmt.Println(title)
      //获取内容
      content, _ := dom.Find(".article").Html()
      //fmt.Println(content)
      save(title, content)
   })
}

Colly

了解了一些基础爬虫和Goquery框架后，就到了Go比较核心的爬虫框架Colly 了

colly package - github.com/gocolly/colly - Go Packages

Colly 是用于构建 Web 爬虫的 Golang 框架。使用 Colly 你可以构建各种复杂的 Web 抓取工具,从简单的抓取工具到处理数百万个网页的复杂的异步网站抓取工具。 Colly 提供了一个 API,用于执行网络请求和处理接收到的内容（例如,与 HTML 文档的 DOM 树进行交互）。

安装

go get -u github.com/gocolly/colly/...

特性

  • 清晰明了的 API
  • 速度快（单个内核上的请求数大于1k）
  • 管理每个域的请求延迟和最大并发数
  • 自动 cookie 和会话处理
  • 同步/异步/并行抓取
  • 高速缓存
  • 自动处理非 Unicode 编码
  • 支持 Robots.txt
  • 支持 Google App Engine
  • 通过环境变量配置
  • 可扩展

Colly爬虫简单实现

先看下基本实现，后续会对函数进行补充

package main

import (
   "fmt"
   "github.com/gocolly/colly"
)

func main() {
   c := colly.NewCollector()
   c.OnHTML(".sidebar-link", func(element *colly.HTMLElement) {
      element.Request.Visit(element.Attr("href"))
   })
   c.OnRequest(func(request *colly.Request) {
      fmt.Println(request.URL)
   })
   c.Visit("https://gorm.io/zh_CN/docs/")
}

回调函数

  • OnRequest
    在请求之前调用，这里只是简单打印请求的 URL。

  • OnError
    如果请求期间发生错误则调用，这里简单打印 URL 和错误信息。

  • OnResponseHeaders
    在收到响应标头后调用

  • OnResponse
    收到回复后调用，这里也只是简单的打印 URL 和响应大小。

  • OnHTML
    OnResponse如果收到的内容是HTML ,则在之后调用

  • OnXML
    OnHTML如果接收到的内容是HTML或XML ,则在之后调用

  • OnScraped

    OnXML回调后调用

回调顺序

OnRequest—>OnResponse—>OnHTML->OnXML—>OnScraped

顺序可以用代码测试出来：

package main

import (
	"fmt"
	"github.com/gocolly/colly"
)

func main() {
	c := colly.NewCollector()
	c.OnRequest(func(r *colly.Request) {
		fmt.Println("请求前调用：OnRequest")
	})

	c.OnError(func(_ *colly.Response, err error) {
		fmt.Println("发生错误调用：OnError")
	})

	c.OnResponse(func(r *colly.Response) {
		fmt.Println("获得响应后调用：OnResponse")
	})

	c.OnHTML("a[href]", func(e *colly.HTMLElement) {
		fmt.Println("OnResponse收到html请求后调用:OnHTML")
	})

	c.OnXML("//h1", func(e *colly.XMLElement) {
		fmt.Println("OnResponse收到xml内容后调用：OnXML")
	})

	c.OnScraped(func(r *colly.Response) {
		fmt.Println("结束", r.Request.URL)
	})
	c.Visit("https://gorm.io/zh_CN/docs/")
}

除此外还有一些常用方法

  • Attr(k string)：返回当前元素的属性，上面示例中我们使用e.Attr("href")获取了href属性；
  • ChildAttr(goquerySelector, attrName string)：返回goquerySelector选择的第一个子元素的attrName属性；
  • ChildAttrs(goquerySelector, attrName string)：返回goquerySelector选择的所有子元素的attrName属性，以[]string返回；
  • ChildText(goquerySelector string)：拼接goquerySelector选择的子元素的文本内容并返回；
  • ChildTexts(goquerySelector string)：返回goquerySelector选择的子元素的文本内容组成的切片，以[]string返回。
  • ForEach(goquerySelector string, callback func(int, *HTMLElement))：对每个goquerySelector选择的子元素执行回调callback；
  • Unmarshal(v interface{})：通过给结构体字段指定 goquerySelector 格式的 tag，可以将一个 HTMLElement 对象 Unmarshal 到一个结构体实例中。

参数设置

设置User-Agent

c := colly.NewCollector()
//User-Agent
c.UserAgent = ("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.53 Safari/537.36 Edg/103.0.1264.37")

设置Cookie

c.OnRequest(func(request *colly.Request) {
   request.Headers.Add("Cookie", "_ga=GA1.2.927242199.1656415218; _gid=GA1.2.165227307.1656415218; __atuvc=4%7C26; __atuvs=62bb96de45b68598000")
})
------------------------------------------------------------------
//也可以使用获取到的url中的cookie
cookie := c.Cookies("https://gorm.io/zh_CN/docs/")
c.SetCookies("", cookie)

设置环境变量

  • COLLY_ALLOWED_DOMAINS (comma separated list of domains)
  • COLLY_CACHE_DIR (string)
  • COLLY_DETECT_CHARSET (y/n)
  • COLLY_DISABLE_COOKIES (y/n)
  • COLLY_DISALLOWED_DOMAINS (comma separated list of domains)
  • COLLY_IGNORE_ROBOTSTXT (y/n)
  • COLLY_FOLLOW_REDIRECTS (y/n)
  • COLLY_MAX_BODY_SIZE (int)
  • COLLY_MAX_DEPTH (int - 0 means infinite)
  • COLLY_PARSE_HTTP_ERROR_RESPONSE (y/n)
  • COLLY_USER_AGENT (string)

HTTP 配置

c := colly.NewCollector()
c.WithTransport(&http.Transport{
    Proxy: http.ProxyFromEnvironment,
    DialContext: (&net.Dialer{
        Timeout:   30 * time.Second,
        KeepAlive: 30 * time.Second,
        DualStack: true,
    }).DialContext,
    MaxIdleConns:          100,
    IdleConnTimeout:       90 * time.Second,
    TLSHandshakeTimeout:   10 * time.Second,
    ExpectContinueTimeout: 1 * time.Second,
})
c.Visit("https://gorm.io/zh_CN/docs/")

Colly爬虫重构

Final Demo

package main

import (
	"fmt"
	"github.com/gocolly/colly"
	"os"
)

func save2(title string, content string) {
	err := os.WriteFile("./crawler/file2/"+title+".html", []byte(content), 0644)
	if err != nil {
		panic(err)
	}
}
func main() {
	var t1 string
	var c1 string
	c := colly.NewCollector()
	c.OnHTML(".sidebar-link", func(e *colly.HTMLElement) {
		href := e.Attr("href")
		if href != "index.html" {
			c.Visit(e.Request.AbsoluteURL(href))
			save2(t1, c1)

		}
	})
	c.OnHTML(".article-title", func(t *colly.HTMLElement) {
		title := t.Text
		t1 = title
	})
	c.OnHTML(".article", func(c *colly.HTMLElement) {
		content, _ := c.DOM.Html()
		c1 = content
	})
	c.OnRequest(func(request *colly.Request) {
		fmt.Println(request.URL.String())
	})
	c.Visit("https://gorm.io/zh_CN/docs/")
}

c.Visit开始访问第一个页面后，先进行OnRequest进行回调，之后当遇到class标签的值为sidebar-link时回调，并取出对应的href的值，之后再通过AbsoluteURL获取href的绝对路径，再次通过c.Visit请求，当遇到class的值为article-title,article时，再次回调对应的OnHTML函数，并将对讲的title值和content内容分别返回给全局变量t1、c1，在进行一轮回调结束后执行save2(),将内容全部写入

练习

Golang的爬虫框架先了解这么多，最后以爬取Suyoleaves师傅的博客做个结尾吧

package main

import (
	"fmt"
	"github.com/gocolly/colly"
	"os"
	"time"
)

func save3(title string, content string) {
	err := os.WriteFile("crawler/Sentiment/"+title+".html", []byte(content), 0644)
	if err != nil {
		panic(err)
	}
}
func main() {
	var t1 string
	var c1 string
	c := colly.NewCollector()
	c.Limit(&colly.LimitRule{
		DomainRegexp: `https://www.fishfond.guru/`,
		Delay:        1 * time.Second,
	})
	c.OnHTML(".post-title", func(e *colly.HTMLElement) {
		href := e.Attr("href")
		//fmt.Println("href:", href)
		c.Visit(e.Request.AbsoluteURL(href))
		if href != "index.html" {
			c.Visit(e.Request.AbsoluteURL(href))
			save3(t1, c1)
		}

	})
	c.OnHTML("title", func(t *colly.HTMLElement) {
		title := t.Text
		t1 = string(title[0 : len(title)-12])
		//fmt.Println("t1:", t1)
	})
	c.OnHTML(".entry-content", func(c *colly.HTMLElement) {
		content, _ := c.DOM.Html()
		c1 = content
		//fmt.Println("c1", c1)
	})
	c.OnRequest(func(request *colly.Request) {
		fmt.Println(request.URL.String())
	})
	c.OnError(func(response *colly.Response, err error) {
		panic(err.Error())
	})
	c.Visit("https://www.fishfond.guru/")
}

Golang爬虫初探_第8张图片

你可能感兴趣的:(Golang,golang,开发语言,后端)

  • Go语言从入门到精通：一站式学习指南 写代码写到不能自控 golang开发语言后端
    Go语言（也称Golang）自2009年由Google推出以来，凭借其简单、并发支持、以及高效的性能，迅速成为开发者的宠儿。它被广泛应用于Web开发、微服务架构、云计算等领域，并且得到了大量开发者的追捧。如果你是Go语言的初学者，或者已经有一定编程经验的开发者，那么这篇博客将帮助你从Go语言的入门知识学起，逐步深入，最终达到精通的水平。一、Go语言概述1.1什么是Go语言？Go语言是由Google
  • 前端请求gzip，响应里却没有压缩返回 a212121212121
    前端请求gzip，响应里却没有压缩返回前后端分离的框架，前端vue后端的springboot都开启了gzip。前端请求Accept-Encoding:gzip,deflate后端却没有响应。数据没有压缩。试过了好几个浏览器都没有用。后来以为是yml格式的问题，也没有效果。有经验的能告诉我是怎么回事吗?yml添加的代码.（两种格式）compression:enabled:truemin-respon
  • 使用SSE流式输出（Javaweb前后端实战） 记得开心一点嘛 JavaWeb后端开发技术栈SSEJava后端
    目录一.什么是SSE？主要特点：二.SSE的实现过程：三.SSE的前端实现：1.创建EventSource对象：2.处理接收到的信息：3.处理特定事件：4.处理连接错误问题：5.关闭连接：四.SSE的后端实现：1.导入web依赖：2.创建Controller类：3.SeeEmitter的介绍以及使用方法：（1）.构造方法（2）.发送数据（3）.关闭连接（4）.连接状态处理（5）.获取超时时间（6）
  • Go语言学习 day20 qq_50996930 Go语言基础golang学习算法
    golang遍历map是有序还是无序，为什么？无序，因为go的map基于哈希表，可以实现快速插入和查找，不保证顺序。会根据key的哈希值来决定存放kv对的哈希桶的索引，对key的哈希值的计算没有固定顺序。定义一个局部变量，默认是分配到堆上还是栈上，什么情况是堆上？默认在栈上。分配到堆上的话，靠go的逃逸分析机制，编译器用逃逸分析，如果一个变量生存周期大于函数作用域，就是堆上，或者被外部引用（局部变
  • uniapp中＜map＞地图怎么实现点位聚合？ GoppViper 前端uni-appuniapp前端前端框架地图聚合
    推荐学习文档golang应用级os框架，欢迎stargolang应用级os框架使用案例，欢迎star案例：基于golang开发的一款超有个性的旅游计划app经历golang实战大纲golang优秀开发常用开源库汇总想学习更多golang知识，这里有免费的golang学习笔记专栏想学习更多前端知识，这里有免费的前端专栏确定聚合条件定义聚合的距离阈值：根据你的需求确定一个合适的距离阈值，当两个标记点之
  • el-select 的默认选中 以及后端返回的数据进行默认选中 向明天乄 vue.jsjavascriptecmascript
    前言本次内容为el-select的两种默认选中方式，一种自定义内容的默认选中，一种的后端返回数据的默认选中以及后端返回数据的默认选中，及注意事项。注意点！！！v-model拿到的值一定要是纯数值类型，只有数值类型才会自动加载对应的选中项，其他类型的则不生效一，自定义内容的默认选中statusType:[{label:'正常',value:1},{label:'禁用',value:0},],二，由后
  • 快速搭建React18后端管理系统：轻量级模板推荐 阮然阳Ian
    快速搭建React18后端管理系统：轻量级模板推荐react-template-adminAlightweightReact18backendmanagementtemplate项目地址:https://gitcode.com/gh_mirrors/re/react-template-admin项目介绍在现代Web开发中，快速搭建一个功能完善、易于扩展的后端管理系统是许多开发者的迫切需求。为了满足
  • Golang Redis：构建高效和可扩展的应用程序 技术的游戏 golangredis开发语言
    利用Redis的闪电般的数据存储和Golang的无缝集成解锁协同效应在当前的应用程序开发中，高效的数据存储和检索的必要性已经变得至关重要。Redis，作为一个闪电般快速的开源内存数据结构存储方案，为各种应用场景提供了可靠的解决方案。在这份完整的指南中，我们将了解什么是Redis，学习使用DockerCompose安装Redis的简便过程，并掌握将Redis与Golang集成的艺术。通过这次探索，你
  • 探索 GO-SAAS-KIT：构建高效SaaS应用的利器 潘俭渝Erik
    探索GO-SAAS-KIT：构建高效SaaS应用的利器kitMicroservicecompatiblestarterkitforgolangsassproject项目地址:https://gitcode.com/gh_mirrors/kit8/kit1、项目介绍GO-SAAS-KIT是一个正在积极开发中的GolangSaaS项目启动套件，旨在为开发者提供一个快速搭建SaaS应用程序的基础框架。这
  • Electron: 跨平台桌面应用开发框架概览 百态老人 人工智能笔记
    Electron的背景Electron是一个开源框架，允许开发者使用Web技术构建跨平台的桌面应用程序。它最初由GitHub开发，用于构建Atom编辑器，后来发展成为一个独立的项目，支持构建各种桌面应用程序，如VisualStudioCode、Slack、WhatsApp等。Electron的核心优势在于它结合了Chromium的UI能力和Node.js的后端功能，使得前端开发者可以使用熟悉的HT
  • 终于把前后端sm加解密以及加签验证调通了。 清风孤客 前端javascriptspringjavaspringboot
    终于把前后端sm加解密以及加签验证调通了！领导要求我对项目的数据传输安全考虑下，因此就想到了对敏感字段做加密和对请求、响应做数字签名验证。网上看了很多文章，可能是因为我对加密这块不了解，感觉都比较乱。所以前前后后花了4天才把前后端调通。特地写一篇文章记录下流程。这里使用的是sm国密算法。不对的地方请读者评论指出。1.简单说明：前端使用sm-crypto库后端加密库使用bc库，架构上使用aop，注解
  • 【Golang 面试题】每日 3 题（四十四） Pandaconda #Golang面试专栏golang开发语言后端面试笔记
    ✍个人博客：Pandaconda-CSDN博客专栏地址：http://t.csdnimg.cn/UWz06专栏简介：在这个专栏中，我将会分享Golang面试中常见的面试题给大家~❤️如果有收获的话，欢迎点赞收藏，您的支持就是我创作的最大动力130.goroutine阻塞、唤醒和退出状态阻塞channel的读写操作、等待锁、等待网络数据、系统调用等都有可能发生阻塞，会调用底层函数runtime.go
  • java毕业设计校园共享单车管理系统源码+lw文档+mybatis+系统+mysql数据库+调试 好好吃肉 mybatismysql数据库
    java毕业设计校园共享单车管理系统源码+lw文档+mybatis+系统+mysql数据库+调试java毕业设计校园共享单车管理系统源码+lw文档+mybatis+系统+mysql数据库+调试本源码技术栈：项目架构：B/S架构开发语言：Java语言开发软件：ideaeclipse前端技术：Layui、HTML、CSS、JS、JQuery等技术后端技术：JAVA运行环境：Win10、JDK1.8数据
  • 独立站API接口安全：零信任架构的实践与挑战 FBAPI3713612741 pythononeapi爬虫网络大数据
    随着数字化时代的深入发展，电商平台已成为全球经济的重要支柱。在这些平台中，API（应用程序编程接口）接口扮演着越来越重要的角色，不仅连接了电商平台的前端和后端系统，还促进了与第三方服务和应用的无缝集成。然而，随着API接口在电商平台中的广泛应用，其安全性问题也日益凸显。为了应对这一挑战，零信任架构作为一种先进的安全理念，被越来越多的电商平台采用来保障API接口的安全。本文将深入探讨独立站API接口
  • There was a problem confirming the ssl certificate: [SSL:CERTIFICATE_ VERIFY_ FAILED]certificate解决方案 爱编程的喵喵 Python基础课程pythonpipSSLcertificate解决方案
      大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。  本文主要介绍了Therewasaproblemco
  • 你还在以为golang切片扩容是1/4的增加吗?其实早就已经变啦! 爱学习的狮王 gogolang开发语言后端
    golang切片扩容原理变化前言切片扩容对比Go1.17(这个版本中的扩容也是目前大部分书籍和博客中讲到的切片扩容内容)Go1.18(这个是目前实际的扩容规则,虽然在1.20中入参变了,但是核心的扩容逻辑没有变,所以还是以1.18举例)结语前言最近看go语言的切片原理时发现实际的扩容规则和一些博客和书上讲的不一致,所以看看各版本的源码中切片的扩容到底是怎么做的,看源码是最快捷且准确的方式,go语言
  • 【Docker】Docker中的动态容器管理：利用Golang实现Docker容器动态重命名的高级策略与最佳实践 m0_74825634 面试学习路线阿里巴巴dockergolang容器
    【Docker】Docker中的动态容器管理：利用Golang实现Docker容器动态重命名的高级策略与最佳实践大家好我是寸铁??总结了一篇【Docker】Docker中的动态容器管理：利用Golang实现Docker容器动态重命名的高级策略与最佳实践喜欢的小伙伴可以点点关注??前言今天遇到一个新的需求，要动态改变运行中的容器名字。可以考虑先把容器删除再重新创建容器那这里要考虑一个问题:假设我容器
  • SpringBoot后端服务重定向 m0_74825634 面试学习路线阿里巴巴springboot后端java
    SpringBoot后端服务重定向方法引言方案使用SpringMVC的重定向功能使用SpringBoot的路径匹配功能使用反向代理使用SpringCloudGateway直接调用Controller层接口最后引言SpringBoot开发中，后端服务对代码进行重构后，计划更改一个功能接口的URL地址。但是却不想更改前端代码。这时就需要用到重定向，将前端原来的URL请求重定向到新的URL地址。方案使用
  • git clone出现fatal: unable to access Failed to connect to github.com port 443: Timed out解决方案 爱编程的喵喵 Python基础课程gitgithubtimeoutport443解决方案
      大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。  本文主要介绍了gitclone出现fatal:un
  • 基于SpringBoot的模拟证券交易系统 SAFE20242034 #一SpringBootspringboot后端java
    模拟证券交易系统项目概述本项目是一个基于Java的模拟证券交易系统，主要功能包括用户注册、登录、账户管理、股票查询、股票买卖以及交易记录查询等操作。系统采用SpringBoot实现后端，MySQL作为数据存储，前端使用HTML和JavaScript提供简单交互。主要功能模块1.用户注册与登录用户可以注册一个账户，包括用户名、密码、初始余额。用户登录后可访问其账户信息和进行股票交易操作。2.股票查询
  • AI软件外包需要注意什么 外包开发AI软件的关键因素是什么 如何选择AI外包开发语言 北京动点飞扬软件 AI外包
    1.定义目标与需求首先，要明确你希望AI智能体做什么。是自动化任务、数据分析、自然语言处理，还是其他功能？明确目标可以帮助你选择合适的技术和方法。2.选择开发平台与工具开发AI智能体的软件时，你需要选择适合的编程语言、框架和工具。例如：编程语言：Python是最常用的语言，因为它有强大的AI/ML库，如TensorFlow、PyTorch、scikit-learn等。开发平台：你可以使用本地环境、
  • ModuleNotFoundError: No module named ‘pywin32_bootstrap‘解决方案 爱编程的喵喵 Python基础课程pythonModuleNotFoundwin32_bootstap解决方案
      大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。  本文主要介绍了ModuleNotFoundErro
  • Spring Boot 接口防抖 + AOP注解 + 自定义异常处理 (防重复提交)的实现方案 cherry5230 Springjavaspringboot后端javaredis分布式
    前言在开发后端Java业务系统，包括各种管理后台和小程序等。在这些项目中，我设计过单/多租户体系系统，对接过许多开放平台，也搞过消息中心这类较为复杂的应用，但幸运的是，我至今还没有遇到过线上系统由于代码崩溃导致资损的情况。这其中的原因有三点：一是业务系统本身并不复杂；二是我一直遵循某大厂代码规约，在开发过程中尽可能按规约编写代码；三是经过多年的开发经验积累，我成为了一名熟练工，掌握了一些实用的技巧
  • 详解 Python 中的json.loads和json.dumps方法：中英双语 阿正的梦工坊 Pythonpythonjsonmicrosoft
    中文版详解Python中的json.loads和json.dumps方法在Python的标准库中，json模块用于处理JSON数据格式。JSON（JavaScriptObjectNotation）是一种轻量级的数据交换格式，广泛用于前后端交互以及数据存储。json.loads和json.dumps是json模块中最常用的两个方法，分别用于解析JSON字符串和将Python对象序列化为JSON字符串
  • 跨域问题及解决方案 八月五 实战项目springboot后端
    跨域问题不仅影响开发效率，还可能导致项目进度延误。因此，理解和掌握跨域问题的原理及其解决方案对于前端开发者和后端开发者来说都至关重要。本文将详细介绍什么是跨域、跨域产生的原因，以及常见的后端跨域解决方案。文章目录一、什么是跨域二、跨域产生的原因三、解决策略：1.CORS（跨域资源共享）2.在SpringBoot中配置CORS2.1在目标方法中添加`@CrossOrign`注解2.2添加Cors过滤
  • 如何0基础自学网络安全技术，推荐一个非常稳的网络安全学习路线_网络安全入门学习路线 星空真懒 程序员web安全学习安全
    青铜（筑基期）度过了石器时代，你已经储备了一些计算机的基础知识：操作系统的使用，网络协议，前端基础，数据库初识，但这距离做网络安全还不够，在第二个青铜阶段，你还需要再进一步学习基础，在第一阶段之上，难度会开始慢慢上升。这一阶段需要学习的知识有：Web进阶在前面的石器时代，咱们初步接触了网页编程，了解了网页的基本原理。不过那时候是纯前端的，纯静态的网页，没有接触后端。在这个进阶的阶段，你要开始接触W
  • eggjs部署宝塔常见问题 雾恋 eggjs前端eggjsjavascript
    最近在考虑做一个智能问答相关的网站，在选择后端服务器的时候觉得eggjs相对来说更适合我，然后就根据eggjs官网开始了搭建的工作，在搭建成功以后开始了部署工作，在此过程中发现了很多问题。一键安装依赖配置在项目跟路径创建index.js，我们在部署的时候宝塔会自动帮我们安装依赖，所以需要配置该文件。constegg=require('egg');constworkers=Number(proces
  • 【Redis十二】Redis的典型应用（缓存和分布式锁） 小皮侠 Redis缓存redis分布式
    目录Redis作为缓存1.什么是缓存？2.缓存的更新策略3.缓存预热，缓存穿透，缓存雪崩和缓存击穿Redis作为分布式锁1.什么是分布式锁？2.分布式锁的实现过程Redis是目前后端开发中非常热门的组件之一，本篇文章主要介绍它在作为缓存以及分布式领域的作用。Redis作为缓存1.什么是缓存？缓存(cache)是计算机中的⼀个经典的概念.在很多场景中都会涉及到。核⼼思路就是把⼀些常⽤的数据放到触⼿可
  • 题解 | #武汉工程大学第六届ACM程序设计竞赛（同步赛）# 2301_79125431 java
    各位，如果来了，就来了，别慌了，看命吧，各位，如果来了，就来了，别慌了，看命吧，慌改变不了什么，还是要打工吃饭的。#铜五铁六真的存在吗？(51062)##铜五铁六真的存在吗？#我选铜五必存！#牛客帮帮团来啦！有问必答(50227)#牛客帮帮团来啦！有问必答#25届双非java后端求助。请问各位大佬，现在双非后端很难进大厂，所以杭州亚信科技26号做的笔试，有牛友收到面试通知了吗本菜鸟双非零实习零竞赛
  • 由于直接提供完整的游戏商城代码超出了简单回答的范围，并且游戏商城的实现可以相当复杂，涉及前端展示、后端逻辑、数据库设计等多个方面，我会分别用几种流行的编程语言和技术栈概述如何开始搭建一个基本的游戏商城 编程小飞侠a 游戏前端数据库
    前端（HTML/CSS/JavaScript+React）React示例:fengbaoshun.com首先，你需要安装Node.js和npm（Node包管理器），然后使用CreateReactApp来快速启动你的前端项目。bashnpxcreate-react-appgame-store-frontendcdgame-store-frontendnpmstart接下来，你可以使用React组件来
  • 异常的核心类Throwable 无量 java源码异常处理exception
    java异常的核心是Throwable，其他的如Error和Exception都是继承的这个类 里面有个核心参数是detailMessage，记录异常信息，getMessage核心方法，获取这个参数的值，我们可以自己定义自己的异常类，去继承这个Exception就可以了，方法基本上，用父类的构造方法就OK，所以这么看异常是不是很easy package com.natsu;
  • mongoDB 游标（cursor） 实现分页 迭代 开窍的石头 mongodb
    上篇中我们讲了mongoDB 中的查询函数，现在我们讲mongo中如何做分页查询      如何声明一个游标        var mycursor = db.user.find({_id:{$lte:5}});       迭代显示游标数
  • MySQL数据库INNODB 表损坏修复处理过程 0624chenhong tomcatmysql
    最近mysql数据库经常死掉，用命令net stop mysql命令也无法停掉，关闭Tomcat的时候，出现Waiting for N instance(s) to be deallocated 信息。查了下，大概就是程序没有对数据库连接释放，导致Connection泄露了。因为用的是开元集成的平台，内部程序也不可能一下子给改掉的，就验证一下咯。启动Tomcat,用户登录系统，用netstat -
  • 剖析如何与设计人员沟通 不懂事的小屁孩 工作
    最近做图烦死了，不停的改图，改图……。烦，倒不是因为改，而是反反复复的改，人都会死。很多需求人员不知该如何与设计人员沟通，不明白如何使设计人员知道他所要的效果，结果只能是沟通变成了扯淡，改图变成了应付。 那应该如何与设计人员沟通呢？ 我认为设计人员与需求人员先天就存在语言障碍。对一个合格的设计人员来说，整天玩的都是点、线、面、配色，哪种构图看起来协调；哪种配色看起来合理心里跟明镜似的，
  • qq空间刷评论工具 换个号韩国红果果 JavaScript
    var a=document.getElementsByClassName('textinput'); var b=[]; for(var m=0;m<a.length;m++){ if(a[m].getAttribute('placeholder')!=null) b.push(a[m]) } var l
  • S2SH整合之session 灵静志远 springAOPstrutssession
    错误信息： Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'cartService': Scope 'session' is not active for the current thread; consider defining a scoped
  • xmp标签 a-john 标签
    今天在处理数据的显示上遇到一个问题： var html = '<li><div class="pl-nr"><span class="user-name">' + user + '</span>' + text + '</div></li>'; ulComme
  • Ajax的常用技巧（2）---实现Web页面中的级联菜单 aijuans Ajax
    在网络上显示数据，往往只显示数据中的一部分信息，如文章标题，产品名称等。如果浏览器要查看所有信息，只需点击相关链接即可。在web技术中，可以采用级联菜单完成上述操作。根据用户的选择，动态展开，并显示出对应选项子菜单的内容。 在传统的web实现方式中，一般是在页面初始化时动态获取到服务端数据库中对应的所有子菜单中的信息，放置到页面中对应的位置，然后再结合CSS层叠样式表动态控制对应子菜单的显示或者隐
  • 天-安-门，好高 atongyeye 情感
        我是85后，北漂一族，之前房租1100，因为租房合同到期，再续，房租就要涨150。最近网上新闻，地铁也要涨价。算了一下，涨价之后，每次坐地铁由原来2块变成6块。仅坐地铁费用，一个月就要涨200。内心苦痛。     晚上躺在床上一个人想了很久，很久。        我生在农
  • android 动画 百合不是茶 android透明度平移缩放旋转
    android的动画有两种  tween动画和Frame动画   tween动画;,透明度,缩放,旋转,平移效果   Animation   动画 AlphaAnimation 渐变透明度 RotateAnimation 画面旋转 ScaleAnimation 渐变尺寸缩放 TranslateAnimation 位置移动 Animation
  • 查看本机网络信息的cmd脚本 bijian1013 cmd
    @echo 您的用户名是：%USERDOMAIN%\%username%>"%userprofile%\网络参数.txt" @echo 您的机器名是：%COMPUTERNAME%>>"%userprofile%\网络参数.txt" @echo ___________________>>"%userprofile%\
  • plsql 清除登录过的用户 征客丶 plsql
    tools---preferences----logon history---history  把你想要删除的删除 -------------------------------------------------------------------- 若有其他凝问或文中有错误，请及时向我指出， 我好及时改正，同时也让我们一起进步。 email ： binary_spac
  • 【Pig一】Pig入门 bit1129 pig
    Pig安装 1.下载pig   wget http://mirror.bit.edu.cn/apache/pig/pig-0.14.0/pig-0.14.0.tar.gz   2. 解压配置环境变量      如果Pig使用Map/Reduce模式，那么需要在环境变量中，配置HADOOP_HOME环境变量   expor
  • Java 线程同步几种方式 BlueSkator volatilesynchronizedThredLocalReenTranLockConcurrent
    为何要使用同步？      java允许多线程并发控制，当多个线程同时操作一个可共享的资源变量时（如数据的增删改查），      将会导致数据不准确，相互之间产生冲突，因此加入同步锁以避免在该线程没有完成操作之前，被其他线程的调用，      从而保证了该变量的唯一性和准确性。 1.同步方法&
  • StringUtils判断字符串是否为空的方法（转帖） BreakingBad nullStringUtils“”
    转帖地址：http://www.cnblogs.com/shangxiaofei/p/4313111.html   public static boolean isEmpty(String str)   　　判断某字符串是否为空，为空的标准是 str== null  或 str.length()== 0  
  • 编程之美-分层遍历二叉树 bylijinnan java数据结构算法编程之美
    import java.util.ArrayList; import java.util.LinkedList; import java.util.List; public class LevelTraverseBinaryTree { /** * 编程之美 分层遍历二叉树 * 之前已经用队列实现过二叉树的层次遍历，但这次要求输出换行，因此要
  • jquery取值和ajax提交复习记录 chengxuyuancsdn jquery取值ajax提交
    // 取值 // alert($("input[name='username']").val()); // alert($("input[name='password']").val()); // alert($("input[name='sex']:checked").val()); // alert($("
  • 推荐国产工作流引擎嵌入式公式语法解析器-IK Expression comsci java应用服务器工作Excel嵌入式
    这个开源软件包是国内的一位高手自行研制开发的，正如他所说的一样，我觉得它可以使一个工作流引擎上一个台阶。。。。。。欢迎大家使用，并提出意见和建议。。。 ----------转帖--------------------------------------------------- IK Expression是一个开源的（OpenSource），可扩展的（Extensible），基于java语言
  • 关于系统中使用多个PropertyPlaceholderConfigurer的配置及PropertyOverrideConfigurer daizj spring
    1、PropertyPlaceholderConfigurer Spring中PropertyPlaceholderConfigurer这个类，它是用来解析Java Properties属性文件值，并提供在spring配置期间替换使用属性值。接下来让我们逐渐的深入其配置。 基本的使用方法是：(1) <bean id="propertyConfigurerForWZ&q
  • 二叉树:二叉搜索树 dieslrae 二叉树
        所谓二叉树,就是一个节点最多只能有两个子节点,而二叉搜索树就是一个经典并简单的二叉树.规则是一个节点的左子节点一定比自己小,右子节点一定大于等于自己(当然也可以反过来).在树基本平衡的时候插入,搜索和删除速度都很快,时间复杂度为O(logN).但是,如果插入的是有序的数据,那效率就会变成O(N),在这个时候,树其实变成了一个链表. tree代码:
  • C语言字符串函数大全 dcj3sjt126com cfunction
    C语言字符串函数大全     函数名: stpcpy 功 能: 拷贝一个字符串到另一个 用 法: char *stpcpy(char *destin, char *source); 程序例:   #include <stdio.h> #include <string.h>   int main
  • 友盟统计页面技巧 dcj3sjt126com 技巧
    在基类调用就可以了, 基类ViewController示例代码 -(void)viewWillAppear:(BOOL)animated { [super viewWillAppear:animated]; [MobClick beginLogPageView:[NSString stringWithFormat:@"%@",self.class]];
  • window下在同一台机器上安装多个版本jdk，修改环境变量不生效问题处理办法 flyvszhb javajdk
    window下在同一台机器上安装多个版本jdk，修改环境变量不生效问题处理办法 本机已经安装了jdk1.7，而比较早期的项目需要依赖jdk1.6，于是同时在本机安装了jdk1.6和jdk1.7. 安装jdk1.6前，执行java -version得到 C:\Users\liuxiang2>java -version java version "1.7.0_21&quo
  • Java在创建子类对象的同时会不会创建父类对象 happyqing java创建子类对象父类对象
      1.在thingking in java 的第四版第六章中明确的说了，子类对象中封装了父类对象，   2."When you create an object of the derived class, it contains within it a subobject of the base class. This subobject is the sam
  • 跟我学spring3 目录贴及电子书下载 jinnianshilongnian spring
        一、《跟我学spring3》电子书下载地址： 《跟我学spring3》  （1-7 和 8-13） http://jinnianshilongnian.iteye.com/blog/pdf     跟我学spring3系列 word原版 下载     二、 源代码下载 最新依
  • 第12章 Ajax（上） onestopweb Ajax
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • BI and EIM 4.0 at a glance blueoxygen BO
    http://www.sap.com/corporate-en/press.epx?PressID=14787   有机会研究下EIM家族的两个新产品~~~~   New features of the 4.0 releases of BI and EIM solutions include: Real-time in-memory computing –
  • Java线程中yield与join方法的区别 tomcat_oracle java
    长期以来，多线程问题颇为受到面试官的青睐。虽然我个人认为我们当中很少有人能真正获得机会开发复杂的多线程应用(在过去的七年中，我得到了一个机会)，但是理解多线程对增加你的信心很有用。之前，我讨论了一个wait()和sleep()方法区别的问题，这一次，我将会讨论join()和yield()方法的区别。坦白的说，实际上我并没有用过其中任何一个方法，所以，如果你感觉有不恰当的地方，请提出讨论。 &nb
  • android Manifest.xml选项 阿尔萨斯 Manifest
    结构 继承关系 public final class Manifest extends Objectjava.lang.Objectandroid.Manifest 内部类 class Manifest.permission权限 class Manifest.permission_group权限组 构造函数 public Manifest () 详细 androi
  • Oracle实现类split函数的方 zhaoshijie oracle
    关键字：Oracle实现类split函数的方 项目里需要保存结构数据，批量传到后他进行保存，为了减小数据量，子集拼装的格式，使用存储过程进行保存。保存的过程中需要对数据解析。但是oracle没有Java中split类似的函数。从网上找了一个，也补全了一下。 CREATE OR REPLACE TYPE t_split_100 IS TABLE OF VARCHAR2(100); cr
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他