【1-3 Golang】Go语言快速入门—字符串

  Go语言字符串的用法还是比较简单的,常用也就是字符串相加,字符串与byte切片、rune切片互相转换,字符串输出等等操作。那有什么可学的呢?其实还是有一些细节需要关注,比如字符串"只读"特性,字符串编码等等。

基本操作

  字符串只读?是的,就是你想的那样,只读就是不能修改的意思。那下面程序怎么解释呢?

package main

import "fmt"

func main() {
    str := "hello"
    str += " world"
    fmt.Println(str)   //hello world
}

  看到了吧,我确实改变了字符串str的值。是的,字符串str确实改变了,而字符串确实也是只读的;这里可能存在一些歧义,准备的说,应该是字符串变量str指向了新的字符串。字符串"hello"并没有改变,只是创建了一个新的字符串"hello world",同时让字符串变量str指向这个新的字符串。还有一个方法验证这个说法:

go tool compile -S -N -l test.go

go.string."hello" SRODATA dupok size=5
    0x0000 68 65 6c 6c 6f                                   hello
go.string." world" SRODATA dupok size=6
    0x0000 20 77 6f 72 6c 64                                 world

  go.string."hello"所属内存区域是SRODATA,RO就是read only只读的意思。再举一个事例:字符串不能按照索引操作,如果将将字符串转换为byte切片,按理说byte切片与字符串底层数据应该共用,那么修改该byte切片,字符串也应该同步改变。

package main

import "fmt"

func main() {
    str := "hello world"
    //字符串转化为byte切片,修改切片元素
    b := []byte(str)
    b[0] = 69

    fmt.Println(str)          //hello world
    for _, c := range b {
        fmt.Printf("%c", c)   //Eello world
    }
}

  byte切片确实被修改了,而字符串变量str却没有改变,为什么呢?因为字符串是只读的,所以在[]byte(str)强制类型转化时,会执行了数据的拷贝,避免修改byte切片影响原字符串。

  最后在使用字符串时,还需要注意一个问题:len用于获取字符串长度,纯英文字符串一切正常,但是当字符串中包含中文时,情况就有些不同了。

package main

import "fmt"

func main() {
    str := "Go语言还是挺不错的"
    fmt.Println(len(str))   //26
}

  str字符串包含2个英文字母,8个中文汉字,输出显示字符串长度是26。这就有Go语言字符串编码有关了,Go语言字符串采取utf-8编码,一个中文汉字占3个字节,所以算下来字符串长度就是26了。那确实想获取字符串的字符数目呢?可通过下面方式:

package main

import "fmt"

func main() {
    str := "Go语言还是挺不错的"

    r := []rune(str)   //rune其实就是int32,4字节表示一个字符;r相当于字符切片
    fmt.Println(len(r))

    n := 0
    for _, _ = range str {    //range遍历字符串,返回字符索引,与当前字符
        n ++
    }
    fmt.Println(n)
}

实现原理

  下面我们将结合底层实现原理,一一解释上面的几种情况:字符串相加,字符串与byte切片转换,字符串与rune切片互相转换。

  字符串结构定义以及基本操作可以在文件runtime/string.go查看,字符串结构定义比切片类似,稍微简单些,因为字符串只读,所以没有必要预分配空间,也就不需要cap字段:

type stringStruct struct {
    str unsafe.Pointer
    len int
}

  str指向底层真正存储字符串的数组,只是我们不能获取到该数组引用,所以也就无法直接修改字符串。而字符串在作为输入参数时,传递的也是该结构;len函数获取字符串长度时,字符串变量地址 +8字节就是了,这些都和上一小节切片的基本原理非常类似。

  s字符串相加,编译阶段会替换为函数调用concatstrings,其实现也挺简单的,计算所有字符串长度之和,申请内存,拷贝原始多个字符串到新的内存,构造字符串结构体stringStruct返回。函数concatstrings核心逻辑如下:

func concatstrings(a []string) string {
    l := 0
    //计算所有字符串长度之和
    for _, x := range a {
        n := len(x)
        l += n
    }

    var s string
    var b []byte
    //申请内存
    p := mallocgc(uintptr(l), nil, false)
    //构造字符串stringStruct结构
    (*stringStruct)(unsafe.Pointer(s)).str = p
    (*stringStruct)(unsafe.Pointer(s)).len = l

    //借切片拷贝
    *(*slice)(unsafe.Pointer(&b)) = slice{p, l, l}
    for _, x := range a {
        copy(b, x)
        b = b[len(x):]
    }

    return s
}

  看到了吧,字符串相加,是申请了新的内存,并执行了数据拷贝,原始字符串没有发生任何改变,往往改变的只是字符串变量指向的内存地址。

  字符串转化为byte切片,修改切片,为什么字符串却没有改变,要回答这个问题,只能看字符串转化切片的实现函数了。通过[]byte("")形式类型强转,编译阶段会替换为函数调用stringtoslicebyte,而该函数其实也是申请新的内存,拷贝数据,构造切片结构返回。函数stringtoslicebyte核心逻辑如下:

func stringtoslicebyte(s string) []byte {
    var b []byte
    //申请内存
    cap := roundupsize(uintptr(len(s)))
    p := mallocgc(cap, nil, false)

    //构造切片结构 & 拷贝数据
    *(*slice)(unsafe.Pointer(&b)) = slice{p, len(s), int(cap)}
    copy(b, s)

    return b
}

  字符串转化为rune切片的逻辑与stringtoslicebyte非常类似,只是rune类型占4个字节罢了。这里就不再赘述了。

常用库函数 & stringBuilder

  包strings定义了一些常用的字符串库函数,如下:

//字符串比较
func Compare(a, b string) int
//字符串是否以xxx开始
func HasPrefix(s, prefix string) bool
//字符串是否以xxx结束
func HasSuffix(s, suffix string) bool
//字符串是否包含指定子串
func Contains(s, substr string) bool
//返回子串在字符串是的位置,-1字符串不包含子串,还有更高级的字符串查找stringFinder
func Index(s, substr string) int
//字符串数组转换为字符串,按sep分隔
func Join(elems []string, sep string) string
//字符串分隔为字符串数组
func Split(s, sep string) []string
//字符串替换,还有更高级的字符串替换Replacer
func Replace(s, old, new string, n int) string
//字符串大小写转换
func ToLower(s string) string
func ToUpper(s string) string

……

  这些库函数非常简单,我就不一一介绍了,这里主要提一下字符串构建stringBuilder。上面我们说过Go语言字符串是只读的,不能修改的,字符串相加也是通过申请内存与数据拷贝方式实现,那么如果存在大量的字符串相加呢?每次都申请内存拷贝数据效率会非常差,这也是stringBuilder存在的原因。stringBuilder底层维护了一个[]byte,追加字符串只是追加到该切片,最终一次性转换该切片为字符串,避免了中间N多次的内存申请与数据拷贝。

  我们写一个小事例,测试验证大量字符串相加情况下,stringBuilder带来的性能提升:

package main

import (
    "fmt"
    "strings"
    "time"
)

func main() {
    count := 100000

    start := time.Now()
    s := ""
    for i := 0; i < count; i ++ {
        s += "abc"
    }
    fmt.Println(time.Now().Sub(start).Microseconds())   //1466286微妙

    start1 := time.Now()
    b := strings.Builder{}
    for i := 0; i < count; i ++ {
        b.WriteString("abc")
    }
    fmt.Println(time.Now().Sub(start1).Microseconds()) //492微妙,效率提升非常明显。
}

字符串编码

  上面我们介绍到,Go语言一个汉字占3字节,所有字符串包含汉字时,len返回字符串长度大于字符数。我们都知道计算机存储只识别二进制,所以字符需要编码为二进制,那么Go语言字符串到底采取哪种编码方式呢?

  先简单介绍下几个常用编码。最简单的编码就是ASCII码了,只需一个字节,可以表示一些基本的字符、数字与字母,如"? \ ! . 10 A b c"。那么中文怎么办?一个字节肯定是无法满足的。于是诞生了unicode编码,占两个字节,可以容纳所有语言的大部分文字。在unicode编码方式下,所有字符都需要两个字节,不论汉字还是字母(高字节全0,低字节就是ASCII码),显然对于字母有些浪费空间了。所以又诞生了utf-8编码,这时候字符可以占1-4字节(可变的),中文汉字在utf-8编码方式占3个字节,英文字母占1个字节,Go语言采用的就是该编码方式。这下终于明白了如何计算包含汉字的字符串长度了。

  话不多说,再来个小事例测试一下:

package main

import "fmt"

func main() {
    str := "Go语言还是挺不错的"
    r := []rune(str)
    for _, v := range r{
        fmt.Printf("%x ", v)
    }
}

//47 6f 8bed 8a00 8fd8 662f 633a 4e0d 9519 7684

  好像有些许不对劲,这些汉字貌似只占了2字节,这些是utf-8编码吗?其实上面输出的都是unicode编码,所有字符都占2字节。读者可以找一些工具测试下,将上面字符串转换为unicode,对比看结果是否一致。

  必须要说明的是,rune其实就是int32,该类型本来就占4字节。Go语言字符串在存储时,确实是采用utf-8编码,但是当转化为[]rune操作时,又将所有字符转化为unicode编码。字符串与[]rune转化函数为stringtoslicerune/slicerunetostring。unicode编码与utf-8编码转化函数定义在文件runtime/utf8.go,分别为decoderune/encoderune。

  这里就不详细介绍这几个函数的具体实现了。不过需要注意的是,在使用range遍历字符串时,返回的是字符,也存在utf-8到unicode编码转换。range的实现逻辑在源码中找不到,是编译阶段自动生成的,如下:

//参考:cmd/compile/internal/walk/range.go:walkRange

// Transform string range statements like "for v1, v2 = range a" into
//
// ha := a
// for hv1 := 0; hv1 < len(ha); {
//   hv1t := hv1
//   hv2 := rune(ha[hv1])
//   if hv2 < utf8.RuneSelf {
//      hv1++
//   } else {
//      hv2, hv1 = decoderune(ha, hv1)
//   }
//   v1, v2 = hv1t, hv2
//   // original body
// }

总结

  字符串的基本使用与实现原理就讲解到这里了,要牢记字符串是不可读的,而字符串相加,字符串与[]byte/[]rune互相转换都是通过申请内存以及数据拷贝方式实现的。另外要注意中文汉字编码占3个字节,所以包含中文汉字的字符串,其长度与字符数是不同的。

你可能感兴趣的:(go)