前提:
因近段时间,我在考虑新的工作机会,并在自己的以往的工作内容做了一些简单的总结,以及部分在面试过程当中遇到了一些新的问题,总结一篇关于Golang工程师针对后端开发的一些知识点。
本文仅作为参考,只是知识点,有些点不会说的很详细,也有一些其他的工具或者知识没有放入本文中,如您有意见或建议,请提出,后面会对文章内容进行更新。
本文会从以下几个方面阐述数据结构
算法
网络
系统内核
数据库
架构
Golang本身
Linux常用工具计算机的主要组成就是算法和数据结构,所以开篇的重点就是数据结构和算法
一、数据结构
数据结构方面主要分为三方面:表、树、图表
常见的表有:数组、单链表、双链表、循环链表、散列表
2. 树
主要要解决的一个问题是:树的插入和查找的问题。
树主要有:B树、B-树、B+树,字典树,平衡二叉树、红黑树、哈夫曼树、堆 等
实战例子:B+树一般用于文件索引,如:Mysql的索引实现
字典树,用于字符串多模式匹配
红黑树,用于搜索引擎
3. 图
图的组成主要有:有向图、无向图、带权图
一般场景,如:用于网络流量的动态规划、地理位置的路线分配等
二、算法排序算法
要记住常用的排序,以及时间和空间复杂度。
算法有:希尔、直插,冒泡、快排,简单排序、堆排,归并,基数
常考的为:快排,堆排
2. 查找二分查找:常用于小数据量集的内存查找,如:IP地址对应的省份
二叉排序树查找,和数据结构的树对应
B树:常用于索引中
Hash
BloomFilter:常用于大数据量集中,判断对象是否存在
3. 常用算法思路分治
归并规划
贪心
回溯
分支界定
4. 算法复杂度
时间和空间:主要是通过分析算法本身,了解到算法在空间和时间上的开销。
5. 字符串匹配BF算法
BM算法
Sunday算法
KMP算法
Tire算法
三、网络
计算机网络,是不同计算机之间沟通的一个介质,这些内容是最基础的,也是必须了解的部分。通讯协议TCP/ IP,要了解三次握手、四次挥手的过程,以及通过系统的一些命令去观察这部分的链接问题
HTTP/HTTPS,还要包含 HTTP1.1 和 HTTP2.0,以及HTTPS在加密方面的过程
RPC/Socket
WebSocket
RTP
RESP
AMQP
2. DNS
以一个问题来阐述:一次浏览器请求外部链接,中间发生的过程有哪些?
四、系统内核
系统内核涉及的知识点非常多,这里仅列出了几个比较常见的问题。Linux锁的方式自旋锁
信号量:内核信号量和IPC信号量
2. 内核模式和用户模式
3. 如何申请内存vmalloc 大内存申请,线性地址连续,物理地址可能不连续
kmalloc 小内存申请,线性地址和物理地址都连续
4. 用户进程的通讯方式管道(Pipe):某个进程与他共有祖先的进程可进行通讯
命名管道(Named Pipe):主要是对管道本身进行了命名,具有管道的所有功能。mkfifo来启动,可用不同进程间的通讯。Erlang语言的内部多采用与此。
信号(Single)
消息队列(Message Queue)
共享内存(Shared Memory)
信号量(Semaphore)
套接字(Socket)
五、数据库
数据库一般情况下分为,内存数据库和关系型数据库。以下用Redis和Mysql来作代表Redis持久化的方式AOF:按照一定时间间隔,将缓存的操作命令记录到文件中
有一定的时间差,数据可能丢失比较多
RDBsave:阻塞当前进程,将内存备份到文件中
bgsave:folk一个子进程,与主线程共享内存,把内存写入到文件中,再覆盖原有的文件
数据类型字符串:有一定的内存大小限制
Hash
列表(List)
集合(Set)
有序集合(Zset)
过期策略定期删除:每隔一段时间检查抽样
惰性删除:在访问Key的时候检查,过期则删除
集群管理主从设置与数据备份
数据的分割和有效管理:一般会用到一致性Hash
2. Mysql
这里没有分引擎来说索引B+树
搜索树
数据量大的优化方向SQL语句本身
索引优化
自带分库分表
拆分集群的服务优化
事务特性一致性
原子性
隔离性
持久性
隔离级别未提交读
提交读
可重复读
串行读
六、架构
架构方面主要讲微服务的内容异步微服务
如通过消息中间件,用于服务之间的沟通,达到服务本身没有耦合的状态
2. 同步微服务
如通过注册发现机制,找到需要请求的服务对象,并从微服务A向B直接发起请求
3. 微服务主要要解决的几个问题分布式事务XA-协议(2PC)
TCC,多用于电商和金融
一致性协调,多用于消息队列的方式
阿里云GTS
分布式链路管理:路由管理
分布式链路问题追踪
七、Golang本身CAP理论(分布式系统理论)一致性(Consistency)
可用性(Availability)
分区容错性(Partition tolerance)
2. 内存回收
Golang在早期的版本是使用引用计数法,在1.4-1.7分别对引用计数改进,以及引入标记清除,再对标记清除做改进,到三色标记;在1.8以后引入分代回收。引用计数法:标记计数的次数频繁,导致性能下降。同时无法解决循环引用的问题。
标记清除法:标记未引用的内存,在一定时间周期做消除。并发多的情况下,也会影响性能。
三色标记法
分代回收法:相当于多个堆,按照不同等级划分
3. GMP原理Goroutine:Go携程管理里面最小的单位。启动Goroutine时,会自动放入一个Processor队列中,包含Main函数
Processor:协调Machine来执行自己队列中的Goroutine
Machine:可以理解为线程,所有Goroutine都在上面执行
4. 锁的方式自旋锁:如sync包中的锁
互斥锁
CLHLocker:基于隐式链表,没有序节点属性
MCSLocker:基于显示链表,有序节点属性
CAS算法:当且仅当 V 的值等于 A时,CAS通过原子方式用新值B来更新V的值,否则不会执行任何操作(比较和替换是一个原子操作)。一般情况下是一个自旋操作,即不断的重试
5. 字符串的原理固定长度的Slice对象
bytes.Buffer的操作原理
Slice对象的内存分配问题
八、常用工具及操作命令命令行
只说重点,像rm, cp, mv不是重点top
lsof
netstat
iostat
free
ps
df / du
awk
2. 工程管理工具github
gitlab
svn
其他
3. IDE,IDE在各种语言开发都有不同,每个工程师也有不同。我采用的主要是Sublime Text或Visual Studio Code,这两个主要是以文本编辑为主,所以基本没有运行环境。但好处在于让开发的每个细节都会印象深刻。
结题,本文如开篇所属,仅做参考!
致谢