相信很多同学都知道,咱们国内的一线大厂腾讯是出了名的喜欢C++,当初狮毕业的时候很多同学面试腾讯,当年基本上全给Linux C++ 后台开发的offer。
当然每个公司的技术选型不光要考虑技术因素,还需要考虑历史代码屎山的因素。腾讯很多产品的服务端都是用C++开发的,当然需要大量的C++攻城狮来维护。
所以相对来说,鹅厂是招C++工程师最多的;那么,这个时候就有同学要问了;那我会的东西又不多,学校里教的也不全面,我又不是什么双非硕士我拿什么竞争呢?
狮在这里告诉大家,需要注意的是,如果你要学C++,有且仅有linux C++ 服务端开发一条路。
但,Linux服务端开发工资要比其它程序员起薪要高。那么要从何入手呢?
c++后端服务器开发是一个庞杂的技术栈,因为没有统一的开发框架并且应用行业非常广泛,所以有朋友可能不知道该从哪里入手,或者说不知道如何学习。
那请看这里,狮把c/c++后端开发的技术点进行了一个非常系统非常全面的整理总结,耐心看完,如果你能把这些都学会的话;剑指腾讯T9!(涵盖了linux C++每个阶段所需要学习的知识点。记得帮我点赞呀)
先给大家看看比较全能的技术栈路线体系,狮花了一段时间的时间做了一张Linux C++学习路径,为了方便展示,我把所有子主题、子子主题都缩了进去;总体分为八个部分,这份路线图是绝对是每个C++高级工程师的必备经典,大家可以根据自己的能力水平,根据路线图去看自己还需要补齐哪些知识,并且向大厂进发时,又需要哪些知识点。
1.1.1 随处可见的红黑树
红黑树的应用场景 进程调度cfs,内存管理
红黑树的数学证明与推导
手撕红黑树的左旋与右旋
红黑树添加的实现与添加三种情况的证明
红黑树删除的实现与删除四种情况的证明
红黑树的线程安全的做法
分析红黑树工程实用的特点
1.1.2 磁盘存储链式的B树与B+树
磁盘结构分析与数据存储原理
多叉树的运用以及B树的定义证明
B树插入的两种分裂
B树删除的前后借位与节点合并
手撕B树的插入,删除,遍历,查找
B+树的定义与实现
B+树叶子节点的前后指针
B+树的应用场景与实用特点
B+树的线程安全做法
1.1.3 海量数据去重的Hash与BloomFilter,bitmap
hash的原理与hash函数的实现
hash的应用场景
分布式hash的实现原理
海量数据去重布隆过滤器
布隆过滤的数学推导与证明
1.2.1 创建型设计模式
单例模式策略模式观察者模式
工厂方法模式与抽象工厂模式
原型模式
1.2.2 结构型设计模式
适配器模式 代理模式 责任链模式 状态模式 桥接模式 组合模式
1.3.1 stl容器,智能指针,正则表达式
unordered map
stl容器
hash的用法与原理
shared_ptr, unique_ptr
besic regex, sub match
函教对象模板 function, bind
1.3.2新特性的线程,协程,原子操作,lamda表达式
atomic的用法与原理
thread local与cond ition_variable
异常处理 exception_ptr
检误处理 error category coroutine的用法与原理
1.4.1 Makefile/cmake/configure
Makefile的规则与make的工作原理
单文件编谈与多文件编证
Makefile的参数传递
多目录文件央递归编译与嵌套执行make
Makefile的通配符,伪目标,文件搜索
Makefile的操作函数与特殊语法
configure生成makefile的原则
cmake的写法
1.4.2 分布式版本控制git
git的工作流程
创建操作与基本操作
分支管理,查看提交历史
git服务器搭建
1.4.3 Linux系统运行时参数命令
进程间通信设施状态 ipos
Linux系统运行时长 uptime
CPU平均负载和磁盘活动 iostat
监控,收集和汇报系统活动 sar
监控多处理器使用情况 mpstat
监控进程的内存使用情况 pmap
系统管理员调优和基准测量工具 nmon
密切关注Linux系统 glances
查看系统调用 strace
ftp 服务器基本信息 ftptop
电量消耗和电源管理 powertop
监控 mysql的线程和性能 mytop
系统运行参数分析 htop/top/atop
Linux网络统计监控工具 netstat
显示和修改网络接口控制器 ethtoo
网络数据包分析利刃 tcpdump
远程登陆服务的标准协议 telnet
获取实时网络统计信息 iptraf
显示主机上网络接口带宽使用情况 iftop
2.1.1 网络io与select, poll.epoll
socket与文件描述符的关联
sigio的异步通知
多路复用select/poll
手撕epoll单线程,多线程,多进程的多种写法
代码实现LT/ET的区别
2.1.2 reactor的原理与实现
reactor针对业务实现的优点
epoll封装 send cb/recvcb/acceptcb
reactor多核实现
跨平台(select/epoll/kqueue)的封装reactor
2.1.3 http/https服务器的实现
reactor sendbuffer与recvbuffer封装http协议
http协议格式
http2.0与http3.0
有限状态机fsm解析http
https的工作流程
https证书配置
2.1.4 websocket协议与服务器实现
reactor sendbuffer与recvbuffer封装websocket协议
websocket握手流程
websocket协议头封装
top分包与粘包的解决方案
websocket数据流的编解码
2.2.1 服务器百万并发实现
同步处理与异步处理的数据差异
网络io线程池异步处理
ulimit的fd的百万级别支持
sysctl.conf的rmem与wmem的调优
conntrack的原理分析
2.2.2 redis, memcached,nginx网络组件
redis单线程reactor的实现
memcached的多线程master-worker的reactor实现
nginx的多进程reactor的实现
多进程reactor的坑点,惊群,共享内存
2.2.3 PosixAPI与网络协议栈
connect,listen,accept与三次握手
listen参数backlog
syn泛洪的解决方案
close与四次挥手
11个状态迁移
大量close wait与time wait的原因与解决方案
top keepalive与应用层心跳包
拥塞控制与滑动窗口
2.2.4 UDP的可靠传输协议QUIC
udp的优缺点
udp高并发的设计方案
qq早期为什么选择udp作为通信协议
udp可靠传输原理 quic协议的设计原理
quic的开源方案quiche
kcp的设计方案与算法原理
2.3.1 协程设计原理与汇编实现
协程存在的3个原因
同步与异步性能,服务端异步处理,客户端异步请求
协程原语 switch,resume,yield,
协程切换的三种实现方式,setimp/longjmp,ucontext,汇编实现
汇编实现 寄存器讲解
协程初始启动 eip寄存器设置
协程栈空间定义,独立栈与共享栈的做法
协程结构体定义
2.3.2 协程调度器实现与性能测试
调度器的定义分析
超时集合,就绪队列,i等待集合的实现
协程调度的执行流程
协程接口实现,异步流程实现
hook钩子的实现
协程实现mysql请求
协程多核方意分析
协程性能测试
2.4.1 用户态协议栈设计实现
用户态协议栈的存在场景与实现原理
netmap开源框架
eth协议,ip协议,udp协议实现
arp协议实现
icmp协议实现
2.4.2 tcp/ip定时器与滑动窗口
top协议头实现 tcp控制块的实现滑动窗口的实现
重传定时器,坚持定时器,time_wait定时器,keepalive定时器
2.4.3 手把手设计实现epol!
epoll数据结构封装与线程安全实现
协议栈fd就绪回调实现
epoll接口实现 LT/ET的实现
2.5.1 与epoll媲美的io_uring
io_uring系统调用 io_uring_setup, io_uring_register, io_uring_enter
liburng的io_uring的关系
io_uring与epoll性能对比
io_uring的共享内存机制
2.5.2 io_uring的使用场景
io_uring的accept,connect,recv,send实现机制
io_uring网络读写
io_uring磁盘读写
proactor的实现
3.1.1 手写线程池与性能分析
线程池的异步处理使用场景
线程池的组成 任务队列 执行队列
任务回调与条件等待
线程池的动态防缩
扩展:nginx线程池实现对比分析
3.1.2 内存池的实现与场景分析
内存池的应用场景与性能分析
内存小块分配与管理
内存大块分配与管理
手写内存池,结构体封装与AP|实现
避免内存泄漏的两种万能方法
定位内存泄漏的3种工具
扩展:nginx内存池实现
3.1.3 异步请求池的实现
异步请求处理流程
King式四元组,create.commit.callback, destory
异步请求框架封装
应用协议redis/dns/http请求封装
3.1.4 mysal连接池的实现
连接池性能的影响的2个因素,top连接和mysg|认证
连接请求归还策略
连接超时未归还策略
链接断开重连策略
连接数量最优策略
3.2.1 原子操作CAS与锁实现
互斥锁的使用场景与原理
自旋锁的性能分析
原子操作的汇编实现
3.2.2 无锁消息队列实现 RingBuffer
有锁无锁队列性能
内存屏障 Barrier
数组无锁队列设计实现
链表无锁队列设计实现
3.2.3 定时器方案红黑树,时间轮,最小堆
定时器的使用场景定时器的红黑树存储
时间轮的实现最小堆的实现
分布式定时器的实现
3.2.4 手写死锁检测组件
死锁的现象以及原理
pthread mutex_lock/pthread mutex_unlock dlsym的实现
有向图的构建
有向图dfs判断环的存在
三个原语操作 lock before, lock_after, unlock after死锁检测线程的实现
3.2.5 手写内存泄漏检测组件
内存泄漏现象
第三方内存泄漏与代码内存泄漏
malloo与free的dlsym实现
内存检测策略
应用场景测试
3.2.6 手把手实现分布式锁
多线程资源竞争 互斥锁,自旋锁加锁的异常情况
非公平锁的实现
公平锁的实现
3.3.1 libevent/libev框架实战的那些坑
服务端reactor事件封装
libevent接口分析 event_base_new, event_add, event_del, event base loop
memcached网络模块分析
libev的主要数据结构 EV WATCH. EV WATCH LIST
libevent与libev性能对比
3.3.2 异步日志方案log4cpp
日志库性能瓶颈分析
异步日志库设计与实现
批量写入与双缓存冲机制
奔溃后的日志找回
3.3.3 应用层协议设计ProtoBuf/Thrift
IM,云平台,nginx,http,redis协议设计
如何保证消息完整性
手撕protobuf IM通信协议
protobuf序列化与反序列化
protobuf编码原理
4.1.1 Redis相关命令详解及其原理
string, set, zset, list, hash
分布式锁的实现
lua脚本解决ACID原子性
Redis事务的ACID性质分析
4.1.2 Redis协议与异步方式
Redis协议解析
特殊协议操作 订阅发布
手撕异步redis协议
4.1.3 存储原理与数据模型
string的三种编码方式 int,raw,embstr
双向链表的list实现
字典的实现,hash函教
解决键冲突与rehash
跳表的实现与数据论证
整数集合实现
压编列表原理证明
4.1.4 主从同步与对象模型
对象的类型与编码
字符串对象
列表对象
哈希对象
集合对象
有序集合
类型检测与命令多态内存回收对象共享
对象空转时长
redis的3种集群方式 主从复制,sentinel,cluster
4种持久化方案
4.2.1 SQL语句,索引,视图,存储过程,触发器
MySQL体系结构,SQL执行流程
SQL CURD与高级查询
视图,触发器,存储过程
MySQL权限管理
4.2.2 MySQL索引原理以及SQL优化
索引,约束以及之间的区别
B+树,聚集索引和辅助索引
最左匹配原则以及舞盖索引
索引失效以及索引优化原则
EXPLAIN执行计划以及优化选择过程分析
4.2.3 MySQL事务原理分析
事务的ACID特性
MySQL并发问题 脏读,不可重复读,幻读
事务隔离级别
锁的类型,锁算法实现以及锁操作对象
S锁 X锁 IS锁 IX锁
记录锁,间隙锁,next-key lock
插入意向锁,自增锁 MVCC原理剖析
4.2.4 MySQL缓存策略
读写分离,连接池的场景以及其局限a
缓存策略问题分析
缓存策略强一致性解决方案
缓存策略最终-致性解决方案
2种mysq|缓存同步方案 从数据库与触发器+udf
缓存同步开源方案go-mysql-transfer
缓存同步开源方案canal原理分析
3种缓存故障,缓存击穿,缓存穿透,缓存雪崩
4.31 Kafka使用场景与设计原理
发布订阅模式
点对点消息传递
Kafka Brokers原理
Topics和Partition
4.3.2 Kafka存储机制
Partition存储分布
Partition文件存储机制
Segment文件存储结构
offset查找message
高效文件存储设计
4.4.1 gRPC的内部组件关联
1. ClientSide与ServerSide. Channel.Serivce,Stub的概念
2.异步gRPC的实现
3.回调方式的异步调用
4. Server与Client对RPC的实现
4.4.2 基于http2的gRPC通信协议
基于http协议构造
ABNF语法
请求协议 Request-Headers
gRPC上下文传递
4.5.1Nginx反向代理与系统参数配置conf原理
Nginx静态文件的配置
Nginx动态接口代理配置
Nginx对Mqtt协议转发 Nginx对Rtmp推拉流
Openresty对Redis缓存数据代理
shmem的三种实现方式原子操作
nginx channel信号信号量
4.5.2 Nginx过滤器模块实现
Nginx Filter模块运行原理
过滤链表的顺序
模块开发数据结构 ngx_str_t,ngx_list_t,ngx_buf_t,ngx_chain_t
error日志的用法
ngx_comond_t的讲解
ngx_http_module_t的执行流程
文件锁,互斥锁
slab共享内存
如何解决"惊群"问题
如何实现负载均衡
4.5.3 Nginx Hand er模块实现
NginxHandler模块运行原理
ngx_module_t/ngx_http_module_t的讲解
ngx_http_top_body_filter/ngx_http_top_header_filter的原理
ngx_rbtree_t的使用方法
ngx_rbtree自定义添加方法
Nginx的核心数据结构 ngx_cycle_t,ngx_event_moule_t
http 请求的11个处理阶段
http包体处理
http响应发送
Nginx Upstream机制的设计与实现
模块性能测试
5.1.1 Skynet设计原理
多核并发编程-多线程,多进程,csp模型,actor模型
actor模型实现-lua服务和c服务
消息队列实现 actor消息调度
5.1.2 skynet网络层封装以及lua/c接口编程
skynet reactor网络模型封装
socket/socketchanne|封装
手撕高性能c服务
lua编程以及lua/c接口编程
5.1.3 skynet重要组件以及手撕游戏项目
基础接口 skynet.send,skynet.call,skynet.response
广播组件 multicastd
数据共享组件 sharedatad datasheet
手撕万人同时在线游戏
5.2.1 高性能web网关 Openresty
Nginx与lua模块
Openresty访问Redis,MySQL
Restful API接口开发
Openresty性能分析
5.2.2 Kong 动态负载均衡与服务发现
nginx, openresty,Kong之间的“荀且”
动态负载均衡的原理
服务发现实现的原理
Serverless
监控,故障检测与恢复
代理层缓存与响应服务
系统日志
5.3.1 DPDK环境与testpmd/13fwd/skeletion
DPDK环境参数讲解
多队列网卡的工作原理
CPU亲和性
Burst数据包的优缺点
DPDK轮询模式 异步中断,轮询模式,混合中断轮询模式
virtio与vhost
5.3.2 DPDK的用户态协议栈
内核网络接口 KNI的实现原理
接收线程/发送线程/KNI线程
内存数据结构 rte mbuf,rte mempool
端口数据结构 rte_kni,rte_kni_conf,rte_kni_ops,rte_eth_conf
协议数据结构 rte ether hdrrte ipv4 hdr. rte udp hdr
数据处理接口
rte_eth_rx_burst, rte_kni_tx_burst,rte_pktmbuf_mtod
5.3.3 千万级流量并发的dns处理
udp协议包处理 dns协议实现配置文件解析
数据结构 rte_ring
trex数据包性能测试
5.3.4 高性能数据处理框架vpp
vpp使用vmxnet3
DPDK ACL实现数据过滤
vpp web应用
vpp基础库 VPPInfra
高速查找路由表,CAM表
5.3.5 DPDK的虚拟交换机框架OvS
0vS三大组件 ovs-vswitchd, ovsdb-server, openvswitch.ko
OvS报文处理机制
OvS 4种数据路径
VXLAN数据协议
5.4.1 gpu并行计算cuda的开发流程
cputgpu的异构计算
计算机体系结构中的gpu
cuda的环境搭建 nvcc与srun的使用
cuda的 向量加法与矩阵乘法
MPI与CUDA
5.4.2 音视频编解码中的并行计算
cuda的h264编解码
cuda的mpeg编解码
ffmpeg的cuda支持
6.1.1. Docker风光下的内核功能
进程 namespace
Uts namespace
IPC namespace
网络 namespace
文件系统 namesapce
cgroup的资源控制
6.1.2. Docker容器管理与镜像操作
Docker镜像下载与镜像运行
Docker存储管理
Docker数据卷
Docker与容器安全
6.1.3. Docker网络管理
5种Docker网络驱动
pipework跨主机通信
0vS划分vlan与隧道模式
GRE实现跨主机Docker间通信
6.1.4. Docker云与容器编排
Dockerfile的语法流程
编排神器Fig/Compose
Flynn体系架构
Docker改变了什么?
6.2.1 k8s环境搭建
k8s集群安全设置
k8s集群网络设置
k8s核心服务配置
kubect|命令工具
yaml文件语法
6.2.2 Pod与Service的用法
Pod的管理配置
Pod升级与回滚
DNS服务之于k8s
http 7层策略与TLS安全设置
6.2.3 k8s集群管理的那些事儿
Node的管理
namespace隔离机制
k8s集群日志管理
k8s集群监控
6.2.4 k8s二次开发与k8s API
RESTful接口
API聚合机制 API组
Go访问k8s API
7.1.1 测试框架gtest以及内存泄漏检测
googletest与googlemock文件
函数检测以及类测试
test fixture 测试央具
类型参数化事件测试内存泄漏
设置期望,期待参数,调用次数,满足期望
7.1.2 性能工具与性能分析
MySQL性能测试工具 mysqlslap
Redis性能测试工具 redis-benchmark
http性能测试工具wrk
Tcp性能测试工具TCPBenchmarks
磁盘,内存,网络性能分析
7.1.3 火焰图的生成原理与构建方式
火焰图工具讲解
火焰图使用场景与原理
nginx动态火焰图
MySQL火焰图
Redis火焰图
7.2.1 内核bpf的实现原理
跟踪,嗅探,采样,可观测的理解
动态hook:kprobe/uprobe
静态hook:tracepoint和USDT
性能监控计时器PMC模式
cpu的观测 taskset的使用
BPF工具 bpftrace, BCC
7.2.2 bpf对内核功能的观测
内存观测 kmalloc与vm_area_struct
文件系统观测 vfs的状态
磁盘io的观测 bitesize. mdflush
bpf对网络流量的统计
bpf对redis-server观测
网络观测 top_connect, top_accept,tcp_close
7.3.1 进程调度机制哪些事儿
qemu调试内存
进程调度cfs与其他的四个调度类
task_struct结构体
RCU机制与内存优化屏障
7.3.2 内核内存管理运行机制
虚拟内存地址布局
SMP/NUMA模型
页表与页表缓存原理
伙伴系统实现
块分配(Slab/Slub/Slob)原理实现
brk/kmalloc/vmalloc系统调用流程
7.3.3 网卡nic与网络协议栈的关系
数据包sk_buff
eth0与net_device的明暗关系
nic的数据接收与发送
nic子系统中的mmap
7.3.4 文件系统组件
虚拟文件系统vfs Proc文件系统
super_block与inode结构体
文件描述符与挂载流程
8.1.1 不一样的kv存储RocksDB的使用场景
前缀搜索
低优先级写入
生存时间的支持
Transactions
快照存储
日志结构的教据库引擎
8.1.2 RocksDB的特殊操作
SST文件格式日志与监控数据压缩
huge page TLB的支持
MemTable的两种实现Skiplist与HashSkiplist
Lua的支持
8.2.1 TiDB存储引擎的原理
TiKV的Key-Value存储引擎基于RBAC的权限管理数据加密
8.2.2 TiDB集群方案与Replication原理
集群三个组件 TiDB Server,PD Server, TiKV Server
Raft协议讲解
OLTP与OLAP
8.3.1 内核级支持的分布式存储Ceph
ceph的集群部署 monitor与OSD
ceph 5个核心组件
ceph集群监控
ceph性能调调优与benchmark
8.3.2 注册服务中心Etcd
etod配置服务、服务发现、集群监控、leader选举、分布式锁
etod体系结构详解(gRPC,WAL,Snapshot、BoltDB、Raft)
etcd存储原理深入剖析(B树、B+树)
etod读写机制以及事务的acid特性分析
raft共识算法详解(leader选举+日志复制)
9.1.1 fastdfs架构分析和配置
fastdfs架构分析
快速配置fastdfs
上传文件逻辑分析
下载文件逻辑分析
9.1.2 fastdfs存储原理
tracker,storage分析
存储机制
支持断点续传
相同文件内容只保存一份
9.1.3 分布式fastdfs存储集群部署
同步机制线性扩容
如何实现高可用
负载均衡
9.1.4 高负载nginx/fastcgi
fastdfs-nginx-module模块分析
fastogi请求与响应
nginx与fastogi如何通信
nginx-fastogi-fastdfs如何实现上传下载
9.1.5 文件传输和接口设计
http接口设计
图床数据库设计
图床文件上传,下载,分享功能实现
业务流程实现
9.1.6 产品上云公网发布/测试用例
使用云服务器的各种坑分析
fiddler监控http请求,postman模拟请求
wrk测试接口吞吐量
jmeter压力测试
9.2.1M即时通讯项目柜架分析和部界
接入层、逻辑层、持久层架构划分
消息实时性分析
即时通讯数据库设计
单聊、群聊消息原理
群成员管理未读消息原理
池化技术的使用
快速配置IM项目
9.2.2 IM消息服务器/文件传输服务器
protobuf通信协议设计数据库分表设计
reactor百万并发模型
login_server负载均衡
登录请求响应模型
9.2.3 消息服务器/路由服务器
请求登陆逻辑
最近联系会话逻辑
查询用户在线主题
未读消息机制
单聊消息推拉机制
群聊消息推拉机制
路由转发机制
9.2.4 数据库代理服务器设计
main函数主流程响应流程 redis缓存
消息计数(单聊和群聊)
未读消息机制
群成员管理
单聊群聊
9.2.5 文件服务器和docker部署
在线文件传输机制分析
离线文件传输机制分析
etcd微服务注册与发现
docker制作与部署
9.2.6 产品上云公网发布/公网测试上线
单元测试案例
testbench如何设计
IM项目性能压测
定制私有功能云服务器部等
敲黑板!!敲黑板!!!重点来啦
适宜工程师人群
1.从事业务开发多年,对底层原理理解不够深入的在职工程师
2,从事嵌入式方向开发,想转入互联网开发的在职工程师
3.从事Qt/MFC等桌面开发的,薪资多年涨幅不大的在职工程师
4.从事非开发岗位(算法岗,运维岗,测试岗),想转后台开发岗位的在职工程师
5.工作中技术没有挑战,工作中接触不到新技术的在职工程师
6.自己研究学习速度较慢,不能系统构建知识体系的开发人员
7.了解很多技术名词,但是深入细问又不理解的工程师
8. 计算机相关专业想进入大厂的在校生(本科及以上学历,有c/c基础)
这个学习路线和知识点,是我跟几位大厂导师共同完成的,为了不给大家造成误导,连续勘校了将近一个月。导师说在有基础的情况下,如果能系统的学完这一整套,剑指腾讯T9!
学习过程中呢,会用到大量的教程以及资料;狮在这里创了个几个后台开发交流群;大家有什么问题或者需要什么资源都可以在里面探讨交流;点击链接加入群聊【后端开发技术交流群】:https://jq.qq.com/?_wv=1027&k=nXJAmtbA
附【c/c++Linux服务器开发技术视频教程】
好了,狮这毕生知识点总结就都在这里了;没别的,给迷茫的应届大学生或者说瓶颈工程师朋友们一个可以走的方向。如果说还有什么别的需要或者建议的话,大家也都可以在评论区说出来,狮也对于大家的生涯很好奇;可以多分享分享,最后祝大家都能顺利的找到一份适合自己且喜欢的工作;晚安咯~