摘要:本文主要介绍的是沿Java,分布式微服务架构,大数据与流计算,Linux OS与中间件,AI,这样一套功法,来讨论从一个刚毕业的理科生,如何修炼到软件教练这个层次。以及对更高层境界的畅想。
本文主要介绍的是沿Java,分布式微服务架构,大数据与流计算,Linux OS与中间件,AI,这样一套功法,来讨论从一个刚毕业的理科生,如何修炼到软件教练这个层次。以及对更高层境界的畅想。
师傅领进门,修行在个人。我在本文中只指出道路,相当于一次将全套功法给你。但修行的路还请自己努力。不明白的地方,Google是个金手指。我会看大家对具体哪里更感兴趣,后续将其展开讲一下,作为一个系列。大家可以留言给我。
首先第一阶段,对应炼气期。你要掌握:
1, Java:俗称JAVASE。不仅仅指Java语法,还包括JDK的使用。这块知识非常沉重也非常重要。沉下心花几年时间学好它。推荐学习方式:
a) 《Effective Java》。让你感受下Java里面的弯弯绕绕,并不是语法表现的那样傻白甜。
b) SCJP考试。现在可能改名为OCJP了也说不定。全方位让你了解Java及里面的细节。非常重要。
c) 《并发编程实践》。必读刊物。多核CPU自带L2 cache却共享内存和线程,复杂的锁,一行Java代码被编译为多行机器指令而CPU在任意机器指令间都可切换线程。面对这么复杂的硬件环境,Java是如何设计保证程序正确的。
2, 敏捷开发:敏捷开发不是靠书学的(虽然也有书),而是靠实践来感悟的。就像卖油翁,不去倒油光靠看老翁写的心得,永远不会倒油。
3, 算法与数据结构:
a) Leetcode刷题。虽然只有极少的开发会用到算法,但这是能力的体现。不要以为就是个链表反转,至少要把动态规划级别的算法搞懂。
b) 《算法导论》。读读就行了。希望你能读懂。
4, 测试:要了解测试同学如何写测试用例,如何保障code coverage,如何做自动化。
当上面了解的七七八八后,你自然而然就会产生心灵上的感悟从而进阶至筑基期。你要掌握:
1, 设计模式:《设计模式》,Gang Of Four。四杆老枪的设计模式(我可没开车),教会你面对各种经典场景如何构造类群。
2, JVM原理:《深入理解Java虚拟机》。我刚工作时,大概06年,如果那时候有人说对JVM原理很懂,那就属于国内顶尖的技术人才了。现在知识的获取方式越来越方便了,比如阅读本文。你需要了解JVM如何使用内存,如何GC,如何调整启动参数,如何查看各种dump文件等等。
3, 网络编程:书籍暂时没有推荐。反正就是要搞懂HTTP/WebSocket与TCPIP与Socket的关系等知识。
4, 分布式系统中各种中间件:
a) Dubbo。国内最知名开源项目。无中心化分布式架构的核心。取代了IBM的SOA产品(中心化架构造成性能瓶颈)。
b) ZooKeeper。Zookeeper小红书。分布式系统数据一致性协调工具。单机进程,代码执行被认为是完全可靠的,要么执行成功要么执行失败。而到分布式系统,网络调用偏多出来一个超时。分布式系统之所以比单进程复杂那么那么多,都是这独独一个超时闹的。理解CAP,理解分布式系统数据一致性,是分布式系统不出错的保障。你从来没看见银行转账时给你少转过一分钱吧?
c) Kafka。《Kafka权威指南》。要理解其为什么那么快又那么可靠又那么存储空间大。同时也是理解幂等性最方便的系统。
d) Redis。《Redis设计与实现》。了解了前述的知识,Redis就是个菜。无非多了个流言协议,一致性哈希环,跳跃表,哨兵,持久化方式而已。
e) MySQL(假装其也是中间件好了)。《MySQL高性能》,《MySQL技术内幕:InnoDB存储引擎》。要了解红黑树和索引的实现方式,了解innodb存储引擎的工作原理,你才能更好的理解explain sql后出来的各种回显结果,帮助你更好调优sql。MyISAM被废弃了,你可以少看一本书了,偷着乐吧,少年。
f) Nginx。之所以能有多个幂等节点存在,就全靠它了。学一下它的单线程技术。明明是单线程却能做到高性能。“我就是看不上你多线程,咋啦?”唯有真正理解计算机原理才能返璞归真。
g) Netty。《Netty权威指南》。你有没有感觉到在2002年后的某一年,就在短短一两年内,计算机网络突然提速了?02年JDK1.4,04年Netty。本来计算机网络性能被阻塞在IO上。但NIO大幅度提升了IO效率。Go语言为什么曾那么火?它的MPG模型还是找的IO阻塞的茬,使得多线程并发会更快。学一下Linux IO模型,零拷贝技术。理解计算机原理才能做到真正性能优化。我猜测,在JDK支持了NIO之后,Tomcat等web容器很快就进行了IO模块的更新,之后各大网站的Tomcat跟着升级,于是在全世界硬件资源没变的情况下,网络站点服务器的并发响应能力大幅提升。顺便说一句为什么Java语言会长盛不衰。因为任何新语言的特性,比如Go的MPG模型,Reactive模式等,很快就会被Java抄过来。Java已有AKKA并成功用于Flink等知名项目了。而Go想抄Java的好处,短时间很难达成。
h) Flume。一个日志收集传输系统。
i) ProtoBuf。序列化也是性能中需要重要关注的地方。
j) Tomcat。太有名了。学学其classloader的设计。
5, JAVAEE依然有用的知识:比如servlet,JMX等。哎,一个时代的落幕。
6, 编译原理与操作系统:我假设你上大学时候就学过了。没有的话,至少操作系统要读一下。就读清华大学的本科教材吧。
7, 分布式数据库体系架构:第4条讲的是内存网络的分布式架构。这条要讲持久化存储的分布式架构。分库分表,异构索引,数据库主备等。《数据密集型系统设计》,这本书很赞,堪称存储设计的通史。
8, Spirng and Mybatis:怎么说呢,你能读懂源代码当然更好。
9, 前端与CDN:至少要了解一下。
10,UML建模:教会你如何认识世界并转到计算机系统里来。《UML用户指南》。
上个境界,是最难晋升的了。多少开发们被阻在这步一辈子不得前进了。因为既要承担繁重的开发任务,又要学习那么多的知识,还要处理个人的生活,太难了。这些知识对你的提升又只是相加,不是相乘的关系。熬过去后海阔天空。好了你现在是金丹期了,你的很多要继续学的知识,都是靠前面给你打基础的,你会发现你的提升曲线斜率越来越抖了。你要掌握:
1, 架构设计方法论:做事要有章法。《软件架构设计》。
2, 领域驱动设计:软件是真实世界在计算机中的虚拟映射。如何让软件更贴近真实世界,读一下Eric Evans的《领域驱动设计》。很晦涩,不太容易懂。
3, 中台:中台这个词现在这么火,怎能不提一下。平台是啥也许你还不清楚,那就先了解一下中台。
4, 高性能调优:还是那句话,真正了解计算机及runtime的本质,才能做到性能调优或Hacker。《性能之巅》。
5, 稳定性建设:凑合看《逆流而上》。但是稳定性和上述的性能调优,是真正体现水平的地方。还有Google的《Google SRE》。
6, 两地三中心容灾系统建设:这个目前我还不清楚有什么书。如果确实没有的话,可以趁机出一本抢占市场。
7, 全链路压测:又是测试。但又不仅仅是测试。对系统的性能瓶颈节点的探查,对系统QPS的掌控。单单一个起压机就不容易设计。
8, 大数据:首先,你需要跨多个领域开始了解更多的知识。其次,你会发现我对技术的介绍粒度开始越来越粗了。因为你之前打的基础 - 粗粒度之下用来支撑的细粒度知识,已经生效了。再然后就是我会减少推荐书籍。到了这里你应该形成自己的知识体系了,也就会找书了。离线海量数据存储与计算的Hadoop。将Hadoop变的更易用些的HIVE。在线海量数据存储的HBase。批计算的Spark。流计算的Flink。自成一套ELK,尤其大名鼎鼎弹性搜索。时序数据库Druid。
9, 数据仓库:大数据都学了,顺便也就把数仓学了呗。顺手的事而已。
10,IC:HCIE,这个我就不班门弄斧了。
11,网络安全:我也不懂。汗。
12,Linux OS。可不仅仅是使用命令操作系统而已。当然,即使是这样也不容易了。
当你还要再继续晋升,就涉及到我也不完全理解的境界了。
1, 中间件的实现细节:作为业务侧的技术架构师,通常会把存储和网络的需求下压给中间件团队。但是他们是怎么实现的呢?细节重要的点是什么?
2, 使用Master Slave模式,Spark等是如何实现分布式任务分解并确保计算正确的?
3, Docker虚拟化技术。
4, Yarn的资源分配技术。
5, 计算机网络等。
6, 再扩展一下技术领域,触角伸到AI领域。那么数学基础,各种论文与算法实现。又或者使用算法来赋能某个具体的业务领域比如AI赋能新零售。
7, 也可以往IOT方向发展。随着5G的发展,这个应该也很火。持续看好。
本文分享自华为云社区《成长为软件教练的三千大道之一》,作者:华为云小月老师