2017-07-09:
需要做的:
1. 总结聊天室的架构和优化方案。总结出聊天室从单机到当前的分布式的结构演化过程,以及未来要做的优化和架构调整。
2. 学习Zookeeper, CMP,Cluster, 导航等单位中的技术架构和知识。
3. 学透这三本书:《深入了解JVM的高级特性与最佳实践》、《Java并发编程实践》、《大型分布式网站的架构》
4. 学习Python, Go语言。以此来印证Java语言的优缺点 -- 精通多门语言,才能当好架构师。
2016-03-16:
跟李淼转正谈话:怎样做架构师?
1. 深度:要弄投计算机专业课底层原理(数据结构、操作系统、微机原理、通信协议等)
2. 广度:各种开源产品的底层实现
3. 代码:每次想怎样写最佳(最好的时间空间复杂度,看JDK怎样实现的)
2016-03-06: 2016年需要学习的技术:
1. 新语言:Go, python,Linux Shell/awk. 新语言是衡量知识广度的必备技能。
2. 学习分布式基础设施中常用的技术,如缓存(Varnish, redis, ssdb), 消息中间件(Rabbit MQ, Active MQ, Kafka, NSQ), 搜索引擎(Lucence, Solr), NIO,Netty, Mina, Concurrency.
3. 学习分布式存储和分布式计算:Hadoop HDFS, FastDFS, HBase, Hive, Hadoop MapReduce, Strom等。
4. 在公司学习并关注:高并发、高可靠性系统的设计、监控和运维。如负载均衡系统(通过一致性hash在CMP层做)、集群(通过zookeeper)和应用监控(通过Monitor监控)、系统容量评估(通过监控工具zabbix)、流量控制(通过CMP层,超过流量做系统扩容)、性能优化(缓存、异步、业务)、故障排查(通过log和Jconsole)、日志收集和分析等(亚东负责)。
5. 学习各种系统架构知识:
1)学习各种经典的已有的架构,了解其利弊
2)学习其分配请求到server上的算法(目前已知的有一致性Hash,取模*2扩展)
3)关注如何保证数据的一致性,可用性,容错性。
6. 研究各种缓存及算法(redis, ssdb):缓存和算法是系统性能优化的关键技术。
目前已知的优化技术通常从下面3点考虑:
1)缓存:进程内缓存(类的成员变量),进程外缓存(redis, ssdb)
2)异步:生产者消费者队列,线程池
3)根据业务做优化:如针对不同人数的聊天室做快慢(生产者、消费者)队列,如将notify消息改为push消息,如MOTO的调节sync时间等。
7. 学习Docker, 虚拟化,眼型计算,自动化运维等技术
8. 顺便了解下Spring MVC的底层实现,MyBatis
9. 学习开源技术:Maven, dubbo
10. 学习通信技术,如TCP/IP, HTTP, 各种通信协议,Protocol Buffer等
11. 学习CDN技术
12. 顺带深入学习下数据结构,如二叉树,红黑树,skiplist等
13. 学习基于流式计算框架:storm, spark.
14. 学会使用GitHub, 关注并参与GitHub上面的开源项目
15. JVM原理及调优。
===========
2015-12-28: 以下从网上copy:
既然java架构师,首先你要是一个高级java工程师,熟练使用各种框架,并知道它们实现的原理。jvm虚拟机原理、调优,懂得jvm能让你写出性能更好的代码;池技术,什么对象池,连接池,线程池...:;java反射技术,写框架必备的技术,但是有严重的性能问题,替代方案java字节码技术;nio,没什么好说的,值得注意的是"直接内存"的特点,使用场景;java多线程同步异步;java各种集合对象的实现原理,了解这些可以让你在解决问题时选择合适的数据结构,高效的解决问题,比如hashmap的实现原理,好多五年以上经验的人都弄不清楚,还有为什扩容时有性能问题?不弄清楚这些原理,就写不出高效的代码,还会认为自己做的很对;总之一句话越基础的东西越重要,很多人认为自己会用它们写代码了,其实仅仅是知道如何调用api而已,离会用还差的远。 熟练使用各种数据结构和算法,数组、哈希、链表、排序树...,一句话要么是时间换空间要么是空间换时间,这里展开可以说一大堆,需要有一定的应用经验,用于解决各种性能或业务上的问题;有时间再补充。 熟练使用linux操作系统,必备,没什么好说的 。 熟悉tcp协议,创建连接三次握手和断开连接四次握手的整个过程,不了解的话,无法对高并发网络应用做优化; 熟悉http协议,尤其是http头,我发现好多工作五年以上的都弄不清session和cookie的生命周期以及它们之间的关联。 系统集群、负载均衡、反向代理、动静分离,网站静态化 。 分布式存储系统nfs,fastdfs,tfs,Hadoop了解他们的优缺点,适用场景 。 分布式缓存技术memcached,redis,提高系统性能必备,一句话,把硬盘上的内容放到内存里来提速,顺便提个算法一致性hash 。 工具nginx必备技能超级好用,高性能,基本不会挂掉的服务器,功能多多,解决各种问题。 数据库的设计能力,mysql必备,最基础的数据库工具,免费好用,对它基本的参数优化,慢查询日志分析,主从复制的配置,至少要成为半个mysql dba。其他nosql数据库如mongodb。 还有队列中间件。如消息推送,可以先把消息写入数据库,推送放队列服务器上,由推送服务器去队列获取处理,这样就可以将消息放数据库和队列里后直接给用户反馈,推送过程则由推送服务器和队列服务器完成,好处异步处理、缓解服务器压力,解藕系统。 以上纯粹是常用的技术,还有很多自己慢慢去摸索吧;因为要知道的东西很多,所以要成为一名合格的架构师,必须要有强大的自学能力,没有人会手把手的教给你所有的东西。 想成为架构师不是懂了一大堆技术就可以了,这些是解决问题的基础、是工具,不懂这些怎么去提解决方案呢?这是成为架构师的必要条件。 架构师还要针对业务特点、系统的性能要求提出能解决问题成本最低的设计方案才合格,人家一个几百人用户的系统,访问量不大,数据量小,你给人家上集群、上分布式存储、上高端服务器,为了架构而架构,这是最扯淡的,架构师的作用就是第一满足业务需求,第二最低的硬件网络成本和技术维护成本。架构师还要根据业务发展阶段,提前预见发展到下一个阶段系统架构的解决方案,并且设计当前架构时将架构的升级扩展考虑进去,做到易于升级;否则等系统瓶颈来了,出问题了再去出方案,或现有架构无法扩展直接扔掉重做,或扩展麻烦问题一大堆,这会对企业造成损失
========
2015-12-18: 今后的学习方向向架构师发展,需要具备以下素质:
1. 熟悉各种开源产品
1)产品的用途
2)产品的用法
3)产品的实现原理
2. 熟悉当前流行的处理大数据的技术,如Hadoop, Lucent, HDFS, ...
3. 学习架构知识,如《软件架构设计》,会画各种架构图(网络拓扑图、类图、时序图等等)
4. 学习并发原理、算法,如分布式算法的书
5. 学习透彻JVM底层,如《JVM高级特性与最佳实践》
6. 学习各种优化知识,从前台页面到后台数据库