前言: 想要文档版的小伙伴们可以私信我领取哦,更加清晰 一目了然 ~ Java核心知识点!
博客整理出来的稍微有点乱~
目录 …1
JVM … 19
2.1. 线程 … 20
2.2. JVM 内存区域 … 21
2.2.1. 程序计数器(线程私有) … 22
2.2.2. 虚拟机栈(线程私有) … 22
2.2.3. 本地方法区(线程私有) … 23
2.2.4. 堆(Heap-线程共享)-运行时数据区 … 23
2.2.5. 方法区/永久代(线程共享) … 23
2.3. JVM 运行时内存 … 24
2.3.1.
2.3.1.1. 2.3.1.2.
2.3.1.3.
2.3.1.4.
新生代 … 24 Eden 区 … 24 ServivorFrom… 24
ServivorTo … 24
MinorGC 的过程(复制->清空->互换) … 24
1:eden、servicorFrom 复制到 ServicorTo,年龄+1… 25
2:清空 eden、servicorFrom… 25 3:ServicorTo 和 ServicorFrom 互换 … 25
2.3.3.1.
2.4.1.
2.4.1.1. 2.4.1.2.
2.4.2. 2.4.3.
2.4.4. 2.4.5.
2.4.5.1. 2.4.5.2.
2.6.1.
2.6.1.1.
2.6.1.2.
2.7.1. 2.7.2. 2.7.3. 2.7.4. 2.7.5. 2.7.6.
2.7.6.1.
2.3.2. 2.3.3.
老年代 … 25 永久代 … 25 JAVA8 与元数据…25 2.4. 垃圾回收与算法 … 26
如何确定垃圾 … 26 引用计数法… 26 可达性分析… 26
标记清除算法(Mark-Sweep) … 27 复制算法(copying)… 27
标记整理算法(Mark-Compact)… 28 分代收集算法 … 29 新生代与复制算法 … 29 老年代与标记复制算法 …29 2.5. JAVA 四中引用类型 … 30
2.5.1. 强引用 … 30
2.5.2. 软引用 … 30
2.5.3. 弱引用 … 30
2.5.4. 虚引用 … 30
2.6. GC 分代收集算法 VS 分区收集算法… 30
分代收集算法 … 30 在新生代-复制算法… 30 在老年代-标记整理算法…30
分区收集算法 … 31 2.7. GC 垃圾收集器 … 31
2.6.2.
Serial 垃圾收集器(单线程、复制算法)… 31 ParNew 垃圾收集器(Serial+多线程) … 31 … 32 … 32 … 33 … 33 初始标记 … 33
Parallel Scavenge 收集器(多线程复制算法、高效)
Serial Old 收集器(单线程标记整理算法 )
Parallel Old 收集器(多线程标记整理算法)
CMS 收集器(多线程标记清除算法)
121623125152125125
2.7.6.2. 2.7.6.3. 2.7.6.4.
2.8.1. 2.8.2. 2.8.3. 2.8.4. 2.8.5. 2.8.1. 2.8.2.
2.8.2.1.
2.8.2.2.
2.8.3. 2.8.4. 2.8.5.
并发标记 … 34 重新标记 … 34 并发清除 … 34
G1 收集器 … 34 2.8. JAVA IO/NIO … 34
2.7.7.
2.9.
2.9.2.
2.9.2.1. 2.9.2.2. 2.9.2.3.
2.9.3. 2.9.4.
2.9.4.1. 2.9.4.2.
3.4.1.
3.4.1.1.
3.4.1.2.
3.4.2.
3.4.2.1. 3.4.2.2. 3.4.2.3. 3.4.2.4.
HashMap(数组+链表+红黑树)… 50 JAVA7 实现 … 50 JAVA8 实现 … 51
ConcurrentHashMap… 51 Segment 段… 51 线程安全(Segment 继承 ReentrantLock 加锁) … 51 并行度(默认 16) … 52 Java8 实现 (引入了红黑树) … 52
阻塞IO模型
… 34 … 35 … 35 … 36 … 36 … 36 … 37 NIO 的缓冲区 …38
NIO 的非阻塞 …38 Channel … 40 Buffer… 40 Selector… 40
非阻塞 IO 模型
多路复用 IO 模型
信号驱动 IO 模型
异步IO模型
JAVA IO 包
JAVA NIO
JVM 类加载机制 … 41
2.9.1.1. 2.9.1.2. 2.9.1.3. 2.9.1.4.
2.9.1.5.
2.9.1.6.
2.9.1.7.
2.9.1.8.
加载 … 41 验证 … 41 准备 … 41 解析 … 41
符号引用 … 42 直接引用 … 42
初始化 … 42 类构造器 … 42 类加载器 … 42 启动类加载器(Bootstrap ClassLoader) … 43 扩展类加载器(Extension ClassLoader)…43 应用程序类加载器(Application ClassLoader): …43 双亲委派 … 43 OSGI(动态模型系统) … 44 动态改变构造 … 44 模块化编程与热插拔 … 44
3. JAVA集合…45
3.1. 接口继承关系和实现 … 45
3.2. LIST … 47
3.2.1. ArrayList(数组)… 47
3.2.2. Vector(数组实现、线程同步) … 47
3.2.3. LinkList(链表) … 47
3.3. SET … 48
3.3.1.1. 3.3.1.2.
HashSet(Hash 表) … 48 TreeSet(二叉树) … 49
LinkHashSet(HashSet+LinkedHashMap) … 49
3.3.1.3.
3.4. MAP… 50
121623125152125125
3.4.3. HashTable(线程安全) … 53
3.4.4. TreeMap(可排序) … 53
3.4.5. LinkHashMap(记录插入顺序) … 53
4. JAVA 多线程并发…54
4.1.1. 4.1.2.
4.1.2.1. 4.1.2.2. 4.1.2.3. 4.1.2.4.
4.1.3.
4.1.3.1. 4.1.3.2. 4.1.3.3.
4.1.3.4.
4.1.4.
4.1.4.1. 4.1.4.2. 4.1.4.3. 4.1.4.4.
JAVA 并发知识库 … 54 JAVA 线程实现/创建方式 … 54 继承 Thread 类 … 54 实现 Runnable 接口。… 54 ExecutorService、Callable、Future 有返回值线程…55 基于线程池的方式… 56 4 种线程池 … 56 … 57 … 57 newScheduledThreadPool … 58 newSingleThreadExecutor … 58
线程生命周期(状态) … 58 新建状态(NEW) … 58 就绪状态(RUNNABLE): … 59 运行状态(RUNNING): … 59 阻塞状态(BLOCKED):…59
newCachedThreadPool
newFixedThreadPool
4.1.4.5.
4.1.5.
4.1.5.1. 4.1.5.2. 4.1.5.3. 4.1.5.4.
4.1.6. 4.1.7. 4.1.8. 4.1.9.
4.1.9.1. 4.1.9.2. 4.1.9.3.
4.1.9.4.
Synchronized 同步锁… 64 … 64 … 64
等待阻塞(o.wait->等待对列):
… 59 … 59 … 59 线程死亡(DEAD)… 59 … 59 … 59 … 59 终止线程 4 种方式 … 60 正常运行结束… 60 使用退出标志退出线程…60 Interrupt 方法结束线程 … 60 stop 方法终止线程(线程不安全)… 61 sleep 与 wait 区别… 61 start 与 run 区别 … 62 JAVA 后台线程 … 62 JAVA 锁 … 63 乐观锁 … 63 悲观锁 … 63 自旋锁 … 63 自旋锁的优缺点…63 自旋锁时间阈值(1.6 引入了适应性自旋锁) … 63 自旋锁的开启… 64
同步阻塞(lock->锁池)
其他阻塞(sleep/join)
正常结束. 异常结束.
调用 stop
Synchronized 作用范围 Synchronized 核心组件
Synchronized 实现
… 64 ReentrantLock… 66 … 66 … 66 公平锁… 67 … 67 … 67 … 68 tryLock 和 lock 和 lockInterruptibly 的区别… 68
4.1.9.5.
4.1.9.6.
4.1.9.7.
Semaphore 信号量 … 68 … 68 … 68 … 69 AtomicInteger … 69
Lock 接口的主要方法
非公平锁
ReentrantLock 与 synchronized
ReentrantLock 实现
Condition 类和 Object 类锁方法区别区别
实现互斥锁(计数器为 1)
代码实现
Semaphore 与 ReentrantLock
121623125152125125
4.1.9.8. 4.1.9.9.
4.1.9.10.
4.1.9.12. 重量级锁(Mutex Lock)…71
4.1.9.13. 轻量级锁 … 71 锁升级… 71
可重入锁(递归锁)… 69 公平锁与非公平锁… 70 … 70 … 70 ReadWriteLock 读写锁 … 70 读锁… 70 写锁… 70 4.1.9.11. 共享锁和独占锁 … 70 独占锁… 70 共享锁… 70
公平锁(Fair)
非公平锁(Nonfair)
4.1.9.14. 4.1.9.15. 4.1.9.16.
偏向锁 … 71 分段锁 … 71 锁优化 … 71
减少锁持有时间
… 72 … 72 锁分离… 72 锁粗化… 72 锁消除… 72 4.1.10. 线程基本方法…72
减小锁粒度
4.1.10.1. 4.1.10.2. 4.1.10.3. 4.1.10.4. 4.1.10.5. 4.1.10.6. 4.1.10.7. 4.1.10.8.
线程等待(wait) … 73 线程睡眠(sleep)… 73 线程让步(yield) … 73 线程中断(interrupt)… 73 Join 等待其他线程终止 … 74 为什么要用 join()方法? … 74 线程唤醒(notify)… 74 其他方法: … 74
4.1.11. 线程上下文切换…75
4.1.11.1. 4.1.11.2. 4.1.11.3. 4.1.11.4. 4.1.11.5. 4.1.11.6. 4.1.11.7.
进程 … 75 上下文 … 75 寄存器 … 75 程序计数器 … 75 PCB-“切换桢”… 75 上下文切换的活动: … 76 引起线程上下文切换的原因 … 76
4.1.12. 同步锁与死锁…76 4.1.12.1. 同步锁 … 76 4.1.12.2. 死锁 … 76
4.1.13. 线程池原理…76
4.1.14.1.
4.1.14.2. 4.1.14.3. 4.1.14.4. 4.1.14.5. 4.1.14.6. 4.1.14.7. 4.1.14.8.
4.1.13.1. 4.1.13.2. 4.1.13.3. 4.1.13.4.
线程复用
… 76 … 76 … 78 … 78 4.1.14. JAVA 阻塞队列原理… 79
线程池的组成
拒绝策略
Java 线程池工作过程
阻塞队列的主要方法
… 80 … 80 … 81
… 81 … 82 … 82 … 82 … 82 … 83 … 83
插入操作:
获取数据操作:
Java 中的阻塞队列
ArrayBlockingQueue(公平、非公平)
LinkedBlockingQueue(两个独立锁提高并发)
PriorityBlockingQueue(compareTo 排序实现优先)
DelayQueue(缓存失效、定时任务 )
SynchronousQueue(不存储数据、可用于传递数据)
LinkedTransferQueue
121623125152125125
4.1.14.9. LinkedBlockingDeque … 83 4.1.15. CyclicBarrier、CountDownLatch、Semaphore 的用法 … 84
4.1.15.1. 4.1.15.2. 4.1.15.3.
… 84 … 84 … 85
CountDownLatch(线程计数器 )
CyclicBarrier(回环栅栏-等待至 barrier 状态再全部同时执行)
Semaphore(信号量-控制同时访问的线程个数)
4.1.16. volatile 关键字的作用(变量可见性、禁止重排序) … 87 变量可见性… 87 禁止重排序… 87
… 87 … 87 4.1.17. 如何在两个线程之间共享数据…88 将数据抽象成一个类,并将数据的操作作为这个类的方法…88 … 89
4.1.18. ThreadLocal 作用( )… 90 … 90 … 91
4.1.19. synchronized 和 ReentrantLock 的区别 … 91
4.1.19.1. … 91
4.1.19.2. … 92 4.1.20. ConcurrentHashMap 并发… 92 4.1.20.1. … 92 4.1.20.2. … 92 … 93 4.1.21. Java 中用到的线程调度 … 93
比 sychronized 更轻量级的同步锁
适用场景
Runnable 对象作为一个类的内部类
减小锁粒度
线程本地存储
ThreadLocalMap(线程的一个属性)
使用场景
两者的共同点:
两者的不同点:
4.1.21.1. 4.1.21.2. 4.1.21.3. 4.1.21.4.
ConcurrentHashMap 分段锁
ConcurrentHashMap 是由 Segment 数组结构和 HashEntry 数组结构组成
抢占式调度:
… 93 … 93 … 94 … 94 4.1.22. 进程调度算法…94
4.1.22.1. 4.1.22.2. 4.1.22.3.
协同式调度:
JVM 的线程调度实现(抢占式调度)
线程让出 cpu 的情况:
优先调度算法
… 94 … 95 … 96 )…96 … 96 … 97 … 98 4.1.24. 什么是AQS(抽象的队列同步器)…98
Exclusive 独占资源-ReentrantLock … 99 Share 共享资源-Semaphore/CountDownLatch … 99 同步器的实现是 ABS 核心(state 资源状态计数) … 100 ReentrantReadWriteLock 实现独占和共享两种方式…100
5. JAVA 基础 … 101
4.1.23. 什么是CAS( 4.1.23.1.
4.1.23.2. 4.1.23.3.
高优先权优先调度算法
基于时间片的轮转调度算法
概念及特性
比较并交换-乐观锁机制-锁自旋
原子包 java.util.concurrent.atomic(锁自旋)
ABA 问题
5.1.1.
5.1.1.1. 5.1.1.2.
JAVA 异常分类及处理… 101
概念 … 101
异常分类 … 101 Error… 101 … 101 … 102 … 102 … 102 … 102
Exception(RuntimeException、CheckedException)
5.1.1.3. 5.1.1.4.
异常的处理方式
遇到问题不进行具体处理,而是继续抛给调用者 (throw,throws)
try catch 捕获异常针对性处理方式
Throw 和 throws 的区别:
121623125152125125
5.1.2.
5.1.2.1. 5.1.2.2. 5.1.2.3.
5.1.2.4.
5.1.2.5. 5.1.2.6.
5.1.2.7.
5.1.3.
5.1.3.1. 5.1.3.2.
5.1.3.3.
5.1.4.
5.1.4.1. 5.1.4.2. 5.1.4.3. 5.1.4.4.
5.1.5.
5.1.5.1.
5.1.5.2. 5.1.5.3. 5.1.5.4.
… 102 … 102 JAVA 反射 … 103 … 103
… 103
… 103 … 103 … 104
… 104 … 104 … 104 … 104
… 104 … 104 … 104
位置不同
功能不同:
动态语言
反射机制概念 (运行状态中知道类所有的属性和方法)
反射的应用场合
编译时类型和运行时类型
的编译时类型无法获取具体方法
Java 反射 API
反射 API 用来生成 JVM 中的类、接口或则对象的信息。
反射使用步骤(获取 Class 对象、调用对象方法)
获取 Class 对象的 3 种方法
调用某个对象的 getClass()方法
调用某个类的 class 属性来获取该类对应的 Class 对象
使用 Class 类中的 forName()静态方法(最安全/性能最好)
创建对象的两种方法
Class 对象的 newInstance()
调用 Constructor 对象的 newInstance()
5.1.6.
5.1.7.
5.1.7.1.
5.1.7.2. 5.1.7.3. 5.1.7.4.
6. SPRING
6.1.1.
6.1.1.1.
… 114 … 114 … 115 … 115
… 105 … 105 … 105 JAVA 注解 … 106 概念 … 106 4 种标准元注解… 106 @Target 修饰的对象范围 … 106 @Retention 定义 被保留的时间长短 … 106 … 106 … 106 注解处理器… 107 JAVA 内部类 … 109 静态内部类… 109 成员内部类… 110 局部内部类(定义在方法中的类) … 110 匿名内部类(要继承一个父类或者实现一个接口、直接使用 new 来生成一个对象的引用) … 111 JAVA 泛型 … 112
@Documented 描述-javadoc
@Inherited 阐述了某个被标注的类型是被继承的
泛型方法() … 112 泛型类 … 112 类型通配符? … 113 类型擦除 … 113
JAVA 序列化(创建可复用的 Java 对象) … 113 … 113 … 113 … 113 Serializable 实现序列化 … 113 … 113 … 113 … 113 … 114 … 114 … 114 JAVA 复制 … 114
保存(持久化)对象及其状态到内存或者磁盘
序列化对象以字节数组保持-静态成员不保存
序列化用户远程对象传输
ObjectOutputStream 和 ObjectInputStream 对对象进行序列化及反序列化
writeObject 和 readObject 自定义序列化策略
序列化 ID
序列化并不保存静态变量
序列化子父类说明
Transient 关键字阻止该变量被序列化到文件中
直接赋值复制
浅复制(复制引用但不复制引用的对象)
深复制(复制对象和其应用对象)
序列化(深 clone 一中实现)
原理
Spring 特点… 116
… 116
轻量级 … 116 121623125152125125
控制反转
面向切面
6.1.1.2. 6.1.1.3. 6.1.1.4. 6.1.1.5.
6.1.2. 6.1.3. 6.1.4. 6.1.5. 6.1.6. 6.1.7.
6.1.7.1. 6.1.7.2. 6.1.7.3.
… 116
… 116 容器 … 116 框架集合 … 116
Spring 核心组件… 117 Spring 常用模块… 117 Spring 主要包… 118 Spring 常用注解… 118 Spring 第三方结合… 119 Spring IOC 原理… 120
概念 … 120 Spring 容器高层视图 … 120 IOC 容器实现… 120
BeanFactory-框架基础设施 … 120
1.1…1.1.1 1.1…1.1.2 1.1…1.1.3
1.1…1.1.4 1.1…1.1.5
1.1…1.1.6 1.1…1.1.7 1.1…1.1.8
BeanDefinitionRegistry 注册表… 121 BeanFactory 顶层接口 … 121 ListableBeanFactory … 121
HierarchicalBeanFactory 父子级联… 121 ConfigurableBeanFactory… 121
AutowireCapableBeanFactory 自动装配 … 122 SingletonBeanRegistry 运行期间注册单例 Bean… 122 依赖日志框框…122 ApplicationContext 面向开发应用 … 122 WebApplication 体系架构 … 123 6.1.7.4. Spring Bean 作用域… 123 singleton:单例模式(多线程下不安全) … 123 prototype:原型模式每次使用时创建 … 124 Request:一次 request 一个实例 … 124 session … 124 global Session…124 6.1.7.5. Spring Bean 生命周期… 124 实例化… 124 IOC依赖注入…124 setBeanName 实现… 124 BeanFactoryAware 实现 … 124 ApplicationContextAware 实现… 125
postProcessBeforeInitialization 接口实现-初始化预处理… 125 init-method … 125
postProcessAfterInitialization … 125 Destroy 过期自动清理阶段 … 125 destroy-method 自配置清理 … 125
6.1.7.6. Spring 依赖注入四种方式 … 126 构造器注入… 126 setter方法注入…127 静态工厂注入… 127 实例工厂… 127
6.1.7.7.
6.1.8.
6.1.8.1. 6.1.8.2. 6.1.8.1.
6.1.8.2.
6.1.9.
6.1.9.1.
5 种不同方式的自动装配… 128 Spring APO 原理 … 129 概念 … 129 AOP 核心概念 … 129 AOP 两种代理方式 … 130 JDK 动态接口代理 … 130 CGLib 动态代理… 131
实现原理 … 131 Spring MVC原理…132 MVC 流程… 132 Http 请求到 DispatcherServlet … 133 HandlerMapping 寻找处理器…133 调用处理器 Controller… 133
121623125152125125
Controller 调用业务逻辑处理后,返回 ModelAndView…133 DispatcherServlet 查询 ModelAndView … 133 ModelAndView 反馈浏览器 HTTP … 133
6.1.9.1. MVC 常用注解 … 133 6.1.10. Spring Boot 原理… 134 1. 创建独立的 Spring 应用程序… 134 2. 嵌入的 Tomcat,无需部署 WAR 文件… 134 3. 简化 Maven 配置 … 134 4. 自动配置 Spring … 134 5. 提供生产就绪型功能,如指标,健康检查和外部配置… 134 6. 绝对没有代码生成和对 XML 没有要求配置 [1] … 134 6.1.11. JPA 原理 … 134
6.1.11.1. 6.1.11.2. 6.1.11.1. 6.1.11.1.
事务 … 134 本地事务 … 134 分布式事务 … 135 两阶段提交 … 136
1 准备阶段… 136
2 提交阶段:… 136 6.1.12. Mybatis 缓存… 137 6.1.12.1. Mybatis 的一级缓存原理(sqlsession 级别)…138 6.1.12.2. 二级缓存原理(mapper 基本)…138 具体使用需要配置: … 139 6.1.13. Tomcat 架构 … 139
7. 微服务 … 140
7.1.1.
7.1.1.1. 7.1.1.2.
7.1.1.3. 7.1.1.4. 7.1.1.5. 7.1.1.6. 7.1.1.7. 7.1.1.8.
7.1.2.
7.1.2.1. 7.1.2.2. 7.1.2.3. 7.1.2.4. 7.1.2.5.
7.1.3.
7.1.3.1.
7.1.3.2.
7.1.4.
7.1.5.
7.1.6.
7.1.6.1.
7.1.7.
服务注册发现 … 140 客户端注册(zookeeper) … 140
第三方注册(独立的服务 Registrar) … 140 客户端发现… 141
服务端发现… 142 Consul … 142 Eureka…142 SmartStack … 142 Etcd … 142
API 网关… 142 请求转发 … 143 响应合并 … 143 协议转换 … 143 数据转换 … 143 安全认证 … 144
配置中心 … 144 zookeeper 配置中心 … 144 配置中心数据分类… 144
事件调度(kafka) … 144
服务跟踪(starter-sleuth)… 144
服务熔断(Hystrix) … 145 Hystrix 断路器机制… 146 API 管理 … 146
8. NETTY 与 RPC … 147
8.1.1. 8.1.2.
Netty 原理 … 147 Netty 高性能 … 147 多路复用通讯方式 … 147 异步通讯 NIO … 148 零拷贝(DIRECT BUFFERS使用堆外直接内存)…149 内存池(基于内存池的缓冲区重用机制) … 149 高效的 Reactor 线程模型 … 149 Reactor 单线程模型 … 149 Reactor 多线程模型 … 150
8.1.2.1. 8.1.2.1. 8.1.2.2. 8.1.2.3. 8.1.2.4.
121623125152125125
网络 … 159
9.1.1. 9.1.2.
9.1.2.1. 9.1.2.2. 9.1.2.3. 9.1.2.4.
9.1.3.
9.1.3.1. 9.1.3.2. 9.1.3.3.
9.1.4.
9.1.4.1.
10.
日志 … 169
10.1.1. Slf4j … 169
10.1.2. Log4j … 169
10.1.3. LogBack… 169
10.1.3.1. Logback 优点 … 169 10.1.4. ELK… 170
主从 Reactor 多线程模型 … 150 8.1.2.5. 无锁设计、线程绑定… 151 8.1.2.6. 高性能的序列化框架… 151
小包封大包,防止网络阻塞 … 152 软中断 Hash 值和 CPU 绑定… 152
8.1.3.
8.1.3.1. 8.1.3.2. 8.1.3.3. 8.1.3.1.
Netty RPC 实现… 152 概念 … 152 关键技术 … 152 核心流程 … 152 消息编解码… 153
息数据结构(接口名称+方法名+参数类型和参数值+超时时间+ requestID)…153
序列化… 154 8.1.3.1. 通讯过程 … 154 核心问题(线程暂停、消息乱序) …154 通讯流程… 154 requestID 生成-AtomicLong … 154 存放回调对象 callback 到全局 ConcurrentHashMap … 154 synchronized 获取回调对象 callback 的锁并自旋 wait … 154 监听消息的线程收到消息,找到 callback 上的锁并唤醒 … 155
8.1.4.
8.1.4.1.
8.1.5.
8.1.5.1.
8.1.6.
RMI 实现方式 … 155 实现步骤 … 155 Protoclol Buffer … 156 特点 … 157 Thrift … 157
网络 7 层架构 … 159 TCP/IP 原理… 160 网络访问层(Network Access Layer)… 160 网络层(Internet Layer) … 160 传输层(Tramsport Layer-TCP/UDP) … 160 应用层(Application Layer)… 160 TCP 三次握手/四次挥手 … 161 数据包说明… 161 三次握手 … 162 四次挥手 … 163 HTTP 原理 … 164 传输流程 … 164 1:地址解析 … 164 2:封装 HTTP 请求数据包 … 165 3:封装成 TCP 包并建立连接 … 165 4:客户机发送请求命… 165 5:服务器响应… 165 6:服务器关闭 TCP 连接 … 165 9.1.4.2. HTTP 状态 … 165 9.1.4.3. HTTPS …166 建立连接获取证书…167 证书验证… 167 数据加密和传输…167
9.1.5.
9.1.5.1. 9.1.5.2. 9.1.5.3.
CDN 原理… 167 分发服务系统… 167 负载均衡系统:… 168 管理系统:… 168
121623125152125125
ZOOKEEPER …171
11.1.1. Zookeeper 概念 … 171 11.1.1. Zookeeper 角色 … 171
12.
13.
12.1.1. 消费者设计…177 12.1.1.1. Consumer Group …178
RABBITMQ …179
13.1.1. 概念…179 13.1.2. RabbitMQ 架构 … 179
11.1.1.1. 11.1.1.2. 11.1.1.3.
11.1.1.1.
ZAB 协议 JAVA 实现(FLE-发现阶段和同步合并为 Recovery Phase(恢复阶段))… 173 11.1.1.2. 投票机制 … 173
11.1.2. Zookeeper 工作原理(原子广播)… 174
11.1.3. Znode 有四种形式的目录节点 … 174
KAFKA… 175
12.1.1. Kafka 概念 … 175
12.1.2. Kafka 数据存储设计 … 175
Leader … 171 Follower…171 Observer… 171
ZAB 协议 … 172 事务编号 Zxid(事务请求计数器+ epoch) … 172 epoch… 172 Zab 协议有两种模式-恢复模式(选主)、广播模式(同步)… 172 ZAB 协议 4 阶段 … 172 Leader election(选举阶段-选出准 Leader) … 172 Discovery(发现阶段-接受提议、生成 epoch、接受 epoch) … 173 Synchronization(同步阶段-同步 follower 副本) … 173 Broadcast(广播阶段-leader 消息广播) … 173
12.1.2.1. 12.1.2.2. 12.1.2.3.
partition 的数据文件(offset,MessageSize,data) … 175 数据文件分段 segment(顺序读写、分段命令、二分查找)… 176 数据文件索引(分段索引、稀疏存储) … 176
12.1.3. 生产者设计…176
12.1.3.1. 12.1.3.2. 12.1.3.3.
负载均衡(partition 会均衡分布到不同 broker 上) … 176 批量发送 … 177 压缩(GZIP 或 Snappy) … 177
13.1.2.1. 13.1.2.2. 13.1.2.3. 13.1.2.4. 13.1.2.5. 13.1.2.6. 13.1.2.7. 13.1.2.8. 13.1.2.9. 13.1.2.10.
Message … 180 Publisher … 180 Exchange(将消息路由给队列 ) … 180 Binding(消息队列和交换器之间的关联) … 180 Queue … 180 Connection … 180 Channel … 180 Consumer… 180 Virtual Host …180 Broker … 181
13.1.3. Exchange 类型 … 181
13.1.3.1. 13.1.3.2.
13.1.3.3.
Direct 键(routing key)分布: …181 Fanout(广播分发) … 181
topic 交换器(模式匹配) … 182 121623125152125125
HBASE… 183
14.1.1. 概念…183
14.1.2. 列式存储…183
14.1.3. Hbase 核心概念 … 184
15.
16.
14.1.5. Hbase 的写逻辑 … 187 14.1.5.1. Hbase 的写入流程 … 187 获取 RegionServer … 187 请求写 Hlog … 187 请求写 MemStore … 187 14.1.5.2. MemStore 刷盘 … 187 全局内存控制… 188 MemStore 达到上限… 188 RegionServer 的 Hlog 数量达到上限…188 手工触发… 188 关闭 RegionServer 触发… 188 Region 使用 HLOG 恢复完数据后触发… 188 14.1.6. HBase vs Cassandra…188
MONGODB… 190 15.1.1. 概念…190
15.1.2. 特点…190
CASSANDRA… 192
16.1.1. 概念…192 16.1.2. 数据模型…192 Key Space(对应 SQL 数据库中的 database) … 192 Key(对应 SQL 数据库中的主键)…192 column(对应 SQL 数据库中的列) … 192 super column(SQL 数据库不支持)… 192 Standard Column Family(相对应 SQL 数据库中的 table)… 192 Super Column Family(SQL 数据库不支持) … 192 16.1.3. Cassandra 一致 Hash 和虚拟节点 … 192 一致性 Hash(多米诺 down 机)… 192 虚拟节点(down 机多节点托管) … 193 16.1.4. Gossip 协议 … 193 Gossip 节点的通信方式及收敛性 … 194 Gossip 两个节点(A、B)之间存在三种通信方式(push、pull、push&pull) … 194 gossip 的协议和 seed list(防止集群分列) … 194 16.1.5. 数据复制…194 Partitioners(计算 primary key token 的 hash 函数)… 194 两种可用的复制策略: … 194 SimpleStrategy:仅用于单数据中心, … 194
将第一个 replica 放在由 partitioner 确定的节点中,其余的 replicas 放在上述节点顺时针方向的后续节 点中。… 194
14.1.3.1. 14.1.3.2. 14.1.3.3. 14.1.3.4.
Column Family 列族 … 184 Rowkey(Rowkey 查询,Rowkey 范围扫描,全表扫描)… 184 Region 分区… 184 TimeStamp 多版本… 184
14.1.4. Hbase 核心架构 … 184
14.1.4.1. 14.1.4.2. 14.1.4.3. 14.1.4.4. 14.1.4.5. 14.1.4.6.
Client: … 185 Zookeeper:… 185 Hmaster … 185 HregionServer…185 Region 寻址方式(通过 zookeeper .META) … 186 HDFS … 186
121623125152125125
NetworkTopologyStrategy:可用于较复杂的多数据中心。… 194
可以指定在每个数据中心分别存储多少份 replicas。 … 194
16.1.6. 数据写请求和协调者…195 协调者(coordinator)… 195 16.1.7. 数据读请求和后台修复…195
16.1.8. 数据存储(CommitLog、MemTable、SSTable)…196 SSTable 文件构成(BloomFilter、index、data、static) … 196 16.1.9. 二级索引(对要索引的value摘要,生成RowKey)…196 16.1.10. 数据读写 … 197 数据写入和更新(数据追加) … 197 数据的写和删除效率极高 … 197 错误恢复简单… 197 读的复杂度高… 197 数据删除(column 的墓碑) … 197 墓碑… 198 垃圾回收 compaction … 198 数据读取(memtable+SStables)…198 行缓存和键缓存请求流程图 … 199 Row Cache(SSTables 中频繁被访问的数据)… 199 Bloom Filter(查找数据可能对应的 SSTable)…200 Partition Key Cache(查找数据可能对应的 Partition key) … 200 Partition Summary(内存中存储一些 partition index 的样本) … 200 Partition Index(磁盘中) … 200 Compression offset map(磁盘中)…200
设计模式… 201
17.1.1. 设计原则…201 17.1.2. 工厂方法模式…201 17.1.3. 抽象工厂模式…201 17.1.4. 单例模式…201 17.1.5. 建造者模式…201 17.1.6. 原型模式…201 17.1.7. 适配器模式…201 17.1.8. 装饰器模式…201 17.1.9. 代理模式…201
18.
负载均衡… 203
18.1.1. 四层负载均衡vs七层负载均衡…203 18.1.1.1. 四层负载均衡(目标地址和端口交换) … 203 F5:硬件负载均衡器,功能很好,但是成本很高。 … 203 lvs:重量级的四层负载软件。 … 203 nginx:轻量级的四层负载软件,带缓存功能,正则表达式较灵活。 … 203
17.1.10. 17.1.11. 17.1.12. 17.1.13. 17.1.14. 17.1.15. 17.1.16. 17.1.17. 17.1.18. 17.1.19. 17.1.20. 17.1.21. 17.1.22. 17.1.23. 17.1.24.
外观模式 … 201 桥接模式 … 201 组合模式 … 201 享元模式 … 201 策略模式 … 201 模板方法模式 … 201 观察者模式 … 201 迭代子模式 … 201 责任链模式 … 201 命令模式 … 201 备忘录模式 … 201 状态模式 … 202 访问者模式 … 202 中介者模式 … 202 解释器模式 … 202
121623125152125125
haproxy:模拟四层转发,较灵活。 … 203 18.1.1.2. 七层负载均衡(内容交换) …203 haproxy:天生负载均衡技能,全面支持七层代理,会话保持,标记,路径转移; … 204 nginx:只在 http 协议和 mail 协议上功能比较好,性能与 haproxy 差不多;… 204 apache:功能较差… 204 Mysql proxy:功能尚可。…204 18.1.2. 负载均衡算法/策略…204
18.1.2.1. 18.1.2.2. 18.1.2.3. 18.1.2.4. 18.1.2.5. 18.1.2.6. 18.1.2.7. 18.1.2.8. 18.1.2.9. 18.1.2.10. 18.1.2.11.
轮循均衡(Round Robin) …204 权重轮循均衡(Weighted Round Robin)…204 随机均衡(Random) … 204 权重随机均衡(Weighted Random)…204 响应速度均衡(Response Time 探测时间) … 204 最少连接数均衡(Least Connection)…205 处理能力均衡(CPU、内存) … 205 DNS 响应均衡(Flash DNS) … 205 哈希算法 … 205 IP 地址散列(保证客户端服务器对应关系稳定)…205 URL 散列 … 205
18.1.3. LVS… 206 18.1.3.1. LVS 原理… 206 IPVS …206
18.1.3.1. 18.1.3.2. 18.1.3.3.
18.1.5.1. upstream_module 和健康检测… 212
18.1.5.1. proxy_pass 请求转发 … 212 18.1.6. HAProxy … 213
数据库 …214 19.1.1. 存储引擎…214
LVS NAT 模式 … 207 LVS DR 模式(局域网改写 mac 地址)… 208 LVS TUN 模式(IP 封装、跨网段) … 209
LVS FULLNAT模式…210
18.1.4. Keepalive … 211
18.1.5. Nginx 反向代理负载均衡 … 211
18.1.3.4.
19.1.1.1. 19.1.1.2.
19.1.1.3. 19.1.1.4. 19.1.1.5.
概念 … 214 InnoDB(B+树) … 214
TokuDB(Fractal Tree-节点带数据)…215 MyIASM … 215 Memory… 215
19.1.2. 索引…215 19.1.2.1. 常见索引原则有 … 216 1.选择唯一性索引 … 216 2.为经常需要排序、分组和联合操作的字段建立索引: … 216 3.为常作为查询条件的字段建立索引。 … 216 4.限制索引的数目:… 216 尽量使用数据量少的索引 … 216 尽量使用前缀来索引 … 216 7.删除不再使用或者很少使用的索引 … 216 8 . 最左前缀匹配原则,非常重要的原则。…216 10 . 尽量选择区分度高的列作为索引 … 216 11 .索引列不能参与计算,保持列“干净”:带函数的查询不参与索引。 … 216 12 .尽量的扩展索引,不要新建索引。…216 19.1.3. 数据库三范式…216
第一范式(1st NF -列都是不可再分) … 216
第二范式(2nd NF-每个表只描述一件事情) … 216
第三范式(3rd NF- 不存在对非主键列的传递依赖) … 217 19.1.4. 数据库是事务…217
19.1.3.1.
19.1.3.2.
19.1.3.3.
121623125152125125
原子性(Atomicity)… 217 一致性(Consistency) … 217 隔离性(Isolation) … 218 永久性(Durability) … 218
19.1.5. 存储过程(特定功能的SQL语句集)…218 存储过程优化思路: … 218 19.1.6. 触发器(一段能自动执行的程序)…218 19.1.7. 数据库并发策略…218
19.1.7.1. 19.1.7.2. 19.1.7.3.
乐观锁 … 218 悲观锁 … 219 时间戳 … 219
19.1.8. 数据库锁…219
19.1.8.1. 19.1.8.2. 19.1.8.1.
行级锁 … 219 表级锁 … 219 页级锁 … 219
19.1.9. 基于Redis分布式锁…219 19.1.10. 分区分表 … 220 垂直切分(按照功能模块) …220 水平切分(按照规则划分存储) …220
19.1.11.
19.1.11.1. 19.1.11.2. 19.1.11.3.
两阶段提交协议 … 220 准备阶段 … 221 提交阶段 … 221 缺点 … 221
同步阻塞问题… 221 单点故障… 221 数据不一致(脑裂问题) … 221 二阶段无法解决的问题(数据状态不确定) … 221
19.1.12.
19.1.12.1. 19.1.12.2. 19.1.12.3.
19.1.13.
19.1.13.1.
分区容忍性§:… 224 一致性算法 … 225
20.1.1. Paxos … 225 Paxos 三种角色:Proposer,Acceptor,Learners … 225 Proposer: … 225 Acceptor:…225 Learner:…225 Paxos 算法分为两个阶段。具体如下:… 225 阶段一(准 leader 确定 ): … 225 阶段二(leader 确认): … 225 20.1.2. Zab … 225 1.崩溃恢复:主要就是 Leader 选举过程… 226 2.数据同步:Leader 服务器与其他服务器进行数据同步 … 226 3.消息广播:Leader 服务器将数据发送给其他服务器 … 226 20.1.3. Raft … 226 20.1.3.1. 角色 … 226 Leader(领导者-日志管理) … 226 Follower(追随者-日志同步)… 226 Candidate(候选者-负责选票)… 226
三阶段提交协议 … 222 CanCommit 阶段 … 222 PreCommit 阶段 … 222 doCommit 阶段 … 222
柔性事务 … 222 柔性事务 … 222 两阶段型… 222 补偿型… 222 异步确保型… 223 最大努力通知型(多次尝试) … 223 19.1.14. CAP … 224 一致性©: … 224 可用性(A): … 224
121623125152125125
20.1.3.2. Term(任期) … 226 20.1.3.3. 选举(Election) … 227 选举定时器… 227 20.1.3.4. 安全性(Safety) … 227 20.1.3.5. raft 协议和 zab 协议区别 … 227 20.1.4. NWR… 228 N:在分布式存储系统中,有多少份备份数据… 228 W:代表一次成功的更新操作要求至少有 w 份数据写入成功 … 228 R: 代表一次成功的读数据操作要求至少有 R 份数据成功读取 … 228 20.1.5. Gossip … 228 20.1.6. 一致性Hash…229 20.1.6.1. 一致性 Hash 特性 … 229 20.1.6.2. 一致性 Hash 原理 … 229 1.建构环形 hash 空间:…229 2.把需要缓存的内容(对象)映射到 hash 空间… 229 3.把服务器(节点)映射到 hash 空间 … 229 4.把对象映射到服务节点… 229 考察 cache 的变动 … 230 虚拟节点… 230
JAVA 算法 … 232
21.1.1. 二分查找…232 21.1.2. 冒泡排序算法…232 21.1.3. 插入排序算法…233 21.1.4. 快速排序算法…234 21.1.1. 希尔排序算法…236 21.1.2. 归并排序算法…237 21.1.3. 桶排序算法…240 21.1.4. 基数排序算法…241 21.1.5. 剪枝算法…243 21.1.6. 回溯算法…243 21.1.7. 最短路径算法…243 21.1.8. 最大子数组算法…243 21.1.9. 最长公共子序算法…243 21.1.10. 最小生成树算法 … 243
数据结构… 245
22.1.1. 栈(stack)…245
22.1.2. 队列(queue)…245
22.1.3. 链表(Link)…245
22.1.4. 散列表(Hash Table)…246
22.1.5. 排序二叉树…246
22.
23.
22.1.7. B-TREE… 252 22.1.8. 位图…254
加密算法… 255
23.1.1. AES … 255
23.1.2. RSA … 255
23.1.3. CRC… 256
23.1.4. MD5 … 256
22.1.5.1. 22.1.5.2. 22.1.5.3.
插入操作 … 246 删除操作 … 247 查询操作 … 248
22.1.6. 红黑树…248
22.1.6.1. 22.1.6.1. 22.1.6.1. 22.1.6.1. 22.1.6.2.
红黑树的特性 … 248 左旋 … 248 右旋 … 249 添加 … 250 删除 … 251
121623125152125125
分布式缓存 … 257
24.1.1. 缓存雪崩…257 24.1.2. 缓存穿透…257 24.1.3. 缓存预热…257 24.1.4. 缓存更新…257 24.1.5. 缓存降级…257
HADOOP …259
25.1.1. 概念…259 25.1.2. HDFS … 259
25.
26.
25.1.4. Hadoop MapReduce 作业的生命周期 … 262 1.作业提交与初始化… 262 2.任务调度与监控。… 262 3.任务运行环境准备… 262 4.任务执行 … 262 5.作业完成。 … 262
SPARK… 263
26.1.1. 概念…263 26.1.2. 核心架构…263 Spark Core …263 Spark SQL … 263 Spark Streaming…263 Mllib …263 GraphX … 263 26.1.3. 核心组件…264
Cluster Manager-制整个集群,监控 worker …264
Worker 节点-负责控制计算节点 … 264 Driver: 运行 Application 的 main()函数… 264 Executor:执行器,是为某个 Application 运行在 worker node 上的一个进程 … 264
26.1.4. SPARK 编程模型 … 264
26.1.5. SPARK 计算模型 … 265
26.1.6. SPARK 运行流程 … 266
25.1.2.1. 25.1.2.2.
25.1.2.3.
25.1.3.1. 25.1.3.2. 25.1.3.3. 25.1.3.4. 25.1.3.5.
Client…259 NameNode … 259
Secondary NameNode … 259
DataNode… 259 25.1.3. MapReduce … 260
25.1.2.4.
Client … 260 JobTracker … 260 TaskTracker… 261 Task … 261 Reduce Task 执行过程 … 261
121623125152125125
YARN
28.1.1. 28.1.2. 28.1.3.
28.1.4.
28.1.5.
… 275
概念…275 ResourceManager … 275 NodeManager … 275
ApplicationMaster … 276 YARN 运行流程 … 277
30.
机器学习… 278
29.1.1. 决策树…278
29.1.2. 随机森林算法…278
29.1.3. 逻辑回归…278
29.1.4. SVM… 278
29.1.5. 朴素贝叶斯…278
29.1.6. K 最近邻算法… 278
29.1.7. K 均值算法… 278
29.1.8. Adaboost 算法 … 278
29.1.9. 神经网络…278
29.1.10. 马尔可夫 … 278
云计算 …279
30.1.1. SaaS … 279
30.1.2. PaaS … 279
30.1.3. IaaS … 279
30.1.4. Docker… 279
27.1.1. 概念…269 27.1.1. 集群架构…269
27.1.1.1. 27.1.1.2.
27.1.1.3. 27.1.1.4. 27.1.1.5.
Nimbus(master-代码分发给 Supervisor) … 269 Supervisor(slave-管理 Worker 进程的启动和终止) … 269
Worker(具体处理组件逻辑的进程)…269 Task … 270 ZooKeeper … 270
27.1.2. 编程模型(spout->tuple->bolt)…270
27.1.2.1. 27.1.2.2. 27.1.2.3. 27.1.2.4. 27.1.2.5.
Topology… 270 Spout… 270 Bolt … 270 Tuple … 270 Stream … 271
27.1.3. Topology 运行 … 271 (1). Worker(进程) (2). Executor(线程) (3). Task…271
27.1.3.1. 27.1.3.2. 27.1.3.3.
Worker(1 个 worker 进程执行的是 1 个 topology 的子集) … 271 Executor(executor 是 1 个被 worker 进程启动的单独线程)… 271 Task(最终运行 spout 或 bolt 中代码的单元) … 272
27.1.4. Storm Streaming Grouping … 272
27.1.4.1. 27.1.4.2. 27.1.4.3. 27.1.4.4. 27.1.4.5. 27.1.4.6.
huffle Grouping … 273 Fields Grouping … 273 All grouping :广播 … 273 Global grouping … 274 None grouping :不分组 … 274 Direct grouping :直接分组 指定分组 … 274
30.1.4.1. 30.1.4.2.
30.1.4.3. 30.1.4.4.
30.1.4.5. 30.1.4.6. 30.1.4.7.
概念 … 279 Namespaces … 280
进程(CLONE_NEWPID 实现的进程隔离)… 281 Libnetwork 与网络隔离 … 281
资源隔离与 CGroups … 282 镜像与 UnionFS… 282 存储驱动 … 282
121623125152125125
30.1.5. Openstack … 283
121623125152125125
我们都知道 Java 源文件,通过编译器,能够生产相应的.Class 文件,也就是字节码文件, 而字节码文件又通过 Java 虚拟机中的解释器,编译成特定机器上的机器码 。
也就是如下:
1 Java 源文件—->编译器—->字节码文件 2 字节码文件—->JVM—->机器码
每一种平台的解释器是不同的,但是实现的虚拟机是相同的,这也就是 Java 为什么能够 跨平台的原因了 ,当一个程序从开始运行,这时虚拟机就开始实例化了,多个程序启动就会 存在多个虚拟机实例。程序退出或者关闭,则虚拟机实例消亡,多个虚拟机实例之间数据不 能共享。
2.1. 线程
这里所说的线程指程序执行过程中的一个线程实体。JVM 允许一个应用并发执行多个线程。
Hotspot JVM 中的 Java 线程与原生操作系统线程有直接的映射关系。当线程本地存储、缓 冲区分配、同步对象、栈、程序计数器等准备好以后,就会创建一个操作系统原生线程。 Java 线程结束,原生线程随之被回收。操作系统负责调度所有线程,并把它们分配到任何可 用的 CPU 上。当原生线程初始化完毕,就会调用 Java 线程的 run() 方法。当线程结束时,
121623125152125125
会释放原生线程和 Java 线程的所有资源。
Hotspot JVM 后台运行的系统线程主要有下面几个:
虚拟机线程 (VM thread)
这个线程等待 JVM 到达安全点操作出现。这些操作必须要在独立的线程里执行,因为当 堆修改无法进行时,线程都需要 JVM 位于安全点。这些操作的类型有:stop-the-
world 垃圾回收、线程栈 dump、线程暂停、线程偏向锁(biased locking)解除。
周期性任务线程 GC 线程 编译器线程 信号分发线程
这线程负责定时器事件(也就是中断),用来调度周期性操作的执行。 这些线程支持 JVM 中不同的垃圾回收活动。 这些线程在运行时将字节码动态编译成本地平台相关的机器码。 这个线程接收发送到 JVM 的信号并调用适当的 JVM 方法处理。
2.2. JVM 内存区域
JVM 内存区域主要分为线程私有区域【程序计数器、虚拟机栈、本地方法区】、线程共享区 域【JAVA 堆、方法区】、直接内存。
线程私有数据区域生命周期与线程相同, 依赖用户线程的启动/结束 而 创建/销毁(在 Hotspot VM 内, 每个线程都与操作系统的本地线程直接映射, 因此这部分内存区域的存/否跟随本地线程的 生/死对应)。
121623125152125125
线程共享区域随虚拟机的启动/关闭而创建/销毁。
直接内存并不是 JVM 运行时数据区的一部分, 但也会被频繁的使用: 在 JDK 1.4 引入的 NIO 提 供了基于 Channel 与 Buffer 的 IO 方式, 它可以使用 Native 函数库直接分配堆外内存, 然后使用 DirectByteBuffer 对象作为这块内存的引用进行操作(详见: Java I/O 扩展), 这样就避免了在 Java 堆和 Native 堆中来回复制数据, 因此在一些场景中可以显著提高性能。
2.2.1. 程序计数器(线程私有)
一块较小的内存空间, 是当前线程所执行的字节码的行号指示器,每条线程都要有一个独立的
程序计数器,这类内存也称为“线程私有”的内存。
正在执行 java 方法的话,计数器记录的是虚拟机字节码指令的地址(当前指令的地址)。如 果还是 Native 方法,则为空。
这个内存区域是唯一一个在虚拟机中没有规定任何 OutOfMemoryError 情况的区域。
2.2.2. 虚拟机栈(线程私有)
是描述 java 方法执行的内存模型,每个方法在执行的同时都会创建一个栈帧(Stack Frame) 用于存储局部变量表、操作数栈、动态链接、方法出口等信息。每一个方法从调用直至执行完成 的过程,就对应着一个栈帧在虚拟机栈中入栈到出栈的过程。
栈帧( Frame)是用来存储数据和部分过程结果的数据结构,同时也被用来处理动态链接 (Dynamic Linking)、 方法返回值和异常分派( Dispatch Exception)。栈帧随着方法调用而创
121623125152125125
建,随着方法结束而销毁——无论方法是正常完成还是异常完成(抛出了在方法内未被捕获的异 常)都算作方法结束。
2.2.3. 本地方法区(线程私有)
本地方法区和 Java Stack 作用类似, 区别是虚拟机栈为执行 Java 方法服务, 而本地方法栈则为 Native 方法服务, 如果一个 VM 实现使用 C-linkage 模型来支持 Native 调用, 那么该栈将会是一个 C 栈,但 HotSpot VM 直接就把本地方法栈和虚拟机栈合二为一。
2.2.4. 堆(Heap-线程共享)-运行时数据区
是被线程共享的一块内存区域,创建的对象和数组都保存在 Java 堆内存中,也是垃圾收集器进行 垃圾收集的最重要的内存区域。由于现代 VM 采用分代收集算法, 因此 Java 堆从 GC 的角度还可以 细分为: 新生代(Eden 区、From Survivor 区和 To Survivor 区)和老年代。
2.2.5. 方法区/永久代(线程共享)
即我们常说的永久代(Permanent Generation), 用于存储被 JVM 加载的类信息、常量、静 态变量、即时编译器编译后的代码等数据. HotSpot VM 把 GC 分代收集扩展至方法区, 即使用 Java 堆的永久代来实现方法区, 这样 HotSpot 的垃圾收集器就可以像管理 Java 堆一样管理这部分内存, 而不必为方法区开发专门的内存管理器(永久带的内存回收的主要目标是针对常量池的回收和类型 的卸载, 因此收益一般很小)。
运行时常量池(Runtime Constant Pool)是方法区的一部分。Class 文件中除了有类的版 本、字段、方法、接口等描述等信息外,还有一项信息是常量池
121623125152125125
(Constant Pool Table),用于存放编译期生成的各种字面量和符号引用,这部分内容将在类加 载后存放到方法区的运行时常量池中。 Java 虚拟机对 Class 文件的每一部分(自然也包括常量 池)的格式都有严格的规定,每一个字节用于存储哪种数据都必须符合规范上的要求,这样才会 被虚拟机认可、装载和执行。
2.3. JVM 运行时内存
Java 堆从 GC 的角度还可以细分为: 新生代(Eden 区、From Survivor 区和 To Survivor 区)和老年
代。
MinorGC 进行垃圾回收。新生代又分为 Eden 区、ServivorFrom、ServivorTo 三个区。
2.3.1.1. Eden 区
Java 新对象的出生地(如果新创建的对象占用内存很大,则直接分配到老 年代)。当 Eden 区内存不够的时候就会触发 MinorGC,对新生代区进行 一次垃圾回收。
2.3.1.2. ServivorFrom
上一次 GC 的幸存者,作为这一次 GC 的被扫描者。
2.3.1.3. ServivorTo
保留了一次 MinorGC 过程中的幸存者。
2.3.1.4. MinorGC 的过程(复制->清空->互换)
MinorGC 采用复制算法。
2.3.1. 新生代
是用来存放新生的对象。一般占据堆的 1/3 空间。由于频繁创建对象,所以新生代会频繁触发
121623125152125125
1:eden、servicorFrom 复制到 ServicorTo,年龄+1
首先,把 Eden 和 ServivorFrom 区域中存活的对象复制到 ServicorTo 区域(如果有对象的年 龄以及达到了老年的标准,则赋值到老年代区),同时把这些对象的年龄+1(如果 ServicorTo 不 够位置了就放到老年区);
2:清空 eden、servicorFrom
然后,清空 Eden 和 ServicorFrom 中的对象;
3:ServicorTo 和 ServicorFrom 互换
最后,ServicorTo 和 ServicorFrom 互换,原 ServicorTo 成为下一次 GC 时的 ServicorFrom
区。
老年代的对象比较稳定,所以 MajorGC 不会频繁执行。在进行 MajorGC 前一般都先进行 了一次 MinorGC,使得有新生代的对象晋身入老年代,导致空间不够用时才触发。当无法找到足 够大的连续空间分配给新创建的较大对象时也会提前触发一次 MajorGC 进行垃圾回收腾出空间。
MajorGC 采用标记清除算法:首先扫描一次所有老年代,标记出存活的对象,然后回收没 有标记的对象。MajorGC 的耗时比较长,因为要扫描再回收。MajorGC 会产生内存碎片,为了减 少内存损耗,我们一般需要进行合并或者标记出来方便下次直接分配。当老年代也满了装不下的 时候,就会抛出 OOM(Out of Memory)异常。
2.3.3. 永久代
指内存的永久保存区域,主要存放 Class 和 Meta(元数据)的信息,Class 在被加载的时候被 放入永久区域,它和和存放实例的区域不同,GC 不会在主程序运行期对永久区域进行清理。所以这 也导致了永久代的区域会随着加载的 Class 的增多而胀满,最终抛出 OOM 异常。
2.3.3.1. JAVA8 与元数据
在 Java8 中,永久代已经被移除,被一个称为“元数据区”(元空间)的区域所取代。元空间 的本质和永久代类似,元空间与永久代之间最大的区别在于:元空间并不在虚拟机中,而是使用 本地内存。因此,默认情况下,元空间的大小仅受本地内存限制。类的元数据放入 native memory, 字符串池和类的静态变量放入 java 堆中,这样可以加载多少类的元数据就不再由 MaxPermSize 控制, 而由系统的实际可用空间来控制。
2.3.2. 老年代 主要存放应用程序中生命周期长的内存对象。
121623125152125125
2.4. 垃圾回收与算法
2.4.1. 如何确定垃圾 2.4.1.1. 引用计数法
在 Java 中,引用和对象是有关联的。如果要操作对象则必须用引用进行。因此,很显然一个简单 的办法是通过引用计数来判断一个对象是否可以回收。简单说,即一个对象如果没有任何与之关 联的引用,即他们的引用计数都不为 0,则说明对象不太可能再被用到,那么这个对象就是可回收 对象。
2.4.1.2. 可达性分析
为了解决引用计数法的循环引用问题,Java 使用了可达性分析的方法。通过一系列的“GC roots”
对象作为起点搜索。如果在“GC roots”和一个对象之间没有可达路径,则称该对象是不可达的。
121623125152125125
要注意的是,不可达对象不等价于可回收对象,不可达对象变为可回收对象至少要经过两次标记 过程。两次标记后仍然是可回收对象,则将面临回收。
2.4.2. 标记清除算法(Mark-Sweep)
2.4.3. 复制算法(copying)
最基础的垃圾回收算法,分为两个阶段,标注和清除。标记阶段标记出所有需要回收的对象,清 除阶段回收被标记的对象所占用的空间。如图
从图中我们就可以发现,该算法最大的问题是内存碎片化严重,后续可能发生大对象不能找到可 利用空间的问题。
为了解决 Mark-Sweep 算法内存碎片化的缺陷而被提出的算法。按内存容量将内存划分为等大小 的两块。每次只使用其中一块,当这一块内存满后将尚存活的对象复制到另一块上去,把已使用 的内存清掉,如图:
121623125152125125
这种算法虽然实现简单,内存效率高,不易产生碎片,但是最大的问题是可用内存被压缩到了原 本的一半。且存活对象增多的话,Copying 算法的效率会大大降低。
2.4.4. 标记整理算法(Mark-Compact)
结合了以上两个算法,为了避免缺陷而提出。标记阶段和 Mark-Sweep 算法相同,标记后不是清 理对象,而是将存活对象移向内存的一端。然后清除端边界外的对象。如图:
121623125152125125
2.4.5. 分代收集算法
分代收集法是目前大部分 JVM 所采用的方法,其核心思想是根据对象存活的不同生命周期将内存 划分为不同的域,一般情况下将 GC 堆划分为老生代(Tenured/Old Generation)和新生代(Young Generation)。老生代的特点是每次垃圾回收时只有少量对象需要被回收,新生代的特点是每次垃 圾回收时都有大量垃圾需要被回收,因此可以根据不同区域选择不同的算法。
2.4.5.1. 新生代与复制算法
目前大部分 JVM 的 GC 对于新生代都采取 Copying 算法,因为新生代中每次垃圾回收都要 回收大部分对象,即要复制的操作比较少,但通常并不是按照 1:1 来划分新生代。一般将新生代 划分为一块较大的 Eden 空间和两个较小的 Survivor 空间(From Space, To Space),每次使用
Eden 空间和其中的一块 Survivor 空间,当进行回收时,将该两块空间中还存活的对象复制到另 一块 Survivor 空间中。
2.4.5.2. 老年代与标记复制算法
而老年代因为每次只回收少量对象,因而采用 Mark-Compact 算法。
2.5. JAVA 四中引用类型 2.5.1. 强引用
在 Java 中最常见的就是强引用,把一个对象赋给一个引用变量,这个引用变量就是一个强引 用。当一个对象被强引用变量引用时,它处于可达状态,它是不可能被垃圾回收机制回收的,即 使该对象以后永远都不会被用到 JVM 也不会回收。因此强引用是造成 Java 内存泄漏的主要原因之 一。
2.5.2. 软引用
软引用需要用 SoftReference 类来实现,对于只有软引用的对象来说,当系统内存足够时它
不会被回收,当系统内存空间不足时它会被回收。软引用通常用在对内存敏感的程序中。
2.5.3. 弱引用
弱引用需要用 WeakReference 类来实现,它比软引用的生存期更短,对于只有弱引用的对象
来说,只要垃圾回收机制一运行,不管 JVM 的内存空间是否足够,总会回收该对象占用的内存。
2.5.4. 虚引用
2.6.GC分代收集算法 VS分区收集算法 2.6.1. 分代收集算法
2.6.1.1. 在新生代-复制算法
2.6.1.2. 在老年代-标记整理算法
虚引用需要 PhantomReference 类来实现,它不能单独使用,必须和引用队列联合使用。虚 引用的主要作用是跟踪对象被垃圾回收的状态。
当前主流 VM 垃圾收集都采用”分代收集”(Generational Collection)算法, 这种算法会根据 对象存活周期的不同将内存划分为几块, 如 JVM 中的 新生代、老年代、永久代,这样就可以根据 各年代特点分别采用最适当的 GC 算法
每次垃圾收集都能发现大批对象已死, 只有少量存活. 因此选用复制算法, 只需要付出少量 存活对象的复制成本就可以完成收集.
因为对象存活率高、没有额外空间对它进行分配担保, 就必须采用“标记—清理”或“标 记—整理”算法来进行回收, 不必进行内存复制, 且直接腾出空闲内存.
121623125152125125
2.6.2. 分区收集算法
分区算法则将整个堆空间划分为连续的不同小区间, 每个小区间独立使用, 独立回收. 这样做的
好处是可以控制一次回收多少个小区间
, 根据目标停顿时间, 每次合理地回收若干个小区间(而不是
整个堆), 从而减少一次 GC 所产生的停顿。
2.7. GC 垃圾收集器
Java 算法;
堆内存被划分为新生代和年老代两部分,新生代主要使用复制和标记-清除垃圾回收
年老代主要使用标记-整理垃圾回收算法,因此 java 虚拟中针对新生代和年老代分别提供了多种不
同的垃圾收集器,JDK1.6 中 Sun HotSpot 虚拟机的垃圾收集器如下:
2.7.1. Serial 垃圾收集器(单线程、复制算法)
Serial(英文连续)是最基本垃圾收集器,使用复制算法,曾经是 JDK1.3.1 之前新生代唯一的垃圾 收集器。Serial 是一个单线程的收集器,它不但只会使用一个 CPU 或一条线程去完成垃圾收集工 作,并且在进行垃圾收集的同时,必须暂停其他所有的工作线程,直到垃圾收集结束。
Serial 垃圾收集器虽然在收集垃圾过程中需要暂停所有其他的工作线程,但是它简单高效,对于限 定单个 CPU 环境来说,没有线程交互的开销,可以获得最高的单线程垃圾收集效率,因此 Serial
垃圾收集器依然是 java 虚拟机运行在 Client 模式下默认的新生代垃圾收集器。
2.7.2. ParNew垃圾收集器(Serial+多线程)
ParNew 垃圾收集器其实是 Serial 收集器的多线程版本,也使用复制算法,除了使用多线程进行垃 圾收集之外,其余的行为和 Serial 收集器完全一样,ParNew 垃圾收集器在垃圾收集过程中同样也 要暂停所有其他的工作线程。
121623125152125125
ParNew 收集器默认开启和 CPU 数目相同的线程数,可以通过-XX:ParallelGCThreads 参数来限 制垃圾收集器的线程数。【Parallel:平行的】
ParNew 虽然是除了多线程外和 Serial 收集器几乎完全一样,但是 ParNew 垃圾收集器是很多 java 虚拟机运行在 Server 模式下新生代的默认垃圾收集器。
2.7.3. Parallel Scavenge 收集器(多线程复制算法、高效)
Parallel Scavenge 收集器也是一个新生代垃圾收集器,同样使用复制算法,也是一个多线程的垃 圾收集器,它重点关注的是程序达到一个可控制的吞吐量(Thoughput,CPU 用于运行用户代码 的时间/CPU 总消耗时间,即吞吐量=运行用户代码时间/(运行用户代码时间+垃圾收集时间)), 高吞吐量可以最高效率地利用 CPU 时间,尽快地完成程序的运算任务,主要适用于在后台运算而
不需要太多交互的任务。自适应调节策略也是 ParallelScavenge 收集器与 ParNew 收集器的一个 重要区别。
2.7.4. SerialOld收集器(单线程标记整理算法)
Serial Old 是 Serial 垃圾收集器年老代版本,它同样是个单线程的收集器,使用标记-整理算法, 这个收集器也主要是运行在 Client 默认的 java 虚拟机默认的年老代垃圾收集器。
在 Server 模式下,主要有两个用途:
2.7.5. ParallelOld收集器(多线程标记整理算法)
Parallel Old 收集器是 Parallel Scavenge 的年老代版本,使用多线程的标记-整理算法,在 JDK1.6 才开始提供。
在 JDK1.6 之前,新生代使用 ParallelScavenge 收集器只能搭配年老代的 Serial Old 收集器,只 能保证新生代的吞吐量优先,无法保证整体的吞吐量,Parallel Old 正是为了在年老代同样提供吞 吐量优先的垃圾收集器,如果系统对吞吐量要求比较高,可以优先考虑新生代 Parallel Scavenge 和年老代 Parallel Old 收集器的搭配策略。
新生代 Parallel Scavenge 和年老代 Parallel Old 收集器搭配运行过程图:
2.7.6. CMS收集器(多线程标记清除算法)
2.7.6.1. 初始标记
只是标记一下 GC Roots 能直接关联的对象,速度很快,仍然需要暂停所有的工作线程。
Concurrent mark sweep(CMS)收集器是一种年老代垃圾收集器,其最主要目标是获取最短垃圾 回收停顿时间,和其他年老代使用标记-整理算法不同,它使用多线程的标记-清除算法。
最短的垃圾收集停顿时间可以为交互比较高的程序提高用户体验。
CMS 工作机制相比其他的垃圾收集器来说更复杂,整个过程分为以下 4 个阶段:
121623125152125125
2.7.6.2. 并发标记
进行 GC Roots 跟踪的过程,和用户线程一起工作,不需要暂停工作线程。
2.7.6.3. 重新标记
2.7.6.4. 并发清除
为了修正在并发标记期间,因用户程序继续运行而导致标记产生变动的那一部分对象的标记 记录,仍然需要暂停所有的工作线程。
清除 GC Roots 不可达对象,和用户线程一起工作,不需要暂停工作线程。由于耗时最长的并 发标记和并发清除过程中,垃圾收集线程可以和用户现在一起并发工作,所以总体上来看 CMS 收集器的内存回收和用户线程是一起并发地执行。
CMS 收集器工作过程:
2.7.7. G1收集器
Garbage first 垃圾收集器是目前垃圾收集器理论发展的最前沿成果,相比与 CMS 收集器,G1 收 集器两个最突出的改进是:
户线程才解除 block 状态。典型的阻塞 IO 模型的例子为:data = socket.read();如果数据没有就 绪,就会一直阻塞在 read 方法。
2.8.2. 非阻塞 IO 模型
当用户线程发起一个 read 操作后,并不需要等待,而是马上就得到了一个结果。如果结果是一个 error 时,它就知道数据还没有准备好,于是它可以再次发送 read 操作。一旦内核中的数据准备 好了,并且又再次收到了用户线程的请求,那么它马上就将数据拷贝到了用户线程,然后返回。 所以事实上,在非阻塞 IO 模型中,用户线程需要不断地询问内核数据是否就绪,也就说非阻塞 IO 不会交出 CPU,而会一直占用 CPU。典型的非阻塞 IO 模型一般如下:
while(true){
data = socket.read(); if(data!= error){ 处理数据
break;
}
}
但是对于非阻塞 IO 就有一个非常严重的问题,在 while 循环中需要不断地去询问内核数据是否就 绪,这样会导致 CPU 占用率非常高,因此一般情况下很少使用 while 循环这种方式来读取数据。
2.8.3. 多路复用 IO 模型
多路复用 IO 模型是目前使用得比较多的模型。Java NIO 实际上就是多路复用 IO。在多路复用 IO 模型中,会有一个线程不断去轮询多个 socket 的状态,只有当 socket 真正有读写事件时,才真 正调用实际的 IO 读写操作。因为在多路复用 IO 模型中,只需要使用一个线程就可以管理多个 socket,系统不需要建立新的进程或者线程,也不必维护这些线程和进程,并且只有在真正有 socket 读写事件进行时,才会使用 IO 资源,所以它大大减少了资源占用。在 Java NIO 中,是通 过 selector.select()去查询每个通道是否有到达事件,如果没有事件,则一直阻塞在那里,因此这 种方式会导致用户线程的阻塞。多路复用 IO 模式,通过一个线程就可以管理多个 socket,只有当 socket 真正有读写事件发生才会占用资源来进行实际的读写操作。因此,多路复用 IO 比较适合连 接数比较多的情况。
另外多路复用 IO 为何比非阻塞 IO 模型的效率高是因为在非阻塞 IO 中,不断地询问 socket 状态
时通过用户线程去进行的,而在多路复用 IO 中,轮询每个 socket 状态是内核在进行的,这个效 率要比用户线程要高的多。
不过要注意的是,多路复用 IO 模型是通过轮询的方式来检测是否有事件到达,并且对到达的事件 逐一进行响应。因此对于多路复用 IO 模型来说,一旦事件响应体很大,那么就会导致后续的事件 迟迟得不到处理,并且会影响新的事件轮询。
121623125152125125
2.8.4. 信号驱动 IO 模型
在信号驱动 IO 模型中,当用户线程发起一个 IO 请求操作,会给对应的 socket 注册一个信号函 数,然后用户线程会继续执行,当内核数据就绪时会发送一个信号给用户线程,用户线程接收到 信号之后,便在信号函数中调用 IO 读写操作来进行实际的 IO 请求操作。
2.8.5. 异步 IO 模型
异步 IO 模型才是最理想的 IO 模型,在异步 IO 模型中,当用户线程发起 read 操作之后,立刻就 可以开始去做其它的事。而另一方面,从内核的角度,当它受到一个 asynchronous read 之后, 它会立刻返回,说明 read 请求已经成功发起了,因此不会对用户线程产生任何 block。然后,内 核会等待数据准备完成,然后将数据拷贝到用户线程,当这一切都完成之后,内核会给用户线程 发送一个信号,告诉它 read 操作完成了。也就说用户线程完全不需要实际的整个 IO 操作是如何
进行的,只需要先发起一个请求,当接收内核返回的成功信号时表示 IO 操作已经完成,可以直接 去使用数据了。
也就说在异步 IO 模型中,IO 操作的两个阶段都不会阻塞用户线程,这两个阶段都是由内核自动完 成,然后发送一个信号告知用户线程操作已完成。用户线程中不需要再次调用 IO 函数进行具体的 读写。这点是和信号驱动模型有所不同的,在信号驱动模型中,当用户线程接收到信号表示数据 已经就绪,然后需要用户线程调用 IO 函数进行实际的读写操作;而在异步 IO 模型中,收到信号 表示 IO 操作已经完成,不需要再在用户线程中调用 IO 函数进行实际的读写操作。
注意,异步 IO 是需要操作系统的底层支持,在 Java 7 中,提供了 Asynchronous IO。
更多参考: http://www.importnew.com/19816.html
2.8.1. JAVAIO包
121623125152125125
2.8.2. JAVA NIO
NIO 主要有三大核心部分:Channel(通道),Buffer(缓冲区), Selector。传统 IO 基于字节流和字 符流进行操作,而 NIO 基于 Channel 和 Buffer(缓冲区)进行操作,数据总是从通道读取到缓冲区 中,或者从缓冲区写入到通道中。Selector(选择区)用于监听多个通道的事件(比如:连接打开, 数据到达)。因此,单个线程可以监听多个数据通道。
121623125152125125
NIO 和传统 IO 之间第一个最大的区别是,IO 是面向流的,NIO 是面向缓冲区的。
2.8.2.1. NIO 的缓冲区
Java IO 面向流意味着每次从流中读一个或多个字节,直至读取所有字节,它们没有被缓存在任何 地方。此外,它不能前后移动流中的数据。如果需要前后移动从流中读取的数据,需要先将它缓 存到一个缓冲区。NIO 的缓冲导向方法不同。数据读取到一个它稍后处理的缓冲区,需要时可在 缓冲区中前后移动。这就增加了处理过程中的灵活性。但是,还需要检查是否该缓冲区中包含所 有您需要处理的数据。而且,需确保当更多的数据读入缓冲区时,不要覆盖缓冲区里尚未处理的 数据。
2.8.2.2. NIO 的非阻塞
IO 的各种流是阻塞的。这意味着,当一个线程调用 read() 或 write()时,该线程被阻塞,直到有 一些数据被读取,或数据完全写入。该线程在此期间不能再干任何事情了。 NIO 的非阻塞模式, 使一个线程从某通道发送请求读取数据,但是它仅能得到目前可用的数据,如果目前没有数据可 用时,就什么都不会获取。而不是保持线程阻塞,所以直至数据变的可以读取之前,该线程可以 继续做其他的事情。 非阻塞写也是如此。一个线程请求写入一些数据到某通道,但不需要等待它 完全写入,这个线程同时可以去做别的事情。 线程通常将非阻塞 IO 的空闲时间用于在其它通道上
执行 IO 操作,所以一个单独的线程现在可以管理多个输入和输出通道(channel)。
121623125152125125
121623125152125125
2.8.3. Channel
首先说一下 Channel,国内大多翻译成“通道”。Channel 和 IO 中的 Stream(流)是差不多一个 等级的。只不过 Stream 是单向的,譬如:InputStream, OutputStream,而 Channel 是双向 的,既可以用来进行读操作,又可以用来进行写操作。
NIO 中的 Channel 的主要实现有:
2.9. JVM 类加载机制
JVM 类加载机制分为五个部分:加载,验证,准备,解析,初始化,下面我们就分别来看一下这
五个过程。
2.9.1.1. 加载
2.9.1.2. 验证
2.9.1.3. 准备
public static int v = 8080;
public static final int v = 8080;
2.9.1.4. 解析
加载是类加载过程中的一个阶段,这个阶段会在内存中生成一个代表这个类的 java.lang.Class 对 象,作为方法区这个类的各种数据的入口。注意这里不一定非得要从一个 Class 文件获取,这里既 可以从 ZIP 包中读取(比如从 jar 包和 war 包中读取),也可以在运行时计算生成(动态代理), 也可以由其它文件生成(比如将 JSP 文件转换成对应的 Class 类)。
这一阶段的主要目的是为了确保 Class 文件的字节流中包含的信息是否符合当前虚拟机的要求,并 且不会危害虚拟机自身的安全。
准备阶段是正式为类变量分配内存并设置类变量的初始值阶段,即在方法区中分配这些变量所使 用的内存空间。注意这里所说的初始值概念,比如一个类变量定义为:
实际上变量 v 在准备阶段过后的初始值为 0 而不是 8080,将 v 赋值为 8080 的 put static 指令是 程序被编译后,存放于类构造器方法之中。
但是注意如果声明为:
在编译阶段会为 v 生成 ConstantValue 属性,在准备阶段虚拟机会根据 ConstantValue 属性将 v 赋值为 8080。
解析阶段是指虚拟机将常量池中的符号引用替换为直接引用的过程。符号引用就是 class 文件中 的:
121623125152125125
2.9.2.1.
启动类加载器(Bootstrap ClassLoader)
2.9.4. OSGI(动态模型系统)
2.9.4.1. 动态改变构造
2.9.4.2. 模块化编程与热插拔
OSGi(Open Service Gateway Initiative),是面向 Java 的动态模型系统,是 Java 动态化模块化系 统的一系列规范。
OSGi 服务平台提供在多种网络设备上无需重启的动态改变构造的功能。为了最小化耦合度和促使 这些耦合度可管理,OSGi 技术提供一种面向服务的架构,它能使这些组件动态地发现对方。
OSGi 旨在为实现 Java 程序的模块化编程提供基础条件,基于 OSGi 的程序很可能可以实现模块级 的热插拔功能,当程序升级更新时,可以只停用、重新安装然后启动程序的其中一部分,这对企 业级程序开发来说是非常具有诱惑力的特性。
OSGi 描绘了一个很美好的模块化开发目标,而且定义了实现这个目标的所需要服务与架构,同时 也有成熟的框架进行实现支持。但并非所有的应用都适合采用 OSGi 作为基础架构,它在提供强大 功能同时,也引入了额外的复杂度,因为它不遵守了类加载的双亲委托模型。
121623125152125125
121623125152125125
3.2. List
Java 的 List 是非常常用的数据类型。List 是有序的 Collection。Java List 一共三个实现类: 分别是 ArrayList、Vector 和 LinkedList。
3.2.1. ArrayList(数组)
3.2.2. Vector(数组实现、线程同步)
3.2.3. LinkList(链表)
ArrayList 是最常用的 List 实现类,内部是通过数组实现的,它允许对元素进行快速随机访问。数
组的缺点是每个元素之间不能有间隔,当数组大小不满足时需要增加存储能力,就要将已经有数
组的数据复制到新的存储空间中。当从 ArrayList 的中间位置插入或者删除元素时,需要对数组进
行复制、移动、代价比较高。因此,它适合随机查找和遍历,不适合插入和删除。
Vector 与 ArrayList 一样,也是通过数组实现的,不同的是它支持线程的同步,即某一时刻只有一
个线程能够写 Vector,避免多线程同时写而引起的不一致性,但实现同步需要很高的花费,因此,
访问它比访问 ArrayList 慢。
LinkedList 是用链表结构存储数据的,很适合数据的动态插入和删除,随机访问和遍历速度比较 慢。另外,他还提供了 List 接口中没有定义的方法,专门用于操作表头和表尾元素,可以当作堆 栈、队列和双向队列使用。
121623125152125125
3.3. Set
Set 注重独一无二的性质,该体系集合用于存储无序(存入和取出的顺序不一定相同)元素,值不能重 复。对象的相等性本质是对象 hashCode 值(java 是依据对象的内存地址计算出的此序号)判断 的,如果想要让两个不同的对象视为相等的,就必须覆盖 Object 的 hashCode 方法和 equals 方 法。
3.3.1.1. HashSet(Hash 表)
哈希表边存放的是哈希值。HashSet 存储元素的顺序并不是按照存入时的顺序(和 List 显然不 同) 而是按照哈希值来存的所以取数据也是按照哈希值取得。元素的哈希值是通过元素的 hashcode 方法来获取的, HashSet 首先判断两个元素的哈希值,如果哈希值一样,接着会比较 equals 方法 如果 equls 结果为 true ,HashSet 就视为同一个元素。如果 equals 为 false 就不是
同一个元素。
哈希值相同 equals 为 false 的元素是怎么存储呢,就是在同样的哈希值下顺延(可以认为哈希值相 同的元素放在一个哈希桶中)。也就是哈希一样的存一列。如图 1 表示 hashCode 值不相同的情 况;图 2 表示 hashCode 值相同,但 equals 不相同的情况。
121623125152125125
HashSet 通过 hashCode 值来确定元素在内存中的位置。一个 hashCode 位置上可以存放多个元 素。
3.3.1.2. TreeSet(二叉树)
3.4. Map
3.4.1. HashMap(数组+链表+红黑树)
HashMap 根据键的 hashCode 值存储数据,大多数情况下可以直接定位到它的值,因而具有很快
的访问速度,但遍历顺序却是不确定的。 HashMap 最多只允许一条记录的键为 null,允许多条记
录的值为 null。HashMap 非线程安全,即任一时刻可以有多个线程同时写 HashMap,可能会导
致数据的不一致。如果需要满足线程安全,可以用 Collections 的 synchronizedMap 方法使
HashMap 具有线程安全的能力,或者使用 ConcurrentHashMap。我们用下面这张图来介绍
HashMap 的结构。
大方向上,HashMap 里面是一个数组,然后数组中每个元素是一个单向链表。上图中,每个绿色
的实体是嵌套类 Entry 的实例,Entry 包含四个属性:key, value, hash 值和用于单向链表的 next。
3.4.1.1. JAVA7 实现
capacity:当前数组容量,始终保持 2^n,可以扩容,扩容后数组大小为当前的 2 倍。
loadFactor:负载因子,默认为 0.75。
121623125152125125
3.4.2.3. 并行度(默认 16)
3.4.2.4. Java8 实现 (引入了红黑树)
concurrencyLevel:并行级别、并发数、Segment 数,怎么翻译不重要,理解它。默认是 16, 也就是说 ConcurrentHashMap 有 16 个 Segments,所以理论上,这个时候,最多可以同时支 持 16 个线程并发写,只要它们的操作分别分布在不同的 Segment 上。这个值可以在初始化的时 候设置为其他值,但是一旦初始化以后,它是不可以扩容的。再具体到每个 Segment 内部,其实 每个 Segment 很像之前介绍的 HashMap,不过它要保证线程安全,所以处理起来要麻烦些。
Java8 对 ConcurrentHashMap 进行了比较大的改动,Java8 也引入了红黑树。
121623125152125125
3.4.3. HashTable(线程安全)
3.4.4. TreeMap(可排序)
如果使用排序的映射,建议使用 TreeMap。
参考:https://www.ibm.com/developerworks/cn/java/j-lo-tree/index.html 3.4.5. LinkHashMap(记录插入顺序)
Hashtable 是遗留类,很多映射的常用功能与 HashMap 类似,不同的是它承自 Dictionary 类,
并且是线程安全的,任一时间只有一个线程能写 Hashtable,并发性不如 ConcurrentHashMap,
因为 ConcurrentHashMap 引入了分段锁。Hashtable 不建议在新代码中使用,不需要线程安全
的场合可以用 HashMap 替换,需要线程安全的场合可以用 ConcurrentHashMap 替换。
TreeMap 实现 SortedMap 接口,能够把它保存的记录根据键排序,默认是按键值的升序排序,
也可以指定排序的比较器,当用 Iterator 遍历 TreeMap 时,得到的记录是排过序的。
在使用 TreeMap 时,key 必须实现 Comparable 接口或者在构造 TreeMap 传入自定义的
Comparator,否则会在运行时抛出 java.lang.ClassCastException 类型的异常。
LinkedHashMap 是 HashMap 的一个子类,保存了记录的插入顺序,在用 Iterator 遍历
LinkedHashMap 时,先得到的记录肯定是先插入的,也可以在构造时带参数,按照访问次序排序。
参考 1:http://www.importnew.com/28263.html
参考 2:http://www.importnew.com/20386.html#comment-648123
121623125152125125
JAVA 多线程并发
4.1.1. JAVA并发知识库
4.1.2. JAVA线程实现/创建方式 4.1.2.1. 继承 Thread 类
Thread 类本质上是实现了 Runnable 接口的一个实例,代表一个线程的实例。启动线程的唯一方 法就是通过 Thread 类的 start()实例方法。start()方法是一个 native 方法,它将启动一个新线 程,并执行 run()方法。
public class MyThread extends Thread {
public void run() {
} }
System.out.println(“MyThread.run()”);
MyThread myThread1 = new MyThread();
myThread1.start();
4.1.2.2. 实现 Runnable 接口。
如果自己的类已经 extends 另一个类,就无法直接 extends Thread,此时,可以实现一个 Runnable 接口。
public class MyThread extends OtherClass implements Runnable {
public void run() {
} }
System.out.println(“MyThread.run()”);
121623125152125125
//启动 MyThread,需要首先实例化一个 Thread,并传入自己的 MyThread 实例:
MyThread myThread = new MyThread();
Thread thread = new Thread(myThread);
thread.start();
//事实上,当传入一个 Runnable target 参数给 Thread 后,Thread 的 run()方法就会调用
target.run()
public void run() {
if (target != null) {
} }
target.run();
4.1.2.3. ExecutorService、Callable、Future 有返回值线程
有返回值的任务必须实现 Callable 接口,类似的,无返回值的任务必须 Runnable 接口。执行 Callable 任务后,可以获取一个 Future 的对象,在该对象上调用 get 就可以获取到 Callable 任务 返回的 Object 了,再结合线程池接口 ExecutorService 就可以实现传说中有返回结果的多线程 了。
//创建一个线程池
ExecutorService pool = Executors.newFixedThreadPool(taskSize);
// 创建多个有返回值的任务
List list = new
for (int
}
for }
i = 0; i < taskSize; i++) {
Callable c = new
// 执行任务并获取 Future 对象
Future f = pool.submit©;
list.add(f);
// 关闭线程池
pool.shutdown();
ArrayList();
MyCallable(i + " ");
// 获取所有并发任务的运行结果
(Future f : list) {
// 从 Future 对象上获取任务的返回值,并输出到控制台
System.out.println(“res:”
4.1.2.4. 基于线程池的方式
线程和数据库连接这些资源都是非常宝贵的资源。那么每次需要的时候创建,不需要的时候销 毁,是非常浪费资源的。那么我们就可以使用缓存的策略,也就是使用线程池。
// 创建线程池
ExecutorService threadPool = Executors.newFixedThreadPool(10);
while(true) {
threadPool.execute(new Runnable() { // 提交多个线程任务,并执行
});
@Override
public void run() {
}
System.out.println(Thread.currentThread().getName() + " is running …");
try {
Thread.sleep(3000);
} catch (InterruptedException e) {
}
e.printStackTrace();
} }
4.1.3. 4种线程池 Executor
Java 里面线程池的顶级接口是
,但是严格意义上讲 Executor 并不是一个线程池,而
只是一个执行线程的工具。真正的线程池接口是
ExecutorService。
121623125152125125
创建一个可根据需要创建新线程的线程池,但是在以前构造的线程可用时将重用它们。对于执行
很多短期异步任务的程序而言,这些线程池通常可提高程序性能。调用 execute 将重用以前构造
的线程(如果线程可用)。如果现有线程没有可用的,则创建一个新线程并添加到池中。终止并
从缓存中移除那些已有 60 秒钟未被使用的线程。因此,长时间保持空闲的线程池不会使用任何资
源。
4.1.3.1. newCachedThreadPool
4.1.3.2. newFixedThreadPool
创建一个可重用固定线程数的线程池,以共享的无界队列方式来运行这些线程。在任意点,在大
多数 nThreads 线程会处于处理任务的活动状态。如果在所有线程处于活动状态时提交附加任务,
则在有可用线程之前,附加任务将在队列中等待。如果在关闭前的执行期间由于失败而导致任何
线程终止,那么一个新线程将代替它执行后续的任务(如果需要)。在某个线程被显式地关闭之
前,池中的线程将一直存在。
121623125152125125
4.1.3.3. newScheduledThreadPool
创建一个线程池,它可安排在给定延迟后运行命令或者定期地执行。
ScheduledExecutorService scheduledThreadPool= Executors.newScheduledThreadPool(3); scheduledThreadPool.schedule(newRunnable(){
@Override
public void run() {
System.out.println(“延迟三秒”);
}
}, 3, TimeUnit.SECONDS);
scheduledThreadPool.scheduleAtFixedRate(newRunnable(){ @Override
public void run() {
System.out.println(“延迟 1 秒后每三秒执行一次”);
}
},1,3,TimeUnit.SECONDS);
newSingleThreadExecutor
4.1.3.4.
4.1.4. 线程生命周期(状态)
4.1.4.1. 新建状态(NEW)
Executors.newSingleThreadExecutor()返回一个线程池(这个线程池只有一个线程),这个线程 池可以在线程死后(或发生异常时)重新启动一个线程来替代原来的线程继续执行下去!
当线程被创建并启动以后,它既不是一启动就进入了执行状态,也不是一直处于执行状态。 在线程的生命周期中,它要经过新建(New)、就绪(Runnable)、运行(Running)、阻塞 (Blocked)和死亡(Dead)5 种状态。尤其是当线程启动以后,它不可能一直"霸占"着 CPU 独自 运行,所以 CPU 需要在多条线程之间切换,于是线程状态也会多次在运行、阻塞之间切换
当程序使用 new 关键字创建了一个线程之后,该线程就处于新建状态,此时仅由 JVM 为其分配 内存,并初始化其成员变量的值
121623125152125125
同步阻塞(lock->锁池)
4.1.4.2. 就绪状态(RUNNABLE):
当线程对象调用了 start()方法之后,该线程处于就绪状态。Java 虚拟机会为其创建方法调用栈和 程序计数器,等待调度运行。
4.1.4.3. 运行状态(RUNNING):
4.1.4.4. 阻塞状态(BLOCKED):
如果处于就绪状态的线程获得了 CPU,开始执行 run()方法的线程执行体,则该线程处于运行状 态。
阻塞状态是指线程因为某种原因放弃了 cpu 使用权,也即让出了 cpu timeslice,暂时停止运行。 直到线程进入可运行(runnable)状态,才有机会再次获得 cpu timeslice 转到运行(running)状 态。阻塞的情况分三种:
等待阻塞(o.wait->等待对列):
运行(running)的线程执行 o.wait()方法,JVM 会把该线程放入等待队列(waitting queue) 中。
其他阻塞(sleep/join)
运行(running)的线程执行 Thread.sleep(long ms)或 t.join()方法,或者发出了 I/O 请求时, JVM 会把该线程置为阻塞状态。当 sleep()状态超时、join()等待线程终止或者超时、或者 I/O 处理完毕时,线程重新转入可运行(runnable)状态。
4.1.4.5. 线程死亡(DEAD) 线程会以下面三种方式结束,结束后就是死亡状态。
正常结束
异常结束
运行(running)的线程在获取对象的同步锁时,若该同步锁被别的线程占用,则 JVM 会把该线 程放入锁池(lock pool)中。
4.1.5. 终止线程 4 种方式 4.1.5.1. 正常运行结束
程序运行结束,线程自动结束。
4.1.5.2. 使用退出标志退出线程
一般 run()方法执行完,线程就会正常结束,然而,常常有些线程是伺服线程。它们需要长时间的
运行,只有在外部某些条件满足的情况下,才能关闭这些线程。使用一个变量来控制循环,例如:
最直接的方法就是设一个 boolean 类型的标志,并通过设置这个标志为 true 或 false 来控制 while
循环是否退出,代码示例:
public class ThreadSafe extends Thread { public volatile boolean exit = false;
public void run() { while (!exit){
//do something
} }
}
定义了一个退出标志 exit,当 exit 为 true 时,while 循环退出,exit 的默认值为 false.在定义 exit
时,使用了一个 Java 关键字 volatile,这个关键字的目的是使 exit 同步,也就是说在同一时刻只
能由一个线程来修改 exit 的值。
4.1.5.3. Interrupt 方法结束线程 使用 interrupt()方法来中断线程有两种情况:
121623125152125125
线程处于阻塞状态:如使用了 sleep,同步锁的 wait,socket 中的 receiver,accept 等方法时,
会使线程处于阻塞状态。当调用线程的 interrupt()方法时,会抛出 InterruptException 异常。
阻塞中的那个方法抛出这个异常,通过代码捕获该异常,然后 break 跳出循环状态,从而让
我们有机会结束这个线程的执行。通常很多人认为只要调用 interrupt 方法线程就会结束,实
际上是错的, 一定要先捕获 InterruptedException 异常之后通过 break 来跳出循环,才能正
常结束 run 方法。
线程未处于阻塞状态:使用 isInterrupted()判断线程的中断标志来退出循环。当使用
interrupt()方法时,中断标志就会置 true,和使用自定义的标志来控制循环是一样的道理。
public class ThreadSafe extends Thread { public void run() {
while (!isInterrupted()){ //非阻塞过程中通过判断中断标志来退出 try{
Thread.sleep(5*1000);//阻塞过程捕获中断异常来退出 }catch(InterruptedException e){
e.printStackTrace();
break;//捕获到异常之后,执行 break 跳出循环 }
} }
}
4.1.5.4. stop 方法终止线程(线程不安全)
程序中可以直接使用 thread.stop()来强行终止线程,但是 stop 方法是很危险的,就象突然关
闭计算机电源,而不是按正常程序关机一样,可能会产生不可预料的结果,不安全主要是:
thread.stop()调用之后,创建子线程的线程就会抛出 ThreadDeatherror 的错误,并且会释放子
线程所持有的所有锁。一般任何进行加锁的代码块,都是为了保护数据的一致性,如果在调用
thread.stop()后导致了该线程所持有的所有锁的突然释放(不可控制),那么被保护数据就有可能呈
现不一致性,其他线程在使用这些被破坏的数据时,有可能导致一些很奇怪的应用程序错误。因
此,并不推荐使用 stop 方法来终止线程。
4.1.6. sleep与wait区别
对于 sleep()方法,我们首先要知道该方法是属于 Thread 类中的。而 wait()方法,则是属于 Object 类中的。
121623125152125125
sleep()方法导致了程序暂停执行指定的时间,让出 cpu 该其他线程,但是他的监控状态依然 保持者,当指定的时间到了又会自动恢复运行状态。
在调用 sleep()方法的过程中,线程不会释放对象锁。
而当调用 wait()方法的时候,线程会放弃对象锁,进入等待此对象的等待锁定池,只有针对此
对象调用 notify()方法后本线程才进入对象锁定池准备获取对象锁进入运行状态。
4.1.7. start与run区别
行。
3.
1.
2. 3.
4. 5.
6.
7.
1.
start()方法来启动线程,真正实现了多线程运行。这时无需等待 run 方法体代码执行完毕,
可以直接继续执行下面的代码。
通过调用 Thread 类的 start()方法来启动一个线程, 这时此线程是处于就绪状态, 并没有运
方法 run()称为线程体,它包含了要执行的这个线程的内容,线程就进入了运行状态,开始运
行 run 函数当中的代码。 Run 方法运行结束, 此线程终止。然后 CPU 再调度其它线程。
4.1.8. JAVA后台线程
定义:守护线程–也称“服务线程”,他是后台线程,它有一个特性,即为用户线程 提供 公
共服务,在没有用户线程可服务时会自动离开。
优先级:守护线程的优先级比较低,用于为系统中的其它对象和线程提供服务。
设置:通过 setDaemon(true)来设置线程为“守护线程”;将一个用户线程设置为守护线程
的方式是在 线程对象创建 之前 用线程对象的 setDaemon 方法。
在 Daemon 线程中产生的新线程也是 Daemon 的。
线程则是 JVM 级别的,以 Tomcat 为例,如果你在 Web 应用中启动一个线程,这个线程的
生命周期并不会和 Web 应用程序保持同步。也就是说,即使你停止了 Web 应用,这个线程
依旧是活跃的。
example: 垃圾回收线程就是一个经典的守护线程,当我们的程序中不再有任何运行的 Thread,
程序就不会再产生垃圾,垃圾回收器也就无事可做,所以当垃圾回收线程是 JVM 上仅剩的线
程时,垃圾回收线程会自动离开。它始终在低级别的状态中运行,用于实时监控和管理系统
中的可回收资源。
生命周期:守护进程(Daemon)是运行在后台的一种特殊进程。它独立于控制终端并且周
期性地执行某种任务或等待处理某些发生的事件。也就是说守护线程不依赖于终端,但是依
赖于系统,与系统“同生共死”。当 JVM 中所有的线程都是守护线程的时候,JVM 就可以退
出了;如果还有一个或以上的非守护线程则 JVM 不会退出。
121623125152125125
4.1.9. JAVA锁 4.1.9.1. 乐观锁
乐观锁是一种乐观思想,即认为读多写少,遇到并发写的可能性低,每次去拿数据的时候都认为
别人不会修改,所以不会上锁,但是在更新的时候会判断一下在此期间别人有没有去更新这个数
据,采取在写时先读出当前版本号,然后加锁操作(比较跟上一次的版本号,如果一样则更新),
如果失败则要重复读-比较-写的操作。
java 中的乐观锁基本都是通过 CAS 操作实现的,CAS 是一种更新的原子操作,比较当前值跟传入
值是否一样,一样则更新,否则失败。
4.1.9.2. 悲观锁
4.1.9.3. 自旋锁
悲观锁是就是悲观思想,即认为写多,遇到并发写的可能性高,每次去拿数据的时候都认为别人
会修改,所以每次在读写数据的时候都会上锁,这样别人想读写这个数据就会 block 直到拿到锁。
java 中的悲观锁就是 Synchronized,AQS 框架下的锁则是先尝试 cas 乐观锁去获取锁,获取不到,
才会转换为悲观锁,如 RetreenLock。
自旋锁原理非常简单,如果持有锁的线程能在很短时间内释放锁资源,那么那些等待竞争锁
的线程就不需要做内核态和用户态之间的切换进入阻塞挂起状态,它们只需要等一等(自旋),
等持有锁的线程释放锁后即可立即获取锁,这样就避免用户线程和内核的切换的消耗。
线程自旋是需要消耗 cup 的,说白了就是让 cup 在做无用功,如果一直获取不到锁,那线程
也不能一直占用 cup 自旋做无用功,所以需要设定一个自旋等待的最大时间。
如果持有锁的线程执行的时间超过自旋等待的最大时间扔没有释放锁,就会导致其它争用锁
的线程在最大等待时间内还是获取不到锁,这时争用线程会停止自旋进入阻塞状态。
自旋锁的优缺点
自旋锁尽可能的减少线程的阻塞,这对于锁的竞争不激烈,且占用锁时间非常短的代码块来
说性能能大幅度的提升,因为自旋的消耗会小于线程阻塞挂起再唤醒的操作的消耗,这些操作会
导致线程发生两次上下文切换!
但是如果锁的竞争激烈,或者持有锁的线程需要长时间占用锁执行同步块,这时候就不适合
使用自旋锁了,因为自旋锁在获取锁前一直都是占用 cpu 做无用功,占着 XX 不 XX,同时有大量
线程在竞争一个锁,会导致获取锁的时间很长,线程自旋的消耗大于线程阻塞挂起操作的消耗,
其它需要 cup 的线程又不能获取到 cpu,造成 cpu 的浪费。所以这种情况下我们要关闭自旋锁;
自旋锁时间阈值(1.6 引入了适应性自旋锁)
自旋锁的目的是为了占着 CPU 的资源不释放,等到获取到锁立即进行处理。但是如何去选择
自旋的执行时间呢?如果自旋执行时间太长,会有大量的线程处于自旋状态占用 CPU 资源,进而
会影响整体系统的性能。因此自旋的周期选的额外重要!
121623125152125125
JVM 对于自旋周期的选择,jdk1.5 这个限度是一定的写死的,在 1.6 引入了适应性自旋锁,适应
性自旋锁意味着自旋的时间不在是固定的了,而是由前一次在同一个锁上的自旋时间以及锁的拥
有者的状态来决定,基本认为一个线程上下文切换的时间是最佳的一个时间,同时 JVM 还针对当
前 CPU 的负荷情况做了较多的优化,如果平均负载小于 CPUs 则一直自旋,如果有超过(CPUs/2)
个线程正在自旋,则后来线程直接阻塞,如果正在自旋的线程发现 Owner 发生了变化则延迟自旋
时间(自旋计数)或进入阻塞,如果 CPU 处于节电模式则停止自旋,自旋时间的最坏情况是 CPU
的存储延迟(CPU A 存储了一个数据,到 CPU B 得知这个数据直接的时间差),自旋时会适当放
弃线程优先级之间的差异。
自旋锁的开启
JDK1.6 中-XX:+UseSpinning 开启; -XX:PreBlockSpin=10 为自旋次数; JDK1.7 后,去掉此参数,由 jvm 控制;
4.1.9.4.
Synchronized 作用范围 1.
2. 3.
Synchronized 核心组件
Synchronized 实现
Synchronized 同步锁
synchronized 它可以把任意一个非 NULL 的对象当作锁。他属于独占式的悲观锁,同时属于可重
入锁。
作用于方法时,锁住的是对象的实例(this);
当作用于静态方法时,锁住的是 Class 实例,又因为 Class 的相关数据存储在永久带 PermGen
(jdk1.8 则是 metaspace),永久带是全局共享的,因此静态方法锁相当于类的一个全局锁,
会锁所有调用该方法的线程;
synchronized 作用于一个对象实例时,锁住的是所有以该对象为锁的代码块。它有多个队列,
当多个线程一起访问某个对象监视器的时候,对象监视器会将这些线程存储在不同的容器中。
Wait Set:哪些调用 wait 方法被阻塞的线程被放置在这里;
Contention List:竞争队列,所有请求锁的线程首先被放在这个竞争队列中;
Entry List:Contention List 中那些有资格成为候选资源的线程被移动到 Entry List 中;
OnDeck:任意时刻,最多只有一个线程正在竞争锁资源,该线程被成为 OnDeck;
Owner:当前已经获取到所资源的线程被称为 Owner;
!Owner:当前释放锁的线程。
121623125152125125
JVM 每次从队列的尾部取出一个数据用于锁竞争候选者(OnDeck),但是并发情况下,
ContentionList 会被大量的并发线程进行 CAS 访问,为了降低对尾部元素的竞争,JVM 会将
一部分线程移动到 EntryList 中作为候选竞争线程。
Owner 线程会在 unlock 时,将 ContentionList 中的部分线程迁移到 EntryList 中,并指定
EntryList 中的某个线程为 OnDeck 线程(一般是最先进去的那个线程)。
Owner 线程并不直接把锁传递给 OnDeck 线程,而是把锁竞争的权利交给 OnDeck,
OnDeck 需要重新竞争锁。这样虽然牺牲了一些公平性,但是能极大的提升系统的吞吐量,在
JVM 中,也把这种选择行为称之为“竞争切换”。
OnDeck 线程获取到锁资源后会变为 Owner 线程,而没有得到锁资源的仍然停留在 EntryList
中。如果 Owner 线程被 wait 方法阻塞,则转移到 WaitSet 队列中,直到某个时刻通过 notify
或者 notifyAll 唤醒,会重新进去 EntryList 中。
处于 ContentionList、EntryList、WaitSet 中的线程都处于阻塞状态,该阻塞是由操作系统
来完成的(Linux 内核下采用 pthread_mutex_lock 内核函数实现的)。
Synchronized 是非公平锁。 Synchronized 在线程进入 ContentionList 时,等待的线程会先
尝试自旋获取锁,如果获取不到就进入 ContentionList,这明显对于已经进入队列的线程是
不公平的,还有一个不公平的事情就是自旋获取锁的线程还可能直接抢占 OnDeck 线程的锁
资源。
参考:https://blog.csdn.net/zqz_zqz/article/details/70233767
每个对象都有个 monitor 对象,加锁就是在竞争 monitor 对象,代码块加锁是在前后分别加
上 monitorenter 和 monitorexit 指令来实现的,方法加锁是通过一个标记位来判断的
synchronized 是一个重量级操作,需要调用操作系统相关接口,性能是低效的,有可能给线
程加锁消耗的时间比有用操作消耗的时间更多。
Java1.6,synchronized 进行了很多的优化,有适应自旋、锁消除、锁粗化、轻量级锁及偏向
锁等,效率有了本质上的提高。在之后推出的 Java1.7 与 1.8 中,均对该关键字的实现机理做
了优化。引入了偏向锁和轻量级锁。都是在对象头中有标记位,不需要经过操作系统加锁。
锁可以从偏向锁升级到轻量级锁,再升级到重量级锁。这种升级过程叫做锁膨胀;
JDK 1.6 中默认是开启偏向锁和轻量级锁,可以通过-XX:-UseBiasedLocking 来禁用偏向锁。
1.
2. 3.
4.
5. 6.
7. 8. 9.
10. 11.
121623125152125125
4.1.9.5.
ReentrantLock
ReentantLock 继承接口 Lock 并实现了接口中定义的方法,他是一种可重入锁,除了能完
成 synchronized 所能完成的所有工作外,还提供了诸如可响应中断锁、可轮询锁请求、定时锁等
避免多线程死锁的方法。
Lock 接口的主要方法 1.
2.
3. 4. 5.
数。 6.
7.
8.
9. 10. 11. 12.
13. 14. 15. 16.
非公平锁
void lock(): 执行此方法时, 如果锁处于空闲状态, 当前线程将获取到锁. 相反, 如果锁已经
被其他线程持有, 将禁用当前线程, 直到当前线程获取到锁.
boolean tryLock():如果锁可用, 则获取锁, 并立即返回 true, 否则返回 false. 该方法和
lock()的区别在于, tryLock()只是"试图"获取锁, 如果锁不可用, 不会导致当前线程被禁用,
当前线程仍然继续往下执行代码. 而 lock()方法则是一定要获取到锁, 如果锁不可用, 就一
直等待, 在未获得锁之前,当前线程并不继续向下执行.
void unlock():执行此方法时, 当前线程将释放持有的锁. 锁只能由持有者释放, 如果线程
并不持有锁, 却执行该方法, 可能导致异常的发生.
Condition newCondition():条件对象,获取等待通知组件。该组件和当前的锁绑定,
当前线程只有获取了锁,才能调用该组件的 await()方法,而调用后,当前线程将缩放锁。
getHoldCount() :查询当前线程保持此锁的次数,也就是执行此线程执行 lock 方法的次
getQueueLength():返回正等待获取此锁的线程估计数,比如启动 10 个线程,1 个
线程获得锁,此时返回的是 9
getWaitQueueLength:(Condition condition)返回等待与此锁相关的给定条件的线
程估计数。比如 10 个线程,用同一个 condition 对象,并且此时这 10 个线程都执行了
condition 对象的 await 方法,那么此时执行此方法返回 10
hasWaiters(Condition condition):查询是否有线程等待与此锁有关的给定条件
(condition),对于指定 contidion 对象,有多少线程执行了 condition.await 方法
hasQueuedThread(Thread thread):查询给定线程是否等待获取此锁
hasQueuedThreads():是否有线程等待此锁
isFair():该锁是否公平锁
isHeldByCurrentThread(): 当前线程是否保持锁锁定,线程的执行 lock 方法的前后分
别是 false 和 true
isLock():此锁是否有任意线程占用
lockInterruptibly():如果当前线程未被中断,获取锁
tryLock():尝试获得锁,仅在调用时锁未被线程占用,获得锁
tryLock(long timeout TimeUnit unit):如果锁在给定等待时间内没有被另一个线程保持,
则获取该锁。
JVM 按随机、就近原则分配锁的机制则称为不公平锁,ReentrantLock 在构造函数中提供了
是否公平锁的初始化方式,默认为非公平锁。非公平锁实际执行的效率要远远超出公平锁,除非
程序有特殊需要,否则最常用非公平锁的分配机制。
121623125152125125
公平锁
公平锁指的是锁的分配机制是公平的,通常先对锁提出获取请求的线程会先被分配到锁,
ReentrantLock 在构造函数中提供了是否公平锁的初始化方式来定义公平锁。
ReentrantLock 与 synchronized 1.
作。 2.
ReentrantLock 通过方法 lock()与 unlock()来进行加锁与解锁操作,与 synchronized 会
被 JVM 自动解锁机制不同,ReentrantLock 加锁后需要手动进行解锁。为了避免程序出
现异常而无法正常解锁的情况,使用 ReentrantLock 必须在 finally 控制块中进行解锁操
ReentrantLock 相比 synchronized 的优势是可中断、公平锁、多个锁。这种情况下需要
使用 ReentrantLock。
ReentrantLock 实现
public class MyService {
private Lock lock = new ReentrantLock(); //Lock lock=new ReentrantLock(true);//公平锁
//Lock lock=new ReentrantLock(false);//非公平锁
private Condition condition=lock.newCondition();//创建 Condition
public void testMethod() { try {
lock.lock();//lock 加锁 //1:wait 方法等待:
//System.out.println(“开始 wait”);
condition.await();
//通过创建 Condition 对象来使线程 wait,必须先执行 lock.lock 方法获得锁
//:2:signal 方法唤醒
condition.signal();//condition 对象的 signal 方法可以唤醒 wait 线程
for (int i = 0; i < 5; i++) {
System.out.println(“ThreadName=” + Thread.currentThread().getName()+ (" " + (i + 1)));
}
} catch (InterruptedException e) {
e.printStackTrace();
}
finally
121623125152125125
{
} }
}
lock.unlock();
Condition 类和 Object 类锁方法区别区别
tryLock 和 lock 和 lockInterruptibly 的区别 1.
Condition 类的 awiat 方法和 Object 类的 wait 方法等效
Condition 类的 signal 方法和 Object 类的 notify 方法等效
Condition 类的 signalAll 方法和 Object 类的 notifyAll 方法等效
ReentrantLock 类可以唤醒指定条件的线程,而 object 的唤醒是随机的
tryLock 能获得锁就返回 true,不能就立即返回 false,tryLock(long timeout,TimeUnit
unit),可以增加时间限制,如果超过该时间段还没获得锁,返回 false
lock 能获得锁就返回 true,不能的话一直等待获得锁
lock 和 lockInterruptibly,如果两个线程分别执行这两个方法,但此时中断这两个线程,
lock 不会抛出异常,而 lockInterruptibly 会抛出异常。
2. 3.
4.1.9.6.
Semaphore 信号量
Semaphore 是一种基于计数的信号量。它可以设定一个阈值,基于此,多个线程竞争获取许可信
号,做完自己的申请后归还,超过阈值后,线程申请许可信号将会被阻塞。Semaphore 可以用来
构建一些对象池,资源池之类的,比如数据库连接池
实现互斥锁(计数器为 1)
代码实现
我们也可以创建计数为 1 的 Semaphore,将其作为一种类似互斥锁的机制,这也叫二元信号量,
表示两种互斥状态。
它的用法如下:
// 创建一个计数阈值为 5 的信号量对象
// 只能 5 个线程同时访问
Semaphore semp = new Semaphore(5); try { // 申请许可
semp.acquire(); try {
// 业务逻辑
121623125152125125
} catch (Exception e) { } finally {
// 释放许可
semp.release(); }
} catch (InterruptedException e) {
}
Semaphore 与 ReentrantLock
Semaphore 基本能完成 ReentrantLock 的所有工作,使用方法也与之类似,通过 acquire()与
release()方法来获得和释放临界资源。经实测,Semaphone.acquire()方法默认为可响应中断锁,
与 ReentrantLock.lockInterruptibly()作用效果一致,也就是说在等待临界资源的过程中可以被
Thread.interrupt()方法中断。
此外,Semaphore 也实现了可轮询的锁请求与定时锁的功能,除了方法名 tryAcquire 与 tryLock
不同,其使用方法与 ReentrantLock 几乎一致。Semaphore 也提供了公平与非公平锁的机制,也
可在构造函数中进行设定。
Semaphore 的锁释放操作也由手动进行,因此与 ReentrantLock 一样,为避免线程因抛出异常而
无法正常释放锁的情况发生,释放锁的操作也必须在 finally 代码块中完成。
4.1.9.7. AtomicInteger
首先说明,此处 AtomicInteger,一个提供原子操作的 Integer 的类,常见的还有
AtomicBoolean、AtomicInteger、AtomicLong、AtomicReference 等,他们的实现原理相同,
区别在与运算对象类型的不同。令人兴奋地,还可以通过 AtomicReference将一个对象的所
有操作转化成原子操作。
我们知道,在多线程程序中,诸如++i 或 i++等运算不具有原子性,是不安全的线程操作之一。
通常我们会使用 synchronized 将该操作变成一个原子操作,但 JVM 为此类操作特意提供了一些
同步类,使得使用更方便,且使程序运行效率变得更高。通过相关资料显示,通常 AtomicInteger
的性能是 ReentantLock 的好几倍。
4.1.9.8. 可重入锁(递归锁)
本文里面讲的是广义上的可重入锁,而不是单指 JAVA 下的 ReentrantLock。可重入锁,也叫
做递归锁,指的是同一线程 外层函数获得锁之后 ,内层递归函数仍然有获取该锁的代码,但不受
影响。在 JAVA 环境下 ReentrantLock 和 synchronized 都是 可重入锁。
121623125152125125
4.1.9.9. 公平锁与非公平锁 加锁前检查是否有排队等待的线程,优先排队等待的线程,先来先得
非公平锁(Nonfair) 加锁时不考虑排队等待问题,直接尝试获取锁,获取不到自动到队尾等待
公平锁(Fair)
1. 2.
读锁
4.1.9.10. ReadWriteLock 读写锁
非公平锁性能比公平锁高 5~10 倍,因为公平锁需要在多核的情况下维护一个队列
Java 中的 synchronized 是非公平锁,ReentrantLock 默认的 lock()方法采用的是非公平锁。
为了提高性能,Java 提供了读写锁,在读的地方使用读锁,在写的地方使用写锁,灵活控制,如
果没有写锁的情况下,读是无阻塞的,在一定程度上提高了程序的执行效率。读写锁分为读锁和写
锁,多个读锁不互斥,读锁与写锁互斥,这是由 jvm 自己控制的,你只要上好相应的锁即可。
如果你的代码只读数据,可以很多人同时读,但不能同时写,那就上读锁
写锁
4.1.9.11. 共享锁和独占锁 java 并发包提供的加锁模式分为独占锁和共享锁。
独占锁
共享锁
如果你的代码修改数据,只能有一个人在写,且不能同时读取,那就上写锁。总之,读的时候上
读锁,写的时候上写锁!
Java 中 读 写 锁 有 个 接 口 java.util.concurrent.locks.ReadWriteLock , 也 有 具 体 的 实 现
ReentrantReadWriteLock。
独占锁模式下,每次只能有一个线程能持有锁,ReentrantLock 就是以独占方式实现的互斥锁。
独占锁是一种悲观保守的加锁策略,它避免了读/读冲突,如果某个只读线程获取锁,则其他读线
程都只能等待,这种情况下就限制了不必要的并发性,因为读操作并不会影响数据的一致性。
共享锁则允许多个线程同时获取锁,并发访问 共享资源,如:ReadWriteLock。共享锁则是一种
乐观锁,它放宽了加锁策略,允许多个执行读操作的线程同时访问共享资源。
AQS 的内部类 Node 定义了两个常量 SHARED 和 EXCLUSIVE,他们分别标识 AQS 队列中等
待线程的锁获取模式。
java 的并发包中提供了 ReadWriteLock,读-写锁。它允许一个资源可以被多个读操作访问,
或者被一个 写操作访问,但两者不能同时进行。
121623125152125125
4.1.9.12. 重量级锁(Mutex Lock)
Synchronized 是通过对象内部的一个叫做监视器锁(monitor)来实现的。但是监视器锁本质又
是依赖于底层的操作系统的 Mutex Lock 来实现的。而操作系统实现线程之间的切换这就需要从用
户态转换到核心态,这个成本非常高,状态之间的转换需要相对比较长的时间,这就是为什么
Synchronized 效率低的原因。因此,这种依赖于操作系统 Mutex Lock 所实现的锁我们称之为
“重量级锁”。JDK 中对 Synchronized 做的种种优化,其核心都是为了减少这种重量级锁的使用。
JDK1.6 以后,为了减少获得锁和释放锁所带来的性能消耗,提高性能,引入了“轻量级锁”和
“偏向锁”。
4.1.9.13. 轻量级锁 锁的状态总共有四种:无锁状态、偏向锁、轻量级锁和重量级锁。
锁升级
随着锁的竞争,锁可以从偏向锁升级到轻量级锁,再升级的重量级锁(但是锁的升级是单向的,
也就是说只能从低到高升级,不会出现锁的降级)。
“轻量级”是相对于使用操作系统互斥量来实现的传统锁而言的。但是,首先需要强调一点的是,
轻量级锁并不是用来代替重量级锁的,它的本意是在没有多线程竞争的前提下,减少传统的重量
级锁使用产生的性能消耗。在解释轻量级锁的执行过程之前,先明白一点,轻量级锁所适应的场
景是线程交替执行同步块的情况,如果存在同一时间访问同一锁的情况,就会导致轻量级锁膨胀
为重量级锁。
4.1.9.14. 偏向锁
Hotspot 的作者经过以往的研究发现大多数情况下锁不仅不存在多线程竞争,而且总是由同一线
程多次获得。偏向锁的目的是在某个线程获得锁之后,消除这个线程锁重入(CAS)的开销,看起
来让这个线程得到了偏护。引入偏向锁是为了在无多线程竞争的情况下尽量减少不必要的轻量级
锁执行路径,因为轻量级锁的获取及释放依赖多次 CAS 原子指令,而偏向锁只需要在置换
ThreadID 的时候依赖一次 CAS 原子指令(由于一旦出现多线程竞争的情况就必须撤销偏向锁,所
以偏向锁的撤销操作的性能损耗必须小于节省下来的 CAS 原子指令的性能消耗)。上面说过,轻
量级锁是为了在线程交替执行同步块时提高性能,而偏向锁则是在只有一个线程执行同步块时进
一步提高性能。
4.1.9.15. 分段锁
分段锁也并非一种实际的锁,而是一种思想 ConcurrentHashMap 是学习分段锁的最好实践
4.1.9.16. 锁优化
121623125152125125
减少锁持有时间
只用在有线程安全要求的程序上加锁
减小锁粒度
锁分离
锁粗化
锁消除
参考:https://www.jianshu.com/p/39628e1180a9 4.1.10. 线程基本方法
线程相关的基本方法有 wait,notify,notifyAll,sleep,join,yield 等。
将大对象(这个对象可能会被很多线程访问),拆成小对象,大大增加并行度,降低锁竞争。
降低了锁的竞争,偏向锁,轻量级锁成功率才会提高。最最典型的减小锁粒度的案例就是
ConcurrentHashMap。
最常见的锁分离就是读写锁 ReadWriteLock,根据功能进行分离成读锁和写锁,这样读读不互
斥,读写互斥,写写互斥,即保证了线程安全,又提高了性能,具体也请查看[高并发 Java 五]
JDK 并发包 1。读写分离思想可以延伸,只要操作互不影响,锁就可以分离。比如
LinkedBlockingQueue 从头部取出,从尾部放数据
通常情况下,为了保证多线程间的有效并发,会要求每个线程持有锁的时间尽量短,即在使用完
公共资源后,应该立即释放锁。但是,凡事都有一个度,如果对同一个锁不停的进行请求、同步
和释放,其本身也会消耗系统宝贵的资源,反而不利于性能的优化 。
锁消除是在编译器级别的事情。在即时编译器时,如果发现不可能被共享的对象,则可以消除这
些对象的锁操作,多数是因为程序员编码不规范引起。
121623125152125125
调用该方法的线程进入 WAITING 状态,只有等待另外线程的通知或被中断才会返回,需要注意的
是调用 wait()方法后,会释放对象的锁。因此,wait 方法一般用在同步方法或同步代码块中。
sleep 导致当前线程休眠,与 wait 方法不同的是 sleep 不会释放当前占有的锁,sleep(long)会导致
线程进入 TIMED-WATING 状态,而 wait()方法会导致当前线程进入 WATING 状态
yield 会使当前线程让出 CPU 执行时间片,与其他线程一起重新竞争 CPU 时间片。一般情况下,
优先级高的线程有更大的可能性成功竞争得到 CPU 时间片,但这又不是绝对的,有的操作系统对
线程优先级并不敏感。
中断一个线程,其本意是给这个线程一个通知信号,会影响这个线程内部的一个中断标识位。这
个线程本身并不会因此而改变状态(如阻塞,终止等)。
4.1.10.1. 线程等待(wait)
4.1.10.2. 线程睡眠(sleep)
4.1.10.3. 线程让步(yield)
4.1.10.4. 线程中断(interrupt)
调用 interrupt()方法并不会中断一个正在运行的线程。也就是说处于 Running 状态的线
程并不会因为被中断而被终止,仅仅改变了内部维护的中断标识位而已。
若调用 sleep()而使线程处于 TIMED-WATING 状态,这时调用 interrupt()方法,会抛出
InterruptedException,从而使线程提前结束 TIMED-WATING 状态。
121623125152125125
许多声明抛出 InterruptedException 的方法(如 Thread.sleep(long mills 方法)),抛出异
常前,都会清除中断标识位,所以抛出异常后,调用 isInterrupted()方法将会返回 false。
中断状态是线程固有的一个标识位,可以通过此标识位安全的终止线程。比如,你想终止
一个线程 thread 的时候,可以调用 thread.interrupt()方法,在线程的 run 方法内部可以
根据 thread.isInterrupted()的值来优雅的终止线程。
3. 4.
4.1.10.5. Join 等待其他线程终止
4.1.10.6. 为什么要用 join()方法?
join() 方法,等待其他线程终止,在当前线程中调用一个线程的 join() 方法,则当前线程转为阻塞
状态,回到另一个线程结束,当前线程再由阻塞状态变为就绪状态,等待 cpu 的宠幸。
很多情况下,主线程生成并启动了子线程,需要用到子线程返回的结果,也就是需要主线程需要
在子线程结束后再结束,这时候就要用到 join() 方法。
System.out.println(Thread.currentThread().getName() + “线程运行开始!”);
Thread6 thread1 = new Thread6();
thread1.setName(“线程 B”);
thread1.join();
System.out.println(“这时 thread1 执行完毕之后才能执行主线程”);
4.1.10.7. 线程唤醒(notify)
4.1.10.8. 其他方法:
Object 类中的 notify() 方法,唤醒在此对象监视器上等待的单个线程,如果所有线程都在此对象
上等待,则会选择唤醒其中一个线程,选择是任意的,并在对实现做出决定时发生,线程通过调
用其中一个 wait() 方法,在对象的监视器上等待,直到当前的线程放弃此对象上的锁定,才能继
续执行被唤醒的线程,被唤醒的线程将以常规方式与在该对象上主动同步的其他所有线程进行竞
争。类似的方法还有 notifyAll() ,唤醒再次监视器上等待的所有线程。
sleep():强迫一个线程睡眠N毫秒。
isAlive(): 判断一个线程是否存活。
join(): 等待线程终止。
activeCount(): 程序中活跃的线程数。
enumerate(): 枚举程序中的线程。
currentThread(): 得到当前线程。
isDaemon(): 一个线程是否为守护线程。
setDaemon(): 设置一个线程为守护线程。(用户线程和守护线程的区别在于,是否等待主线
程依赖于主线程结束而结束)
setName(): 为线程设置一个名称。
wait(): 强迫一个线程等待。
121623125152125125
4.1.11. 线程上下文切换
巧妙地利用了时间片轮转的方式, CPU 给每个任务都服务一定的时间,然后把当前任务的状态保存
下来,在加载下一任务的状态后,继续服务下一任务
4.1.11.1. 进程
4.1.11.2. 上下文 是指某一时间点 CPU 寄存器和程序计数器的内容。
notify(): 通知一个线程继续运行。
setPriority(): 设置一个线程的优先级。
getPriority()::获得一个线程的优先级。
与他们的父进程(创建他们的进程)共享同一地址空间(一段内存区域)和其他资源的轻量
,任务的状态保存及再加载, 这段过程就叫做
上下文切换。时间片轮转的方式使多个任务在同一颗 CPU 上执行变成了可能。
(有时候也称做任务)是指一个程序运行的实例。在 Linux 系统中,线程就是能并行运行并且
级的进程。
是 CPU 内部的数量较少但是速度很快的内存(与之对应的是 CPU 外部相对较慢的 RAM 主内
存)。寄存器通过对常用值(通常是运算的中间值)的快速访问来提高计算机程序运行的速
度。
4.1.11.3. 寄存器
4.1.11.4. 程序计数器
4.1.11.5. PCB-“切换桢”
是一个专用的寄存器,用于表明指令序列中 CPU 正在执行的位置,存的值为正在执行的指令
的位置或者下一个将要被执行的指令的位置,具体依赖于特定的系统。
上下文切换可以认为是内核(操作系统的核心)在 CPU 上对于进程(包括线程)进行切换,上下
文切换过程中的信息是保存在进程控制块(PCB, process control block)中的。PCB 还经常被称
作“切换桢”(switchframe)。信息会一直保存到 CPU 的内存中,直到他们被再次使用。
121623125152125125
中。
4.1.11.7. 引起线程上下文切换的原因
4.1.11.6. 上下文切换的活动:
挂起一个进程,将这个进程在 CPU 中的状态(上下文)存储于内存中的某处。
在内存中检索下一个进程的上下文并将其在 CPU 的寄存器中恢复。
跳转到程序计数器所指向的位置(即跳转到进程被中断时的代码行),以恢复该进程在程序
当前执行任务的时间片用完之后,系统 CPU 正常调度下一个任务;
当前执行任务碰到 IO 阻塞,调度器将此任务挂起,继续下一任务;
多个任务抢占锁资源,当前任务没有抢到锁资源,被调度器挂起,继续下一任务;
用户代码挂起当前任务,让出 CPU 时间;
硬件中断;
4.1.12. 同步锁与死锁 4.1.12.1. 同步锁
当多个线程同时访问同一个数据时,很容易出现问题。为了避免这种情况出现,我们要保证线程
同步互斥,就是指并发执行的多个线程,在同一时间内只允许一个线程访问共享数据。 Java 中可
以使用 synchronized 关键字来取得一个对象的同步锁。
4.1.12.2. 死锁 何为死锁,就是多个线程同时被阻塞,它们中的一个或者全部都在等待某个资源被释放。
4.1.13. 线程池原理
4.1.13.1. 线程复用
4.1.13.2. 线程池的组成 一般的线程池主要分为以下 4 个组成部分:
线程池做的工作主要是控制运行的线程的数量,处理过程中将任务放入队列,然后在线程创建后
启动这些任务,如果线程数量超过了最大数量超出数量的线程排队等候,等其它线程执行完毕,
再从队列中取出任务来执行。他的主要特点为:线程复用;控制最大并发数;管理线程。
每一个 Thread 的类都有一个 start 方法。 当调用 start 启动线程时 Java 虚拟机会调用该类的 run
方法。 那么该类的 run() 方法中就是调用了 Runnable 对象的 run() 方法。 我们可以继承重写
Thread 类,在其 start 方法中添加不断循环调用传递过来的 Runnable 对象。 这就是线程池的实
现原理。循环方法中不断获取 Runnable 是用 Queue 实现的,在获取下一个 Runnable 之前可以
是阻塞的。
121623125152125125
线程池管理器:用于创建并管理线程池
工作线程:线程池中的线程
任务接口:每个任务必须实现的接口,用于工作线程调度其运行
任务队列:用于存放待处理的任务,提供一种缓冲机制
Java 中的线程池是通过 Executor 框架实现的,该框架中用到了 Executor,Executors,
ExecutorService,ThreadPoolExecutor ,Callable 和 Future、FutureTask 这几个类。
ThreadPoolExecutor 的构造方法如下:
public ThreadPoolExecutor(int corePoolSize,int maximumPoolSize, long keepAliveTime, TimeUnit unit, BlockingQueue workQueue) {
this(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue,
Executors.defaultThreadFactory(), defaultHandler);
}
1. corePoolSize:指定了线程池中的线程数量。
2. maximumPoolSize:指定了线程池中的最大线程数量。
3. keepAliveTime:当前线程池数量超过 corePoolSize 时,多余的空闲线程的存活时间,即多
次时间内会被销毁。
4. unit:keepAliveTime 的单位。
5. workQueue:任务队列,被提交但尚未被执行的任务。
6. threadFactory:线程工厂,用于创建线程,一般用默认的即可。 7. handler:拒绝策略,当任务太多来不及处理,如何拒绝任务。
121623125152125125
a)
b) c)
d)
3. 4.
4.1.13.3.
拒绝策略
线程池中的线程已经用完了,无法继续为新任务服务,同时,等待队列也已经排满了,再也 塞不下新任务了。这时候我们就需要拒绝策略机制合理的处理这个问题。
JDK 内置的拒绝策略如下:
4.1.14. JAVA 阻塞队列原理 阻塞队列,关键字是阻塞,先理解阻塞的含义,在阻塞队列中,线程阻塞有这样的两种情况:
4.1.14.1. 阻塞队列的主要方法
抛出异常:抛出一个异常;
特殊值:返回一个特殊值(null 或 false,视情况而定) 则塞:在成功操作之前,一直阻塞线程
超时:放弃前只在最大的时间内阻塞
插入操作:
1:public abstract boolean add(E paramE):将指定元素插入此队列中(如果立即可行 且不会违反容量限制),成功时返回 true,如果当前没有可用的空间,则抛
出 IllegalStateException。如果该元素是 NULL,则会抛出 NullPointerException 异常。
2:public abstract boolean offer(E paramE):将指定元素插入此队列中(如果立即可行 且不会违反容量限制),成功时返回 true,如果当前没有可用的空间,则返回 false。
3:public abstract void put(E paramE) throws InterruptedException: 将指定元素插 入此队列中,将等待可用的空间(如果有必要)
public void put(E paramE) throws InterruptedException {
checkNotNull(paramE);
ReentrantLock localReentrantLock = this.lock;
localReentrantLock.lockInterruptibly();
try {
while (this.count == this.items.length)
this.notFull.await();//如果队列满了,则线程阻塞等待
enqueue(paramE);
121623125152125125
}
获取数据操作:
}
4:offer(E o, long timeout, TimeUnit unit):可以设定等待的时间,如果在指定的时间 内,还不能往队列中加入 BlockingQueue,则返回失败。
1:poll(time):取走 BlockingQueue 里排在首位的对象,若不能立即取出,则可以等 time 参数 规定的时间,取不到时返回 null;
2:poll(long timeout, TimeUnit unit):从 BlockingQueue 取出一个队首的对象,如果在 指定时间内,队列一旦有数据可取,则立即返回队列中的数据。否则直到时间超时还没有数 据可取,返回失败。
3:take():取走 BlockingQueue 里排在首位的对象,若 BlockingQueue 为空,阻断进入等待状 态直到 BlockingQueue 有新的数据被加入。
4.drainTo():一次性从 BlockingQueue 获取所有可用的数据对象(还可以指定获取数据的个 数),通过该方法,可以提升获取数据效率;不需要多次分批加锁或释放锁。
localReentrantLock.unlock();
} finally {
localReentrantLock.unlock();
4.1.14.2.
Java 中的阻塞队列
ArrayBlockingQueue :由数组结构组成的有界阻塞队列。
LinkedBlockingQueue :由链表结构组成的有界阻塞队列。
PriorityBlockingQueue :支持优先级排序的无界阻塞队列。
DelayQueue:使用优先级队列实现的无界阻塞队列。
SynchronousQueue:不存储元素的阻塞队列。
LinkedTransferQueue:由链表结构组成的无界阻塞队列。
LinkedBlockingDeque:由链表结构组成的双向阻塞队列
121623125152125125
4.1.14.3. ArrayBlockingQueue(公平、非公平)
ArrayBlockingQueue fairQueue = new ArrayBlockingQueue(1000,true);
4.1.14.4. LinkedBlockingQueue(两个独立锁提高并发)
LinkedBlockingQueue 会默认一个类似无限大小的容量(Integer.MAX_VALUE)。
用数组实现的有界阻塞队列。此队列按照先进先出(FIFO)的原则对元素进行排序。默认情况下
不保证访问者公平的访问队列,所谓公平访问队列是指阻塞的所有生产者线程或消费者线程,当
队列可用时,可以按照阻塞的先后顺序访问队列,即先阻塞的生产者线程,可以先往队列里插入
元素,先阻塞的消费者线程,可以先从队列里获取元素。通常情况下为了保证公平性会降低吞吐
量。我们可以使用以下代码创建一个公平的阻塞队列:
基于链表的阻塞队列,同 ArrayListBlockingQueue 类似,此队列按照先进先出(FIFO)的原则对
元素进行排序。而 LinkedBlockingQueue 之所以能够高效的处理并发数据,还因为其对于生产者
端和消费者端分别采用了独立的锁来控制数据同步,这也意味着在高并发的情况下生产者和消费
者可以并行地操作队列中的数据,以此来提高整个队列的并发性能。
4.1.14.5. PriorityBlockingQueue(compareTo 排序实现优先)
4.1.14.6. DelayQueue(缓存失效、定时任务 )
是一个支持优先级的无界队列。默认情况下元素采取自然顺序升序排列。可以自定义实现
compareTo()方法来指定元素进行排序规则,或者初始化 PriorityBlockingQueue 时,指定构造
参数 Comparator 来对元素进行排序。需要注意的是不能保证同优先级元素的顺序。
是一个支持延时获取元素的无界阻塞队列。队列使用 PriorityQueue 来实现。队列中的元素必须实
现 Delayed 接口,在创建元素时可以指定多久才能从队列中获取当前元素。只有在延迟期满时才
能从队列中提取元素。我们可以将 DelayQueue 运用在以下应用场景:
1.
缓存系统的设计:可以用 DelayQueue 保存缓存元素的有效期,使用一个线程循环查询
DelayQueue,一旦能从 DelayQueue 中获取元素时,表示缓存有效期到了。
121623125152125125
定时任务调度:使用 DelayQueue 保存当天将会执行的任务和执行时间,一旦从
DelayQueue 中获取到任务就开始执行,从比如 TimerQueue 就是使用 DelayQueue 实现的。
是一个由链表结构组成的无界阻塞 TransferQueue 队列。相对于其他阻塞队列,
LinkedTransferQueue 多了 tryTransfer 和 transfer 方法。
1.
2.
4.1.14.7. SynchronousQueue(不存储数据、可用于传递数据)
4.1.14.8. LinkedTransferQueue
是一个不存储元素的阻塞队列。每一个 put 操作必须等待一个 take 操作,否则不能继续添加元素。
SynchronousQueue 可以看成是一个传球手,负责把生产者线程处理的数据直接传递给消费者线
程。队列本身并不存储任何元素,非常适合于传递性场景,比如在一个线程中使用的数据,传递给
另外一个线程使用,SynchronousQueue 的吞吐量高于 LinkedBlockingQueue 和
ArrayBlockingQueue。
transfer 方法:如果当前有消费者正在等待接收元素(消费者使用 take()方法或带时间限制的
poll()方法时),transfer 方法可以把生产者传入的元素立刻 transfer(传输)给消费者。如
果没有消费者在等待接收元素,transfer 方法会将元素存放在队列的 tail 节点,并等到该元素
被消费者消费了才返回。
tryTransfer 方法。则是用来试探下生产者传入的元素是否能直接传给消费者。如果没有消费
者等待接收元素,则返回 false。和 transfer 方法的区别是 tryTransfer 方法无论消费者是否
接收,方法立即返回。而 transfer 方法是必须等到消费者消费了才返回。
对于带有时间限制的 tryTransfer(E e, long timeout, TimeUnit unit)方法,则是试图把生产者传
入的元素直接传给消费者,但是如果没有消费者消费该元素则等待指定的时间再返回,如果超时
还没消费元素,则返回 false,如果在超时时间内消费了元素,则返回 true。
4.1.14.9. LinkedBlockingDeque
是一个由链表结构组成的双向阻塞队列。所谓双向队列指的你可以从队列的两端插入和移出元素。
双端队列因为多了一个操作队列的入口,在多线程同时入队时,也就减少了一半的竞争。相比其
他的阻塞队列,LinkedBlockingDeque 多了 addFirst,addLast,offerFirst,offerLast,
peekFirst,peekLast 等方法,以 First 单词结尾的方法,表示插入,获取(peek)或移除双端队
列的第一个元素。以 Last 单词结尾的方法,表示插入,获取或移除双端队列的最后一个元素。另
外插入方法 add 等同于 addLast,移除方法 remove 等效于 removeFirst。但是 take 方法却等同
于 takeFirst,不知道是不是 Jdk 的 bug,使用时还是用带有 First 和 Last 后缀的方法更清楚。
在初始化 LinkedBlockingDeque 时可以设置容量防止其过渡膨胀。另外双向阻塞队列可以运用在
“工作窃取”模式中。
121623125152125125
4.1.15. CyclicBarrier、CountDownLatch、Semaphore 的用法 4.1.15.1. CountDownLatch(线程计数器 )
CountDownLatch 类位于 java.util.concurrent 包下,利用它可以实现类似计数器的功能。比如有
一个任务 A,它要等待其他 4 个任务执行完毕之后才能执行,此时就可以利用 CountDownLatch
来实现这种功能了。
final CountDownLatch latch = new CountDownLatch(2);
new Thread(){public void run() { System.out.println(“子线程”+Thread.currentThread().getName()+“正在执行”);
Thread.sleep(3000); System.out.println(“子线程”+Thread.currentThread().getName()+“执行完毕”); latch.countDown();
};}.start();
new Thread(){ public void run() {
System.out.println(“子线程”+Thread.currentThread().getName()+“正在执行”); Thread.sleep(3000); System.out.println(“子线程”+Thread.currentThread().getName()+“执行完毕”); latch.countDown();
};}.start();
System.out.println(“等待 2 个子线程执行完毕…”); latch.await();
System.out.println(“2 个子线程已经执行完毕”); System.out.println(“继续执行主线程”);
}
4.1.15.2. CyclicBarrier(回环栅栏-等待至 barrier 状态再全部同时执行)
CyclicBarrier 中最重要的方法就是 await 方法,它有 2 个重载版本:
字面意思回环栅栏,通过它可以实现让一组线程等待至某个状态之后再全部同时执行。叫做回环
是因为当所有等待线程都被释放以后,CyclicBarrier 可以被重用。我们暂且把这个状态就叫做
barrier,当调用 await()方法之后,线程就处于 barrier 了。
public int await(long timeout, TimeUnit unit):让这些线程等待至一定的时间,如果还有
线程没有到达 barrier 状态就直接让到达 barrier 的线程执行后续任务。
121623125152125125
具体使用如下,另外 CyclicBarrier 是可以重用的。
public static void main(String[] args) {
int N = 4;
CyclicBarrier barrier = new CyclicBarrier(N);
for(int i=0;i
}
}
new Writer(barrier).start();
static class Writer extends Thread{
private CyclicBarrier cyclicBarrier;
public Writer(CyclicBarrier cyclicBarrier) {
this.cyclicBarrier = cyclicBarrier;
@Override
public void run() {
try {
Thread.sleep(5000); //以睡眠来模拟线程需要预定写入数据操作
System.out.println(" 线 程 “+Thread.currentThread().getName()+” 写 入 数 据 完
毕,等待其他线程写入完毕");
cyclicBarrier.await();
} catch (InterruptedException e) {
e.printStackTrace();
}catch(BrokenBarrierException e){
e.printStackTrace();
}
System.out.println(“所有线程写入完毕,继续处理其他任务,比如数据操作”);
S
4.1.15.3. Semaphore(信号量-控制同时访问的线程个数)
emaphore 翻译成字面意思为 信号量,Semaphore 可以控制同时访问的线程个数,通过
acquire() 获取一个许可,如果没有就等待,而 release() 释放一个许可。
Semaphore 类中比较重要的几个方法:
上面 4 个方法都会被阻塞,如果想立即得到执行结果,可以使用下面几个方法
public void acquire(int permits):获取 permits 个许可
public void release() { } :释放许可。注意,在释放许可之前,必须先获获得许可。
public void release(int permits) { }:释放 permits 个许可
121623125152125125
public boolean tryAcquire():尝试获取一个许可,若获取成功,则立即返回 true,若获取失
败,则立即返回 false
public boolean tryAcquire(long timeout, TimeUnit unit):尝试获取一个许可,若在指定的
时间内获取成功,则立即返回 true,否则则立即返回 false
public boolean tryAcquire(int permits):尝试获取 permits 个许可,若获取成功,则立即返
回 true,若获取失败,则立即返回 false
public boolean tryAcquire(int permits, long timeout, TimeUnit unit): 尝试获取 permits
个许可,若在指定的时间内获取成功,则立即返回 true,否则则立即返回 false
还可以通过 availablePermits()方法得到可用的许可数目。
例子:若一个工厂有 5 台机器,但是有 8 个工人,一台机器同时只能被一个工人使用,只有使用完
了,其他工人才能继续使用。那么我们就可以通过 Semaphore 来实现:
int N = 8; //工人数
Semaphore semaphore = new Semaphore(5); //机器数目
for(int i=0;i
}
new Worker(i,semaphore).start();
static class Worker extends Thread{
private int num;
private Semaphore semaphore;
public Worker(int num,Semaphore semaphore){
this.num = num;
this.semaphore = semaphore;
@Override
public void run() {
try {
semaphore.acquire();
System.out.println(“工人”+this.num+“占用一个机器在生产…”);
Thread.sleep(2000);
System.out.println(“工人”+this.num+“释放出机器”);
semaphore.release();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
CountDownLatch 和 CyclicBarrier 都能够实现线程之间的等待,只不过它们侧重点不 同;CountDownLatch 一般用于某个线程 A 等待若干个其他线程执行完任务之后,它才
121623125152125125
执行;而 CyclicBarrier 一般用于一组线程互相等待至某个状态,然后这一组线程再同时
执行;另外,CountDownLatch 是不能够重用的,而 CyclicBarrier 是可以重用的。 Semaphore其实和锁有点类似,它一般用于控制对某组资源的访问权限。
4.1.16. volatile 关键字的作用(变量可见性、禁止重排序)
Java 语言提供了一种稍弱的同步机制,即 volatile 变量,用来确保将变量的更新操作通知到其他 线程。volatile 变量具备两种特性,volatile 变量不会被缓存在寄存器或者对其他处理器不可见的 地方,因此在读取 volatile 类型的变量时总会返回最新写入的值。
变量可见性
禁止重排序
volatile 禁止了指令重排。
比 sychronized 更轻量级的同步锁
其一是保证该变量对所有线程可见,这里的可见性指的是当一个线程修改了变量的值,那么新的 值对于其他线程是可以立即获取的。
在访问 volatile 变量时不会执行加锁操作,因此也就不会使执行线程阻塞,因此 volatile 变量是一 种比 sychronized 关键字更轻量级的同步机制。volatile 适合这种场景:一个变量被多个线程共 享,线程直接给这个变量赋值。
当对非 volatile 变量进行读写的时候,每个线程先从内存拷贝变量到 CPU 缓存中。如果计算机有 多个 CPU,每个线程可能在不同的 CPU 上被处理,这意味着每个线程可以拷贝到不同的 CPU
cache 中。而声明变量是 volatile 的,JVM 保证了每次读变量都从内存中读,跳过 CPU cache 这一步。
适用场景
值得说明的是对 volatile 变量的单次读/写操作可以保证原子性的,如 long 和 double 类型变量, 但是并不能保证 i++这种操作的原子性,因为本质上 i++是读、写两次操作。在某些场景下可以 代替 Synchronized。但是,volatile 的不能完全取代 Synchronized 的位置,只有在一些特殊的场
121623125152125125
景下,才能适用 volatile。总的来说,必须同时满足下面两个条件才能保证在并发环境的线程安 全:
(1)对变量的写操作不依赖于当前值(比如 i++),或者说是单纯的变量赋值(boolean flag = true)。
(2)该变量没有包含在具有其他变量的不变式中,也就是说,不同的 volatile 变量之间,不 能互相依赖。只有在状态真正独立于程序内其他内容时才能使用 volatile。
4.1.17. 如何在两个线程之间共享数据
将数据抽象成一个类,并将数据的操作作为这个类的方法
1.
Java 里面进行多线程通信的主要方式就是共享内存的方式,共享内存主要的关注点有两个:可见
性和有序性原子性。Java 内存模型(JMM)解决了可见性和有序性的问题,而锁解决了原子性的
问题,理想情况下我们希望做到“同步”和“互斥”。有以下常规实现方法:
将数据抽象成一个类,并将对这个数据的操作作为这个类的方法,这么设计可以和容易做到
同步,只要在方法上加”synchronized“
public class MyData { private int j=0;
public synchronized void add(){
}
public synchronized void dec(){
}
} }
public class AddRunnable implements Runnable{
j++;
System.out.println(“线程”+Thread.currentThread().getName()+“j 为:”+j);
j–;
System.out.println(“线程”+Thread.currentThread().getName()+“j 为:”+j);
public int getData(){
return j;
MyData data;
public AddRunnable(MyData data){
}
this.data= data;
121623125152125125
public void run() {
data.add();
} }
public class DecRunnable implements Runnable {
}
} }
public static void main(String[] args) {
}
MyData data;
public DecRunnable(MyData data){
this.data = data;
public void run() {
data.dec();
MyData data = new MyData();
Runnable add = new AddRunnable(data);
Runnable dec = new DecRunnable(data);
for(int i=0;i<2;i++){
new Thread(add).start();
new Thread(dec).start();
Runnable 对象作为一个类的内部类 2.
将 Runnable 对象作为一个类的内部类,共享数据作为这个类的成员变量,每个线程对共享数
据的操作方法也封装在外部类,以便实现对数据的各个操作的同步和互斥,作为内部类的各
个 Runnable 对象调用外部类的这些方法。
public class MyData {
}
}
private int j=0;
public synchronized void add(){
j++;
System.out.println(“线程”+Thread.currentThread().getName()+“j 为:”+j);
public synchronized void dec(){
j–;
System.out.println(“线程”+Thread.currentThread().getName()+“j 为:”+j);
public int getData(){
return j;
121623125152125125
} }
public class TestThread {
public static void main(String[] args) {
final MyData data = new MyData();
for(int i=0;i<2;i++){
new Thread(new Runnable(){
public void run() {
data.add();
}
}).start();
new Thread(new Runnable(){
public void run() {
data.dec();
}
}).start();
}
} }
4.1.18. ThreadLocal 作用(线程本地存储)
ThreadLocalMap(线程的一个属性) 1.
2. 3.
ThreadLocal,很多地方叫做线程本地变量,也有些地方叫做线程本地存储,ThreadLocal 的作用
是提供线程内的局部变量,这种变量在线程的生命周期内起作用,减少同一个线程内多个函数或
者组件之间一些公共变量的传递的复杂度。
每个线程中都有一个自己的 ThreadLocalMap 类对象,可以将线程自己的对象保持到其中,
各管各的,线程可以正确的访问到自己的对象。
将一个共用的 ThreadLocal 静态实例作为 key,将不同对象的引用保存到不同线程的
ThreadLocalMap 中,然后在线程执行的各处通过这个静态 ThreadLocal 实例的 get()方法取
得自己线程保存的那个对象,避免了将这个对象作为参数传递的麻烦。
ThreadLocalMap 其实就是线程里面的一个属性,它在 Thread 类中定义
ThreadLocal.ThreadLocalMap threadLocals = null;
121623125152125125
使用场景
最常见的 ThreadLocal 使用场景为 用来解决 数据库连接、Session 管理等。
private static final ThreadLocal threadSession = new ThreadLocal();
public static Session getSession() throws InfrastructureException {
Session s = (Session) threadSession.get();
try {
if (s == null) {
s = getSessionFactory().openSession();
}
}
return s;
}
threadSession.set(s);
} catch (HibernateException ex) {
throw new InfrastructureException(ex);
4.1.19. synchronized 和 ReentrantLock 的区别 4.1.19.1. 两者的共同点:
都是用来协调多线程对共享对象、变量的访问
都是可重入锁,同一线程可以多次获得同一个锁
都保证了可见性和互斥性
121623125152125125
4.1.19.2. 两者的不同点:
ReentrantLock 显示的获得、释放锁,synchronized 隐式获得释放锁
ReentrantLock 可响应中断、可轮回,synchronized 是不可以响应中断的,为处理锁的
不可用性提供了更高的灵活性
ReentrantLock 是 API 级别的,synchronized 是 JVM 级别的
ReentrantLock 可以实现公平锁
ReentrantLock 通过 Condition 可以绑定多个条件
底层实现不一样, synchronized 是同步阻塞,使用的是悲观并发策略,lock 是同步非阻
塞,采用的是乐观并发策略
Lock 是一个接口,而 synchronized 是 Java 中的关键字,synchronized 是内置的语言
实现。
synchronized 在发生异常时,会自动释放线程占有的锁,因此不会导致死锁现象发生;
而 Lock 在发生异常时,如果没有主动通过 unLock()去释放锁,则很可能造成死锁现象,
因此使用 Lock 时需要在 finally 块中释放锁。
Lock 可以让等待锁的线程响应中断,而 synchronized 却不行,使用 synchronized 时,
等待的线程会一直等待下去,不能够响应中断。
通过 Lock 可以知道有没有成功获取锁,而 synchronized 却无法办到。
Lock 可以提高多个线程进行读操作的效率,既就是实现读写锁等。
4.1.20. ConcurrentHashMap 并发 4.1.20.1. 减小锁粒度
减小锁粒度是指缩小锁定对象的范围,从而减小锁冲突的可能性,从而提高系统的并发能力。减
小锁粒度是一种削弱多线程锁竞争的有效手段,这种技术典型的应用是 ConcurrentHashMap(高
性能的 HashMap)类的实现。对于 HashMap 而言,最重要的两个方法是 get 与 set 方法,如果我
们对整个 HashMap 加锁,可以得到线程安全的对象,但是加锁粒度太大。Segment 的大小也被
称为 ConcurrentHashMap 的并发度。
4.1.20.2. ConcurrentHashMap 分段锁
ConcurrentHashMap,它内部细分了若干个小的 HashMap,称之为段(Segment)。默认情况下
一个 ConcurrentHashMap 被进一步细分为 16 个段,既就是锁的并发度。
如果需要在 ConcurrentHashMap 中添加一个新的表项,并不是将整个 HashMap 加锁,而是首
先根据 hashcode 得到该表项应该存放在哪个段中,然后对该段加锁,并完成 put 操作。在多线程
环境中,如果多个线程同时进行 put 操作,只要被加入的表项不存放在同一个段中,则线程间可以
做到真正的并行。
121623125152125125
ConcurrentHashMap 是由 Segment 数组结构和 HashEntry 数组结构组成
ConcurrentHashMap 是由 Segment 数组结构和 HashEntry 数组结构组成。Segment 是一种可
重入锁 ReentrantLock,在 ConcurrentHashMap 里扮演锁的角色,HashEntry 则用于存储键值
对数据。一个 ConcurrentHashMap 里包含一个 Segment 数组,Segment 的结构和 HashMap
类似,是一种数组和链表结构, 一个 Segment 里包含一个 HashEntry 数组,每个 HashEntry 是
一个链表结构的元素, 每个 Segment 守护一个 HashEntry 数组里的元素,当对 HashEntry 数组的
数据进行修改时,必须首先获得它对应的 Segment 锁。
4.1.21. Java 中用到的线程调度 4.1.21.1. 抢占式调度:
4.1.21.2. 协同式调度:
抢占式调度指的是每条线程执行的时间、线程的切换都由系统控制,系统控制指的是在系统某种
运行机制下,可能每条线程都分同样的执行时间片,也可能是某些线程执行的时间片较长,甚至
某些线程得不到执行的时间片。在这种机制下,一个线程的堵塞不会导致整个进程堵塞。
协同式调度指某一线程执行完后主动通知系统切换到另一线程上执行,这种模式就像接力赛一样,
一个人跑完自己的路程就把接力棒交接给下一个人,下个人继续往下跑。线程的执行时间由线程
本身控制,线程切换可以预知,不存在多线程同步问题,但它有一个致命弱点:如果一个线程编
写有问题,运行到一半就一直堵塞,那么可能导致整个系统崩溃。
121623125152125125
java 使用的线程调使用抢占式调度,Java 中线程会按优先级分配 CPU 时间片运行,且优先级越高
越优先执行,但优先级高并不代表能独自占用执行时间片,可能是优先级高得到越多的执行时间
片,反之,优先级低的分到的执行时间少但不会分配不到执行时间。
当前运行线程主动放弃 CPU,JVM 暂时放弃 CPU 操作(基于时间片轮转调度的 JVM 操作系
统不会让线程永久放弃 CPU,或者说放弃本次时间片的执行权),例如调用 yield()方法。
当前运行线程因为某些原因进入阻塞状态,例如阻塞在 I/O 上。
当前运行线程结束,即运行完 run()方法里面的任务。
1.
2. 3.
4.1.21.3. JVM 的线程调度实现(抢占式调度)
4.1.21.4. 线程让出 cpu 的情况:
4.1.22. 进程调度算法
4.1.22.1. 优先调度算法 1. 先来先服务调度算法(FCFS)
当在作业调度中采用该算法时,每次调度都是从后备作业队列中选择一个或多个最先进入该队
列的作业,将它们调入内存,为它们分配资源、创建进程,然后放入就绪队列。在进程调度中采
用 FCFS 算法时,则每次调度是从就绪队列中选择一个最先进入该队列的进程,为之分配处理机,
121623125152125125
使之投入运行。该进程一直运行到完成或发生某事件而阻塞后才放弃处理机,特点是:算法比较
简单,可以实现基本上的公平。
2. 短作业(进程)优先调度算法
4.1.22.2. 高优先权优先调度算法
(3) 对于长作业,作业的优先级可以随等待时间的增加而提高,当其等待时间足够长时,其
优先级便可升到很高,从而也可获得处理机。简言之,该算法既照顾了短作业,又考虑了作业到
达的先后次序,不会使长作业长期得不到服务。因此,该算法实现了一种较好的折衷。当然,在
利用该算法时,每要进行调度之前,都须先做响应比的计算,这会增加系统开销。
4.1.22.3. 基于时间片的轮转调度算法
于 E 值时,才会将 V 的值设为 N,如果 V 值和 E 值不同,则说明已经有其他线程做了更新,则当 前线程什么都不做。最后,CAS 返回当前 V 的真实值。
CAS 操作是抱着乐观的态度进行的(乐观锁),它总是认为自己可以成功完成操作。当多个线程同时 使用 CAS 操作一个变量时,只有一个会胜出,并成功更新,其余均会失败。失败的线程不会被挂 起,仅是被告知失败,并且允许再次尝试,当然也允许失败的线程放弃操作。基于这样的原理, CAS 操作即使没有锁,也可以发现其他线程对当前线程的干扰,并进行恰当的处理。
4.1.23.2.
原子包 java.util.concurrent.atomic(锁自旋)
JDK1.5 的原子包:java.util.concurrent.atomic 这个包里面提供了一组原子类。其基本的特性就 是在多线程环境下,当有多个线程同时执行这些类的实例包含的方法时,具有排他性,即当某个 线程进入方法,执行其中的指令时,不会被其他线程打断,而别的线程就像自旋锁一样,一直等
到该方法执行完成,才由 JVM 从等待队列中选择一个另一个线程进入,这只是一种逻辑上的理解。
相对于对于 synchronized 这种阻塞算法,CAS 是非阻塞算法的一种常见实现。由于一般 CPU 切
换时间比 CPU 指令集操作更加长, 所以 J.U.C 在性能上有了很大的提升。如下代码:
public class AtomicInteger extends Number implements java.io.Serializable { private volatile int value;
public final int get() { return value;
}
public final int getAndIncrement() {
for (; { //CAS 自旋,一直尝试,直达成功 int current = get();
int next = current + 1;
if (compareAndSet(current, next))
return current;
}
}
public final boolean compareAndSet(int expect, int update) {
return unsafe.compareAndSwapInt(this, valueOffset, expect, update);
} }
121623125152125125
getAndIncrement 采用了 CAS 操作,每次从内存中读取数据然后将此数据和+1 后的结果进行
CAS 操作,如果成功就返回结果,否则重试直到成功为止。而 compareAndSet 利用 JNI 来完成
CPU 指令的操作。
4.1.23.3. ABA 问题
CAS 会导致“ABA 问题”。CAS 算法实现一个重要前提需要取出内存中某时刻的数据,而在下时
刻比较并替换,那么在这个时间差类会导致数据的变化。
比如说一个线程 one 从内存位置 V 中取出 A,这时候另一个线程 two 也从内存中取出 A,并且
two 进行了一些操作变成了 B,然后 two 又将 V 位置的数据变成 A,这时候线程 one 进行 CAS 操
作发现内存中仍然是 A,然后 one 操作成功。尽管线程 one 的 CAS 操作成功,但是不代表这个过
程就是没有问题的。
部分乐观锁的实现是通过版本号(version)的方式来解决 ABA 问题,乐观锁每次在执行数据的修
改操作时,都会带上一个版本号,一旦版本号和数据的版本号一致就可以执行修改操作并对版本
号执行+1 操作,否则就执行失败。因为每次操作的版本号都会随之增加,所以不会出现 ABA 问
题,因为版本号只会增加不会减少。
4.1.24. 什么是 AQS(抽象的队列同步器)
AbstractQueuedSynchronizer 类如其名,抽象的队列式的同步器,AQS 定义了一套多线程访问
共享资源的同步器框架,许多同步类实现都依赖于它,如常用的
ReentrantLock/Semaphore/CountDownLatch。
121623125152125125
它维护了一个 volatile int state(代表共享资源)和一个 FIFO 线程等待队列(多线程争用资源被
阻塞时会进入此队列)。这里 volatile 是核心关键词,具体 volatile 的语义,在此不述。state 的
访问方式有三种:
getState()
setState() compareAndSetState()
AQS 定义两种资源共享方式
Exclusive 独占资源-ReentrantLock Exclusive(独占,只有一个线程能执行,如 ReentrantLock)
Share 共享资源-Semaphore/CountDownLatch Share(共享,多个线程可同时执行,如 Semaphore/CountDownLatch)。
AQS 只是一个框架,具体资源的获取/释放方式交由自定义同步器去实现,AQS 这里只定义了一个
接口,具体资源的获取交由自定义同步器去实现了(通过 state 的 get/set/CAS)之所以没有定义成
abstract,是因为独占模式下只用实现 tryAcquire-tryRelease,而共享模式下只用实现
tryAcquireShared-tryReleaseShared。如果都定义成 abstract,那么每个模式也要去实现另一模
式下的接口。不同的自定义同步器争用共享资源的方式也不同。自定义同步器在实现时只需要实
现共享资源 state 的获取与释放方式即可,至于具体线程等待队列的维护(如获取资源失败入队/
唤醒出队等),AQS 已经在顶层实现好了。自定义同步器实现时主要实现以下几种方法:
isHeldExclusively():该线程是否正在独占资源。只有用到 condition 才需要去实现它。
tryAcquire(int):独占方式。尝试获取资源,成功则返回 true,失败则返回 false。
tryRelease(int):独占方式。尝试释放资源,成功则返回 true,失败则返回 false。
tryAcquireShared(int):共享方式。尝试获取资源。负数表示失败;0 表示成功,但没有剩余
可用资源;正数表示成功,且有剩余资源。
tryReleaseShared(int):共享方式。尝试释放资源,如果释放后允许唤醒后续等待结点返回
true,否则返回 false。
121623125152125125
同步器的实现是 ABS 核心(state 资源状态计数)
同步器的实现是 ABS 核心,以 ReentrantLock 为例,state 初始化为 0,表示未锁定状态。A 线程
lock()时,会调用 tryAcquire()独占该锁并将 state+1。此后,其他线程再 tryAcquire()时就会失
败,直到 A 线程 unlock()到 state=0(即释放锁)为止,其它线程才有机会获取该锁。当然,释放
锁之前,A 线程自己是可以重复获取此锁的(state 会累加),这就是可重入的概念。但要注意,
获取多少次就要释放多么次,这样才能保证 state 是能回到零态的。
以 CountDownLatch 以例,任务分为 N 个子线程去执行,state 也初始化为 N(注意 N 要与
线程个数一致)。这 N 个子线程是并行执行的,每个子线程执行完后 countDown()一次,state
会 CAS 减 1。等到所有子线程都执行完后(即 state=0),会 unpark()主调用线程,然后主调用线程
就会从 await()函数返回,继续后余动作。
ReentrantReadWriteLock 实现独占和共享两种方式
一般来说,自定义同步器要么是独占方法,要么是共享方式,他们也只需实现 tryAcquire-
tryRelease、tryAcquireShared-tryReleaseShared 中的一种即可。但 AQS 也支持自定义同步器
同时实现独占和共享两种方式,如 ReentrantReadWriteLock。
121623125152125125
Exception(RuntimeException、CheckedException) 2.
Error 类是指 java 运行时系统的内部错误和资源耗尽错误。应用程序不会抛出该类对象。如果
出现了这样的错误,除了告知用户,剩下的就是尽力使程序安全的终止。
Exception 又有两个分支,一个是运行时异常 RuntimeException,一个是
CheckedException。
RuntimeException 如 : NullPointerException 、 ClassCastException ; 一 个 是 检 查 异 常
CheckedException,如 I/O 错误导致的 IOException、SQLException。 RuntimeException 是
那些可能在 Java 虚拟机正常运行期间抛出的异常的超类。 如果出现 RuntimeException,那么一
定是程序员的错误.
121623125152125125
检查异常 CheckedException:一般是外部错误,这种异常都发生在编译阶段,Java 编译器会强
制程序去捕获此类异常,即会出现要求你把这段可能出现异常的程序进行 try catch,该类异常一
般包括几个方面:
试图在文件尾部读取数据
试图打开一个错误格式的 URL
试图根据给定的字符串查找 class 对象,而这个字符串表示的类并不存在
5.1.1.3. 异常的处理方式
遇到问题不进行具体处理,而是继续抛给调用者 (throw,throws)
抛出异常有三种形式,一是 throw,一个 throws,还有一种系统自动抛异常。
public static void main(String[] args) { String s = “abc”;
if(s.equals(“abc”)) {
throw new NumberFormatException();
} else { System.out.println(s);
} }
int div(int a,int b) throws Exception{
return a/b;}
try catch 捕获异常针对性处理方式
5.1.1.4.
Throw 和 throws 的区别:
位置不同
1.
功能不同:
2.
3.
throws 用在函数上,后面跟的是异常类,可以跟多个;而 throw 用在函数内,后面跟的
是异常对象。
throws 用来声明异常,让调用者只知道该功能可能出现的问题,可以给出预先的处理方
式;throw 抛出具体的问题对象,执行到 throw,功能就已经结束了,跳转到调用者,并
将具体的问题对象抛给调用者。也就是说 throw 语句独立存在时,下面不要定义其他语
句,因为执行不到。
throws 表示出现异常的一种可能性,并不一定会发生这些异常;throw 则是抛出了异常,
执行 throw 则一定抛出了某种异常对象。
121623125152125125
两者都是消极处理异常的方式,只是抛出或者可能抛出异常,但是不会由函数去处理异
常,真正的处理异常由函数的上层调用处理。
5.1.2. JAVA反射
在 Java 中的反射机制是指在运行状态中,对于任意一个类都能够知道这个类所有的属性和方法;
并且对于任意一个对象,都能够调用它的任意一个方法;这种动态获取信息以及动态调用对象方
法的功能成为 Java 语言的反射机制。
5.1.2.3.
编译时类型和运行时类型
反射的应用场合
5.1.2.1.
5.1.2.2.
动态语言
反射机制概念 (运行状态中知道类所有的属性和方法)
动态语言,是指程序在运行时可以改变其结构:新的函数可以引进,已有的函数可以被删除等结
构上的变化。比如常见的 JavaScript 就是动态语言,除此之外 Ruby,Python 等也属于动态语言,
而 C、C++则不属于动态语言。从反射角度说 JAVA 属于半动态语言。
在 Java 程序中许多对象在运行是都会出现两种类型:编译时类型和运行时类型。 编译时的类型由
声明对象时实用的类型来决定,运行时的类型由实际赋值给对象的类型决定 。如:
Person p=new Student(); 其中编译时类型为 Person,运行时类型为 Student。
121623125152125125
的编译时类型无法获取具体方法
程序在运行时还可能接收到外部传入的对象,该对象的编译时类型为 Object,但是程序有需要调用
该对象的运行时类型的方法。为了解决这些问题,程序需要在运行时发现对象和类的真实信息。
然而,如果编译时根本无法预知该对象和类属于哪些类,程序只能依靠运行时信息来发现该对象
和类的真实信息,此时就必须使用到反射了。
5.1.2.4. Java 反射 API
反射 API 用来生成 JVM 中的类、接口或则对象的信息。
值。 3.
4.
Class 类:反射的核心类,可以获取类的属性,方法等信息。
Field 类:Java.lang.reflec 包中的类,表示类的成员变量,可以用来获取和设置类之中的属性
Method 类: Java.lang.reflec 包中的类,表示类的方法,它可以用来获取类中的方法信息或
者执行方法。
Constructor 类: Java.lang.reflec 包中的类,表示类的构造方法。
5.1.2.5.
反射使用步骤(获取 Class 对象、调用对象方法)
5.1.2.6. 获取 Class 对象的 3 种方法 调用某个对象的 getClass()方法
Person p=new Person();
Class clazz=p.getClass();
调用某个类的 class 属性来获取该类对应的 Class 对象 Class clazz=Person.class;
使用 Class 类中的 forName()静态方法(最安全/性能最好)
Class clazz=Class.forName(“类的全路径”); (最常用)
调用 Class 类中的方法,既就是反射的使用阶段。
使用反射 API 来操作这些信息。
当我们获得了想要操作的类的 Class 对象后,可以通过 Class 类中的方法获取并查看该类中的方法
和属性。
//获取 Person 类的 Class 对象
Class clazz=Class.forName(“reflection.Person”);
121623125152125125
//获取 Person 类的所有方法信息
Method[] method=clazz.getDeclaredMethods(); for(Method m:method){
System.out.println(m.toString()); }
//获取 Person 类的所有成员属性信息
Field[] field=clazz.getDeclaredFields(); for(Field f:field){
System.out.println(f.toString()); }
//获取 Person 类的所有构造方法信息
Constructor[] constructor=clazz.getDeclaredConstructors(); for(Constructor c:constructor){
System.out.println(c.toString());
}
5.1.2.7. 创建对象的两种方法 Class 对象的 newInstance()
1.
调用 Constructor 对象的 newInstance() 2.
使用 Class 对象的 newInstance()方法来创建该 Class 对象对应类的实例,但是这种方法要求
该 Class 对象对应的类有默认的空构造器。
先使用 Class 对象获取指定的 Constructor 对象,再调用 Constructor 对象的 newInstance()
方法来创建 Class 对象对应类的实例,通过这种方法可以选定构造方法创建实例。
//获取 Person 类的 Class 对象
Class clazz=Class.forName(“reflection.Person”); //使用.newInstane 方法创建对象
Person p=(Person) clazz.newInstance();
//获取构造方法并创建对象
Constructor c=clazz.getDeclaredConstructor(String.class,String.class,int.class);
//创建对象并设置属性
121623125152125125
A
5.1.3. JAVA注解 5.1.3.1. 概念
5.1.3.2. 4 种标准元注解
Person p1=(Person) c.newInstance(“李四”,“男”,20);
nnotation(注解)是 Java 提供的一种对元程序中元素关联信息和元数据(metadata)的途径
和方法。Annatation(注解)是一个接口,程序可以通过反射来获取指定程序中元素的 Annotation
对象,然后通过该 Annotation 对象来获取注解中的元数据信息。
元注解的作用是负责注解其他注解。 Java5.0 定义了 4 个标准的 meta-annotation 类型,它们被
用来提供对其它 annotation 类型作说明。
@Target 修饰的对象范围
@Retention 定义 被保留的时间长短
@Documented 描述-javadoc
@Inherited 阐述了某个被标注的类型是被继承的
@Target 说明了 Annotation 所修饰的对象范围: Annotation 可被用于 packages、types(类、
接口、枚举、Annotation 类型)、类型成员(方法、构造方法、成员变量、枚举值)、方法参数
和本地变量(如循环变量、catch 参数)。在 Annotation 类型的声明中使用了 target 可更加明晰
其修饰的目标
Retention 定义了该 Annotation 被保留的时间长短:表示需要在什么级别保存注解信息,用于描
述注解的生命周期(即:被描述的注解在什么范围内有效),取值(RetentionPoicy)由:
SOURCE:在源文件中有效(即源文件保留)
CLASS:在 class 文件中有效(即 class 保留)
RUNTIME:在运行时有效(即运行时保留)
@ Documented 用于描述其它类型的 annotation 应该被作为被标注的程序成员的公共 API,因
此可以被例如 javadoc 此类的工具文档化。
@Inherited 元注解是一个标记注解,@Inherited 阐述了某个被标注的类型是被继承的。如果一
个使用了@Inherited 修饰的 annotation 类型被用于一个 class,则这个 annotation 将被用于该
class 的子类。
121623125152125125
5.1.3.3. 注解处理器
如果没有用来读取注解的方法和工作,那么注解也就不会比注释更有用处了。使用注解的过程中,
很重要的一部分就是创建于使用注解处理器。Java SE5 扩展了反射机制的 API,以帮助程序员快速
的构造自定义注解处理器。下面实现一个注解处理器。
/1:*** 定义注解*/ @Target(ElementType.FIELD) @Retention(RetentionPolicy.RUNTIME) @Documented
public @interface FruitProvider {
/供应商编号/
public int id() default -1; /** 供应商名称*/
public String name() default “”;
121623125152125125
/** * 供应商地址*/
public String address() default “”;
}
//2:注解使用
public class Apple {
@FruitProvider(id = 1, name = “陕西红富士集团”, address = “陕西省西安市延安路”)
private String appleProvider;
public void setAppleProvider(String appleProvider) {
this.appleProvider = appleProvider;
}
public String getAppleProvider() { return appleProvider;
} }
/3:*********** 注解处理器 ***************/
public class FruitInfoUtil {
public static void getFruitInfo(Class> clazz) {
String strFruitProvicer = “供应商信息:”;
Field[] fields = clazz.getDeclaredFields();//通过反射获取处理注解
for (Field field : fields) {
if (field.isAnnotationPresent(FruitProvider.class)) {
FruitProvider fruitProvider = (FruitProvider) field.getAnnotation(FruitProvider.class); //注解信息的处理地方
strFruitProvicer = " 供应商编号:" + fruitProvider.id() + " 供应商名称:"
fruitProvider.name() + " 供应商地址:"+ fruitProvider.address();
System.out.println(strFruitProvicer); }
} }
}
121623125152125125
public class FruitRun {
public static void main(String[] args) {
FruitInfoUtil.getFruitInfo(Apple.class); /输出结果****/
// 供应商编号:1 供应商名称:陕西红富士集团 供应商地址:陕西省西安市延
} }
5.1.4. JAVA内部类
5.1.4.1. 静态内部类
Java 类中不仅可以定义变量和方法,还可以定义类,这样定义在类内部的类就被称为内部类。根
据定义的方式不同,内部类分为静态内部类,成员内部类,局部内部类,匿名内部类四种。
定义在类内部的静态类,就是静态内部类。
public class Out {
private static int a; private int b;
public static class Inner {
public void print() { System.out.println(a);
} }
}
静态内部类可以访问外部类所有的静态变量和方法,即使是 private 的也一样。
静态内部类和一般类一致,可以定义静态变量、方法,构造方法等。
其它类使用静态内部类需要使用“外部类.静态内部类”方式,如下所示:Out.Inner inner =
new Out.Inner();inner.print();
Java 集合类 HashMap 内部就有一个静态内部类 Entry。Entry 是 HashMap 存放元素的抽象,
HashMap 内部维护 Entry 数组用了存放元素,但是 Entry 对使用者是透明的。像这种和外部
类关系密切的,且不依赖外部类实例的,都可以使用静态内部类。
121623125152125125
5.1.4.2. 成员内部类
定义在类内部的非静态类,就是成员内部类。成员内部类不能定义静态方法和变量(final 修饰的
除外)。这是因为成员内部类是非静态的,类初始化的时候先初始化静态成员,如果允许成员内
部类定义静态变量,那么成员内部类的静态变量初始化顺序是有歧义的。
public class Out { private static int a; private int b; public class Inner {
public void print() { System.out.println(a); System.out.println(b);
} }
}
5.1.4.3. 局部内部类(定义在方法中的类)
定义在方法中的类,就是局部类。如果一个类只在某个方法中使用,则可以考虑使用局部类。
public class Out {
private static int a;
private int b;
public void test(final int c) {
final int d = 1; class Inner {
public void print() { System.out.println©;
}
} }
}
121623125152125125
用。
5.1.4.4. 匿名内部类(要继承一个父类或者实现一个接口、直接使用 new 来生成一个对象的引用)
匿名内部类我们必须要继承一个父类或者实现一个接口,当然也仅能只继承一个父类或者实现一
个接口。同时它也是没有 class 关键字,这是因为匿名内部类是直接使用 new 来生成一个对象的引
public abstract class Bird { private String name;
public String getName() { return name;
}
public void setName(String name) { this.name = name;
}
public abstract int fly();
}
public class Test {
public void test(Bird bird){
System.out.println(bird.getName() + "能够飞 " + bird.fly() + “米”);
}
public static void main(String[] args) { Test test = new Test();
test.test(new Bird() {
public int fly() { return 10000;
}
public String getName() {
return “大雁”; }
});
} }
121623125152125125
5.1.5. JAVA泛型
5.1.5.1. 泛型方法()
泛型提供了编译时类型安全检测机制,该机制允许程序员在编译时检测到非法的类型。泛型的本
质是参数化类型,也就是说所操作的数据类型被指定为一个参数。比如我们要写一个排序方法,
能够对整型数组、字符串数组甚至其他任何类型的数组进行排序,我们就可以使用 Java 泛型。
你可以写一个泛型方法,该方法在调用时可以接收不同类型的参数。根据传递给泛型方法的参数
类型,编译器适当地处理每一个方法调用。
// 泛型方法 printArray
public static < E > void printArray( E[] inputArray ) {
for ( E element : inputArray ){ System.out.printf( "%s ", element );
}
}
1. 2.
List,List 等所有 List<具体类型实参>的父类。
5.1.5.4. 类型擦除
Java 中的泛型基本上都是在编译器这个层次来实现的。在生成的 Java 字节代码中是不包含泛
型中的类型信息的。使用泛型的时候加上的类型参数,会被编译器在编译的时候去掉。这个
过程就称为类型擦除。如在代码中定义的 List和 List等类型,在编译之后
都会变成 List。JVM 看到的只是 List,而由泛型附加的类型信息对 JVM 来说是不可见的。
类型擦除的基本过程也比较简单,首先是找到用来替换类型参数的具体类。这个具体类一般
是 Object。如果指定了类型参数的上界的话,则使用这个上界。把代码中的类型参数都替换
成具体的类。
5.1.6. JAVA序列化(创建可复用的Java对象) 保存(持久化)对象及其状态到内存或者磁盘
序列化对象以字节数组保持-静态成员不保存
序列化用户远程对象传输
Serializable 实现序列化
在 Java 中,只要一个类实现了 java.io.Serializable 接口,那么它就可以被序列化。
ObjectOutputStream 和 ObjectInputStream 对对象进行序列化及反序列化
通过 ObjectOutputStream 和 ObjectInputStream 对对象进行序列化及反序列化。
writeObject 和 readObject 自定义序列化策略
在类中增加 writeObject 和 readObject 方法可以实现自定义序列化策略。
序列化 ID
Java 平台允许我们在内存中创建可复用的 Java 对象,但一般情况下,只有当 JVM 处于运行时,
这些对象才可能存在,即,这些对象的生命周期不会比 JVM 的生命周期更长。但在现实应用中,
就可能要求在 JVM 停止运行之后能够保存(持久化)指定的对象,并在将来重新读取被保存的对象。
Java 对象序列化就能够帮助我们实现该功能。
使用 Java 对象序列化,在保存对象时,会把其状态保存为一组字节,在未来,再将这些字节组装
成对象。必须注意地是,对象序列化保存的是对象的”状态”,即它的成员变量。由此可知,对
象序列化不会关注类中的静态变量。
除了在持久化对象时会用到对象序列化之外,当使用 RMI(远程方法调用),或在网络中传递对象时,
都会用到对象序列化。Java 序列化 API 为处理对象序列化提供了一个标准机制,该 API 简单易用。
虚拟机是否允许反序列化,不仅取决于类路径和功能代码是否一致,一个非常重要的一点是两个
类的序列化 ID 是否一致(就是 private static final long serialVersionUID)
121623125152125125
序列化并不保存静态变量
序列化子父类说明
要想将父类对象也序列化,就需要让父类也实现 Serializable 接口。
Transient 关键字阻止该变量被序列化到文件中 1.
2.
5.1.7. JAVA复制 将一个对象的引用复制给另外一个对象,一共有三种方式。第一种方式是直接赋值,第二种方式
是浅拷贝,第三种是深拷贝。所以大家知道了哈,这三种概念实际上都是为了拷贝对象。
5.1.7.1. 直接赋值复制
5.1.7.2. 浅复制(复制引用但不复制引用的对象)
在变量声明前加上Transient 关键字,可以阻止该变量被序列化到文件中,在被反序列
化后,transient 变量的值被设为初始值,如 int 型的是 0,对象型的是 null。
服务器端给客户端发送序列化对象数据,对象中有一些数据是敏感的,比如密码字符串
等,希望对该密码字段在序列化时,进行加密,而客户端如果拥有解密的密钥,只有在
客户端进行反序列化时,才可以对密码进行读取,这样可以一定程度保证序列化对象的
数据安全。
直接赋值。在 Java 中,A a1 = a2,我们需要理解的是这实际上复制的是引用,也就是
说 a1 和 a2 指向的是同一个对象。因此,当 a1 变化的时候,a2 里面的成员变量也会跟
着变化。
创建一个新对象,然后将当前对象的非静态字段复制到该新对象,如果字段是值类型的,
那么对该字段执行复制;如果该字段是引用类型的话,则复制引用但不复制引用的对象。
因此,原始对象及其副本引用同一个对象。
}
class Resume implements Cloneable{
} }
public Object clone() {
try {
return (Resume)super.clone();
} catch (Exception e) {
e.printStackTrace();
return null;
121623125152125125
5.1.7.3. 深复制(复制对象和其应用对象) 深拷贝不仅复制对象本身,而且复制对象包含的引用指向的所有对象。
class Student implements Cloneable { String name;
int age;
Professor p;
Student(String name, int age, Professor p) { this.name = name;
this.age = age;
this.p = p;
}
public Object clone() {
Student o = null; try {
o = (Student) super.clone();
} catch (CloneNotSupportedException e) {
System.out.println(e.toString()); }
o.p = (Professor) p.clone();
return o; }
}
5.1.7.4. 序列化(深 clone 一中实现)
在 Java 语言里深复制一个对象,常常可以先使对象实现 Serializable 接口,然后把对
象(实际上只是对象的一个拷贝)写到一个流里,再从流里读出来,便可以重建对象。
121623125152125125
6.1.2. Spring核心组件
6.1.3. Spring常用模块
121623125152125125
6.1.4. Spring主要包
6.1.5. Spring常用注解
bean 注入与装配的的方式有很多种,可以通过 xml,get set 方式,构造函数或者注解等。简单易
用的方式就是使用 Spring 的注解了,Spring 提供了大量的注解方式。
121623125152125125
6.1.6. Spring第三方结合
121623125152125125
6.1.7. Spring IOC 原理 6.1.7.1. 概念
Spring 通过一个配置文件描述 Bean 及 Bean 之间的依赖关系,利用 Java 语言的反射功能实例化 Bean 并建立 Bean 之间的依赖关系。 Spring 的 IoC 容器在完成这些底层工作的基础上,还提供 了 Bean 实例缓存、生命周期管理、 Bean 实例代理、事件发布、资源装载等高级服务。
6.1.7.2. Spring 容器高层视图
Spring 启动时读取应用程序提供的 Bean 配置信息,并在 Spring 容器中生成一份相应的 Bean 配 置注册表,然后根据这张注册表实例化 Bean,装配好 Bean 之间的依赖关系,为上层应用提供准 备就绪的运行环境。其中 Bean 缓存池为 HashMap 实现
6.1.7.3. IOC 容器实现 BeanFactory-框架基础设施
BeanFactory 是 Spring 框架的基础设施,面向 Spring 本身;ApplicationContext 面向使用 Spring 框架的开发者,几乎所有的应用场合我们都直接使用 ApplicationContext 而非底层 的 BeanFactory。
121623125152125125
1.1…1.1.1 BeanDefinitionRegistry 注册表
1.1…1.1.6 AutowireCapableBeanFactory 自动装配
6. 定义了将容器中的 Bean 按某种规则(如按名字匹配、按类型匹配等)进行自动装配的方法; 1.1…1.1.7 SingletonBeanRegistry 运行期间注册单例 Bean
7. 定义了允许在运行期间向容器注册单实例 Bean 的方法;对于单实例( singleton)的 Bean 来说,BeanFactory 会缓存 Bean 实例,所以第二次使用 getBean() 获取 Bean 时将直接从 IoC 容器的缓存中获取 Bean 实例。Spring 在 DefaultSingletonBeanRegistry 类中提供了一 个用于缓存单实例 Bean 的缓存器,它是一个用 HashMap 实现的缓存器,单实例的 Bean 以 beanName 为键保存在这个 HashMap 中。
1.1…1.1.8 依赖日志框框
8. 在初始化 BeanFactory 时,必须为其提供一种日志框架,比如使用 Log4J, 即在类路径下提
供 Log4J 配置文件,这样启动 Spring 容器才不会报错。
ApplicationContext 面向开发应用
ApplicationContext 由 BeanFactory 派生而来,提供了更多面向实际应用的功能。 ApplicationContext 继承了 HierarchicalBeanFactory 和 ListableBeanFactory 接口,在此基础 上,还通过多个其他的接口扩展了 BeanFactory 的功能:
ClassPathXmlApplicationContext:默认从类路径加载配置文件
121623125152125125
FileSystemXmlApplicationContext:默认从文件系统中装载配置文件
ApplicationEventPublisher:让容器拥有发布应用上下文事件的功能,包括容器启动事
件、关闭事件等。
MessageSource:为应用提供 i18n 国际化消息访问的功能;
ResourcePatternResolver : 所 有 ApplicationContext 实 现 类 都 实 现 了 类 似 于
PathMatchingResourcePatternResolver 的功能,可以通过带前缀的 Ant 风格的资源文
件路径装载 Spring 的配置文件。
LifeCycle:该接口是 Spring 2.0 加入的,该接口提供了 start()和 stop()两个方法,主要
用于控制异步处理过程。在具体使用时,该接口同时被 ApplicationContext 实现及具体 Bean 实现, ApplicationContext 会将 start/stop 的信息传递给容器中所有实现了该接 口的 Bean,以达到管理和控制 JMX、任务调度等目的。
ConfigurableApplicationContext 扩展于 ApplicationContext,它新增加了两个主要 的方法: refresh()和 close(),让 ApplicationContext 具有启动、刷新和关闭应用上下 文的能力。在应用上下文关闭的情况下调用 refresh()即可启动应用上下文,在已经启动 的状态下,调用 refresh()则清除缓存并重新装载配置信息,而调用 close()则可关闭应用 上下文。
WebApplication 体系架构
WebApplicationContext 是专门为 Web 应用准备的,它允许从相对于 Web 根目录的 路径中装载配置文件完成初始化工作。从 WebApplicationContext 中可以获得 ServletContext 的引用,整个 Web 应用上下文对象将作为属性放置到 ServletContext 中,以便 Web 应用环境可以访问 Spring 应用上下文。
6.1.7.4. Spring Bean 作用域
Spring 3 中为 Bean 定义了 5 中作用域,分别为 singleton(单例)、prototype(原型)、
request、session 和 global session,5 种作用域说明如下: singleton:单例模式(多线程下不安全)
singleton:单例模式,Spring IoC 容器中只会存在一个共享的 Bean 实例,无论有多少个 Bean 引用它,始终指向同一对象。该模式在多线程下是不安全的。Singleton 作用域是 Spring 中的缺省作用域,也可以显示的将 Bean 定义为 singleton 模式,配置为:
121623125152125125
prototype:原型模式每次使用时创建
2. prototype:原型模式,每次通过 Spring 容器获取 prototype 定义的 bean 时,容器都将创建 一个新的 Bean 实例,每个 Bean 实例都有自己的属性和状态,而 singleton 全局只有一个对 象。根据经验,对有状态的 bean 使用 prototype 作用域,而对无状态的 bean 使用 singleton 作用域。
Request:一次 request 一个实例
3. request:在一次 Http 请求中,容器会返回该 Bean 的同一实例。而对不同的 Http 请求则会 产生新的 Bean,而且该 bean 仅在当前 Http Request 内有效,当前 Http 请求结束,该 bean 实例也将会被销毁。
session
4. session:在一次 Http Session 中,容器会返回该 Bean 的同一实例。而对不同的 Session 请 求则会创建新的实例,该 bean 实例仅在当前 Session 内有效。同 Http 请求相同,每一次 session 请求创建新的实例,而不同的实例之间不共享属性,且实例仅在自己的 session 请求 内有效,请求结束,则实例将被销毁。
global Session
5. global Session:在一个全局的 Http Session 中,容器会返回该 Bean 的同一个实例,仅在 使用 portlet context 时有效。
6.1.7.5. Spring Bean 生命周期 1. 实例化一个 Bean,也就是我们常说的 new。
IOC 依赖注入
2. 按照 Spring 上下文对实例化的 Bean 进行配置,也就是 IOC 注入。
setBeanName 实现
3. 如果这个 Bean 已经实现了 BeanNameAware 接口,会调用它实现的 setBeanName(String)
方法,此处传递的就是 Spring 配置文件中 Bean 的 id 值
BeanFactoryAware 实现
4. 如果这个 Bean 已经实现了 BeanFactoryAware 接口,会调用它实现的 setBeanFactory, setBeanFactory(BeanFactory)传递的是 Spring 工厂自身(可以用这个方式来获取其它 Bean, 只需在 Spring 配置文件中配置一个普通的 Bean 就可以)。
实例化
121623125152125125
ApplicationContextAware 实现
5. 如果这个 Bean 已经实现了 ApplicationContextAware 接口,会调用 setApplicationContext(ApplicationContext)方法,传入 Spring 上下文(同样这个方式也 可以实现步骤 4 的内容,但比 4 更好,因为 ApplicationContext 是 BeanFactory 的子接 口,有更多的实现方法)
postProcessBeforeInitialization 接口实现-初始化预处理
6. 如果这个 Bean 关联了 BeanPostProcessor 接口,将会调用 postProcessBeforeInitialization(Object obj, String s)方法,BeanPostProcessor 经常被用 作是 Bean 内容的更改,并且由于这个是在 Bean 初始化结束时调用那个的方法,也可以被应 用于内存或缓存技术。
init-method
7. 如果 Bean 在 Spring 配置文件中配置了 init-method 属性会自动调用其配置的初始化方法。
postProcessAfterInitialization
8. 如果这个 Bean 关联了 BeanPostProcessor 接口,将会调用 postProcessAfterInitialization(Object obj, String s)方法。 注:以上工作完成以后就可以应用这个 Bean 了,那这个 Bean 是一个 Singleton 的,所以一 般情况下我们调用同一个 id 的 Bean 会是在内容地址相同的实例,当然在 Spring 配置文件中 也可以配置非 Singleton。
Destroy 过期自动清理阶段
9. 当 Bean 不再需要时,会经过清理阶段,如果 Bean 实现了 DisposableBean 这个接口,会调
用那个其实现的 destroy()方法;
destroy-method 自配置清理
10. 最后,如果这个 Bean 的 Spring 配置中配置了 destroy-method 属性,会自动调用其配置的 销毁方法。
121623125152125125
setter 方法注入
public class Id {
private int id;
public int getId() { return id; }
public void setId(int id) { this.id = id; }
}
静态工厂注入
静态工厂顾名思义,就是通过调用静态工厂的方法来获取自己需要的对象,为了让 spring 管理所 有对象,我们不能直接通过"工程类.静态方法()"来获取对象,而是依然通过 spring 注入的形式获 取:
public class DaoFactory { //静态工厂
public static final FactoryDao getStaticFactoryDaoImpl(){
return new StaticFacotryDaoImpl(); }
}
public class SpringAction {
private FactoryDao staticFactoryDao; //注入对象 //注入对象的 set 方法
public void setStaticFactoryDao(FactoryDao staticFactoryDao) { this.staticFactoryDao = staticFactoryDao;
} }
//factory-method="getStaticFactoryDaoImpl"指定调用哪个工厂方法
实例工厂
实例工厂的意思是获取对象实例的方法不是静态的,所以你需要首先 new 工厂类,再调用普通的 实例方法:
public class DaoFactory { //实例工厂 public FactoryDao getFactoryDaoImpl(){
return new FactoryDaoImpl();
121623125152125125
} }
public class SpringAction {
private FactoryDao factoryDao; //注入对象
public void setFactoryDao(FactoryDao factoryDao) { this.factoryDao = factoryDao;
} }
6.1.7.7. 5 种不同方式的自动装配
Spring 装配包括手动装配和自动装配,手动装配是有基于 xml 装配、构造方法、setter 方法等 自动装配有五种自动装配的方式,可以用来指导 Spring 容器用自动装配方式来进行依赖注入。
6.1.8. Spring APO 原理 6.1.8.1. 概念
“横切"的技术,剖解开封装的对象内部,并将那些影响了多个类的公共行为封装到一个可重用模块, 并将其命名为"Aspect”,即切面。所谓"切面",简单说就是那些与业务无关,却为业务模块所共 同调用的逻辑或责任封装起来,便于减少系统的重复代码,降低模块之间的耦合度,并有利于未 来的可操作性和可维护性。
使用"横切"技术,AOP 把软件系统分为两个部分:核心关注点和横切关注点。业务处理的主要流 程是核心关注点,与之关系不大的部分是横切关注点。横切关注点的一个特点是,他们经常发生 在核心关注点的多处,而各处基本相似,比如权限认证、日志、事物。AOP 的作用在于分离系统 中的各种关注点,将核心关注点和横切关注点分离开来。
AOP 主要应用场景有:
8、引入(introduction):在不修改代码的前提下,引入可以在运行期为类动态地添加一些方法 或字段。
参考:https://segmentfault.com/a/1190000007469968
6.1.8.1. AOP 两种代理方式
Spring 提供了两种方式来生成代理对象: JDKProxy 和 Cglib,具体使用哪种方式生成由 AopProxyFactory 根据 AdvisedSupport 对象的配置来决定。默认的策略是如果目标类是接口, 则使用 JDK 动态代理技术,否则使用 Cglib 来生成代理。
JDK 动态接口代理
CGLib 动态代理
2. :CGLib 全称为 Code Generation Library,是一个强大的高性能,高质量的代码生成类库, 可以在运行期扩展 Java 类与实现 Java 接口,CGLib 封装了 asm,可以再运行期动态生成新 的 class。和 JDK 动态代理相比较:JDK 创建代理有一个限制,就是只能为接口创建代理实例, 而对于没有通过接口定义业务方法的类,则可以通过 CGLib 创建动态代理。
6.1.8.2. 实现原理
@Aspect
public class TransactionDemo {
@Pointcut(value=“execution(* com.yangxin.core.service...*(…))”)
public void point(){ }
@Before(value=“point()”)
public void before(){ System.out.println(“transaction begin”);
}
public void after(){ System.out.println(“transaction commit”);
}
@Around(“point()”)
public void around(ProceedingJoinPoint joinPoint) throws Throwable{ System.out.println(“transaction begin”);
joinPoint.proceed();
System.out.println(“transaction commit”);
} }
@AfterReturning(value = “point()”)
121623125152125125
6.1.9. Spring MVC 原理
Spring 的模型-视图-控制器(MVC)框架是围绕一个 DispatcherServlet 来设计的,这个 Servlet 会把请求分发给各个处理器,并支持可配置的处理器映射、视图渲染、本地化、时区与主题渲染 等,甚至还能支持文件上传。
6.1.9.1. MVC 流程
121623125152125125
Http 请求到 DispatcherServlet
(1) 客户端请求提交到 DispatcherServlet。
HandlerMapping 寻找处理器
(2) 由 DispatcherServlet 控制器查询一个或多个 HandlerMapping,找到处理请求的
Controller。
调用处理器 Controller
(3) DispatcherServlet 将请求提交到 Controller。
Controller 调用业务逻辑处理后,返回 ModelAndView (4)(5)调用业务处理和返回结果:Controller 调用业务逻辑处理后,返回 ModelAndView。
DispatcherServlet 查询 ModelAndView
(6)(7)处理视图映射并返回模型: DispatcherServlet 查询一个或多个 ViewResoler 视图解析器,
找到 ModelAndView 指定的视图。
ModelAndView 反馈浏览器 HTTP
(8) Http 响应:视图负责将结果显示到客户端。
6.1.9.1. MVC 常用注解
121623125152125125
6.1.10. Spring Boot 原理
Spring Boot 是由 Pivotal 团队提供的全新框架,其设计目的是用来简化新 Spring 应用的初始搭 建以及开发过程。该框架使用了特定的方式来进行配置,从而使开发人员不再需要定义样板化的 配置。通过这种方式,Spring Boot 致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者。其特点如下:
创建独立的 Spring 应用程序
嵌入的 Tomcat,无需部署 WAR 文件
简化 Maven 配置
自动配置 Spring
提供生产就绪型功能,如指标,健康检查和外部配置
绝对没有代码生成和对 XML 没有要求配置 [1] 6.1.11. JPA 原理
6.1.11.1. 事务 事务是计算机应用中不可或缺的组件模型,它保证了用户操作的原子性 ( Atomicity )、一致性
( Consistency )、隔离性 ( Isolation ) 和持久性 ( Durabilily )。
6.1.11.2. 本地事务
紧密依赖于底层资源管理器(例如数据库连接 ),事务处理局限在当前事务资源内。此种事务处理 方式不存在对应用服务器的依赖,因而部署灵活却无法支持多数据源的分布式事务。在数据库连 接中使用本地事务示例如下:
public void transferAccount() { Connection conn = null;
Statement stmt = null; try{
conn = getDataSource().getConnection();
// 将自动提交设置为 false,若设置为 true 则数据库将会把每一次数据更新认定为一个事务并自动提交
conn.setAutoCommit(false);
stmt = conn.createStatement();
// 将 A 账户中的金额减少 500
stmt.execute(“update t_account set amount = amount - 500 where account_id = ‘A’”);
121623125152125125
} }
// 将 B 账户中的金额增加 500
stmt.execute(“update t_account set amount = amount + 500 where account_id = ‘B’”);
// 提交事务 conn.commit();
// 事务提交:转账的两步操作同时成功 } catch(SQLException sqle){
// 发生异常,回滚在本事务中的操做 conn.rollback();
// 事务回滚:转账的两步操作完全撤销 stmt.close();
conn.close();
6.1.11.1. 分布式事务
Java 事务编程接口(JTA:Java Transaction API)和 Java 事务服务 (JTS;Java Transaction Service) 为 J2EE 平台提供了分布式事务服务。分布式事务(Distributed Transaction)包括事务 管理器(Transaction Manager)和一个或多个支持 XA 协议的资源管理器 ( Resource Manager )。我们可以将资源管理器看做任意类型的持久化数据存储;事务管理器承担着所有事务 参与单元的协调与控制。
public void transferAccount() {
UserTransaction userTx = null;
Connection connA = null; Statement stmtA = null; Connection connB = null; Statement stmtB = null;
try{
// 获得 Transaction 管理对象
userTx = (UserTransaction)getContext().lookup(“java:comp/UserTransaction”);
connA = getDataSourceA().getConnection();// 从数据库 A 中取得数据库连接 connB = getDataSourceB().getConnection();// 从数据库 B 中取得数据库连接
userTx.begin(); // 启动事务
stmtA = connA.createStatement();// 将 A 账户中的金额减少 500
stmtA.execute(“update t_account set amount = amount - 500 where account_id = ‘A’”); // 将 B 账户中的金额增加 500
stmtB = connB.createStatement();
121623125152125125
stmtB.execute(“update t_account set amount = amount + 500 where account_id = ‘B’”); userTx.commit();// 提交事务
// 事务提交:转账的两步操作同时成功(数据库 A 和数据库 B 中的数据被同时更新) } catch(SQLException sqle){
// 发生异常,回滚在本事务中的操纵
userTx.rollback();// 事务回滚:数据库 A 和数据库 B 中的数据更新被同时撤销
} catch(Exception ne){ } }
6.1.11.1. 两阶段提交 两阶段提交主要保证了分布式事务的原子性:即所有结点要么全做要么全不做,所谓的两个阶段
是指:第一阶段:准备阶段;第二阶段:提交阶段。
1 准备阶段
事务协调者(事务管理器)给每个参与者(资源管理器)发送 Prepare 消息,每个参与者要么直接返回 失败(如权限验证失败),要么在本地执行事务,写本地的 redo 和 undo 日志,但不提交,到达一 种“万事俱备,只欠东风”的状态。
2 提交阶段:
如果协调者收到了参与者的失败消息或者超时,直接给每个参与者发送回滚(Rollback)消息;否则, 发送提交(Commit)消息;参与者根据协调者的指令执行提交或者回滚操作,释放所有事务处理过 程中使用的锁资源。(注意:必须在最后阶段释放锁资源)
121623125152125125
将提交分成两阶段进行的目的很明确,就是尽可能晚地提交事务,让事务在提交前尽可能地完成 所有能完成的工作。
6.1.12. Mybatis 缓存
Mybatis 中有一级缓存和二级缓存,默认情况下一级缓存是开启的,而且是不能关闭的。一级缓存 是指 SqlSession 级别的缓存,当在同一个 SqlSession 中进行相同的 SQL 语句查询时,第二次以 后的查询不会从数据库查询,而是直接从缓存中获取,一级缓存最多缓存 1024 条 SQL。二级缓存 是指可以跨 SqlSession 的缓存。是 mapper 级别的缓存,对于 mapper 级别的缓存不同的 sqlsession 是可以共享的。
121623125152125125
6.1.12.1. Mybatis 的一级缓存原理(sqlsession 级别)
第一次发出一个查询 sql,sql 查询结果写入 sqlsession 的一级缓存中,缓存使用的数据结构是一 个 map。
key:MapperID+offset+limit+Sql+所有的入参
value:用户信息
同一个 sqlsession 再次发出相同的 sql,就从缓存中取出数据。如果两次中间出现 commit 操作 (修改、添加、删除),本 sqlsession 中的一级缓存区域全部清空,下次再去缓存中查询不到所 以要从数据库查询,从数据库查询到再写入缓存。
6.1.12.2. 二级缓存原理(mapper 基本)
二级缓存的范围是 mapper 级别(mapper 同一个命名空间),mapper 以命名空间为单位创建缓
存数据结构,结构是 map。mybatis 的二级缓存是通过 CacheExecutor 实现的。CacheExecutor
121623125152125125
其实是 Executor 的代理对象。所有的查询操作,在 CacheExecutor 中都会先匹配缓存中是否存 在,不存在则查询数据库。
key:MapperID+offset+limit+Sql+所有的入参
具体使用需要配置:
Mybatis 全局配置中启用二级缓存配置
在对应的 Mapper.xml 中配置 cache 节点 在对应的 select 查询节点中添加 useCache=true
6.1.13. Tomcat 架构 http://www.importnew.com/21112.html
121623125152125125
7.1.1.3. 客户端发现
客户端发现是指客户端负责查询可用服务地址,以及负载均衡的工作。这种方式最方便直接,而 且也方便做负载均衡。再者一旦发现某个服务不可用立即换另外一个,非常直接。缺点也在于多 语言时的重复工作,每个语言实现相同的逻辑。
121623125152125125
7.1.1.4. 服务端发现
服务端发现需要额外的 Router 服务,请求先打到 Router,然后 Router 负责查询服务与负载均衡。 这种方式虽然没有客户端发现的缺点,但是它的缺点是保证 Router 的高可用。
7.1.1.5. 7.1.1.6. 7.1.1.7. 7.1.1.8.
7.1.2. API网关
Consul Eureka SmartStack Etcd
API Gateway 是一个服务器,也可以说是进入系统的唯一节点。这跟面向对象设计模式中的 Facade 模式很像。API Gateway 封装内部系统的架构,并且提供 API 给各个客户端。它还可能有 其他功能,如授权、监控、负载均衡、缓存、请求分片和管理、静态响应处理等。下图展示了一 个适应当前架构的 API Gateway。
121623125152125125
API Gateway 负责请求转发、合成和协议转换。所有来自客户端的请求都要先经过 API Gateway,
然后路由这些请求到对应的微服务。API Gateway 将经常通过调用多个微服务来处理一个请求以
及聚合多个服务的结果。它可以在 web 协议与内部使用的非 Web 友好型协议间进行转换,如
HTTP 协议、WebSocket 协议。
7.1.2.1. 请求转发 服务转发主要是对客户端的请求安装微服务的负载转发到不同的服务上
7.1.2.2. 响应合并 把业务上需要调用多个服务接口才能完成的工作合并成一次调用对外统一提供服务。
7.1.2.3. 协议转换 重点是支持 SOAP,JMS,Rest 间的协议转换。
7.1.2.4. 数据转换
重点是支持 XML 和 Json 之间的报文格式转换能力(可选)
121623125152125125
7.1.2.5. 安全认证
基于 Token 的客户端访问控制和安全策略
传输数据和报文加密,到服务端解密,需要在客户端有独立的 SDK 代理包
基于 Https 的传输加密,客户端和服务端数字证书支持
基于 OAuth2.0 的服务安全认证(授权码,客户端,密码模式等)
7.1.3. 配置中心
配置中心一般用作系统的参数配置,它需要满足如下几个要求:高效获取、实时感知、分布式访
问。
7.1.3.1. zookeeper 配置中心 实现的架构图如下所示,采取数据加载到内存方式解决高效获取的问题,借助 zookeeper 的节点
监听机制来实现实时感知。
7.1.3.2. 配置中心数据分类
7.1.4. 事件调度(kafka) 消息服务和事件的统一调度,常用用 kafka ,activemq 等。
7.1.5. 服务跟踪(starter-sleuth)
随着微服务数量不断增长,需要跟踪一个请求从一个微服务到下一个微服务的传播过程, Spring Cloud Sleuth 正是解决这个问题,它在日志中引入唯一 ID,以保证微服务调用之间的一致性,这 样你就能跟踪某个请求是如何从一个微服务传递到下一个。
121623125152125125
为了实现请求跟踪,当请求发送到分布式系统的入口端点时,只需要服务跟踪框架为该请求 创建一个唯一的跟踪标识,同时在分布式系统内部流转的时候,框架始终保持传递该唯一标 识,直到返回给请求方为止,这个唯一标识就是前文中提到的 Trace ID。通过 Trace ID 的记 录,我们就能将所有请求过程日志关联起来。
为了统计各处理单元的时间延迟,当请求达到各个服务组件时,或是处理逻辑到达某个状态 时,也通过一个唯一标识来标记它的开始、具体过程以及结束,该标识就是我们前文中提到 的 Span ID,对于每个 Span 来说,它必须有开始和结束两个节点,通过记录开始 Span 和结 束 Span 的时间戳,就能统计出该 Span 的时间延迟,除了时间戳记录之外,它还可以包含一 些其他元数据,比如:事件名称、请求信息等。
在快速入门示例中,我们轻松实现了日志级别的跟踪信息接入,这完全归功于 spring-cloud- starter-sleuth 组件的实现。在 Spring Boot 应用中,通过在工程中引入 spring-cloud- starter-sleuth 依赖之后, 它会自动的为当前应用构建起各通信通道的跟踪机制,比如:
通过诸如RabbitMQ、Kafka(或者其他任何SpringCloudStream绑定器实现的消息 中间件)传递的请求。
通过Zuul代理传递的请求。
通过RestTemplate发起的请求。
7.1.6. 服务熔断(Hystrix)
在微服务架构中通常会有多个服务层调用,基础服务的故障可能会导致级联故障,进而造成整个 系统不可用的情况,这种现象被称为服务雪崩效应。服务雪崩效应是一种因“服务提供者”的不 可用导致“服务消费者”的不可用,并将不可用逐渐放大的过程。
熔断器的原理很简单,如同电力过载保护器。它可以实现快速失败,如果它在一段时间内侦测到 许多类似的错误,会强迫其以后的多个调用快速失败,不再访问远程服务器,从而防止应用程序 不断地尝试执行可能会失败的操作,使得应用程序继续执行而不用等待修正错误,或者浪费 CPU 时间去等到长时间的超时产生。熔断器也可以使应用程序能够诊断错误是否已经修正,如果已经 修正,应用程序会再次尝试调用操作。
121623125152125125
7.1.6.1. Hystrix 断路器机制
断路器很好理解, 当 Hystrix Command 请求后端服务失败数量超过一定比例(默认 50%), 断路器会 切换到开路状态(Open). 这时所有请求会直接失败而不会发送到后端服务. 断路器保持在开路状态 一段时间后(默认 5 秒), 自动切换到半开路状态(HALF-OPEN). 这时会判断下一次请求的返回情况, 如果请求成功, 断路器切回闭路状态(CLOSED), 否则重新切换到开路状态(OPEN). Hystrix 的断路器 就像我们家庭电路中的保险丝, 一旦后端服务不可用, 断路器会直接切断请求链, 避免发送大量无效 请求影响系统吞吐量, 并且断路器有自我检测并恢复的能力。
7.1.7. API管理 SwaggerAPI 管理工具。
121623125152125125
Netty 的 IO 线程 NioEventLoop 由于聚合了多路复用器 Selector,可以同时并发处理成百上千个
客户端 Channel,由于读写操作都是非阻塞的,这就可以充分提升 IO 线程的运行效率,避免由于
频繁 IO 阻塞导致的线程挂起。
8.1.2.1. 异步通讯 NIO
由于 Netty 采用了异步通信模式,一个 IO 线程可以并发处理 N 个客户端连接和读写操作,这从根
本上解决了传统同步阻塞 IO 一连接一线程模型,架构的性能、弹性伸缩能力和可靠性都得到了极
大的提升。
121623125152125125
8.1.2.2. 零拷贝(DIRECT BUFFERS 使用堆外直接内存)
由于 Reactor 模式使用的是异步非阻塞 IO,所有的 IO 操作都不会导致阻塞,理论上一个线程可以独 立处理所有 IO 相关的操作。从架构层面看,一个 NIO 线程确实可以完成其承担的职责。例如,通过 Acceptor 接收客户端的 TCP 连接请求消息,链路建立成功之后,通过 Dispatch 将对应的 ByteBuffer 派发到指定的 Handler 上进行消息解码。用户 Handler 可以通过 NIO 线程将消息发送给客户端。
Reactor 多线程模型
Rector 多线程模型与单线程模型最大的区别就是有一组 NIO 线程处理 IO 操作。 有专门一个 NIO 线程-Acceptor 线程用于监听服务端,接收客户端的 TCP 连接请求; 网络 IO 操作-读、写 等由一个 NIO 线程池负责,线程池可以采用标准的 JDK 线程池实现,它包含一个任务队列和 N 个可用的线程,由这些 NIO 线程负责消息的读取、解码、编码和发送;
主从 Reactor 多线程模型
服务端用于接收客户端连接的不再是个 1 个单独的 NIO 线程,而是一个独立的 NIO 线程池。 Acceptor 接收到客户端 TCP 连接请求处理完成后(可能包含接入认证等),将新创建的 SocketChannel 注册到 IO 线程池(sub reactor 线程池)的某个 IO 线程上,由它负责 SocketChannel 的读写和编解码工作。Acceptor 线程池仅仅只用于客户端的登陆、握手和安全 认证,一旦链路建立成功,就将链路注册到后端 subReactor 线程池的 IO 线程上,由 IO 线程负 责后续的 IO 操作。
121623125152125125
8.1.2.5. 无锁设计、线程绑定
Netty 采用了串行无锁化设计,在 IO 线程内部进行串行操作,避免多线程竞争导致的性能下降。 表面上看,串行化设计似乎 CPU 利用率不高,并发程度不够。但是,通过调整 NIO 线程池的线程 参数,可以同时启动多个串行化的线程并行运行,这种局部无锁化的串行线程设计相比一个队列- 多个工作线程模型性能更优。
8.1.2.6. 高性能的序列化框架
Netty 默认提供了对 Google Protobuf 的支持,通过扩展 Netty 的编解码接口,用户可以实现其它的
高性能序列化框架,例如 Thrift 的压缩二进制编解码框架。
小包封大包,防止网络阻塞
2. SO_TCPNODELAY:NAGLE 算法通过将缓冲区内的小封包自动相连,组成较大的封包,阻止大量 小封包的发送阻塞网络,从而提高网络应用效率。但是对于时延敏感的应用场景需要关闭该优化算 法。
软中断 Hash 值和 CPU 绑定
3. 软中断:开启 RPS 后可以实现软中断,提升网络吞吐量。RPS 根据数据包的源地址,目的地址以 及目的和源端口,计算出一个 hash 值,然后根据这个 hash 值来选择软中断运行的 cpu,从上层 来看,也就是说将每个连接和 cpu 绑定,并通过这个 hash 值,来均衡软中断在多个 cpu 上,提升 网络并行处理性能。
8.1.3. NettyRPC实现 8.1.3.1. 概念
RPC,即 Remote Procedure Call(远程过程调用),调用远程计算机上的服务,就像调用本地服务一 样。RPC 可以很好的解耦系统,如 WebService 就是一种基于 Http 协议的 RPC。这个 RPC 整体框架 如下:
8.1.3.2. 关键技术
服务发布与订阅:服务端使用 Zookeeper 注册服务地址,客户端从 Zookeeper 获取可用的服务 地址。
通信:使用 Netty 作为通信框架。
Spring:使用 Spring 配置服务,加载 Bean,扫描注解。
动态代理:客户端使用代理模式透明化服务调用。
消息编解码:使用 Protostuff 序列化和反序列化消息。
8.1.3.3. 核心流程
服务消费方(client)调用以本地调用方式调用服务;
121623125152125125
client stub 接收到调用后负责将方法、参数等组装成能够进行网络传输的消息体;
client stub 找到服务地址,并将消息发送到服务端;
server stub 收到消息后进行解码;
server stub 根据解码结果调用本地的服务;
本地服务执行并将结果返回给 server stub;
server stub 将返回结果打包成消息并发送至消费方;
client stub 接收到消息,并进行解码;
服务消费方得到最终结果。
RPC 的目标就是要 2~8 这些步骤都封装起来,让用户对这些细节透明。JAVA 一般使用动态代 理方式实现远程调用。
8.1.3.1. 消息编解码 息数据结构(接口名称+方法名+参数类型和参数值+超时时间+ requestID)
客户端的请求消息结构一般需要包括以下内容:
接口名称:在我们的例子里接口名是“HelloWorldService”,如果不传,服务端就不知道调用哪 个接口了;
方法名:一个接口内可能有很多方法,如果不传方法名服务端也就不知道调用哪个方法;
参数类型和参数值:参数类型有很多,比如有 bool、int、long、double、string、map、list,
甚至如 struct(class);以及相应的参数值;
超时时间:
requestID,标识唯一请求 id,在下面一节会详细描述 requestID 的用处。
服务端返回的消息 : 一般包括以下内容。返回值+状态 code+requestID
121623125152125125
序列化
目前互联网公司广泛使用 Protobuf、Thrift、Avro 等成熟的序列化解决方案来搭建 RPC 框架,这 些都是久经考验的解决方案。
8.1.3.1. 通讯过程 核心问题(线程暂停、消息乱序)
如果使用 netty 的话,一般会用 channel.writeAndFlush()方法来发送消息二进制串,这个方 法调用后对于整个远程调用(从发出请求到接收到结果)来说是一个异步的,即对于当前线程来说, 将请求发送出来后,线程就可以往后执行了,至于服务端的结果,是服务端处理完成后,再以消息 的形式发送给客户端的。于是这里出现以下两个问题:
监听消息的线程收到消息,找到 callback 上的锁并唤醒
4. 服务端接收到请求并处理后,将 response 结果(此结果中包含了前面的 requestID)发 送给客户端,客户端 socket 连接上专门监听消息的线程收到消息,分析结果,取到 requestID,再从前面的 ConcurrentHashMap 里面 get(requestID),从而找到 callback 对象,再用 synchronized 获取 callback 上的锁,将方法调用结果设置到 callback 对象里,再调用 callback.notifyAll()唤醒前面处于等待状态的线程。
public Object get() {
synchronized (this) { // 旋锁 while (true) { // 是否有结果了
If (!isDone){
wait(); //没结果释放锁,让当前线程处于等待状态
}else{//获取数据并处理 }
} }
}
private void setDone(Response res) {
this.res = res;
isDone = true;
synchronized (this) { //获取锁,因为前面 wait()已经释放了 callback 的锁了
notifyAll(); // 唤醒处于等待的线程 }
}
8.1.4. RMI实现方式
Java 远程方法调用,即 Java RMI(Java Remote Method Invocation)是 Java 编程语言里,一种用 于实现远程过程调用的应用程序编程接口。它使客户机上运行的程序可以调用远程服务器上的对象。远 程方法调用特性使 Java 编程人员能够在网络环境中分布操作。RMI 全部的宗旨就是尽可能简化远程接 口对象的使用。
8.1.4.1. 实现步骤
编写远程服务接口,该接口必须继承 java.rmi.Remote 接口,方法必须抛出 java.rmi.RemoteException 异常;
编写远程接口实现类,该实现类必须继承 java.rmi.server.UnicastRemoteObject 类;
运行 RMI 编译器(rmic),创建客户端 stub 类和服务端 skeleton 类;
启动一个 RMI 注册表,以便驻留这些服务;
121623125152125125
在 RMI 注册表中注册服务;
客户端查找远程对象,并调用远程方法;
1:创建远程接口,继承 java.rmi.Remote 接口
public interface GreetService extends java.rmi.Remote {
String sayHello(String name) throws RemoteException; }
2:实现远程接口,继承 java.rmi.server.UnicastRemoteObject 类
public class GreetServiceImpl extends java.rmi.server.UnicastRemoteObject implements GreetService {
private static final long serialVersionUID = 3434060152387200042L; public GreetServiceImpl() throws RemoteException {
super(); }
@Override
public String sayHello(String name) throws RemoteException {
return "Hello " + name; }
}
5:启动服务
LocateRegistry.createRegistry(1098); Naming.bind(“rmi://10.108.1.138:1098/GreetService”, new GreetServiceImpl());
6.客户端调用
GreetService greetService = (GreetService) Naming.lookup(“rmi://10.108.1.138:1098/GreetService”);
System.out.println(greetService.sayHello(“Jobs”));
3:生成 Stub 和 Skeleton; 4:执行 rmiregistry 命令注册服务
8.1.5. Protoclol Buffer
protocol buffer 是 google 的一个开源项目,它是用于结构化数据串行化的灵活、高效、自动的方法, 例如 XML,不过它比 xml 更小、更快、也更简单。你可以定义自己的数据结构,然后使用代码生成器 生成的代码来读写这个数据结构。你甚至可以在无需重新部署程序的情况下更新数据结构。
121623125152125125
8.1.5.1. 特点
Protocol Buffer 的序列化 & 反序列化简单 & 速度快的原因是:
121623125152125125
9.1.2. TCP/IP原理
TCP/IP 协议不是 TCP 和 IP 这两个协议的合称,而是指因特网整个 TCP/IP 协议族。从协议分层 模型方面来讲,TCP/IP 由四个层次组成:网络接口层、网络层、传输层、应用层。
9.1.2.1.
9.1.2.2.
9.1.2.3.
网络访问层(Network Access Layer)
网络层(Internet Layer)
传输层(Tramsport Layer-TCP/UDP)
Service)、网上新闻传输协议(NNTP,Net News Transfer Protocol)和超文本传送协议 (HTTP,HyperText Transfer Protocol)等。
9.1.3. TCP三次握手/四次挥手
TCP 在传输之前会进行三次沟通,一般称为“三次握手”,传完数据断开的时候要进行四次沟通,一般
称为“四次挥手”。
9.1.3.1. 数据包说明
源端口号( 16 位):它(连同源主机 IP 地址)标识源主机的一个应用进程。
目的端口号( 16 位):它(连同目的主机 IP 地址)标识目的主机的一个应用进程。这两个值
加上 IP 报头中的源主机 IP 地址和目的主机 IP 地址唯一确定一个 TCP 连接。
顺序号 seq( 32 位):用来标识从 TCP 源端向 TCP 目的端发送的数据字节流,它表示在这个
报文段中的第一个数据字节的顺序号。如果将字节流看作在两个应用程序间的单向流动,则 TCP 用顺序号对每个字节进行计数。序号是 32bit 的无符号数,序号到达 2 的 32 次方 - 1 后 又从 0 开始。当建立一个新的连接时, SYN 标志变 1 ,顺序号字段包含由这个主机选择的该 连接的初始顺序号 ISN ( Initial Sequence Number )。
确认号 ack( 32 位):包含发送确认的一端所期望收到的下一个顺序号。因此,确认序号应当 是上次已成功收到数据字节顺序号加 1 。只有 ACK 标志为 1 时确认序号字段才有效。 TCP 为 应用层提供全双工服务,这意味数据能在两个方向上独立地进行传输。因此,连接的每一端必 须保持每个方向上的传输数据顺序号。
TCP 报头长度( 4 位):给出报头中 32bit 字的数目,它实际上指明数据从哪里开始。需要这 个值是因为任选字段的长度是可变的。这个字段占 4bit ,因此 TCP 最多有 60 字节的首部。然 而,没有任选字段,正常的长度是 20 字节。
保留位( 6 位):保留给将来使用,目前必须置为 0 。
控制位( control flags , 6 位):在 TCP 报头中有 6 个标志比特,它们中的多个可同时被设
置为 1 。依次为:
URG :为 1 表示紧急指针有效,为 0 则忽略紧急指针值。
ACK :为 1 表示确认号有效,为 0 表示报文中不包含确认信息,忽略确认号字段。
PSH :为 1 表示是带有 PUSH 标志的数据,指示接收方应该尽快将这个报文段交给应用层
而不用等待缓冲区装满。
RST :用于复位由于主机崩溃或其他原因而出现错误的连接。它还可以用于拒绝非法的报
文段和拒绝连接请求。一般情况下,如果收到一个 RST 为 1 的报文,那么一定发生了某些
问题。
SYN :同步序号,为 1 表示连接请求,用于建立连接和使顺序号同步( synchronize )。
FIN :用于释放连接,为 1 表示发送方已经没有数据发送了,即关闭本方数据流。
窗口大小( 16 位):数据字节数,表示从确认号开始,本报文的源方可以接收的字节数,即源 方接收窗口大小。窗口大小是一个 16bit 字段,因而窗口大小最大为 65535 字节。
校验和( 16 位):此校验和是对整个的 TCP 报文段,包括 TCP 头部和 TCP 数据,以 16 位字 进行计算所得。这是一个强制性的字段,一定是由发送端计算和存储,并由接收端进行验证。
紧急指针(16位):只有当URG标志置1时紧急指针才有效。TCP的紧急方式是发送端向另 一端发送紧急数据的一种方式。
121623125152125125
选项:最常见的可选字段是最长报文大小,又称为MSS(MaximumSegmentSize)。每个连 接方通常都在通信的第一个报文段(为建立连接而设置 SYN 标志的那个段)中指明这个选项, 它指明本端所能接收的最大长度的报文段。选项长度不一定是 32 位字的整数倍,所以要加填充 位,使得报头长度成为整字数。
数据: TCP 报文段中的数据部分是可选的。在一个连接建立和一个连接终止时,双方交换的报 文段仅有 TCP 首部。如果一方没有数据要发送,也使用没有任何数据的首部来确认收到的数 据。在处理超时的许多情况中,也会发送不带任何数据的报文段。
9.1.3.2. 三次握手
第一次握手:主机 A 发送位码为 syn=1,随机产生 seq number=1234567 的数据包到服务器,主机 B
由 SYN=1 知道,A 要求建立联机;
第二次握手:主机 B 收到请求后要确认联机信息,向 A 发送 ack number=(主机 A 的
seq+1),syn=1,ack=1,随机产生 seq=7654321 的包
第三次握手:主机 A 收到后检查 ack number 是否正确,即第一次发送的 seq number+1,以及位码
ack 是否为 1,若正确,主机 A 会再发送 ack number=(主机 B 的 seq+1),ack=1,主机 B 收到后确认
121623125152125125
seq 值与 ack=1 则连接建立成功。
9.1.3.3. 四次挥手
TCP 建立连接要进行三次握手,而断开连接要进行四次。这是由于 TCP 的半关闭造成的。因为 TCP 连 接是全双工的(即数据可在两个方向上同时传递)所以进行关闭时每个方向上都要单独进行关闭。这个单 方向的关闭就叫半关闭。当一方完成它的数据发送任务,就发送一个 FIN 来向另一方通告将要终止这个 方向的连接。
主机 A 发送 FIN 后,进入终止等待状态, 服务器 B 收到主机 A 连接释放报文段后,就立即 给主机 A 发送确认,然后服务器 B 就进入 close-wait 状态,此时 TCP 服务器进程就通知高 层应用进程,因而从 A 到 B 的连接就释放了。此时是“半关闭”状态。即 A 不可以发送给 B,但是 B 可以发送给 A。此时,若 B 没有数据报要发送给 A 了,其应用进程就通知 TCP 释 放连接,然后发送给 A 连接释放报文段,并等待确认。A 发送确认后,进入 time-wait,注 意,此时 TCP 连接还没有释放掉,然后经过时间等待计时器设置的 2MSL 后,A 才进入到 close 状态。
9.1.4. HTTP原理
HTTP 是一个无状态的协议。无状态是指客户机(Web 浏览器)和服务器之间不需要建立持久的连接, 这意味着当一个客户端向服务器端发出请求,然后服务器返回响应(response),连接就被关闭了,在服 务器端不保留连接的有关信息.HTTP 遵循请求(Request)/应答(Response)模型。客户机(浏览器)向 服务器发送请求,服务器处理请求并返回适当的应答。所有 HTTP 连接都被构造成一套请求和应答。
9.1.4.1. 传输流程 如用客户端浏览器请求这个页面:http://localhost.com:8080/index.htm 从中分解出协议名、主机名、
端口、对象路径等部分,对于我们的这个地址,解析得到的结果如下: 协议名:http
主机名:localhost.com
端口:8080
对象路径:/index.htm
1:地址解析
121623125152125125
在这一步,需要域名系统 DNS 解析域名 localhost.com,得主机的 IP 地址。
2:封装 HTTP 请求数据包 把以上部分结合本机自己的信息,封装成一个 HTTP 请求数据包
3:封装成 TCP 包并建立连接
封装成 TCP 包,建立 TCP 连接(TCP 的三次握手)
4:客户机发送请求命 4)客户机发送请求命令:建立连接后,客户机发送一个请求给服务器,请求方式的格式为:统一资
源标识符(URL)、协议版本号,后边是 MIME 信息包括请求修饰符、客户机信息和可内容。
5:服务器响应 服务器接到请求后,给予相应的响应信息,其格式为一个状态行,包括信息的协议版本号、一个成功或
错误的代码,后边是 MIME 信息包括服务器信息、实体信息和可能的内容。 6:服务器关闭 TCP 连接
服务器关闭 TCP 连接:一般情况下,一旦 Web 服务器向浏览器发送了请求数据,它就要关闭 TCP 连 接,然后如果浏览器或者服务器在其头信息加入了这行代码 Connection:keep-alive,TCP 连接在发送 后将仍然保持打开状态,于是,浏览器可以继续通过相同的连接发送请求。保持连接节省了为每个请求 建立新连接所需的时间,还节约了网络带宽。
状态码
9.1.4.2. HTTP 状态 消息响应
Continue(继续)
Switching Protocol(切换协议)
原因短语
100 101
121623125152125125
成功响应
200 OK(成功)
201 Created(已创建)
202 Accepted(已创建)
203 Non-Authoritative Information(未授权信息)
204 No Content(无内容)
205 Reset Content(重置内容)
206 Partial Content(部分内容)
重定向
客户端错误
400 Bad Request(错误请求)
401 Unauthorized(未授权)
402 Payment Required(需要付款)
403 Forbidden(禁止访问)
404 Not Found(未找到)
405 Method Not Allowed(不允许使用该方法)
406 Not Acceptable(无法接受)
407 Proxy Authentication Required(要求代理身份验证)
408 Request Timeout(请求超时)
409 Conflict(冲突)
410 Gone(已失效)
411 Length Required(需要内容长度头)
412 Precondition Failed(预处理失败)
413 Request Entity Too Large(请求实体过长)
414 Request-URI Too Long(请求网址过长)
415 Unsupported Media Type(媒体类型不支持)
416 Requested Range Not Satisfiable(请求范围不合要求)
417 Expectation Failed(预期结果失败)
服务器端错误
500 Internal Server Error(内部服务器错误)
501 Implemented(未实现)
502 Bad Gateway(网关错误)
503 Ser