Spring 是分层的企业级应用轻量级开源框架,以 IoC 和 AOP为内核。Spring 可以降低企业级应用开发的复杂性,对此主要采取了四个关键策略:基于 POJO 的轻量级和最小侵入性编程、通过依赖注入和面向接口实现松耦合、基于切面和惯性进行声明式编程、通过切面和模板减少样板式代码。
好处
降低代码耦合度、简化开发。通过 Spring 提供的 IoC 容器可以将对象间的依赖关系交由 Spring 进行控制,避免硬编码所造成的过度程序耦合。用户也不必再为单例模式类、属性文件解析等这些底层的需求编写代码,可以更专注于上层的应用。
AOP 编程以及声明式事务的支持。通过 Spring 的 AOP 功能可以方便进行面向切面的编程,通过声明式事务可以灵活进行事务管理,提高开发效率和质量。
方便程序的测试和集成各种框架。可以用非容器依赖的编程方式进行几乎所有的测试工作,可以降低各种框架的使用难度,提供了对 Mybatis 和 Hibernate 等框架的直接支持。
降低了 JavaEE API 的使用难度。Spring 对 JDBC、JavaMail、远程调用等 API 进行了封装,使这些 API 的使用难度大幅降低。
核心容器
核心容器由 spring-beans、spring-core、spring-context 和 spring-expression 四个模块组成。
spring-beans 和 spring-core 模块是 Spring 的核心模块,包括了控制反转和依赖注入。BeanFactory 使用控制反转对应用程序的配置和依赖性规范与实际的应用代码进行分离,BeanFactory 实例化后并不会自动实例化 Bean,只有当 Bean 被使用时才会对其进行实例化与依赖关系的装配。
spring-context 模块构架于核心模块之上,扩展了 BeanFactory,为它添加了 Bean 的生命周期控制、框架事件体系及资源透明化加载等功能。ApplicationConext 是该模块的核心接口,它是 BeanFactory 的子接口,它实例化后会自动对所有单例 Bean 进行实例化与依赖关系的装配,使之处于待用状态。
spring-expression 是 EL 语言的扩展模块,可以查询、管理运行中的对象,同时也可以方便地调用对象方法,以及操作数组、集合等。
IoC 即控制反转,是一种给予应用程序中目标组件更多控制的设计范式,简单来说就是把原来代码里需要实现的对象创建、依赖反转给容器来帮忙实现,需要创建一个容器并且需要一种描述来让容器知道要创建的对象之间的关系,在 Spring 框架中管理对象及其依赖关系是通过 Spring 的 IoC 容器实现的,IoC 的作用是降低代码耦合度。
IoC 的实现方式有依赖注入和依赖查找,由于依赖查找使用的很少,因此 IoC 也叫做依赖注入。依赖注入指对象被动地接受依赖类而不用自己主动去找,对象不是从容器中查找它依赖的类,而是在容器实例化对象时主动将它依赖的类注入给它。假设一个 Car 类需要一个 Engine 的对象,那么一般需要需要手动 new 一个 Engine,利用 IoC 就只需要定义一个私有的 Engine 类型的成员变量,容器会在运行时自动创建一个 Engine 的实例对象并将引用自动注入给成员变量。
基于 XML 的容器初始化
当创建一个 ClassPathXmlApplicationContext 时,构造器做了两件事:首先调用父容器的构造器为容器设置好 Bean 资源加载器,然后调用父类的 setConfigLocations 方法设置 Bean 配置信息的定位路径。
ClassPathXmlApplicationContext 通过调用父类 AbstractApplicationContext 的 refresh 方法启动整个 IoC 容器对 Bean 定义的载入过程,refresh 是一个模板方法,规定了 IoC 容器的启动流程。refresh 方法的主要作用是:在创建 IoC 容器之前如果已有容器存在,需要把已有的容器销毁和关闭,以保证在 refresh 方法之后使用的是新创建的 IoC 容器。
容器创建后通过 loadBeanDefinitions 方法加载 Bean 配置资源,该方法会做两件事:首先调用资源加载器的方法获取要加载的资源,其次真正执行加载功能,由子类 XmlBeanDefinitionReader 实现。在加载资源时,首先会解析配置文件路径,读取配置文件的内容,然后通过 XML 解析器将 Bean 配置信息转换成文档对象,之后再按照 Spring Bean 的定义规则对文档对象进行解析。
Spring IoC 容器中注册解析的 Bean 信息存放在一个 HashMap 集合中,key 是 String 字符串,值是 BeanDefinition,在注册过程中需要使用 synchronized 同步块保证线程安全。当 Bean 配置信息中配置的 Bean 被解析后且被注册到 IoC 容器中,初始化就算真正完成了,Bean 定义信息已经可以使用,并且可以被检索。Spring IoC 容器的作用就是对这些注册的 Bean 定义信息进行处理和维护,注册的 Bean 定义信息是控制反转和依赖注入的基础。
基于注解的容器初始化
Spring 对注解的处理分为两种方式:① 直接将注解 Bean 注册到容器中,可以在初始化容器时注册,也可以在容器创建之后手动注册,然后刷新容器使其对注册的注解 Bean 进行处理。② 通过扫描指定的包及其子包的所有类处理,在初始化注解容器时指定要自动扫描的路径。
可注入的数据类型
基本数据类型和 String、集合类型、Bean 类型。
实现方式
构造器注入:IoC Service Provider 会检查被注入对象的构造器,取得它所需要的依赖对象列表,进而为其注入相应的对象。这种方法的优点是在对象构造完成后就处于就绪状态,可以马上使用。缺点是当依赖对象较多时,构造器的参数列表会比较长,构造器无法被继承,无法设置默认值。对于非必需的依赖处理可能需要引入多个构造器,参数数量的变动可能会造成维护的困难。
setter 方法注入:当前对象只需要为其依赖对象对应的属性添加 setter 方法,就可以通过 setter 方法将依赖对象注入到被依赖对象中。setter 方法注入在描述性上要比构造器注入强,并且可以被继承,允许设置默认值。缺点是无法在对象构造完成后马上进入就绪状态。
接口注入:必须实现某个接口,这个接口提供一个方法来为其注入依赖对象。使用较少,因为它强制要求被注入对象实现不必要的接口,侵入性强。
相关注解
@Autowired
:自动按类型注入,如果有多个匹配则按照指定 Bean 的 id 查找,查找不到会报错。
@Qualifier
:在自动按照类型注入的基础上再按照 Bean 的 id 注入,给变量注入时必须搭配 @Autowired
,给方法注入时可单独使用。
@Resource
:直接按照 Bean 的 id 注入,只能注入 Bean 类型。
@Value
:用于注入基本数据类型和 String 类型。
依赖注入的过程
getBean 方法是获取 Bean 实例的方法,该方法会调用 doGetBean 方法,doGetBean 真正实现向 IoC 容器获取 Bean 的功能,也是触发依赖注入的地方。如果 Bean 定义为单例模式,容器在创建之前先从缓存中查找以确保整个容器中只存在一个实例对象。如果 Bean 定义为原型模式,则容器每次都会创建一个新的实例。
具体创建 Bean 实例对象的过程由 ObjectFactory 的 createBean 方法完成,该方法主要通过 createBeanInstance 方法生成 Bean 包含的 Java 对象实例和 populateBean 方法对 Bean 属性的依赖注入进行处理。
在 createBeanInstance 方法中根据指定的初始化策略,通过简单工厂、工厂方法或容器的自动装配特性生成 Java 实例对象,对工厂方法和自动装配特性的 Bean,调用相应的工厂方法或参数匹配的构造器即可完成实例化对象的工作,但最常用的默认无参构造器需要使用 JDK 的反射或 CGLib 来进行初始化。
在 populateBean 方法中,注入过程主要分为两种情况:① 属性值类型不需要强制转换时,不需要解析属性值,直接进行依赖注入。② 属性值类型需要强制转换时,首先需要解析属性值,然后对解析后的属性值进行依赖注入。依赖注入的过程就是将 Bean 对象实例设置到它所依赖的 Bean 对象属性上,真正的依赖注入是通过 setPropertyValues 方法实现的,该方法使用了委派模式。
BeanWrapperImpl 类负责对容器完成初始化的 Bean 实例对象进行属性的依赖注入,对于非集合类型的属性,大量使用 JDK 的反射机制,通过属性的 getter 方法获取指定属性注入前的值,同时调用属性的 setter 方法为属性设置注入后的值。对于集合类型的属性,将属性值解析为目标类型的集合后直接赋值给属性。
当 Spring IoC 容器对 Bean 定义资源的定位、载入、解析和依赖注入全部完成后,就不再需要我们手动创建所需的对象,Spring IoC 容器会自动为我们创建对象并且注入好相关依赖。
生命周期
在 IoC 容器的初始化过程中会对 Bean 定义完成资源定位,加载读取配置并解析,最后将解析的 Bean 信息放在一个 HashMap 集合中。当 IoC 容器初始化完成后,会进行对 Bean 实例的创建和依赖注入过程,注入对象依赖的各种属性值,在初始化时可以指定自定义的初始化方法。经过这一系列初始化操作后 Bean 达到可用状态,接下来就可以使用 Bean 了,当使用完成后会调用 destroy 方法进行销毁,此时也可以指定自定义的销毁方法,最终 Bean 被销毁且从容器中移除。
指定 Bean 初始化和销毁的方法:
XML 方式通过配置 bean 标签中的 init-Method 和 destory-Method 指定自定义初始化和销毁方法。
注解方式通过 @PreConstruct
和 @PostConstruct
注解指定自定义初始化和销毁方法。
作用范围
通过 scope 属性指定 bean 的作用范围,包括:① singleton:单例模式,是默认作用域,不管收到多少 Bean 请求每个容器中只有一个唯一的 Bean 实例。② prototype:原型模式,和 singleton 相反,每次 Bean 请求都会创建一个新的实例。③ request:每次 HTTP 请求都会创建一个新的 Bean 并把它放到 request 域中,在请求完成后 Bean 会失效并被垃圾收集器回收。④ session:和 request 类似,确保每个 session 中有一个 Bean 实例,session 过期后 bean 会随之失效。⑤ global session:当应用部署在 Portlet 容器中时,如果想让所有 Portlet 共用全局存储变量,那么这个变量需要存储在 global session 中。
创建方式
XML
通过默认无参构造器,只需要指明 bean 标签中的 id 和 class 属性,如果没有无参构造器会报错。
使用静态工厂方法,通过 bean 标签中的 class 属性指明静态工厂,factory-method 属性指明静态工厂方法。
使用实例工厂方法,通过 bean 标签中的 factory-bean 属性指明实例工厂,factory-method 属性指明实例工厂方法。
注解
@Component
把当前类对象存入 Spring 容器中,相当于在 xml 中配置一个 bean 标签。value 属性指定 bean 的 id,默认使用当前类的首字母小写的类名。
@Controller
,@Service
,@Repository
三个注解都是 @Component
的衍生注解,作用及属性都是一模一样的。只是提供了更加明确语义,@Controller
用于表现层,@Service
用于业务层,@Repository
用于持久层。如果注解中有且只有一个 value 属性要赋值时可以省略 value。
如果想将第三方的类变成组件又没有源代码,也就没办法使用 @Component
进行自动配置,这种时候就要使用 @Bean
注解。被 @Bean
注解的方法返回值是一个对象,将会实例化,配置和初始化一个新对象并返回,这个对象由 Spring 的 IoC 容器管理。name 属性用于给当前 @Bean
注解方法创建的对象指定一个名称,即 bean 的 id。当使用注解配置方法时,如果方法有参数,Spring 会去容器查找是否有可用 bean对象,查找方式和 @Autowired
一样。
@Configuration
用于指定当前类是一个 spring 配置类,当创建容器时会从该类上加载注解,value 属性用于指定配置类的字节码。
@ComponentScan
用于指定 Spring 在初始化容器时要扫描的包。basePackages 属性用于指定要扫描的包。
@PropertySource
用于加载 .properties
文件中的配置。value 属性用于指定文件位置,如果是在类路径下需要加上 classpath。
@Import
用于导入其他配置类,在引入其他配置类时可以不用再写 @Configuration
注解。有 @Import
的是父配置类,引入的是子配置类。value 属性用于指定其他配置类的字节码。
BeanFactory、FactoryBean 和 ApplicationContext 的区别
BeanFactory 是一个 Bean 工厂,实现了工厂模式,是 Spring IoC 容器最顶级的接口,可以理解为含有 Bean 集合的工厂类,它的作用是管理 Bean,包括实例化、定位、配置应用程序中的对象及建立这些对象之间的依赖。BeanFactory 实例化后并不会自动实例化 Bean,只有当 Bean 被使用时才会对其进行实例化与依赖关系的装配,属于延迟加载,适合多例模式。
FactoryBean 是一个工厂 Bean,作用是生产其他 Bean 实例,可以通过实现该接口,提供一个工厂方法来自定义实例化 Bean 的逻辑。
ApplicationConext 是 BeanFactory 的子接口,扩展了 BeanFactory 的功能,提供了支持国际化的文本消息,统一的资源文件读取方式,事件传播以及应用层的特别配置等。容器会在初始化时对配置的 Bean 进行预实例化,Bean 的依赖注入在容器初始化时就已经完成,属于立即加载,适合单例模式,一般推荐使用 ApplicationContext。
概念和原理
AOP 即面向切面编程,简单地说就是将代码中重复的部分抽取出来,在需要执行的时候使用动态代理的技术,在不修改源码的基础上对方法进行增强。优点是可以减少代码的冗余,提高开发效率,维护方便。
Spring 会根据类是否实现了接口来判断动态代理的方式,如果实现了接口会使用 JDK 的动态代理,核心是 InvocationHandler 接口和 Proxy 类,如果没有实现接口会使用 CGLib 动态代理,CGLib 是在运行时动态生成某个类的子类,如果某一个类被标记为 final,是不能使用 CGLib 动态代理的。
JDK 动态代理主要通过重组字节码实现,首先获得被代理对象的引用和所有接口,生成新的类必须实现被代理类的所有接口,动态生成Java 代码后编译新生成的 .class
文件并重新加载到 JVM 运行。JDK 代理直接写 Class 字节码,CGLib是采用ASM框架写字节码,生成代理类的效率低。但是CGLib调用方法的效率高,因为 JDK 使用反射调用方法,CGLib 使用 FastClass 机制为代理类和被代理类各生成一个类,这个类会为代理类或被代理类的方法生成一个 index,这个 index 可以作为参数直接定位要调用的方法。
常用场景包括权限认证、自动缓存、错误处理、日志、调试和事务等。
相关注解
@Aspect
:声明被注解的类是一个切面 Bean。
@Before
:前置通知,指在某个连接点之前执行的通知。
@After
:后置通知,指某个连接点退出时执行的通知(不论正常返回还是异常退出)。
@AfterReturning
:返回后通知,指某连接点正常完成之后执行的通知,返回值使用returning属性接收。
@AfterThrowing
:异常通知,指方法抛出异常导致退出时执行的通知,和@AfterReturning
只会有一个执行,异常使用throwing属性接收。
相关术语
Aspect
:切面,一个关注点的模块化,这个关注点可能会横切多个对象。
Joinpoint
:连接点,程序执行过程中的某一行为,即业务层中的所有方法。。
Advice
:通知,指切面对于某个连接点所产生的动作,包括前置通知、后置通知、返回后通知、异常通知和环绕通知。
Pointcut
:切入点,指被拦截的连接点,切入点一定是连接点,但连接点不一定是切入点。
Proxy
:代理,Spring AOP 中有 JDK 动态代理和 CGLib 代理,目标对象实现了接口时采用 JDK 动态代理,反之采用 CGLib 代理。
Target
:代理的目标对象,指一个或多个切面所通知的对象。
Weaving
:织入,指把增强应用到目标对象来创建代理对象的过程。
AOP 的过程
Spring AOP 是由 BeanPostProcessor 后置处理器开始的,这个后置处理器是一个监听器,可以监听容器触发的 Bean 生命周期事件,向容器注册后置处理器以后,容器中管理的 Bean 就具备了接收 IoC 容器回调事件的能力。BeanPostProcessor 的调用发生在 Spring IoC 容器完成 Bean 实例对象的创建和属性的依赖注入之后,为 Bean 对象添加后置处理器的入口是 initializeBean 方法。
Spring 中 JDK 动态代理生通过 JdkDynamicAopProxy 调用 Proxy 的 newInstance 方法来生成代理类,JdkDynamicAopProxy 也实现了 InvocationHandler 接口,invoke 方法的具体逻辑是先获取应用到此方法上的拦截器链,如果有拦截器则创建 MethodInvocation 并调用其 proceed 方法,否则直接反射调用目标方法。因此 Spring AOP 对目标对象的增强是通过拦截器实现的。
DispatcherServlet
:SpringMVC 中的前端控制器,是整个流程控制的核心,负责接收请求并转发给对应的处理组件。
Handler
:处理器,完成具体业务逻辑,相当于 Servlet 或 Action。
HandlerMapping
:完成URL 到 Controller映射的组件,DispatcherServlet 接收到请求之后,通过 HandlerMapping 将不同的请求映射到不同的 Handler。
HandlerInterceptor
:处理器拦截器,是一个接口,如果需要完成一些拦截处理,可以实现该接口。
HandlerExecutionChain
:处理器执行链,包括两部分内容:Handler 和 HandlerInterceptor。
HandlerAdapter
:处理器适配器,Handler执行业务方法前需要进行一系列操作,包括表单数据验证、数据类型转换、将表单数据封装到JavaBean等,这些操作都由 HandlerAdapter 完成。DispatcherServlet 通过 HandlerAdapter 来执行不同的 Handler。
ModelAndView
:装载了模型数据和视图信息,作为 Handler 的处理结果返回给 DispatcherServlet。
ViewResolver
:视图解析器,DispatcherServlet 通过它将逻辑视图解析为物理视图,最终将渲染的结果响应给客户端。
Web 容器启动时会通知 Spring 初始化容器,加载 Bean 的定义信息并初始化所有单例 Bean,然后遍历容器中的 Bean,获取每一个 Controller 中的所有方法访问的 URL,将 URL 和对应的 Controller 保存到一个 Map 集合中。
所有的请求会转发给 DispatcherServlet 前端处理器处理,DispatcherServlet 会请求 HandlerMapping 找出容器中被 @Controler
注解修饰的 Bean 以及被 @RequestMapping
修饰的方法和类,生成 Handler 和 HandlerInterceptor 并以一个 HandlerExcutionChain 处理器执行链的形式返回。
之后 DispatcherServlet 使用 Handler 找到对应的 HandlerApapter,通过 HandlerApapter 调用 Handler 的方法,将请求参数绑定到方法的形参上,执行方法处理请求并得到 ModelAndView。
最后 DispatcherServlet 根据使用 ViewResolver 试图解析器对得到的 ModelAndView 逻辑视图进行解析得到 View 物理视图,然后对视图渲染,将数据填充到视图中并返回给客户端。
注解
@Controller
:在类定义处添加,将类交给IoC容器管理。
@RequtestMapping
:将URL请求和业务方法映射起来,在类和方法定义上都可以添加该注解。value
属性指定URL请求的实际地址,是默认值。method
属性限制请求的方法类型,包括GET、POST、PUT、DELETE等。如果没有使用指定的请求方法请求URL,会报405 Method Not Allowed 错误。params
属性限制必须提供的参数,如果没有会报错。
@RequestParam
:如果 Controller 方法的形参和 URL 参数名一致可以不添加注解,如果不一致可以使用该注解绑定。value
属性表示HTTP请求中的参数名。required
属性设置参数是否必要,默认false。defaultValue
属性指定没有给参数赋值时的默认值。
@PathVariable
:Spring MVC 也支持 RESTful 风格的 URL,通过 @PathVariable
完成请求参数与形参的绑定。
Spring Data JPA 是 Spring 基于 ORM 框架、JPA 规范的基础上封装的一套 JPA 应用框架,可使开发者用极简的代码实现对数据库的访问和操作。它提供了包括增删改查等在内的常用功能,且易于扩展,可以极大提高开发效率。
ORM 即 Object-Relational Mapping ,表示对象关系映射,映射的不只是对象的值还有对象之间的关系,通过 ORM 就可以把对象映射到关系型数据库中。操作实体类就相当于操作数据库表,可以不再重点关注 SQL 语句。
使用时只需要持久层接口继承 JpaRepository 即可,泛型参数列表中第一个参数是实体类类型,第二个参数是主键类型。运行时通过 JdkDynamicAopProxy
的 invoke
方法创建了一个动态代理对象 SimpleJpaRepository
,SimpleJpaRepository
中封装了 JPA 的操作,通过 hibernate
(封装了JDBC)完成数据库操作。
注解
@Entity
:表明当前类是一个实体类。
@Table
:关联实体类和数据库表。
@Column
:关联实体类属性和数据库表中字段。
@Id
:声明当前属性为数据库表主键对应的属性。
@GeneratedValue
: 配置主键生成策略。
@OneToMany
:配置一对多关系,mappedBy 属性值为主表实体类在从表实体类中对应的属性名。
@ManyToOne
:配置多对一关系,targetEntity 属性值为主表对应实体类的字节码。
@JoinColumn
:配置外键关系,name 属性值为外键名称,referencedColumnName 属性值为主表主键名称。
对象导航查询
通过 get 方法查询一个对象的同时,通过此对象可以查询它的关联对象。
对象导航查询一到多默认使用延迟加载的形式, 关联对象是集合,因此使用立即加载可能浪费资源。
对象导航查询多到一默认使用立即加载的形式, 关联对象是一个对象,因此使用立即加载。
如果要改变加载方式,在实体类注解配置加上 fetch 属性即可,LAZY 表示延迟加载,EAGER 表示立即加载。
Mybatis 是一个实现了数据持久化的 ORM 框架,简单理解就是对 JDBC 进行了封装。
优点
相比 JDBC 减少了大量代码量,减少冗余代码。
使用灵活,SQL 语句写在 XML 里,从程序代码中彻底分离,降低了耦合度,便于管理。
提供 XML 标签,支持编写动态 SQL 语句。
提供映射标签,支持对象与数据库的 ORM 字段映射关系。
缺点
SQL 语句编写工作量较大,尤其是字段和关联表多时。
SQL 语句依赖于数据库,导致数据库移植性差,不能随意更换数据库。
映射文件标签
select
、insert
、update
、delete
标签分别对应查询、添加、更新、删除操作。
parameterType
属性表示参数的数据类型,包括基本数据类型和对应的包装类型、String 和 Java Bean 类型,当有多个参数时可以使用 #{argn}
的形式表示第 n 个参数。除了基本数据类型都要以全限定类名的形式指定参数类型。
resultType
表示返回的结果类型,包括基本数据类型和对应的包装类型、String 和 Java Bean 类型。还可以使用把返回结果封装为复杂类型的 resultMap
。
缓存
使用缓存可以减少程序和数据库交互的次数,从而提高程序的运行效率。第一次查询后会自动将结果保存到缓存中,下一次查询时直接从缓存中返回结果无需再次查询数据库。
一级缓存
SqlSession 级别,默认开启且不能关闭。
操作数据库时需要创建 SqlSession 对象,在对象中有一个 HashMap 用于存储缓存数据,不同 SqlSession 之间缓存数据区域互不影响。
一级缓存的作用域是 SqlSession 范围的,在同一个 SqlSession 中执行两次相同的 SQL 语句时,第一次执行完毕会将结果保存在缓存中,第二次查询直接从缓存中获取。
如果 SqlSession 执行了 DML 操作(insert、update、delete),Mybatis 必须将缓存清空以保证数据的有效性。
二级缓存
Mapper 级别,默认关闭。
使用二级缓存时多个 SqlSession 使用同一个 Mapper 的 SQL 语句操作数据库,得到的数据会存在二级缓存区,同样使用 HashMap 进行数据存储,相比于一级缓存,二级缓存范围更大,多个 SqlSession 可以共用二级缓存,作用域是 Mapper 的同一个 namespace,不同 SqlSession 两次执行相同的 namespace 下的 SQL 语句,参数也相等,则第一次执行成功后会将数据保存在二级缓存中,第二次可直接从二级缓存中取出数据。
要使用二级缓存,先在在全局配置文件中配置:
<setting name="cacheEnabled" value="true"/>
再在对应的映射文件中配置一个 cache 标签即可。
<cache/>
单体应用存在的问题
随着业务发展,开发越来越复杂。
修改、新增某个功能,需要对整个系统进行测试、重新部署。
一个模块出现问题,可能导致整个系统崩溃。
多个开发团队同时对数据进行管理,容易产生安全漏洞。
各个模块使用同一种技术开发,各个模块很难根据实际情况选择更合适的技术框架,局限性很大。
分布式和集群的区别
集群:一台服务器无法负荷高并发的数据访问量,就设置多台服务器一起分担压力,是在物理层面解决问题。
分布式:将一个复杂的问题拆分成若干简单的小问题,将一个大型的项目架构拆分成若干个微服务来协同完成,在软件设计层面解决问题。
微服务的优点
各个服务的开发、测试、部署都相互独立,用户服务可以拆分为独立服务,如果用户量很大,可以很容易对其实现负载。
当新需求出现时,使用微服务不再需要考虑各方面的问题,例如兼容性、影响度等。
使用微服务拆分项目后,各个服务之间消除了很多限制,只需要保证对外提供的接口正常可用,而不限制语言和框架等选择。
服务治理 Eureka
服务治理的核心由三部分组成:服务提供者、服务消费者、注册中心。
服务注册:在分布式系统架构中,每个微服务在启动时,将自己的信息存储在注册中心。
服务发现:服务消费者从注册中心获取服务提供者的网络信息,通过该信息调用服务。
Spring Cloud 的服务治理使用 Eureka 实现,Eureka 是 Netflix 开源的基于 REST 的服务治理解决方案,Spring Cloud 集成了 Eureka,提供服务注册和服务发现的功能,可以和基于 Spring Boot 搭建的微服务应用轻松完成整合,将 Eureka 二次封装为 Spring Cloud Eureka。Eureka Server 是注册中心,所有要进行注册的微服务通过 Eureka Client 连接到 Eureka Server 完成注册。
服务网关 Zuul
Spring Cloud 集成了 Zuul 组件,实现服务网关。Zuul 是 Netflix 提供的一个开源的 API 网关服务器,是客户端和网站后端所有请求的中间层,对外开放一个 API,将所有请求导入统一的入口,屏蔽了服务端的具体实现逻辑,可以实现方向代理功能,在网关内部实现动态路由、身份认证、IP过滤、数据监控等。
负载均衡 Ribbon
Spring Cloud Ribbon 是一个负载均衡的解决方案,Ribbon 是 Netflix 发布的均衡负载器,Spring Cloud Ribbon是基于 Netflix Ribbon 实现的,是一个用于对 HTTP 请求进行控制的负载均衡客户端。
在注册中心对 Ribbon 进行注册之后,Ribbon 就可以基于某种负载均衡算法(轮循、随机、加权轮询、加权随机等)自动帮助服务消费者调用接口,开发者也可以根据具体需求自定义 Ribbon 负载均衡算法。实际开发中 Spring Clooud Ribbon 需要结合 Spring Cloud Eureka 使用,Eureka 提供所有可以调用的服务提供者列表,Ribbon 基于特定的负载均衡算法从这些服务提供者中选择要调用的具体实例。
声明式接口调用 Feign
Feign 与 Ribbon 一样也是 Netflix 提供的,Feign 是一个声明式、模板化的 Web Service 客户端,简化了开发者编写 Web 服务客户端的操作,开发者可以通过简单的接口和注解来调用 HTTP API,Spring Cloud Feign 整合了 Ribbon 和 Hystrix,具有可插拔、基于注解、负载均衡、服务熔断等一系列功能。
相比于 Ribbon + RestTemplate 的方式,Feign 可以大大简化代码开发,支持多种注解,包括 Feign 注解、JAX-RS 注解、Spring MVC 注解等。RestTemplate 是 Spring 框架提供的基于 REST 的服务组件,底层是对 HTTP 请求及响应进行了封装,提供了很多访问 REST 服务的方法,可以简化代码开发。
服务熔断 Hystrix
熔断器的作用是在不改变各个微服务调用关系的前提下,针对错误情况进行预先处理。
设计原则:服务隔离机制、服务降级机制、熔断机制、提供实时监控和报警功能和提供实时配置修改功能
Hystrix 数据监控需要结合 Spring Boot Actuator
使用,Actuator 提供了对服务的数据监控、数据统计,可以通过 hystirx-stream
节点获取监控的请求数据,同时提供了可视化监控界面。
服务配置 Config
Spring Cloud Config 通过服务端可以为多个客户端提供配置服务,既可以将配置文件存储在本地,也可以将配置文件存储在远程的 Git 仓库,创建 Config Server,通过它管理所有的配置文件。
服务跟踪 Zipkin
Spring Cloud Zipkin 是一个可以采集并跟踪分布式系统中请求数据的组件,让开发者更直观地监控到请求在各个微服务耗费的时间,Zipkin 包括两部分 Zipkin Server 和 Zipkin Client。
第一层是服务器层,主要提供连接处理、授权认证、安全等功能,该层的服务不是 MySQL 独有的,大多数基于网络的 C/S 服务都有类似架构。
第二层实现了 MySQL 核心服务功能,包括查询解析、分析、优化、缓存以及日期、时间等所有内置函数,所有跨存储引擎的功能都在这一层实现,例如存储过程、触发器、视图等。
第三层是存储引擎层,存储引擎负责 MySQL 中数据的存储和提取。服务器通过API 与存储引擎通信,这些接口屏蔽了不同存储引擎的差异,使得差异对上层查询过程透明。除了会解析外键定义的 InnoDB 外,存储引擎不会解析SQL,不同存储引擎之间也不会相互通信,只是简单响应上层服务器请求。
当有多个查询需要在同一时刻修改数据时就会产生并发控制的问题,MySQL 在两个层面进行并发控制:服务器层与存储引擎层。
读写锁
在处理并发读或写时,可以通过实现一个由两种类型组成的锁系统来解决问题。这两种类型的锁通常被称为共享锁和排它锁,也叫读锁和写锁。读锁是共享的,或者说相互不阻塞的,多个客户在同一时刻可以同时读取同一个资源而不相互干扰。写锁则是排他的,也就是说一个写锁会阻塞其他的写锁和读锁,只有如此才能确保在给定时间内只有一个用户能执行写入并防止其他用户读取正在写入的同一资源。在实际的数据库系统中,每时每刻都在发生锁定,当某个用户在修改某一部分数据时,MySQL 会通过锁定防止其他用户读取同一数据。写锁比读锁有更高的优先级,一个写锁请求可能会被插入到读锁队列的前面,但是读锁不能插入到写锁前面。
锁策略
一种提高共享资源并发性的方法就是让锁定对象更有选择性,尽量只锁定需要修改的部分数据而不是所有资源,更理想的方式是只对会修改的数据进行精确锁定。任何时刻在给定的资源上,锁定的数据量越少,系统的并发程度就越高,只要不发生冲突即可。
锁策略就是在锁的开销和数据安全性之间寻求平衡,这种平衡也会影响性能。大多数商业数据库系统没有提供更多选择,一般都是在表上加行锁,而 MySQL 提供了多种选择,每种MySQL存储引擎都可以实现自己的锁策略和锁粒度。MySQL最重要的两种锁策略是:
表锁是MySQL中最基本的锁策略,并且是开销最小的策略。表锁会锁定整张表,一个用户在对表进行写操作前需要先获得写锁,这会阻塞其他用户对该表的所有读写操作。只有没有写锁时,其他读取的用户才能获取读锁,读锁之间不相互阻塞。
行锁可以最大程度地支持并发处理,同时也带来了最大的锁开销。InnoDB 和 XtraDB 以及一些其他存储引擎实现了行锁。行锁只在存储引擎层实现,而服务器层没有实现。
死锁
死锁是指两个或者多个事务在同一资源上相互占用并请求锁定对方占用的资源,从而导致恶性循环的现象。当多个事务试图以不同顺序锁定资源时就可能会产生死锁,多个事务同时锁定同一个资源时也会产生死锁。
为了解决死锁问题,数据库系统实现了各种死锁检测和死锁超时机制。越复杂的系统,例如InnoDB 存储引擎,越能检测到死锁的循环依赖,并立即返回一个错误。这种解决方式很有效,否则死锁会导致出现非常慢的查询。还有一种解决方法,就是当查询的时间达到锁等待超时的设定后放弃锁请求,这种方式通常来说不太好。InnoDB 目前处理死锁的方法是将持有最少行级排它锁的事务进行回滚。
锁的行为与顺序是和存储引擎相关的,以同样的顺序执行语句,有些存储引擎会产生死锁有些则不会。死锁的产生有双重原因:有些是真正的数据冲突,这种情况很难避免,有些则完全是由于存储引擎的实现方式导致的。
死锁发生之后,只有部分或者完全回滚其中一个事务,才能打破死锁。对于事务型系统这是无法避免的,所以应用程序在设计时必须考虑如何处理死锁。大多数情况下只需要重新执行因死锁回滚的事务即可。
事务就是一组原子性的 SQL 查询,或者说一个独立的工作单元。如果数据库引擎能够成功地对数据库应用该组查询的全部语句,那么就执行该组查询。如果其中有任何一条语句因为崩溃或其他原因无法执行,那么所有的语句都不会执行。也就是说事务内的语句要么全部执行成功,要么全部执行失败。
ACID 特性
一个运行良好的事务处理系统必须具备 ACID 特性,实现了 ACID 的数据库需要更强的CPU处理能力、更大的内存和磁盘空间。
原子性 atomicity
一个事务在逻辑上是必须不可分割的最小工作单元,整个事务中的所有操作要么全部提交成功,要么全部失败回滚,对于一个事务来说不可能只执行其中的一部分。
一致性 consistency
数据库总是从一个一致性的状态转换到另一个一致性的状态。
隔离性 isolation
针对并发事务而言,隔离性就是要隔离并发运行的多个事务之间的相互影响,一般来说一个事务所做的修改在最终提交以前,对其他事务是不可见的。
持久性 durability
一旦事务提交成功,其修改就会永久保存到数据库中,此时即使系统崩溃,修改的数据也不会丢失。
隔离级别
在 SQL 标准中定义了四种隔离级别,每一种隔离级别都规定了一个事务中所做的修改,哪些在事务内和事务间是可见的,哪些是不可见的。较低级别的隔离通常可以执行更高的并发,系统的开销也更低。
未提交读 READ UNCOMMITTED
在该级别事务中的修改即使没有被提交,对其他事务也是可见的。事务可以读取其他事务修改完但未提交的数据,这种问题称为脏读。这个级别还会导致不可重复读和幻读,从性能上说也没有比其他级别好很多,因此很少使用。
提交读 READ COMMITTED
大多数数据库系统默认的隔离级别就是提交读,但 MySQL 不是。提交读满足了隔离性的简单定义:一个事务开始时只能"看见"已经提交的事务所做的修改。换句话说,一个事务从开始直到提交之前的任何修改对其他事务都是不可见的。这个级别有时也叫不可重复读,因为两次执行同样的查询可能会得到不同结果。提交读存在不可重复读和幻读的问题。
可重复读 REPEATABLE READ(MySQL默认的隔离级别)
可重复读解决了不可重复读的问题,该级别保证了在同一个事务中多次读取同样的记录结果是一致的。但可重复读隔离级别还是无法解决幻读的问题,所谓幻读,指的是当某个事务在读取某个范围内的记录时,会产生幻行。InnoDB 存储引擎通过多版本并发控制MVCC 解决幻读的问题。
可串行化 SERIALIZABLE
该级别是最高的隔离级别,通过强制事务串行执行,避免了幻读的问题。可串行化会在读取的每一行数据上都加锁,可能导致大量的超时和锁争用的问题。实际应用中很少用到这个隔离级别,只有非常需要确保数据一致性且可以接受没有并发的情况下才考虑该级别。
MySQL 中的事务
MySQL 提供了两种事务型的存储引擎:InnoDB 和 NDB Cluster。
MySQL 事务默认采用自动提交模式,如果不是显式地开始一个事务,则每个查询都将被当作一个事务执行提交操作。在当前连接中,可以通过设置 AUTOCOMMIT 变量来启用或禁用自动提交模式。
1 或 ON 表示启用,0 或 OFF表示禁用,当禁用自动提交时,所有的查询都是在一个事务中,直到显式地执行 COMMIT 或 ROLLBACK 后该事务才会结束,同时又开始了一个新事务。修改 AUTOCOMMIT 对非事务型表,例如 MyISAM 或内存表不会有任何影响,对这类表来说没有 COMMIT 或 ROLLBACK 的概念,也可以理解为一直处于启用自动提交的模式
有一些命令在执行之前会强制执行提交当前的活动事务,例如ALTER TABLE
和LOCK TABLES
等。
MySQL能够识别所有的 4个 ANSI 隔离级别,InnoDB 引擎也支持所有隔离级别。
可以认为 MVCC 是行级锁的一个变种,但它在很多情况下避免了加锁操作,因此开销更低。虽然实现机制有所不同,但大都实现了非阻塞的读操作,写操作也只锁定必要的行。
MVCC 的实现,是通过保存数据在某个时间点的快照来实现的。也就是说不管需要执行多长时间,每个事务看到的数据都是一致的。根据事务开始的时间不同,每个事务对同一张表,同一时刻看到的数据可能是不一样的。
不同的存储引擎的 MVCC 实现是不同的,典型的有乐观并发控制和悲观并发控制。
InnoDB 的 MVCC 实现
InnoDB 的MVCC 通过在每行记录后面保存两个隐藏的列来实现,这两个列一个保存了行的创建时间,一个保存行的过期时间间。不过存储的不是实际的时间值而是系统版本号,每开始一个新的事务系统版本号都会自动递增,事务开始时刻的系统版本号会作为事务的版本号,用来和查询到的每行记录的版本号进行比较。
REPEATABLE READ 级别下 MVCC 的具体实现
SELECT:InnoDB 会根据以下两个条件检查每行记录:
只查找版本早于当前事务版本的数据行,可以确保事务读取的行要么是事务开始前已经存在的,要么是事物自身插入或修改过的。
行的删除版本要么未定义,要么大于当前事务版本号,可以确保事务读取到的行在事务开始前未被删除。
INSERT :为新插入的每一行保存当前系统版本号作为行版本号。
DELETE:为删除的每一行保存当前系统版本号作为行删除标识。
UPDATE:为插入的每一行新记录保存当前系统版本号作为行版本号,同时保存当前系统版本号到原来的行作为行删除标识。
保存这两个额外系统版本号使大多数读操作都可以不用加锁。这样设计使读数据操作简单且高效,并且能保证只会读取到符合标准的行。不足之处是每行记录都需要额外存储空间,需要做更多行检查工作以及一些额外维护工作。
MVCC 只能在 READ COMMITTED
和 REPEATABLE READ
两个隔离级别下工作,因为 READ UNCOMMITTED
总是读取最新的数据行,而不是符合当前事务版本的数据行,而 SERIALIZABLE
则会对所有读取的行都加锁。
InnoDB 是 MySQL 的默认事务型引擎,它被设计用来处理大量的短期事务。InnoDB 的性能和自动崩溃恢复特性,使得它在非事务型存储需求中也很流行,除非有特别原因否则应该优先考虑 InnoDB 引擎。
InnoDB 的数据存储在表空间中,表空间由一系列数据文件组成。MySQL4.1 后 InnoDB 可以将每个表的数据和索引放在单独的文件中。
InnoDB 采用 MVCC 来支持高并发,并且实现了四个标准的隔离级别。其默认级别是 REPEATABLE READ
,并且通过间隙锁策略防止幻读,间隙锁使 InnoDB 不仅仅锁定查询涉及的行,还会对索引中的间隙进行锁定防止幻行的插入。
InnoDB 表是基于聚簇索引建立的,InnoDB 的索引结构和其他存储引擎有很大不同,聚簇索引对主键查询有很高的性能,不过它的二级索引中必须包含主键列,所以如果主键很大的话其他所有索引都会很大,因此如果表上索引较多的话主键应当尽可能小。
InnoDB 的存储格式是平台独立的,可以将数据和索引文件从一个平台复制到另一个平台。
InnoDB 内部做了很多优化,包括从磁盘读取数据时采用的可预测性预读,能够自动在内存中创建加速读操作的自适应哈希索引,以及能够加速插入操作的插入缓冲区等。
选择合适的存储引擎
MySQL5.5 将 InnoDB 作为默认存储引擎,除非需要用到某些 InnoDB 不具备的特性,并且没有其他方法可以代替,否则都应该优先选用InnoDB。
如果应用需要事务支持,那么 InnoDB 是目前最稳定并且经过验证的选择。如果不需要事务并且主要是 SELECT 和 INSERT 操作,那么MyISAM 是不错的选择。相对而言,MyISAM 崩溃后发生损坏的概率要比 InnoDB 大很多而且恢复速度也要慢,因此即使不需要事务支持,也可以选择InnoDB。
如果可以定期地关闭服务器来执行备份,那么备份的因素可以忽略。反之如果需要在线热备份,那么 InnoDB 就是基本的要求。
在 MySQL5.1及之前,MyISAM 是默认的存储引擎,MyISAM 提供了大量的特性,包括全文索引、压缩、空间函数等,但不支持事务和行锁,最大的缺陷就是崩溃后无法安全恢复。对于只读的数据或者表比较小、可以忍受修复操作的情况仍然可以使用 MyISAM。
MyISAM 将表存储在数据文件和索引文件中,分别以 .MYD
和 .MYI
作为扩展名。MyISAM 表可以包含动态或者静态行,MySQL 会根据表的定义决定行格式。MyISAM 表可以存储的行记录数一般受限于可用磁盘空间或者操作系统中单个文件的最大尺寸。
MyISAM 对整张表进行加锁,读取时会对需要读到的所有表加共享锁,写入时则对表加排它锁。但是在表有读取查询的同时,也支持并发往表中插入新的记录。
对于MyISAM 表,MySQL 可以手动或自动执行检查和修复操作,这里的修复和事务恢复以及崩溃恢复的概念不同。执行表的修复可能导致一些数据丢失,而且修复操作很慢。
对于 MyISAM 表,即使是 BLOB 和 TEXT 等长字段,也可以基于其前 500 个字符创建索引。MyISAM 也支持全文索引,这是一种基于分词创建的索引,可以支持复杂的查询。
创建 MyISAM 表时如果指定了 DELAY_KEY_WRITE 选项,在每次修改执行完成时不会立刻将修改的索引数据写入磁盘,而是会写到内存中的键缓冲区,只有在清理缓冲区或关闭表的时候才会将对应的索引库写入磁盘。这种方式可以极大提升写性能,但在数据库或主机崩溃时会造成索引损坏,需要执行修复。延迟更新索引键的特性可以在全局设置也可以单个表设置。
MyISAM 设计简单,数据以紧密格式存储,所以在某些场景下性能很好。MyISAM 最典型的性能问题还是表锁问题,如果所有的查询长期处于 Locked 状态,那么原因毫无疑问就是表锁。
如果需要快速访问数据,并且这些数据不会被修改,重启以后丢失也没有关系,那么使用 Memory 表是非常有用的。Memory 表至少要比 MyISAM 表快一个数量级,因为所有的数据都保存在内存中,不需要进行磁盘 IO,Memory 表的结构在重启以后还会保留,但数据会丢失。
Memory 表适合的场景:查找或者映射表、缓存周期性聚合数据的结果、保存数据分析中产生的中间数据。
Memory 表支持哈希索引,因此查找速度极快。虽然速度很快但还是无法取代传统的基于磁盘的表,Memory 表使用表级锁,因此并发写入的性能较低。它不支持 BLOB 和 TEXT 类型的列,并且每行的长度是固定的,所以即使指定了 VARCHAR 列,实际存储时也会转换成CHAR,这可能导致部分内存的浪费。
如果 MySQL 在执行查询的过程中需要使用临时表来保持中间结果,内部使用的临时表就是 Memory 表。如果中间结果太大超出了Memory 表的限制,或者含有 BLOB 或 TEXT 字段,临时表会转换成 MyISAM 表。
整数类型
如果存储整数可以使用这几种整数类型:TINYINT、SMALLINT、MEDIUMINT、INT,BIGINT,它们分别使用8、16、24、32、64 位存储空间。
整数类型有可选的 UNSIGNED 属性,表示不允许负值,可以使整数的上限提高一倍。有符号和无符号类型使用相同的存储空间并具有相同的性能,可以根据实际情况选择合适的类型。
MySQL 可以为整数类型指定宽度,例如 INT(11),这对大多数应用没有意义,不会限制值的范围,只是规定了 MySQL 的交互工具显示字符的个数,对于存储和计算来说 INT(1) 和 INT(11) 是相同的。
实数类型
实数是带有小数部分的数字,但它们不只是为了存储小数,也可以使用 DECIMAL 存储比 BIGINT 还大的整数。MySQL既支持精确类型,也支持不精确类型。
FLOAT 和 DOUBLE 支持使用标准的浮点运算进行近似运算,DECIMAL 用于存储精确的小数。
浮点类型在存储同样范围的值时,通常比 DECIMAL 使用更少的空间。FLOAT 使用 4 字节存储,DOUBLE 占用8字节,MySQL 内部使用DOUBLE 作为内部浮点计算的类型。
因为需要额外空间和计算开销,所以应当尽量只在对小数进行精确计算时才使用 DECIMAL。在数据量较大时可以考虑 BIGINT 代替DECIMAL,将需要存储的货币单位根据小数的位数乘以相应的倍数即可。假设要存储的数据精确到万分之一分,则可以把所有金额乘以一百万将结果存储在 BIGINT 中,这样可以同时避免浮点存储计算不精确和 DECIMAL 精确计算代价高的问题。
VARCHAR
VARCHAR 用于存储可变字符串,是最常见的字符串数据类型。它比定长字符串更节省空间,因为它仅使用必要的空间。VARCHAR 需要 1或 2 个额外字节记录字符串长度,如果列的最大长度不大于 255 字节则只需要1 字节。VARCHAR 不会删除末尾空格。
VARCHAR 节省了存储空间,但由于行是变长的,在 UPDATE 时可能使行变得比原来更长,这就导致需要做额外的工作。如果一个行占用的空间增长并且页内没有更多的空间可以存储,这种情况下不同存储引擎处理不同,InnoDB 会分裂页而 MyISAM 会将行拆分成不同片。
适用场景:字符串列的最大长度比平均长度大很多、列的更新很少、使用了 UTF8 这种复杂字符集,每个字符都使用不同的字节数存储。
InnoDB 可以把过长的 VARCHAR 存储为 BLOB。
CHAR
CHAR 是定长的,根据定义的字符串长度分配足够的空间。CHAR 会删除末尾空格。
CHAR 适合存储很短的字符串,或所有值都接近同一个长度,例如存储密码的 MD5 值。对于经常变更的数据,CHAR 也比 VARCHAR更好,因为定长的 CHAR 不容易产生碎片。对于非常短的列,CHAR 在存储空间上也更有效率,例如用 CHAR 来存储只有 Y 和 N 的值只需要一个字节,但是 VARCHAR 需要两个字节,因为还有一个记录长度的额外字节。
BLOB 和 TEXT 类型
BLOB 和TEXT 都是为了存储大数据而设计的字符串数据类型,分别采用二进制和字符串方式存储。MySQL会把每个 BLOB 和 TEXT 值当作一个独立的对象处理,存储引擎在存储时通常会做特殊处理。当值太大时,InnoDB 会使用专门的外部存储区来进行存储。BLOB 和TEXT 仅有的不同是 BLOB 存储的是二进制数据,没有排序规则或字符集,而 TEXT 有字符集和排序规则。
MySQL 对 BLOB 和TEXT 列进行排序与其他类型不同:它只对每个列最前 max_sort_length
字节而不是整个字符串做排序,如果只需要排序前面一小部分字符,则可以减小 max_sort_length
的配置。MySQL 不能将 BLOB 和 TEXT 列全部长度的字符串进行索引,也不能使用这些索引消除排序。
DATETIME
这个类型能保存大范围的值,从 1001 年到 9999 年,精度为秒。它把日期和时间封装到了一个整数中,与时区无关,使用 8 字节的存储空间。
TIMESTAMP
它和 UNIX 时间戳相同。TIMESTAMP 只使用 4 字节的存储空间,因此它的范围比DATETIME 小得多,只能表示1970年到2038年,并且依赖于时区。通常应该选择 TIMESTAMP,因为它比 DATETIME 空间效率更高。
索引在也叫做键,是存储引擎用于快速找到记录的一种数据结构。索引对于良好的性能很关键,尤其是当表中数据量越来越大时,索引对性能的影响愈发重要。在数据量较小且负载较低时,不恰当的索引对性能的影响可能还不明显,但数据量逐渐增大时,性能会急剧下降。
索引大大减少了服务器需要扫描的数据量、可以帮助服务器避免排序和临时表、可以将随机 IO 变成顺序 IO。但索引并不总是最好的工具,对于非常小的表,大部分情况下会采用全表扫描。对于中到大型的表,索引就非常有效。但对于特大型的表,建立和使用索引的代价也随之增长,这种情况下应该使用分区技术。
在MySQL中,首先在索引中找到对应的值,然后根据匹配的索引记录找到对应的数据行。索引可以包括一个或多个列的值,如果索引包含多个列,那么列的顺序也十分重要,因为 MySQL 只能高效地使用索引的最左前缀列。
B-Tree 索引
大多数 MySQL 引擎都支持这种索引,使用术语 B-Tree 是因为 MySQL 在 CREATE TABLE 和其他语句中也使用该关键字。不过底层的存储引擎可能使用不同的存储结构,例如 NDB 集群实际使用 T-Tree,而 InnoDB 则使用 B+Tree。
存储引擎以不同方式使用 B-Tree 索引,性能也不同。例如 MyISAM 使用前缀压缩技术使得索引更小,但 InnoDB 则按照原数据格式进行存储。再例如 MyISAM 索引通过数据的物理位置引用被索引的行,而 InnoDB 则根据主键引用被索引的行。
B-Tree 通常意味着所有的值都是按顺序存储的,并且每个叶子页到根的距离相同。B-Tree 索引能够加快访问数据的速度,因为存储引擎不再需要进行全表扫描来获取需要的数据,取而代之的是从索引的根节点开始进行搜索。根节点的槽中存放了指向子节点的指针,存储引擎根据这些指针向下层查找。通过比较节点页的值和要查找的值可以找到合适的指针进入下层子节点,这些指针实际上定义了子节点页中值的上限和下限。最终存储引擎要么找到对应的值,要么该记录不存在。叶子节点的指针指向的是被索引的数据,而不是其他的节点页。
B-Tree索引适用于全键值、键值范围或键前缀查找,其中键前缀查找只适用于最左前缀查找。索引对如下类型的查询有效:
因为索引树中的节点有序,所以除了按值查找之外索引还可以用于查询中的 ORDER BY 操作。一般如果 B-Tree 可以按照某种方式查找到值,那么也可以按照这种方式排序。
B-Tree索引的限制:
哈希索引
哈希索引基于哈希表实现,只有精确匹配索引所有列的查询才有效。对于每一行数据,存储引擎都会对所有的索引列计算一个哈希码,哈希码是一个较小的值,并且不同键值的行计算出的哈希码也不一样。哈希索引将所有的哈希码存储在索引中,同时在哈希表中保存指向每个数据行的指针。
只有 Memory 引擎显式支持哈希索引,这也是 Memory 引擎的默认索引类型。
因为索引自身只需存储对应的哈希值,所以索引的结构十分紧凑,这让哈希索引的速度非常快,但它也有一些限制:
自适应哈希索引是 InnoDB 引擎的一个特殊功能,当它注意到某些索引值被使用的非常频繁时,会在内存中基于 B-Tree 索引之上再创键一个哈希索引,这样就让 B-Tree 索引也具有哈希索引的一些优点,比如快速哈希查找。这是一个完全自动的内部行为,用户无法控制或配置,但如果有必要可以关闭该功能。
如果存储引擎不支持哈希索引,可以创建自定义哈希索引,在 B-Tree基础 上创建一个伪哈希索引,它使用哈希值而不是键本身进行索引查找,需要在查询的 WHERE 子句中手动指定哈希函数。当数据表非常大时,CRC32 会出现大量的哈希冲突,可以考虑自己实现 64 位哈希函数,或者使用 MD5 函数返回值的一部分作为自定义哈希函数。
空间索引
MyISAM 表支持空间索引,可以用作地理数据存储。和 B-Tree 索引不同,这类索引无需前缀查询。空间索引会从所有维度来索引数据,查询时可以有效地使用任意维度来组合查询。必须使用 MySQL 的 GIS 即地理信息系统的相关函数来维护数据,但 MySQL 对 GIS 的支持并不完善,因此大部分人都不会使用这个特性。
全文索引
通过数值比较、范围过滤等就可以完成绝大多数需要的查询,但如果希望通过关键字的匹配进行查询过滤,那么就需要基于相似度的查询,而不是精确的数值比较,全文索引就是为这种场景设计的。全文索引有自己独特的语法,没有索引也可以工作,如果有索引效率会更高。
全文索引可以支持各种字符内容的搜索,包括 CHAR、VARCHAR 和 TEXT 类型,也支持自然语言搜索和布尔搜索。在 MySQL 中全文索引有很多限制,例如表锁对性能的影响、数据文件的崩溃恢复等,这使得 MyISAM 的全文索引对很多应用场景并不合适。MyISAM 的全文索引作用对象是一个"全文集合",可能是某个数据表的一列,也可能是多个列。具体的对某一条记录,MySQL 会将需要索引的列全部拼接成一个字符串然后进行索引。
MyISAM 的全文索引是一种特殊的 B-Tree 索引,一共有两层。第一层是所有关键字,然后对于每一个关键字的第二层,包含的是一组相关的"文档指针"。全文索引不会索引文档对象中的所有词语,它会根据规则过滤掉一些词语,例如停用词列表中的词都不会被索引。
聚簇索引
聚簇索引并不是一种单独的索引类型,而是一种数据存储方式。InnoDB 的聚簇索引实际上在同一个结构中保存了 B-Tree 索引和数据行。当表有聚餐索引时,它的行数据实际上存放在索引的叶子页中,因为无法同时把数据行存放在两个不同的地方,所以一个表只能有一个聚簇索引。
优点:① 可以把相关数据保存在一起,例如实现电子邮箱时可以根据用户 ID 聚集数据,这样只需要从磁盘读取少数数据页就能获取某个用户的全部邮件,如果没有使用聚簇索引,每封邮件可能都导致一次磁盘 IO。② 数据访问更快,聚簇索引将索引和数据保存在同一个 B-Tree 中,因此获取数据比非聚簇索引要更快。③ 使用覆盖索引扫描的查询可以直接使用页节点中的主键值。
缺点:① 聚簇索引最大限度提高了 IO 密集型应用的性能,如果数据全部在内存中将会失去优势。② 插入速度验证依赖于插入顺序,按照主键的顺序插入是加载数据到 InnoDB 引擎最快的方式。③ 更新聚簇索引列的代价很高,因为会强制每个被更新的行移动到新位置。④ 基于聚簇索引的表插入新行或主键被更新导致行移动时,可能导致页分裂,表会占用更多磁盘空间。④ 当行稀疏或由于页分裂导致数据存储不连续时,全表扫描可能很慢。
覆盖索引
覆盖索引指一个索引包含或覆盖了所有需要查询的字段的值,不再需要根据索引回表查询数据。覆盖索引必须要存储索引列的值,因此 MySQL 只能使用 B-Tree 索引做覆盖索引。
优点:① 索引条目通常远小于数据行大小,可以极大减少数据访问量。② 因为索引按照列值顺序存储,所以对于 IO 密集型防伪查询回避随机从磁盘读取每一行数据的 IO 少得多。③ 由于 InnoDB 使用聚簇索引,覆盖索引对 InnoDB 很有帮助。InnoDB 的二级索引在叶子节点保存了行的主键值,如果二级主键能覆盖查询那么可以避免对主键索引的二次查询。
建立索引
对查询频次较高,且数据量比较大的表建立索引。索引字段的选择,最佳候选列应当从 WHERE 子句的条件中提取,如果 WHERE 子句中的组合比较多,那么应当挑选最常用、过滤效果最好的列的组合。
使用前缀索引
索引列开始的部分字符,索引创建后也是使用硬盘来存储的,因此短索引可以提升索引访问的 IO 效率。对于 BLOB、TEXT 或很长的 VARCHAR 列必须使用前缀索引,MySQL 不允许索引这些列的完整长度。前缀索引是一种能使索引更小更快的有效方法,但缺点是 MySQL 无法使用前缀索引做 ORDER BY 和 GROUP BY,也无法使用前缀索引做覆盖扫描。
选择合适的索引顺序
当不需要考虑排序和分组时,将选择性最高的列放在前面。索引的选择性是指不重复的索引值和数据表的记录总数之比,索引的选择性越高则查询效率越高,唯一索引的选择性是 1,因此也可以使用唯一索引提升查询效率。
删除无用索引
MySQL 允许在相同列上创建多个索引,重复的索引需要单独维护,并且优化器在优化查询时也需要逐个考虑,这会影响性能。重复索引是指在相同的列上按照相同的顺序创建的相同类型的索引,应该避免创建重复索引。如果创建了索引 (A,B) 再创建索引 (A) 就是冗余索引,因为这只是前一个索引的前缀索引,对于 B-Tree 索引来说是冗余的。解决重复索引和冗余索引的方法就是删除这些索引。除了重复索引和冗余索引,可能还会有一些服务器永远不用的索引,也应该考虑删除。
减少碎片
B-Tree 索引可能会碎片化,碎片化的索引可能会以很差或无序的方式存储在磁盘上,这会降低查询的效率。表的数据存储也可能碎片化,包括行碎片、行间碎片、剩余空间碎片,对于 MyISAM 这三类碎片化都有可能发生,对于 InnoDB 不会出现短小的行碎片,它会移动短小的行重写到一个片段中。可以通过执行 OPTIMIZE TABLE 或者导出再导入的方式重新整理数据,对于 MyISAM 可以通过排序重建索引消除碎片。InnoDB 可以通过先删除再重新创建索引的方式消除索引碎片。
索引失效情况
如果索引列出现了隐式类型转换,则 MySQL 不会使用索引。常见的情况是在 SQL 的 WHERE 条件中字段类型为字符串,其值为数值,如果没有加引号那么 MySQL 不会使用索引。
如果 WHERE 条件中含有 OR,除非 OR 前使用了索引列而 OR 之后是非索引列,索引会失效。
MySQL 不能在索引中执行 LIKE 操作,这是底层存储引擎 API 的限制,最左匹配的 LIKE 比较会被转换为简单的比较操作,但如果是以通配符开头的 LIKE 查询,存储引擎就无法做笔记。这种情况下 MySQL 服务器只能提取数据行的值而不是索引值来做比较。
如果查询中的列不是独立的,则 MySQL 不会使用索引。独立的列是指索引列不能是表达式的一部分,也不能是函数的参数。
对于多个范围条件查询,MySQL 无法使用第一个范围列后面的其他索引列,对于多个等值查询则没有这种限制。
如果 MySQL 判断全表扫描比使用索引查询更快,则不会使用索引。
更小的通常更好
一般情况下尽量使用可以正确存储数据的最小数据类型,更小的数据类型通常也更快,因为它们占用更少的磁盘、内存和 CPU 缓存。
尽可能简单
简单数据类型的操作通常需要更少的 CPU 周期,例如整数比字符操作代价更低,因为字符集和校对规则使字符相比整形更复杂。应该使用 MySQL 的内建类型 date、time 和 datetime 而不是字符串来存储日期和时间,另一点是应该使用整形存储 IP 地址。
尽量避免 NULL
通常情况下最好指定列为 NOT NULL,除非需要存储 NULL值。因为如果查询中包含可为 NULL 的列对 MySQL 来说更难优化,可为 NULL 的列使索引、索引统计和值比较都更复杂,并且会使用更多存储空间。当可为 NULL 的列被索引时,每个索引记录需要一个额外字节,在MyISAM 中还可能导致固定大小的索引变成可变大小的索引。
通常把可为 NULL 的列设置为 NOT NULL 带来的性能提升较小,因此调优时没必要首先查找并修改这种情况。但如果计划在列上建索引,就应该尽量避免设计成可为 NULL 的列。
在为列选择数据类型时,第一步需要确定合适的大类型:数字、字符串、时间等。下一步是选择具体类型,很多 MySQL 数据类型可以存储相同类型的数据,只是存储的长度和范围不一样,允许的精度不同或需要的物理空间不同。
优化数据访问
如果把查询看作一个任务,那么它由一系列子任务组成,每个子任务都会消耗一定时间。如果要优化查询,要么消除一些子任务,要么减少子任务的执行次数。查询性能低下最基本的原因是访问的数据太多,大部分性能低下的查询都可以通过减少访问的数据量进行优化。可以通过以下两个步骤分析。
是否向数据库请求了不需要的数据:有些查询会请求超过实际需要的数据,然后这些多余的数据会被应用程序丢弃,这会给 MySQL 服务器造成额外负担并增加网络开销,另外也会消耗应用服务器的 CPU 和内存资源。例如多表关联时返回全部列,取出全部列会让优化器无法完成索引覆盖扫描这类优化,还会为服务器带来额外的 IO、内存和 CPU 的消耗,因此使用 SELECT * 时需要仔细考虑是否真的需要返回全部列。再例如总是重复查询相同的数据,比较好的解决方案是初次查询时将数据缓存起来,需要的时候从缓存中取出。
MySQL 是否在扫描额外的记录:在确定查询只返回需要的数据后,应该看看查询为了返回结果是否扫描了过多的数据,最简单的三个衡量指标时响应时间、扫描的行数和返回的行数。如果发现查询需要扫描大量数据但只返回少数的行,可以使用以下手动优化:① 使用覆盖索引扫描,把所有需要用的列都放到索引中,这样存储引擎无需回表查询对应行就可以返回结果。② 改变库表结构。 ③ 重写这个复杂的查询,让 MySQL 优化器能够以更优化的方式执行这个查询。
重构查询方式
在优化有问题的查询时,目标应该是找到一个更优的方法获取实际需要的结果,而不一定总是需要从 MySQL 获取一模一样的结果集。
切分查询:有时候对于一个大查询可以将其切分成小查询,每个查询功能完全一样,只完成一小部分,每次只返回一小部分查询结果。例如删除旧数据,定期清除大量数据时,如果用一个大的语句一次性完成的话可能需要一次锁住很多数据、占满整个事务日志、耗尽系统资源、阻塞很多小的但重要的查询。将一个大的 DELETE 语句切分成多个较小的查询可以尽可能小地影响 MySQL 的性能,同时还可以减少MySQL 复制的延迟。
分解关联查询:很多高性能应用都会对关联查询进行分解,可以对每一个表进行单表查询,然后将结果在应用程序中进行关联。分解关联查询可以让缓存的效率更高、减少锁的竞争、提升查询效率、还可以减少冗余记录的查询。
简单来说分为五步:① 客户端发送一条查询给服务器。② 服务器先检查查询缓存,如果命中了缓存则立刻返回存储在缓存中的结果,否则进入下一阶段。③ 服务器端进行 SQL 解析、预处理,再由优化器生成对应的执行计划。④ MySQL 根据优化器生成的执行计划,调用存储引擎的 API 来执行查询。⑤ 将结果返回给客户端。
查询缓存
在解析一个查询语句之前,如果查询缓存是打开的,那么 MySQL 会优先检查这个查询是否命中查询缓存中的数据。这个检查是通过一个对大小写敏感的哈希查找实现的。查询和缓存中的查询即使只有一个字节不同,也不会匹配缓存结果,这种情况下会进行下一个阶段的处理。如果当前的查询恰好命中了查询缓存,那么在返回查询结果之前 MySQL 会检查一次用户权限。如果权限没有问题,MySQL 会跳过其他阶段,直接从缓冲中拿到结果并返回给客户端,这种情况下查询不会被解析,不用生成执行计划,不会被执行。
查询优化处理
该阶段包括多个子阶段:解析 SQL、预处理、优化 SQL 执行计划。首先 MySQL 通过关键字将 SQL 语句进行解析,并生成一颗对应的解析树,MySQL 解析器将使用 MySQL 语法规则验证和解析查询。例如它将验证是否使用了错误的关键字,或者使用关键字的顺序是否正确等。预处理器则根据一些 MySQL 规则进一步检查解析树是否合法,例如检查数据表和数据列是否存在,还会解析名字和别名看它们是否有歧义。下一步预处理器会验证权限,这一步通常很快,除非服务器上有非常多的权限配置。
语法树被认为合法后,查询优化器将其转成执行计划。一条查询可以有多种查询方式,最后都返回相同的结果,优化器的作用就是找到这其中最好的执行计划。MySQL 使用基于成本的优化器,它将尝试预测一个查询使用某种执行计划时的成本,并选择其中成本最小的一个。优化策略可以简单分为两种,一种是静态优化,可以直接对解析树分析并完成优化,不依赖于特别的数值,可以认为是一种编译时优化。另一种是动态优化,和查询的上下文有关,每次查询时都需要重新评估。
MySQL 可以处理的优化类型包括:重新定义表的关联顺序、将外连接转化成内连接、使用等价变换规则、优化 COUNT() 和 MIN() 以及 MAX() 函数、预估并转为常数表达式、覆盖索引扫描、子查询优化等。
查询执行引擎
在解析和优化阶段,MySQL 将生成查询对应的执行计划,MySQL 的查询执行引擎则根据这个计划来完成整个查询。执行计划是一个数据结构,而不是其他关系型数据库那样会生成对应的字节码。查询执行阶段并不复杂,MySQL 只是简单的根据执行计划给出的指令逐步执行,再根据执行计划执行的过程中,有大量操作需要通过调用存储引擎实现的接口来完成。
返回结果给客户端
查询执行的最后一个阶段是将结果返回给客户端,即使查询不需要返回结果集,MySQL 仍然会返回这个查询的一些信息,如该查询影响到的行数。如果查询可以被缓存,那么 MySQL 会在这个阶段将结果存放到查询缓冲中。MySQL 将结果集返回客户端是一个增量、逐步返回的过程,这样做的好处是服务器无需存储太多的结果,减少内存消耗,也可以让客户端第一时间获得响应结果。结果集中的每一行给都会以一个满足 MySQL 客户端/服务器通信协议的包发送,再通过 TCP 协议进行传输,在 TCP 传输过程中可能对包进行缓存然后批量传输。
优化 COUNT 查询
COUNT 是一个特殊的函数,它可以统计某个列值的数量,在统计列值时要求列值是非空的,不会统计 NULL 值。如果在 COUNT 中指定了列或列的表达式,则统计的就是这个表达式有值的结果数,而不是 NULL。
COUNT 的另一个作用是统计结果集的行数,当 MySQL 确定括号内的表达式不可能为 NULL 时,实际上就是在统计行数。当使用 COUNT(*) 时,* 不会扩展成所有列,它会忽略所有的列而直接统计所有的行数。
某些业务场景并不要求完全精确的 COUNT 值,此时可以使用近似值来代替,EXPLAIN 出来的优化器估算的行数就是一个不错的近似值,因为执行 EXPLAIN 并不需要真正地执行查询。
通常来说 COUNT 都需要扫描大量的行才能获取精确的结果,因此很难优化。在 MySQL 层还能做的就只有覆盖扫描了,如果还不够就需要修改应用的架构,可以增加汇总表或者外部缓存系统。
优化关联查询
确保 ON 或 USING 子句中的列上有索引,在创建索引时就要考虑到关联的顺序。
确保任何 GROUP BY 和 ORDER BY 的表达式只涉及到一个表中的列,这样 MySQL 才有可能使用索引来优化这个过程。
在 MySQL 5.5 及以下版本尽量避免子查询,可以用关联查询代替,因为执行器会先执行外部的 SQL 再执行内部的 SQL。
优化 GROUP BY
如果没有通过 ORDER BY 子句显式指定要排序的列,当查询使用 GROUP BY 子句的时候,结果集会自动按照分组的字段进行排序,如果不关心结果集的顺序,可以使用 ORDER BY NULL 禁止排序。
优化 LIMIT 分页
在偏移量非常大的时候,需要查询很多条数据再舍弃,这样的代价非常高。要优化这种查询,要么是在页面中限制分页的数量,要么是优化大偏移量的性能。最简单的办法是尽可能地使用覆盖索引扫描,而不是查询所有的列,然后根据需要做一次关联操作再返回所需的列。
还有一种方法是从上一次取数据的位置开始扫描,这样就可以避免使用 OFFSET。其他优化方法还包括使用预先计算的汇总表,或者关联到一个冗余表,冗余表只包含主键列和需要做排序的数据列。
优化 UNION 查询
MySQL 通过创建并填充临时表的方式来执行 UNION 查询,除非确实需要服务器消除重复的行,否则一定要使用 UNION ALL,如果没有 ALL 关键字,MySQL 会给临时表加上 DISTINCT 选项,这会导致对整个临时表的数据做唯一性检查,这样做的代价非常高。
使用用户自定义变量
在查询中混合使用过程化和关系化逻辑的时候,自定义变量可能会非常有用。用户自定义变量是一个用来存储内容的临时容器,在连接 MySQL 的整个过程中都存在,可以在任何可以使用表达式的地方使用自定义变量。例如可以使用变量来避免重复查询刚刚更新过的数据、统计更新和插入的数量等。
优化 INSERT
需要对一张表插入很多行数据时,应该尽量使用一次性插入多个值的 INSERT 语句,这种方式将缩减客户端与数据库之间的连接、关闭等消耗,效率比多条插入单个值的 INSERT 语句高。也可以关闭事务的自动提交,在插入完数据后提交。当插入的数据是按主键的顺序插入时,效率更高。
复制解决的基本问题是让一台服务器的数据与其他服务器保持同步,一台主库的数据可以同步到多台备库上,备库本身也可以被配置成另外一台服务器的主库。主库和备库之间可以有多种不同的组合方式。
MySQL 支持两种复制方式:基于行的复制和基于语句的复制,基于语句的复制也称为逻辑复制,从 MySQL 3.23 版本就已存在,基于行的复制方式在 5.1 版本才被加进来。这两种方式都是通过在主库上记录二进制日志、在备库重放日志的方式来实现异步的数据复制。因此同一时刻备库的数据可能与主库存在不一致,并且无法包装主备之间的延迟。
MySQL 复制大部分是向后兼容的,新版本的服务器可以作为老版本服务器的备库,但是老版本不能作为新版本服务器的备库,因为它可能无法解析新版本所用的新特性或语法,另外所使用的二进制文件格式也可能不同。
复制解决的问题:数据分布、负载均衡、备份、高可用性和故障切换、MySQL 升级测试。
复制步骤
概述:① 在主库上把数据更改记录到二进制日志中。② 备库将主库的日志复制到自己的中继日志中。 ③ 备库读取中继日志中的事件,将其重放到备库数据之上。
第一步是在主库上记录二进制日志,每次准备提交事务完成数据更新前,主库将数据更新的事件记录到二进制日志中。MySQL 会按事务提交的顺序而非每条语句的执行顺序来记录二进制日志,在记录二进制日志后,主库会告诉存储引擎可以提交事务了。
下一步,备库将主库的二进制日志复制到其本地的中继日志中。备库首先会启动一个工作的 IO 线程,IO 线程跟主库建立一个普通的客户端连接,然后在主库上启动一个特殊的二进制转储线程,这个线程会读取主库上二进制日志中的事件。它不会对事件进行轮询。如果该线程追赶上了主库将进入睡眠状态,直到主库发送信号量通知其有新的事件产生时才会被唤醒,备库 IO 线程会将接收到的事件记录到中继日志中。
备库的 SQL 线程执行最后一步,该线程从中继日志中读取事件并在备库执行,从而实现备库数据的更新。当 SQL 线程追赶上 IO 线程时,中继日志通常已经在系统缓存中,所以中继日志的开销很低。SQL 线程执行的时间也可以通过配置选项来决定是否写入其自己的二进制日志中。
这种复制架构实现了获取事件和重放事件的解耦,允许这两个过程异步进行,也就是说 IO 线程能够独立于 SQL 线程工作。但这种架构也限制了复制的过程,在主库上并发允许的查询在备库只能串行化执行,因为只有一个 SQL 线程来重放中继日志中的事件。