weixin_44592997
weixin_44592997

springcloud

手记 / 云计算/大数据

基于RabbitMQ消息队列的分布式事务解决方案 - MQ分布式消息中间件实战

2019.11.11 02:29 3921浏览

1 极速了解MQ

介绍Rabbitmg用于解决分布式事务必须掌握的5个核心概念

一款分布式消息中间件，基于erlang语言开发， 具备语言级别的高并发处理能力。和Spring框架是同一家公司。
支持持久化、高可用

核心5个概念:

  1. Queue: 真正存储数据的地方
  2. Exchange: 接收请求，转存数据
  3. Bind: 收到请求后存储到哪里
  4. 消息生产者:发送数据的应用
  5. 消息消费者: 取出数据处理的应用
    springcloud_第1张图片

2、分布式事务问题

分布式事务是一个业务问题，不能脱离具体的场景。

2.1 分布式事务的几种解决方案

● 基于数据库XA/ JTA协议的方式
需要数据库厂商支持; JAVA组件有atomikos等
● 异步校对数据的方式
支付宝、微信支付主动查询支付状态、对账单的形式;
● 基于可靠消息(MQ)的解决方案
异步场景;通用性较强;拓展性较高
● TCC编程式解决方案
严选、阿里、蚂蚁金服自己封装的DTX

本文目标:针对所有人群，学会基于可靠消息来解决分布式事务问题。
分布式事务的解决方案，业务针对性很强，重要的是思路，而不是照搬

  • 美团点评系统架构
    springcloud_第2张图片

2.2 多系统间的分布式事务问题

springcloud_第3张图片

  • 用户下单生成订单
    springcloud_第4张图片
  • 需要传递订单数据,由此产生两个事务一致性问题
    springcloud_第5张图片

错误的案例

springcloud_第6张图片

当接口调用失败时，订单系统事务回滚,提示用户操作失败

误以为这样的接口调用写法，就不会有分布式事务问题

接口调用成功或者失败，都会产生分布式事务问题:

  1. 接口调用成功，订单系统数据库事务提交失败，运单系统没有回滚，产生数据
  2. 接口调用超时，订单系统数据库事务回滚，运单系统接口继续执行，产生数据

上述两种情况，都会导致数据不一致的问题

3、实现分布式事务 - 五步法

通过MQ解决分布式事务的5个步骤, 以及分布式事务处理中要注意的地方

  • 之前都是订单系统发送HTTP请求运单系统的接口,出问题了!springcloud_第7张图片
  • 因此我们考虑发消息给MQ, 异步暂存!
    springcloud_第8张图片

3.1 整体设计思路

springcloud_第9张图片
外卖下订单后,可以慢慢等待运单中心数据生成,并非强制要求同时性

  1. 可靠生产:保证消息一定要发送到Rabitmq服务
  2. 可靠消费:保证消息取出来一定正确消费掉

最终使多方数据达到一致。

3.2 步骤1 - 可靠的消息生产记录消息发送

springcloud_第10张图片

  • 存在隐患 - 可能消息发送失败呀!
    springcloud_第11张图片

➢ 为了确保数据一定成功发送到MQ。
➢ 在同一事务中，增加一个记录表的操作, 记录每一条发往MQ的数据以及它的发送状态
于是我们在订单系统中增加一个本地信息表springcloud_第12张图片

于是在代码实践中,不再通过HTTP接口调用运单系统接口,而是使用MQ

生成订单时,也保存本地信息表
springcloud_第13张图片
springcloud_第14张图片
springcloud_第15张图片

3.3 步骤2 - 可靠消息生产(修改消息发送状态)

  • 利用RabbitMQ事务发布确认机制(confirm)
    开启后，MQ准确受理消息会返回回执
    springcloud_第16张图片
  • 然后就能知道如何更新本地信息表了
    springcloud_第17张图片

-确保在SB中开启Confirm机制
springcloud_第18张图片

springcloud_第19张图片
springcloud_第20张图片

  • 如果出现回执没收到、消息状态修改失败等特殊情况
    兜底方案:定时检查消息表，超时没发送成功，再次重发

3.4 步骤3 - 可靠消息处理(正常处理)

  • 运单系统收到消息数据后,突然宕机,或者访问运单DB时,DB突然宕机,消息数据不就丢了吗!!!
    springcloud_第21张图片
    于是需要以下特性:

➢ 幂等性
防止重复消息数据的处理，一次用户操作，只对应一次数据处理
springcloud_第22张图片
➢ 开启手动ACK模式
由消费者控制消息的重发/清除/丢弃
springcloud_第23张图片

3.5 步骤4 - 可靠消息处理(消息重发)

springcloud_第24张图片
消费者处理失败，需要MQ再次重发给消费者。
出现异常一般会重试几次，由消费者自身记录重试次数，并进行次数控制(不会永远重试!)

3.6 步骤五 - 可靠消息处理(消息丢弃)

消费者处理失败，直接丢弃或者转移到死信队列(DLQ)
重试次数过多、消息内容格式错误等情况，通过线上预警机制通知运维人员
springcloud_第25张图片

4 总结及扩展

4.1 MQ方案的优点和缺点

口优点

  1. 通用性强
  2. 拓展性强
  3. 方案成熟

口缺点
4. 基于消息中间件，只适合异步场景
5. 消息处理会有延迟，需要业务上能够容忍

尽量避免分布式事务;
尽量将非核心事务做成异步;

4.2 拓展

分布式事务解决方案的理论依据

CAP理论
BASE理论
2PC协议
3PC协议
Paxos算法.
Raft一致性协议

参考

美团配送系统架构演进实践

点击查看更多内容
JAVA 架构

本文首次发布于慕课网 ，转载请注明出处，谢谢合作
0 评论

相关文章推荐

分布式系统消息中间件——RabbitMQ的使用基础篇
5
慕桂英3389331
深度学习
09.18

利用消息队列处理分布式事务
1
holdtom
JAVA
12.29

基于Docker搭建分布式消息队列Kafka
4
三国纷争
Docker
02.13

大型网站架构系列：分布式消息队列
6
慕哥9229398
大数据
01.09

MQ消息队列
4
青春有我
架构
01.18

简谈阿里云MQ消息队列云服务的计费模式
5
慕的地10843
阿里云
10.13

M系统的MQ消息中间件选型：Kafka还是RabbitMQ？
5
慕后森
深度学习
06.30

分布式消息队列Apache RocketMQ源码剖析-Producer
5
慕神8447489
架构
01.20

Python中线程的MQ消息队列实现以及消息队列的优点解析
4
RISEBY
Python
08.06

分布式开放消息系统(RocketMQ)的原理与实践
3
九州编程
大数据
12.24

MQ(消息队列)常见的应用场景解析
17
喵喵一只汪
深度学习
04.23

MQ(消息队列)常见的应用场景解析
4
慕的地10843
大数据
12.05

RabbitMQ的消息丢失解决方案
1
撒科打诨
Kubernetes
01.08

消息中间件—RocketMQ消息消费（二）（push模式实现）
4
幕布斯6054654
MySQL
10.18

RabbitMQ的消息丢失解决方案
5
慕码人8056858
JavaScript
10.27

你可能感兴趣的:(springcloud)

  • Dubbo、SpringCloud框架学习 种豆走天下 dubbospringcloud学习
    学习Dubbo和SpringCloud框架是微服务架构的一个重要部分。这两个框架在分布式系统中起着重要的作用，分别是阿里巴巴和Spring团队开发的。下面我将为你提供一些基础知识和学习路线，帮助你更好地理解和掌握这两个框架。1.Dubbo框架学习1.1什么是DubboDubbo是阿里巴巴开源的一款高性能的微服务框架。它提供了RPC（远程过程调用）、服务注册与发现、负载均衡、容错、监控等功能。Dub
  • Spring cloud公共模块 weixin_30402085 java开发工具数据库
    1.0公共的模块是公共的工具包以及实体等2.添加架包4.0.0com.java.springcloudmicroservice0.0.1-SNAPSHOTmicroservice-commonorg.springframework.bootspring-boot-starter-data-jpa3.编写实体packagecom.java.entity;importjava.io.Serializa
  • 带大家vue + springboot/springcloud +minio(可选) 实现文件分片上传和断点续传介绍，问题，原理及 前后端完整源码 (模式2:后台集群部署模式） 峡谷电光马仔 minio分片上传springboot分片上传springboot断点续传springcloud断点续传springcloud分片上传
    回顾与介绍本文承接上文《vue+springboot/springcloud+minio(可选)实现文件分片上传和断点续传介绍，问题，原理及前后端完整源码(模式1:后台单点部署模式）》本篇主要针对后台是集群模式下部署时的分片上传方案本篇基于minio的部分可以参考,入不需要文件最后上传到文件服务器，则可忽略minio部分《从0到1手把手搭建springcloudalibaba微服务大型应用框架（九
  • SpringCloudAlibaba：从0搭建一套快速开发框架-05 公共模块（common）编写与优化：提升开发效率实践 辉辉. SpringCloud2022javaspringcloudspringboot微服务
    序言：上篇主要介绍了OpenFeign的集成使用，本篇主要优化完善公共模块。公共模块介绍本片主要针对于我个人创建的公共模块（shine-common）展开。shine-common模块的总体功能可以概括为提供系统中的基础通用功能和工具，旨在为其他模块和服务提供一些重复使用的逻辑、工具方法以及规范化的处理方式。具体功能如下：基础常量与配置支持提供项目中需要的常量定义和全局配置项。这样可以避免硬编码常
  • 庖丁解java(一篇文章学java) 庖丁解java java开发语言
    (大家不用收藏这篇文章,因为这篇文章会经常更新,也就是删除后重发)一篇文章学java,这是我滴一个执念...当然,真一篇文章就写完java基础,java架构,java业务实现,java业务扩展,根本不可能.所以,这篇文章,就是一个索引,索什么呢?请看下文...关于决定开始写博文的介绍(一切故事的起点源于这一次反省)中小技术公司的软扩展(微服务扩展是否有必要?)-CSDN博客SpringCloud(
  • zuul动态路由的伪代码实现 高飞的Leo 源码分析javaspring开发语言
    自定义RouteLocator实现和事件发布1.继承自定义RouteLocator在SpringCloudZuul中，我们可以自定义一个RouteLocator，来替代默认的SimpleRouteLocator。伪代码实现：importorg.springframework.cloud.netflix.zuul.filters.route.RouteLocator<
  • java版电子招投标采购|投标|评标|竞标|邀标|评审招投标系统源码 微服务技术分享 java企业电子招投标系统源代码企业招投标系统源码招采系统源码
    功能模块：待办消息，招标公告，中标公告，信息发布描述：全过程数字化采购管理，打造从供应商管理到采购招投标、采购合同、采购执行的全过程数字化管理。通供应商门户具备内外协同的能力，为外部供应商集中推送展示与其相关的所有采购业务信息（历史合作、考察整改，绩效评价等），支持供应商信息的自助维护，实时风险自动提服务框架：SpringCloud、SpringBoot2、Mybatis、OAuth2、Secur
  • nodejs作为provider接入nacos tvrddmss springboot后端java微服务node.js
    需求：公司产品一直是nodejs的后台，采用的eggjs框架，也不是最新版本，现有有需求需求将这些应用集成到微服务的注册中心，领导要求用java。思路：用springcloudgateway将需要暴露的接口url转发，并将这个gateway注册到注册中心方案：1、转发原有nodejs的后台服务用Springboot建立一个gateway项目，引入gatewayorg.springframework
  • SpringCloud 打包的 .jar 运行时，不能按日志配置进行输出日志 tvrddmss springcloudjarspring
    1、问题：springcloud打包的.jar文件在运行时，不能按日志配置进行输出日志文件2、查到问题来自nacos，与springcloud的日志冲突，在运行时指定日志配置文件即可。java-Dlogging.config="logback-spring.xml"-jardemo-1.0-SNAPSHOT.jar
  • 技术分享连接汇总[201712] 六月星空2011 Java高级交流javaredis技术
    内容整理自->java高级交流群【329019348】更多Java高级交流文章2017/12/01最好用的IntelliJ插件Top10jrebeljavaee开发工具SpringCloud限流详解（附源码）免费的编程中文书籍索引ModernJavaRecipes-KenKousenWHATISDEADLOCKANDHOWTOPREVENTIT?基于Redis的限流系统的设计分布式环境下限流方案的
  • java微服务项目简历_微服务框架-SpringCloud简介 程序员道道 java微服务项目简历
    前面一篇文章谈到微服务基础框架，而Netflix的多个开源组件一起正好可以提供完整的分布式微服务基础架构环境，而对于SpringCloud正是对Netflix的多个开源组件进一步的封装而成，同时又实现了和云端平台，和SpringBoot开发框架很好的集成。SpringCloud是一个相对比较新的微服务框架，今年(2016)才推出1.0的release版本.虽然SpringCloud时间最短,但是相
  • Spring Cloud Alibaba 实战：Sentinel 保障微服务的高可用性与流量防护 扣丁梦想家 微服务sentinel服务监控熔断降级springcloud微服务
    1.1Sentinel作用Sentinel是阿里巴巴开源的一款流量控制和熔断降级框架，主要用于：流量控制：限制QPS，防止流量暴增导致系统崩溃熔断降级：当某个服务不可用时自动降级，避免故障扩散热点参数限流：根据参数值进行精细化流控（例如VIP用户限流策略）系统自适应保护：根据系统负载自动调整限流规则授权规则：根据来源服务进行限流API网关防护：结合SpringCloudGateway保护微服务1.
  • springcloud gateway搭建及动态获取nacos注册的服务信息信息 bxp1321 springcloudspringcloudgatewayjava
    前言SpringCloudGateway通过集成Nacos服务发现，可以动态获取注册到Nacos的微服务实例信息，并根据服务名（ServiceName）自动生成路由规则或手动配置路由规则，实现请求的动态路由和负载均衡。一个最简单的网关就是实现所有微服务的代理即可，但是生产环境通常需要服务鉴权限制访问等，这里先简单示例一个没有鉴权，可以访问所有微服务接口的网关创建项目创建一个springboot项目
  • 记一次多线程导入问题排查过程 程序辕日记 javaMySqljavaspringboot
    记一次多线程导入问题排查过程1.需求2.遇到问题3.排查解决问题1.需求大数据量的核对：现在有1000个excel文件，每个excel文件内有21个sheet页，现在要对这些数据进行核对，需要先将这些数据导入到库中，再进行核对。2.遇到问题库使用的是MySql，程序是Java，springcloud生态，在串行导入的时候，导入一次大概需要60分钟，现在对其进行改造，使用多线程导入，其思路为：创建线
  • Spring Cloud相关面试题 努力的搬砖人. java经验分享后端spring笔记
    以下是150道SpringCloud相关面试题：SpringCloud基础概念1.SpringCloud是什么？SpringCloud是一个基于SpringBoot构建的微服务开发工具集，用于简化分布式系统开发，提供服务注册与发现、配置管理、全链路监控等功能。2.SpringCloud的核心组件有哪些？•Eureka：服务注册与发现。•Ribbon：客户端负载均衡。•Feign：声明式REST客户
  • Spring Cloud Gateway 笔记 L_！！！ SpringCloud笔记springcloudgateway
    SpringCloudGateway笔记简介SpringCloudGateway是基于Spring5、SpringBoot2和ProjectReactor的API网关，提供动态路由、安全、监控和弹性等功能。核心特性：异步非阻塞模型、高性能、支持动态配置、丰富的断言（Predicate）和过滤器（Filter）。官网：https://spring.io/projects/spring-cloud-g
  • Spring Cloud Gateway网关获取路由转发后的真实地址 练川 微服务Gatewaygatewayjava微服务后端
    目录配置文件代码结果在使用SpringCloudGateway时，我们可能需要获取路由转发后的地址（注意，这里的地址不是请求到网关的地址，是网关路由转发后的真实地址），下面通过代码演示如何在filter中获取路由转发后的地址。核心代码是Routeroute=exchange.getAttribute(ServerWebExchangeUtils.GATEWAY_ROUTE_ATTR);获取路由ro
  • SpringCloud——Ribbon实现客户端负载均衡 袁雾头 SpringCloud
    SpringCloud——Ribbon实现客户端负载均衡SpringCloudRibbon是一个基于HTTP和TCP的客户端负载均衡工具，它基于NetflixRibbon实现。通过SpringCloud的封装，可以让我们轻松地将面向服务的REST模板请求自动转换成客户端负载均衡的服务调用。客户端负载均衡硬件负载均衡的设备或是软件负载均衡的软件模块都会维护一个可用的服务端清单，通过心跳检测来剔除故障
  • Gateway网关分布式微服务认证鉴权 NaughtyBo #Springsecurityspringcloudgateway
    文章目录学习链接微服务认证方案学习链接【OAuth2系列】SpringCloudGateway作为OAuth2Client接入第三方单点登录代码实践实战干货！SpringCloudGateway整合OAuth2.0实现分布式统一认证授权！spring-cloud-gateway-oauth2的github代码地址-已克隆到gitee微服务权限终极解决方案，SpringCloudGateway+Oa
  • 聊天服务器分布式改造 jforgame 基于Netty的仿QQ聊天室分布式QQ聊天室springcloud
    目前的聊天室是单节点的，无论是http接口还是socket接口都在同一个进程，无法承受太多人同时在线，容灾性也非常差。因此，一个成熟的IM产品一定是做成分布式的，根据功能分模块，每个模块也使用多个节点并行部署。1.技术选型SpringCloudAlibaba和Netflix都是用于构建分布式系统的工具集，它们在微服务架构中发挥着重要作用，但在多个方面存在差异：发展与维护Netflix：部分核心组件
  • springcloud sentinel教程 hunter199010 sentinel
    ‌QPS（QueriesPerSecond）即每秒查询率TPS，每秒处理的事务数目PV（pageview）即页面浏览量UV访问数（UniqueVisitor）指独立访客访问数一、初识Sentinel什么是雪崩问题?微服务之间相互调用，因为调用链中的一个服务故障，引起整个链路都无法访问的情况。如何避免因瞬间高并发流量而导致服务故障?流量控制如何避免因服务故障引起的雪崩问题?超时处理线程隔离降级熔断认
  • 加餐 —— Spring Boot 项目转 Solon 项目工具 发强-CrazyAirhead SolonSolon实用教程springbootjavaSolon
    说明公司里面原来的项目都是SpringBoot和SpringCloud框架的，自己手动迁移完一个项目后，发现迁移的过程有些还是能代码化的东西，于是整理了SpringConverter这个工具。这个工具不是说你转换完就能无痛的启动，你还是需要手动处理一些错误。虽然工具内置了一部分的Spring与Solon的对照关系，但你仍然可能需要修改这个工具的代码，配置遗漏的对照关系，以便能将自己的项目进行迁移。
  • 构建未来：基于Spring Boot与Spring Cloud的Java微服务之旅 胡蓓怡
    构建未来：基于SpringBoot与SpringCloud的Java微服务之旅java-microservices-examplesJavaMicroservices:SpringBoot,SpringCloud,JHipster,SpringCloudConfig,andSpringCloudGateway项目地址:https://gitcode.com/gh_mirrors/jav/java-
  • Spring Cloud Alibaba OpenFeign 实战：打造稳定高效的远程调用 扣丁梦想家 微服务微服务服务调用
    1.OpenFeign简介OpenFeign是SpringCloud组件之一，用于在微服务架构中实现声明式HTTP客户端。它让我们可以像调用本地方法一样调用远程HTTP接口，简化了RESTfulAPI的调用逻辑。1.1为什么使用OpenFeign？声明式HTTP调用：只需定义接口，无需手动拼接URL。集成Ribbon负载均衡（SpringCloud2020之后默认使用SpringLoadBalan
  • Spring Cloud Alibaba 实战：轻松搞定 Seata 分布式事务治理 扣丁梦想家 微服务分布式
    在微服务架构中，分布式事务是一个绕不开的话题。传统的本地事务无法满足分布式环境下的数据一致性需求，而Seata作为阿里巴巴开源的分布式事务解决方案，正是为了解决这个问题。本文将带你深入了解Seata的基本概念、优缺点，以及如何在SpringCloudAlibaba中集成和使用Seata。1.Seata介绍Seata（SimpleExtensibleAutonomousTransactionArch
  • Spring Cloud Alibaba 实战：轻松实现 Nacos 服务发现与动态配置管理 扣丁梦想家 微服务服务发现java数据库
    1.Nacos介绍1.1什么是Nacos？Nacos（NamingandConfigurationService）是阿里巴巴开源的一个服务注册中心和配置管理中心。它支持动态服务发现、配置管理和服务治理，适用于微服务架构，尤其是基于SpringCloud和Kubernetes的应用。1.2Nacos主要功能服务发现与注册：提供类似Eureka的服务注册与发现功能。动态配置管理：可替代SpringCl
  • Java微服务SpringCloud+Uniapp+Vue3+Element Plus开源商城BizSpring BizSpring源码商城 javaspringcloud教育电商小程序uni-app
    BizSpring开源地址Githubhttps://github.com/BizSpringSource/bizspring-vue3-opensource.gitGiteehttps://gitee.com/BizSpring/bizspring-vue3-opensource.gitBizSpring核心开源框架名称框架核心框架springboot、springcloud、springclo
  • springcloud项目部署Nginx+Gateway+其他服务 小白宗轩 springcloudnginxgateway
    一.部署Nginx：Nginx是一个高性能的Web服务器和反向代理服务器。它常用于将流量从公共互联网引导到内部的应用程序服务器。你可以在服务器上安装Nginx，并根据你的需求进行配置。通常的配置包括监听端口、定义服务器块、配置反向代理、设置SSL/TLS等。配置完成后，你可以启动Nginx，并确保它能够正常处理流量。明白它在整体项目中承担的作用:反向代理,负载均衡以及部署静态资源,这也是本章所用到
  • 关于SpringCloud整合RabbitMQ的应用详解（ack，限流，幂等） 何须低眉 javarabbitmq
    安装RabbitMQ安装Eralng与RabbitMQ导包org.springframework.cloudspring-cloud-starter-stream-rabbit生产者配置关于spring.rabbitmq.template.mandatory与spring.rabbitmq.publisher-returnsspring.rabbitmq.template.mandatory属性的
  • Spring AI简单使用 NaughtyBo 记录spring
    https://github.com/chatanywhere/GPT_API_freeAI框架之SpringAI与SpringCloudAlibabaAI使用讲解超级详细SpringAI+ChatGPT（java接入OpenAI大模型）SpringCloudAlibabaAI速通版！保姆级教程！Java大模型应用开发，微服务整合DeepSeek，LangChain大型语言模型LLM实战-尚硅谷文
  • java封装继承多态等 麦田的设计者 javaeclipsejvmcencapsulatopn
           最近一段时间看了很多的视频却忘记总结了，现在只能想到什么写什么了，希望能起到一个回忆巩固的作用。     1、final关键字       译为：最终的        &
  • F5与集群的区别 bijian1013 weblogic集群F5
            http请求配置不是通过集群，而是F5；集群是weblogic容器的，如果是ejb接口是通过集群。         F5同集群的差别，主要还是会话复制的问题，F5一把是分发http请求用的，因为http都是无状态的服务，无需关注会话问题，类似
  • LeetCode[Math] - #7 Reverse Integer Cwind java题解MathLeetCodeAlgorithm
    原题链接：#7 Reverse Integer   要求： 按位反转输入的数字 例1： 输入 x = 123, 返回 321 例2： 输入 x = -123, 返回 -321   难度：简单   分析： 对于一般情况，首先保存输入数字的符号，然后每次取输入的末位（x%10）作为输出的高位（result = result*10 + x%10）即可。但
  • BufferedOutputStream 周凡杨
         首先说一下这个大批量，是指有上千万的数据量。      例子：      有一张短信历史表，其数据有上千万条数据，要进行数据备份到文本文件，就是执行如下SQL然后将结果集写入到文件中！      select t.msisd
  • linux下模拟按键输入和鼠标 被触发 linux
    查看/dev/input/eventX是什么类型的事件， cat /proc/bus/input/devices 设备有着自己特殊的按键键码，我需要将一些标准的按键，比如0－9，X－Z等模拟成标准按键，比如KEY_0,KEY-Z等，所以需要用到按键 模拟，具体方法就是操作/dev/input/event1文件，向它写入个input_event结构体就可以模拟按键的输入了。 linux/in
  • ContentProvider初体验 肆无忌惮_ ContentProvider
    ContentProvider在安卓开发中非常重要。与Activity，Service，BroadcastReceiver并称安卓组件四大天王。 在android中的作用是用来对外共享数据。因为安卓程序的数据库文件存放在data/data/packagename里面，这里面的文件默认都是私有的，别的程序无法访问。 如果QQ游戏想访问手机QQ的帐号信息一键登录，那么就需要使用内容提供者COnte
  • 关于Spring MVC项目（maven）中通过fileupload上传文件 843977358 mybatisspring mvc修改头像上传文件upload
    Spring MVC 中通过fileupload上传文件，其中项目使用maven管理。   1.上传文件首先需要的是导入相关支持jar包：commons-fileupload.jar,commons-io.jar 因为我是用的maven管理项目，所以要在pom文件中配置（每个人的jar包位置根据实际情况定） <!-- 文件上传 start by zhangyd-c --&g
  • 使用svnkit api，纯java操作svn，实现svn提交，更新等操作 aigo svnkit
     原文：http://blog.csdn.net/hardwin/article/details/7963318   import java.io.File; import org.apache.log4j.Logger; import org.tmatesoft.svn.core.SVNCommitInfo; import org.tmateso
  • 对比浏览器，casperjs，httpclient的Header信息 alleni123 爬虫crawlerheader
    @Override protected void doGet(HttpServletRequest req, HttpServletResponse res) throws ServletException, IOException { String type=req.getParameter("type"); Enumeration es=re
  • java.io操作 DataInputStream和DataOutputStream基本数据流 百合不是茶 java流
    1，java中如果不保存整个对象，只保存类中的属性，那么我们可以使用本篇文章中的方法，如果要保存整个对象  先将类实例化  后面的文章将详细写到     2，DataInputStream 是java.io包中一个数据输入流允许应用程序以与机器无关方式从底层输入流中读取基本 Java 数据类型。应用程序可以使用数据输出流写入稍后由数据输入流读取的数据。
  • 车辆保险理赔案例 bijian1013 车险
    理赔案例： 一货运车，运输公司为车辆购买了机动车商业险和交强险，也买了安全生产责任险，运输一车烟花爆竹，在行驶途中发生爆炸，出现车毁、货损、司机亡、炸死一路人、炸毁一间民宅等惨剧，针对这几种情况，该如何赔付。 赔付建议和方案： 客户所买交强险在这里不起作用，因为交强险的赔付前提是：“机动车发生道路交通意外事故”； 如果是交通意外事故引发的爆炸，则优先适用交强险条款进行赔付，不足的部分由商业
  • 学习Spring必学的Java基础知识(5)—注解 bijian1013 javaspring
            文章来源：http://www.iteye.com/topic/1123823，整理在我的博客有两个目的：一个是原文确实很不错，通俗易懂，督促自已将博主的这一系列关于Spring文章都学完；另一个原因是为免原文被博主删除，在此记录，方便以后查找阅读。           有必要对
  • 【Struts2一】Struts2 Hello World bit1129 Hello world
    Struts2 Hello World应用的基本步骤 创建Struts2的Hello World应用，包括如下几步： 1.配置web.xml 2.创建Action 3.创建struts.xml，配置Action 4.启动web server，通过浏览器访问   配置web.xml <?xml version="1.0" encoding="
  • 【Avro二】Avro RPC框架 bit1129 rpc
    1. Avro RPC简介 1.1. RPC RPC逻辑上分为二层，一是传输层，负责网络通信；二是协议层，将数据按照一定协议格式打包和解包 从序列化方式来看，Apache Thrift 和Google的Protocol Buffers和Avro应该是属于同一个级别的框架，都能跨语言，性能优秀，数据精简，但是Avro的动态模式（不用生成代码，而且性能很好）这个特点让人非常喜欢，比较适合R
  • lua　set get cookie ronin47 lua cookie
    lua: local access_token = ngx.var.cookie_SGAccessToken if access_token then ngx.header["Set-Cookie"] = "SGAccessToken="..access_token.."; path=/;Max-Age=3000" end
  • java-打印不大于N的质数 bylijinnan java
    public class PrimeNumber { /** * 寻找不大于N的质数 */ public static void main(String[] args) { int n=100; PrimeNumber pn=new PrimeNumber(); pn.printPrimeNumber(n); System.out.print
  • Spring源码学习-PropertyPlaceholderHelper bylijinnan javaspring
    今天在看Spring 3.0.0.RELEASE的源码，发现PropertyPlaceholderHelper的一个bug 当时觉得奇怪，上网一搜，果然是个bug，不过早就有人发现了，且已经修复： 详见： http://forum.spring.io/forum/spring-projects/container/88107-propertyplaceholderhelper-bug
  • [逻辑与拓扑]布尔逻辑与拓扑结构的结合会产生什么? comsci 拓扑
       如果我们已经在一个工作流的节点中嵌入了可以进行逻辑推理的代码,那么成百上千个这样的节点如果组成一个拓扑网络,而这个网络是可以自动遍历的,非线性的拓扑计算模型和节点内部的布尔逻辑处理的结合,会产生什么样的结果呢?    是否可以形成一种新的模糊语言识别和处理模型呢?  大家有兴趣可以试试,用软件搞这些有个好处,就是花钱比较少,就算不成
  • ITEYE 都换百度推广了 cuisuqiang GoogleAdSense百度推广广告外快
    以前ITEYE的广告都是谷歌的Google AdSense，现在都换成百度推广了。   为什么个人博客设置里面还是Google AdSense呢？   都知道Google AdSense不好申请，这在ITEYE上也不是讨论了一两天了，强烈建议ITEYE换掉Google AdSense。至少，用一个好申请的吧。   什么时候能从ITEYE上来点外快，哪怕少点
  • 新浪微博技术架构分析 dalan_123 新浪微博架构
    新浪微博在短短一年时间内从零发展到五千万用户，我们的基层架构也发展了几个版本。第一版就是是非常快的，我们可以非常快的实现我们的模块。我们看一下技术特点，微博这个产品从架构上来分析，它需要解决的是发表和订阅的问题。我们第一版采用的是推的消息模式，假如说我们一个明星用户他有10万个粉丝，那就是说用户发表一条微博的时候，我们把这个微博消息攒成10万份，这样就是很简单了，第一版的架构实际上就是这两行字。第
  • 玩转ARP攻击 dcj3sjt126com r
    我写这片文章只是想让你明白深刻理解某一协议的好处。高手免看。如果有人利用这片文章所做的一切事情，盖不负责。 网上关于ARP的资料已经很多了，就不用我都说了。 用某一位高手的话来说，“我们能做的事情很多，唯一受限制的是我们的创造力和想象力”。 ARP也是如此。 以下讨论的机子有 一个要攻击的机子：10.5.4.178 硬件地址：52:54:4C:98
  • PHP编码规范 dcj3sjt126com 编码规范
    一、文件格式 1. 对于只含有 php 代码的文件，我们将在文件结尾处忽略掉 "?>" 。这是为了防止多余的空格或者其它字符影响到代码。例如：<?php$foo = 'foo';2. 缩进应该能够反映出代码的逻辑结果，尽量使用四个空格，禁止使用制表符TAB，因为这样能够保证有跨客户端编程器软件的灵活性。例
  • linux 脱机管理（nohup） eksliang linux nohupnohup
    脱机管理 nohup 转载请出自出处：http://eksliang.iteye.com/blog/2166699 nohup可以让你在脱机或者注销系统后，还能够让工作继续进行。他的语法如下 nohup [命令与参数] --在终端机前台工作 nohup [命令与参数] & --在终端机后台工作   但是这个命令需要注意的是，nohup并不支持bash的内置命令，所
  • BusinessObjects Enterprise Java SDK greemranqq javaBOSAPCrystal Reports
    最近项目用到oracle_ADF  从SAP/BO 上调用 水晶报表，资料比较少，我做一个简单的分享，给和我一样的新手 提供更多的便利。   首先，我是尝试用JAVA JSP 去访问的。   官方API：http://devlibrary.businessobjects.com/BusinessObjectsxi/en/en/BOE_SDK/boesdk_ja
  • 系统负载剧变下的管控策略 iamzhongyong 高并发
    假如目前的系统有100台机器，能够支撑每天1亿的点击量（这个就简单比喻一下），然后系统流量剧变了要，我如何应对，系统有那些策略可以处理，这里总结了一下之前的一些做法。 1、水平扩展 这个最容易理解，加机器，这样的话对于系统刚刚开始的伸缩性设计要求比较高，能够非常灵活的添加机器，来应对流量的变化。 2、系统分组 假如系统服务的业务不同，有优先级高的，有优先级低的，那就让不同的业务调用提前分组
  • BitTorrent DHT 协议中文翻译 justjavac bit
    前言 做了一个磁力链接和BT种子的搜索引擎 {Magnet & Torrent}，因此把 DHT 协议重新看了一遍。 BEP: 5Title: DHT ProtocolVersion: 3dec52cb3ae103ce22358e3894b31cad47a6f22bLast-Modified: Tue Apr 2 16:51:45 2013 -070
  • Ubuntu下Java环境的搭建 macroli java工作ubuntu
    配置命令： 　　$sudo apt-get install ubuntu-restricted-extras 　　再运行如下命令： 　　$sudo apt-get install sun-java6-jdk 　　待安装完毕后选择默认Java. 　　$sudo update- alternatives --config java 　　安装过程提示选择，输入“2”即可，然后按回车键确定。
  • js字符串转日期（兼容IE所有版本） qiaolevip TODateStringIE
    /** * 字符串转时间（yyyy-MM-dd HH:mm:ss） * result （分钟） */ stringToDate : function(fDate){ var fullDate = fDate.split(" ")[0].split("-"); var fullTime = fDate.split("
  • 【数据挖掘学习】关联规则算法Apriori的学习与SQL简单实现购物篮分析 superlxw1234 sql数据挖掘关联规则
    关联规则挖掘用于寻找给定数据集中项之间的有趣的关联或相关关系。 关联规则揭示了数据项间的未知的依赖关系，根据所挖掘的关联关系，可以从一个数据对象的信息来推断另一个数据对象的信息。 例如购物篮分析。牛奶 ⇒ 面包 [支持度：3%，置信度：40%] 支持度3%：意味3%顾客同时购买牛奶和面包。 置信度40%：意味购买牛奶的顾客40%也购买面包。 规则的支持度和置信度是两个规则兴
  • Spring 5.0 的系统需求，期待你的反馈 wiselyman spring
                   Spring 5.0将在2016年发布。Spring5.0将支持JDK 9。          Spring 5.0的特性计划还在工作中，请保持关注，所以作者希望从使用者得到关于Spring 5.0系统需求方面的反馈。  
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他