Seata 1.5.1 重磅发布，支持用户控制台，企业版正式免费公测

Seata 1.5.1 正式发布。Seata 社区向所有开发者致敬，祝大家有一个愉快的假期。

用户登记

欢迎已使用用户在此链接登记，便于我们更好的针对业务场景优化：https://github.com/seata/seat...

发布概览

主要新增特性：支持用户控制台，支持 Skywalking tracing 集成，支持 bRPC、EDAS Hsf，支持 kotlin 协程，支持 TCC 幂等/空回滚/防悬挂，支持分布式任务调度，支持 Redis 存储 lua 模式，支持 ON DUPLICATE KEY UPDATE 等语法解析。

此次 release  修改文件数：872，最终代码变动：+60830，-9435 ，参与代码 commit 人数：60+，合并pr数：230，其中：feature：30+，bugfix：60+，优化重构测试及其他：100+。

https://github.com/seata/seat...

此版本是目前参与代码提交人数最多和合并pr最多的版本，感谢大家的贡献。

控制台预览：

title=

SkyWalking：

title=

非常感谢 @SkyWalking 社区的大力支持。

版本的主要更新

feature：

  • [#4115] 支持用户控制台
  • [#3652] 支持 APM SkyWalking 集成
  • [#3472] 添加 redisLocker 的 lua 模式
  • [#3575] 支持对锁和会话不同存储的混合使用
  • [#3009] 支持 server 端以 springboot  的方式的启动
  • [#3374] 支持 MySQL INSERT ON DUPLICATE KEY UPDATE
  • [#3642] TCC 模式支持使用 API 的形式进行二阶段参数传递
  • [#3064] 支持可配置 GlobalTransactionInterceptor 和 TccActionInterceptor 的 order 值
  • [#2852] 支持自定义 GlobalTransactionScanner 的扫描对象。
  • [#3683] 支持 Redis 分布式锁来避免多 TC 竞争执行任务
  • [#3545] TCC 模式支持幂等控制、防悬挂和空回滚
  • [#3823] TCC 模式二阶段方法参数列表支持自定义
  • [#3642] TCC 模式一阶段支持 BusinessActionContext 隐式传递
  • [#3856] 支持 Edas-Hsf RPC 框架
  • [#3869] 支持从环境 ENV 获取配置
  • [#2568] 支持 GlobalTransactionInterceptor 配置切面表达式
  • [#3886] 支持注册中心注册 ip 的网络偏好设置
  • [#3906] 支持 SPI 卸载
  • [#3668] 支持 kotlin 协程
  • [#3968] 支持 bRPC-java RPC框架
  • [#4268] 增加控制台 Global Session页面File模式实现
  • [#4281] 增加控制台 Global Session页面和Global LockRedis模式实现
  • [#4293] 增加控制台 Global Lock页面File模式实现
  • [#4335] 实现配置中心上传配置交互脚本(nacos,etcd3)
  • [#4360] 实现配置中心上传配置交互脚本(apollo,consul,zk)
  • [#4320] 实现控制台db模式全局事务、锁查询接口
  • [#4435] 控制台前端页面实现
  • [#4480] 实现 DefaultAuthSigner 的默认签名加密方法
  • [#3487] 增加分布式锁的 DB 实现
  • [#3951] 支持 zstd 压缩
  • [#2838] Saga 支持 springboot 项目的自动配置

bugfix：

  • [#3497] 修复 TCC 模式并发量较大时线程池导致的超时问题
  • [#3686] 修复 Apollo 集群配置项错误及NPE错误
  • [#3716] 修复 findTargetClass 方法的错误
  • [#3773] 修复 consul 注册中心在自定义集群名下无法获取 TC 集群
  • [#3695] 修复 mariadb 无法创建XA连接的问题
  • [#3783] 修复 store mode 不生效问题
  • [#3740] 修复在某些情况下，当Saga事务结束时 LocalThread 未被清除的问题
  • [#3792] 修复 Server 无法获取 Redis host的问题
  • [#3828] 修复 StringUtils 抛出 StackOverflowError 的问题
  • [#3817] 修复 TC 在SkyWalking拓扑图节点不汇聚的问题
  • [#3803] 修复 ReflectionUtil 抛出不预期异常问题
  • [#3879] 修复 PosrgreSQL多schema无法找到channel问题
  • [#3881] 修复不存在的相同 DataId 不同默认值返回相同值的问题
  • [#3897] 修复 FastjsonUndoLogParser 中 localdatatime类型不能回滚的问题
  • [#3901] 修复 seataio/seata-server 镜像中 servlet-api 冲突无法启动问题
  • [#3931] 修复 线程池拒绝执行情况下,dump内存文件名和路径错误的问题
  • [#3949] 修复 nacos-config.py 空白选项的问题和内容丢失的问题
  • [#3988] 修复 nacos 的密码带有特殊字符导致用户名不存在问题
  • [#3978] 修复 future timeout 引发的 NPE 问题
  • [#3998] 修复 jedis multi.exec 的 NPE 问题
  • [#4011] 修复 springboot下无法获取distributed-lock-table配置
  • [#4023] 修复 dubbo部分场景存在xid未清除的问题
  • [#4032] 修复 server端的ShutdownHook在资源释放时，ApplicationContext已关闭的问题
  • [#4039] 修复本地事务抛出异常后 RM 没有清除xid问题
  • [#4074] 修复 XA 模式资源悬挂问题
  • [#4107] 修复项目构建时的死锁问题
  • [#4158] 修复 logback 无法加载到 RPC_PORT 的问题
  • [#4162] 修复  Redis 注册中心内置配置名导致启动报错问题
  • [#4165] 修复 StringUtils.toString(obj) 当obj是基本数据数组时，抛出ClassCastException的问题
  • [#4169] 修复 XA 模式originalConnection已关闭，导致二阶段无法执行
  • [#4177] 修复当事务超时且TM发起commit决议时,意外造成全局锁释放的问题
  • [#4174] 修复删除 undolog 时连接关闭问题
  • [#4189] 修复 kafka-appender.xml 和 logstash-appender.xml 配置文件表达式中的默认值问题。
  • [#4213] 修复部分"sessionMode"代码未执行导致启动失败问题
  • [#4220] 修复 zstd-compressor 模块未合并到 seata-all 中的问题
  • [#4222] 修复字段列表为空时，插入语句无法回滚的问题
  • [#4253] 修复 UpdateExecutor只存储set 字段问题
  • [#4233] 修复 lock 和 branch 数据残留问题
  • [#4278] 修复 MySQL 的Blob/Clob/NClob数据类型无法反序列化的问题
  • [#4302] 修复 ORM 可能存在获取不到自增主键值的问题
  • [#4308] 修复PostgreSQL多个schema下存在相同表的TableMetaCache解析问题
  • [#4326] 修复使用 MariaDB 驱动程序时无法构建 Executor 的问题
  • [#4355] 修复使用 MySQL Loadbalance模式resourceId被误判为resourceIds的问题
  • [#4310] 修复通过 SELECT LAST_INSERT_ID 获取数据库自增id失败的问题
  • [#4331] 修复使用 ONLY_CARE_UPDATE_COLUMNS 配置可能出现的脏写校验异常
  • [#4408] 修复容器环境中设置环境变量无效的问题
  • [#4441] 修复Redis 存储模式下查询时未关闭 Pipeline 和分支注册后添加分支session时branchSessions为null的问题
  • [#4438] 修复 file 模式下 GlobalSession 在延迟删除的情况下无法被正常删除的问题
  • [#4432] 修复 ServerApplicationListener无法读取配置中心配置的问题
  • [#4452] 修复 service.disableGlobalTransaction 配置的日志输出错误
  • [#4449] 修复 Redis 分页查询 NPE 问题,优化readession限制查询条数后均衡返回结果
  • [#4459] 修复 Oracle 和 PostgreSQL 数据库生成前后镜像失败的问题
  • [#4471] 修复运行时切换事务分组对应集群引起的错误
  • [#4474] 修复 MySQL 多位Bit类型字段回滚错误
  • [#4492] 修复 eureka 注册中心无法动态更新服务列表的问题
  • [#4228] 修复 TC 获取不同 ip 的 RM 连接导致的xa模式资源悬挂问题
  • [#4561] 修复 allSessions/findGlobalSessions 某些情况下返回null 的问题
  • [#4505] 修复 time类型的fastjson序列化问题
  • [#4579] 修复 MySQLInsertOrUpdateExecutor的prepareUndoLogAll
  • [#4005] 修复 PK 约束名称与属于PK的唯一索引名称不同
  • [#4062] 修复 Saga 复杂参数序列化问题
  • [#4199] 修复 RPC TM 请求超时问题
  • [#4352] 修复 SQL 解析器的一些问题
  • [#3687] 修复某些场景下无法重试全局锁的问题

optimize/test：

  • [#3700] 优化buildLockKey方法的效率
  • [#3615] 优化二阶段同步提交时全局事务记录可异步删除
  • [#3689] 修正script/server/config/file.properties中属性编写错误
  • [#3588] 优化数据源自动代理的流程
  • [#3528] 优化Redis存储模式内存占用
  • [#3626] 移除重复的changeStatus代码
  • [#3722] 添加分布式锁的代码
  • [#3713] 统一enableClientBatchSendRequest的默认值
  • [#3120] 优化Configuration的部分代码，并添加单元测试
  • [#3735] 当TC只有单个节点时，不进行非必要的负载均衡操作
  • [#3770] 关闭一些未关闭的对象
  • [#3627] 使用TreeMap替换 TableMeta 中的 LinkedHashMap 以兼容高版本的MySQL
  • [#3760] 优化seata-server的logback相关的配置
  • [#3765] 将添加配置类的操作从AutoConfiguration转移到EnvironmentPostProcessor中并提升该操作的优先级
  • [#3730] 重构TCC模式相关的代码
  • [#3820] 在表tcc_fence_log中新增字段action_name
  • [#3738] JacksonUndoLogParser支持解析LocalDateTime(支持微秒时间)
  • [#3794] 优化seata-server的打包配置，修正Dockerfile的错误配置，并将Dockerfile也打包进去
  • [#3795] 优化zkRegistrylookup方法性能
  • [#3840] 优化apm-skwalking操作方法生成规则
  • [#3834] 优化seata-distribution增加apm-seata-skywalking包
  • [#3847] 优化ConcurrentHashMap.newKeySet替换ConcurrentSet
  • [#3849] 优化字符串拼接
  • [#3890] 优化insert后镜像仅查询插入字段
  • [#3895] 优化解码异常
  • [#3212] 优化解析OrderBy，Limit条件代码结构
  • [#3898] 增加docker maven 插件
  • [#3904] 增强 metrics 和修复 seata-server 单测不运行的问题
  • [#3905] 优化 nacos-config.sh 支持 ash
  • [#3935] 优化以Redis为注册中心时,发送多条命令使用pipeline
  • [#3916] 优化注册中心服务节点列表地址探活
  • [#3918] 缓存Field和Method的反射结果
  • [#3311] 支持从consul单一key中读取所有配置
  • [#3907] 优化设置 Server 端口
  • [#3912] 支持通过env配置JVM参数
  • [#3939] 使用map优化大量的判断代码
  • [#3955] 添加启动banner
  • [#4266] 修改由于修改记录过多导致分支注册及lock释放失败的问题
  • [#3949] nacos-config.py 支持默认参数和选择性输入参数
  • [#3954] 移除对druid依赖中过期方法的调用
  • [#3981] 优化服务端口的优先级设置
  • [#4013] 优化可用TC地址检测
  • [#3982] 优化 readme 文档和升级POM依赖
  • [#3991] 关闭SpringBoot下无用的fileListener
  • [#3994] 优化tcc_fence_log表定时删除任务的机制
  • [#3327] 支持从etcd3单一key中读取所有配置
  • [#4001] 支持从Nacos,Zookeeper,Consul,Etcd3 中读取 yml
  • [#4017] 优化文件配置
  • [#4018] 优化 Apollo 配置
  • [#4021] 优化 Nacos、Consul、Zookeeper、Etcd3 配置
  • [#4055] 优化NetUtil的getLocalAddress0方法
  • [#4086] 分支事务支持懒加载并优化任务调度
  • [#4056] 优化 DurationUtil
  • [#4103] 减少分支事务注册无需竞争锁时的内存占用
  • [#3733] 优化本地事务下的锁竞争机制
  • [#4144] 支持默认的事务分组配置
  • [#4157] 优化客户端批量发送请求
  • [#4191] RPC 请求超时时间支持配置化
  • [#4216] 非 AT 模式无须清理undolog表
  • [#4176] 优化 Redis 注册中心存储，改用自动过期key替代hash.
  • [#4196] TC 批量响应客户端
  • [#4212] 控制台接口合并优化
  • [#4237] 当所有的 before image均为空的时候，跳过 checkLock 的步骤
  • [#4251] 优化部分代码处理
  • [#4262] 优化 TCC 模块代码处理
  • [#4235] 优化 eureka 注册中心保存实例信息
  • [#4277] 优化 Redis-pipeline模式本地事务下的锁竞争机制
  • [#4284] 支持 MSE-Nacos 的 ak/sk 鉴权方式
  • [#4299] 优化异常提示
  • [#4300] 优化NettyRemotingServer的close()
  • [#4270] 提高全局提交和全局回滚的性能，分支事务清理异步化
  • [#4307] 优化在 TCC 模式减少不必要的全局锁删除
  • [#4303] tcc_fence_log表悬挂日志记录异步删除
  • [#4328] 配置上传脚本支持注释
  • [#4305] 优化 TC 端全局锁获取失败时的日志打印
  • [#4336] 添加 AT 模式不支持的SQL语句异常提示
  • [#4359] 支持配置元数据读取环境变量
  • [#4353] seata-all.jar 瘦身。
  • [#4393] Redis & DB 模式下启动不需要reload
  • [#4247] 在github actions上，添加基于 java17 和 springboot 各版本的测试
  • [#4400] 异步二阶段任务支持并行处理提升效率
  • [#4391] commit/rollback 重试超时事件
  • [#4282] 优化回滚镜像构建逻辑
  • [#4276] 修复 seata-test 单测不运行的问题
  • [#4407] file模式下无需延迟删除globasession
  • [#4436] 优化file模式下的global session查询接口
  • [#4431] 优化Redis模式查询globalSession限制查询条数
  • [#4465] 优化TC 批量响应客户端模式客户端版本传输方式
  • [#4469] 优化控制台db模式下获取配置的方式
  • [#4478] 优化 Nacos 配置和注册元数据属性
  • [#4522] 优化 GC 参数
  • [#4517] 增强失败/超时状态的监控
  • [#4451] fileSessionManager改为单例并优化任务线程池处理
  • [#4551] 优化 metrics rt 统计问题
  • [#4574] 支持 accessKey/secretKey 配置自动注入
  • [#4583] DefaultAuthSigner 的默认签名加密方法替换为HmacSHA256
  • [#4591] 优化开关默认值
  • [#3780] 升级 Druid 版本
  • [#3797] 支持在Try 方法外由用户自己实例化BusinessActionContext
  • [#3909] 优化collectRowLocks 方法
  • [#3763] 优化 github actions
  • [#4345] 修正包目录名
  • [#4346] 优化服务器日志并移除lombok
  • [#4348] 统一管理maven插件及其版本
  • [#4354] 优化saga测试用例
  • [#4227] 统一管理依赖的版本，并且升级spring-boot到2.4.13
  • [#4453] 升级 eureka-clients 和 xstream 的版本
  • [#4481] 优化nacos配置和命名属性
  • [#4477] 优化调试级别日志并修复拼写错误
  • [#4484] 优化TM/RM注册时TC的日志打印
  • [#4458] 修复 metrices 模块 README.md 的配置遗漏问题
  • [#4482] [#3654] 修复typos
  • [#3880] 贡献文档增加中文版本
  • [#4134] 初始化控制台基础代码
  • [#3870] 让seata-bom成为真正的Bill-Of-Material
  • [#3889] 支持注册中心添加心跳
  • [#3702] 修改注释
  • [#4608] [#3110]修复测试用例
  • [#4163] 完善开发者奉献文档
  • [#3678] 补充遗漏的配置及新版本pr登记md文件
  • [#4449] 优化 Redis limit 并修复 Redis 分页问题
  • [#4535] 修复 FileSessionManagerTest单测错误
  • [#4025] 优化潜在的数据库资源泄露

英文版： https://github.com/seata/seat...

致谢

非常感谢以下 contributors 的代码贡献。若有无意遗漏，请报告。

  • slievrly
  • wangliang181230
  • a364176773
  • lvekee
  • caohdgege
  • lightClouds917
  • objcoding
  • siyu
  • GoodBoyCoder
  • pengten
  • Bughue
  • doubleDimple
  • zhaoyuguang
  • liuqiufeng
  • jsbxyyx
  • lcmvs
  • onlinechild
  • xjlgod
  • h-zhi
  • tanzzj
  • miaoxueyu
  • selfishlover
  • tuwenlin
  • dmego
  • xiaochangbai
  • Rubbernecker
  • ruanun
  • huan415
  • drgnchan
  • cmonkey
  • 13414850431
  • ls9527
  • xingfudeshi
  • spilledyear
  • kaka2code
  • iqinning
  • yujianfei1986
  • elrond-g
  • jameslcj
  • zhouchuhang
  • xujj
  • mengxzh
  • portman
  • anselleeyy
  • wangyuewen
  • imherewait
  • wfnuser
  • zhixing

同时，我们收到了社区反馈的很多有价值的issue和建议，非常感谢大家。

Seata 企业版

Seata 企业版提供免运维，高性能的企业级分布式事务解决方案，100%兼容开源，相比开源自建优势巨大。目前已在阿里云北京区域上线公测。欢迎大家在微服务引擎 MSE 控制台-分布式事务，免费开通。

title=

步骤一：创建 Seata 实例

title=

步骤二：创建事务分组

title=

目前 Seata 企业版不能在非阿里云环境下直连，如遇本地开发调试可安装 CloudToolkit 插件，启用 “端云互联” 功能进行网络连通，详细介绍参照分布式事务服务开通文档。

社区讨论群

title=

常用链接

投稿

欢迎大家将 Seata 相关的实践文章投稿至：[email protected]

你可能感兴趣的:(阿里云云原生开源)

  • 腾讯云技术深度探索：构建高效云原生微服务架构 我的运维人生 云原生架构腾讯云运维开发技术共享
    腾讯云技术深度探索：构建高效云原生微服务架构在当今快速发展的技术环境中，云原生技术已成为企业数字化转型的关键驱动力。腾讯云作为行业领先的云服务提供商，不断推出创新的产品和技术，助力企业构建高效、可扩展的云原生微服务架构。本文将深入探讨腾讯云在微服务领域的最新进展，并通过一个实际案例展示如何在腾讯云平台上构建云原生应用。腾讯云微服务架构概览腾讯云微服务架构基于云原生理念，旨在帮助企业快速实现应用的容
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
  • 在一台Ubuntu计算机上构建Hyperledger Fabric网络 落叶无声9 区块链超级账本Hyperledgerfabric区块链ubuntu构建hyperledgerfabric
    在一台Ubuntu计算机上构建HyperledgerFabric网络Hyperledgerfabric是一个开源的区块链应用程序平台，为开发基于区块链的应用程序提供了一个起点。当我们提到HyperledgerFabric网络时，我们指的是使用HyperledgerFabric的正在运行的系统。即使只使用最少数量的组件，部署Fabric网络也不是一件容易的事。Fabric社区创建了一个名为Cello
  • GitHub上克隆项目 bigbig猩猩 github
    从GitHub上克隆项目是一个简单且直接的过程，它允许你将远程仓库中的项目复制到你的本地计算机上，以便进行进一步的开发、测试或学习。以下是一个详细的步骤指南，帮助你从GitHub上克隆项目。一、准备工作1.安装Git在克隆GitHub项目之前，你需要在你的计算机上安装Git工具。Git是一个开源的分布式版本控制系统，用于跟踪和管理代码变更。你可以从Git的官方网站（https://git-scm.
  • node.js学习 小猿L node.jsnode.js学习vim
    node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
  • 01-Git初识 Meereen Gitgit
    01-Git初识概念：一个免费开源，分布式的代码版本控制系统，帮助开发团队维护代码作用：记录代码内容。切换代码版本，多人开发时高效合并代码内容如何学：个人本机使用：Git基础命令和概念多人共享使用：团队开发同一个项目的代码版本管理Git配置用户信息配置：用户名和邮箱，应用在每次提交代码版本时表明自己的身份命令：查看git版本号git-v配置用户名gitconfig--globaluser.name
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • 你可能遗漏的一些C#/.NET/.NET Core知识点 追逐时光者 C#.NETDotNetGuide编程指南c#.net.netcoremicrosoft
    前言在这个快速发展的技术世界中，时常会有一些重要的知识点、信息或细节被忽略或遗漏。《C#/.NET/.NETCore拾遗补漏》专栏我们将探讨一些可能被忽略或遗漏的重要知识点、信息或细节，以帮助大家更全面地了解这些技术栈的特性和发展方向。拾遗补漏GitHub开源地址https://github.com/YSGStudyHards/DotNetGuide/blob/main/docs/DotNet/D
  • 【从浅识到熟知Linux】Linux发展史 Jammingpro 从浅学到熟知Linuxlinux运维服务器
    归属专栏：从浅学到熟知Linux个人主页：Jammingpro每日努力一点点，技术变化看得见文章前言：本篇文章记录Linux发展的历史，因在介绍Linux过程中涉及的其他操作系统及人物，本文对相关内容也有所介绍。文章目录Unix发展史Linux发展史开源Linux官网企业应用情况发行版本在学习Linux前，我们可能都会问Linux从哪里来？它是如何发展的。但在介绍Linux之前，需要先介绍一下Un
  • linux 发展史 种树的猴子 内核java操作系统linux大数据
    linux发展史说明此前对linux认识模糊一知半解，近期通过学习将自己对于linux的发展总结一下方便大家日后的学习。那Linux是目前一款非常火热的开源操作系统，可是linux是什么时候出现的，又是因为什么样的原因被开发出来的呢。以下将对linux的发展历程进行详细的讲解。目录一、Linux发展背景二、UINIX的诞生三、UNIX的重要分支-BSD的诞生四、Minix的诞生五、GNU与Free
  • Java：爬虫框架 dingcho Javajava爬虫
    一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
  • WebMagic：强大的Java爬虫框架解析与实战 Aaron_945 Javajava爬虫开发语言
    文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
  • 进销存小程序源码 PHP网络版ERP进销存管理系统 全开源可二开 摸鱼小号 php
    可直接源码搭建部署发布后使用：一、功能模块介绍该系统模板主要有进，销，存三个主要模板功能组成，下面将介绍各模块所对应的功能；进：需要将产品采购入库，自动生成采购明细台账同时关联财务生成付款账单；销：是指对客户的销售订单记录，汇总生成产品销售明细及回款计划；存：库存的日常盘点与统计，库存下限预警、出入库台账、库存位置等。1.进购管理采购订单：采购下单审批→由上级审批通过采购入库；采购入库：货品到货>
  • 阿里云服务器4核8G配置购买及价格类文章汇总（10篇） 阿里云最新优惠和活动汇总
    阿里云服务器4核8G配置如何购买？价格是多少？4核8G配置的阿里云服务器可以通过云服务器产品页购买也可以通过阿里云活动去下单购买，一般通过活动购买的用户比较多，但是不同实例规格的阿里云服务器价格不一样，带宽不同价格也不一样，本文为大家汇总了10篇关于阿里云服务器4核8G配置购买教程文章和价格类文章，分为购买类文章和价格类文章，以供大家参考如何购买阿里云服务器4核8G配置和最新优惠价格是多少。阿里云
  • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
  • metaRTC8.0，一个全新架构的webRTC SDK库 metaRTC webrtc音视频
    概述metaRTC8.0是metaRTC开源以来架构变化最大的一个版本，是metaIPC3.0等高性能的基础。metaRTC8.0是一个全新架构版本，并非在metaRTC7.0版本上简单升级，在QOS/语音对讲/内存占用/视频文件录制读取等方面新增多个模块，在弱网对抗/语音对讲/内存优化等效果上有显著提升。metaRTC8.0在一年多的开发中进行了近200次迭代，metaRTC8.0社区版计划在2
  • 探索ASPICE V3.1：汽车行业软件开发的中文指南 阮懿同
    探索ASPICEV3.1：汽车行业软件开发的中文指南ASPICE_V3.1中文版.pdf.zip项目地址:https://gitcode.com/open-source-toolkit/422a2在汽车软件工程领域，高质量的标准对于确保行车安全和提升用户体验至关重要。今天，我们为您介绍一个珍贵的开源宝藏——ASPICEV3.1中文版资源。这是一篇专为国内汽车行业开发者、质量管理者准备的深度解读，旨
  • SpringBoot和SpringMVC是什么关系?SpringBoot替代SpringMVC了吗? 瑞金彭于晏 springboot后端javaMVCspring数据库
    SpringBoot和SpringMVC都是SpringFramework生态系统中的一部分，但它们各自扮演着不同的角色和提供不同的功能集。理解它们之间的关系，首先需要了解SpringFramework本身。SpringFrameworkSpringFramework是一个全面的、开源的应用程序开发框架，它提供了广泛的功能来支持企业应用开发的几乎所有方面。SpringFramework的核心特性之
  • Nginx：高性能的Web服务器与反向代理 张某布响丸辣 nginx前端服务器javaSpringBoot
    在当今的互联网世界中，Web服务器的选择对于网站的性能、稳定性和安全性至关重要。Nginx（发音为“engineX”）凭借其卓越的性能、丰富的功能集和灵活的配置选项，成为了众多网站和应用程序的首选Web服务器和反向代理。本文将深入探讨Nginx的特点、应用场景、基本配置以及它如何助力你的Web项目。Nginx简介Nginx是一个开源的、高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/
  • Rust是否会取代C/C++？Rust与C/C++的较量 AI与编程之窗 源码编译与开发rustc语言c++内存安全并发编程代码安全性能优化
    目录引言第一部分：Rust语言的优势内存安全性并发性性能社区和生态系统的成长第二部分：C/C++语言的优势和地位历史积淀和成熟度广泛的库和工具支持性能优化和硬件控制丰富的行业应用社区和行业支持第三部分：挑战和阻碍学习曲线现有代码库的迁移成本生态系统和工具链的完善度社区和人才培养行业应用和推广法规和标准化第四部分：未来趋势和可能性行业趋势教育和人才培养兼容和共存行业标准化企业支持和应用开源社区和生态
  • 免费像素画绘制软件 | Pixelorama v1.0.3 dntktop 软件运维windows
    Pixelorama是一款开源像素艺术多工具软件，旨在为用户提供一个强大且易于使用的平台来创作各种像素艺术作品，包括精灵、瓷砖和动画。这款软件以其丰富的工具箱、动画支持、像素完美模式、剪裁遮罩、预制及可导入的调色板等特色功能，满足了像素艺术家们的各种需求。用户可以享受到动态工具映射、洋葱皮效果、帧标签、播放动画时绘制等高级功能，以及非破坏性的、完全可定制的图层效果，如轮廓、渐变映射、阴影和调色板化
  • Hadoop 傲雪凌霜，松柏长青 后端大数据hadoop大数据分布式
    ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
  • python之pyecharts制作可视化数据大屏 cesske 大数据
    文章目录前言一、安装Pyecharts二、创建Pyecharts图表三、设计大屏布局四、实时数据更新五、部署和展示总结前言使用Pyecharts制作可视化数据大屏是一个复杂但有趣的过程，因为Pyecharts本身是一个用于生成Echarts图表的Python库，而Echarts是由百度开发的一个开源可视化库，支持丰富的图表类型和高度自定义。然而，Pyecharts本身并不直接提供“大屏”的解决方案
  • 大模型训练数据库Common Crawl WindyChanChan 数据集语言模型数据库
    CommonCrawl介绍‌‌CommonCrawl是一个非营利组织，致力于通过大规模分布式爬虫系统定期抓取整个Web并将其存储在一个可公开访问的数据库中。CommonCrawl的数据收集和处理过程包括使用Python开源爬虫工具收集全球范围内的网站数据，并将其上传到‌CommonCrawl基金会的数据仓库中。该项目从2008年开始，至今已经积累了大量的原始网页数据、元数据和文本提取数据。这些数据
  • OpenCV图像处理技术（Python）——入门 森屿_ opencv
    ©FuXianjun.AllRightsReserved.OpenCV入门图像作为人类感知世界的视觉基础，是人类获取信息、表达信息的重要手段，OpenCV作为一个开源的计算机视觉库，它包括几百个易用的图像成像和视觉函数，既可以用于学术研究，也可用于工业邻域，它于1999年由因特尔的GaryBradski启动，OpenCV库主要由C和C++语言编写，它可以在多个操作系统上运行。1.1图像处理基本操作
  • 阿里云国际 CDN 和低延迟全球云解决方案 九河云 阿里云网络服务器安全
    延迟与隐藏程度成反比。C数据存在，并且连接已建立，但在接收客户端请求响应和显示用户请求的内容时存在明显延迟。将数据从源移动到目标时，会出现即时丢失。延迟是数据发送器和数据接收器之间的时间差。此外，当通过云响应用户查询时，这种延迟会被放大。有多种因素会导致满足用户请求的潜在延迟。想象一下，您在美国数据中心部署了服务，并且您的用户遍布全球。在此拓扑中，来自美国的用户将能够以正常（如果不是很好）的性能使
  • AIGC图生视频技术下的巴黎奥运高光时刻 阿里云视频云 AIGC与媒体生产AIGC
    共享，奥运夺金时刻。巴黎奥运会的高光片段中国奥运的夺金时刻动漫风格下的别样风态以下AI动漫视频内容BY「阿里云视频云」智能生成从首金到21金镜头倒转尽情回顾······更多巴黎奥运高光时刻更多AIGC精彩内容可在「新华社官方」新媒体账号观看阿里云视频云用视频云+AI，持续助力奥运
  • Github 2024-09-12 Go开源项目日报Top10 老孙正经胡说 githubgolang开源Github趋势分析开源项目PythonGolang
    根据GithubTrendings的统计，今日(2024-09-12统计)共有10个项目上榜。根据开发语言中项目的数量，汇总情况如下：开发语言项目数量Go项目10C项目1Terraform：基础设施即代码的开源工具创建周期：3626天开发语言：Go协议类型：OtherStar数量：40393个Fork数量：9397次关注人数：40393人贡献人数：358人OpenIssues数量：1943个Git
  • 阿里云服务器4核8G配置可选实例规格及最新优惠价格表（2023最新） 阿里云最新优惠和活动汇总
    阿里云4核8G服务器有十几种实例规格可选，其中计算型c7、通用算力型u1和计算优化型c7（国外地域）三种实例规格有优惠，其中计算型c7实例4核8G配置1M带宽优惠价格为3127.61元1年、5M带宽优惠价格为3862.01元1年；通用算力型u1实例4核8G配置1M带宽1367.86元1年、5M带宽优惠价格为1735.06元1年；计算优化型c7（国外地域）实例4核8G配置1M带宽5907.19元1年
  • xml解析 小猪猪08 xml
    1、DOM解析的步奏 准备工作：    1.创建DocumentBuilderFactory的对象    2.创建DocumentBuilder对象    3.通过DocumentBuilder对象的parse(String fileName)方法解析xml文件    4.通过Document的getElem
  • 每个开发人员都需要了解的一个SQL技巧 brotherlamp linuxlinux视频linux教程linux自学linux资料
      对于数据过滤而言CHECK约束已经算是相当不错了。然而它仍存在一些缺陷，比如说它们是应用到表上面的，但有的时候你可能希望指定一条约束，而它只在特定条件下才生效。 使用SQL标准的WITH CHECK OPTION子句就能完成这点，至少Oracle和SQL Server都实现了这个功能。下面是实现方式： CREATE TABLE books (   id &
  • Quartz——CronTrigger触发器 eksliang quartzCronTrigger
    转载请出自出处：http://eksliang.iteye.com/blog/2208295 一.概述 CronTrigger 能够提供比 SimpleTrigger 更有具体实际意义的调度方案，调度规则基于 Cron 表达式，CronTrigger 支持日历相关的重复时间间隔（比如每月第一个周一执行），而不是简单的周期时间间隔。 二.Cron表达式介绍 1）Cron表达式规则表 Quartz
  • Informatica基础 18289753290 InformaticaMonitormanagerworkflowDesigner
    1. 1）PowerCenter Designer：设计开发环境，定义源及目标数据结构；设计转换规则，生成ETL映射。 2）Workflow  Manager：合理地实现复杂的ETL工作流，基于时间，事件的作业调度 3）Workflow  Monitor：监控Workflow和Session运行情况，生成日志和报告 4）Repository  Manager：
  • linux下为程序创建启动和关闭的的sh文件，scrapyd为例 酷的飞上天空 scrapy
    对于一些未提供service管理的程序  每次启动和关闭都要加上全部路径，想到可以做一个简单的启动和关闭控制的文件   下面以scrapy启动server为例，文件名为run.sh：   #端口号，根据此端口号确定PID PORT=6800 #启动命令所在目录 HOME='/home/jmscra/scrapy/' #查询出监听了PORT端口
  • 人--自私与无私 永夜-极光
                今天上毛概课,老师提出一个问题--人是自私的还是无私的,根源是什么?               从客观的角度来看,人有自私的行为,也有无私的
  • Ubuntu安装NS-3 环境脚本 随便小屋 ubuntu
      将附件下载下来之后解压，将解压后的文件ns3environment.sh复制到下载目录下（其实放在哪里都可以，就是为了和我下面的命令相统一）。输入命令：   sudo ./ns3environment.sh >>result   这样系统就自动安装ns3的环境，运行的结果在result文件中，如果提示     com
  • 创业的简单感受 aijuans 创业的简单感受
           2009年11月9日我进入a公司实习，2012年4月26日，我离开a公司，开始自己的创业之旅。      今天是2012年5月30日，我忽然很想谈谈自己创业一个月的感受。 当初离开边锋时，我就对自己说：“自己选择的路，就是跪着也要把他走完”，我也做好了心理准备，准备迎接一次次的困难。我这次走出来，不管成败
  • 如何经营自己的独立人脉 aoyouzi 如何经营自己的独立人脉
    独立人脉不是父母、亲戚的人脉，而是自己主动投入构造的人脉圈。“放长线，钓大鱼”，先行投入才能产生后续产出。   现在几乎做所有的事情都需要人脉。以银行柜员为例，需要拉储户，而其本质就是社会人脉，就是社交！很多人都说，人脉我不行，因为我爸不行、我妈不行、我姨不行、我舅不行……我谁谁谁都不行，怎么能建立人脉？我这里说的人脉，是你的独立人脉。   以一个普通的银行柜员
  • JSP基础 百合不是茶 jsp注释隐式对象
      1,JSP语句的声明 <%! 声明 %> 　　 声明：这个就是提供java代码声明变量、方法等的场所。 表达式 <%= 表达式 %> 　　 这个相当于赋值，可以在页面上显示表达式的结果， 程序代码段/小型指令　<% 程序代码片段 %>   2,JSP的注释   <!-- -->
  • web.xml之session-config、mime-mapping bijian1013 javaweb.xmlservletsession-configmime-mapping
    session-config 1.定义： <session-config> <session-timeout>20</session-timeout> </session-config> 2.作用：用于定义整个WEB站点session的有效期限，单位是分钟。   mime-mapping 1.定义： <mime-m
  • 互联网开放平台（1） Bill_chen 互联网qq新浪微博百度腾讯
    现在各互联网公司都推出了自己的开放平台供用户创造自己的应用，互联网的开放技术欣欣向荣，自己总结如下： 1.淘宝开放平台(TOP) 网址：http://open.taobao.com/ 依赖淘宝强大的电子商务数据，将淘宝内部业务数据作为API开放出去，同时将外部ISV的应用引入进来。 目前TOP的三条主线： TOP访问网站：open.taobao.com ISV后台：my.open.ta
  • 【MongoDB学习笔记九】MongoDB索引 bit1129 mongodb
    索引 可以在任意列上建立索引 索引的构造和使用与传统关系型数据库几乎一样,适用于Oracle的索引优化技巧也适用于Mongodb 使用索引可以加快查询,但同时会降低修改,插入等的性能 内嵌文档照样可以建立使用索引 测试数据     var p1 = { "name":"Jack", "age&q
  • JDBC常用API之外的总结 白糖_ jdbc
    做JAVA的人玩JDBC肯定已经很熟练了，像DriverManager、Connection、ResultSet、Statement这些基本类大家肯定很常用啦，我不赘述那些诸如注册JDBC驱动、创建连接、获取数据集的API了，在这我介绍一些写框架时常用的API，大家共同学习吧。     ResultSetMetaData获取ResultSet对象的元数据信息
  • apache VelocityEngine使用记录 bozch VelocityEngine
    VelocityEngine是一个模板引擎，能够基于模板生成指定的文件代码。   使用方法如下：     VelocityEngine engine = new VelocityEngine();// 定义模板引擎     Properties properties = new Properties();// 模板引擎属
  • 编程之美-快速找出故障机器 bylijinnan 编程之美
    package beautyOfCoding; import java.util.Arrays; public class TheLostID { /*编程之美 假设一个机器仅存储一个标号为ID的记录，假设机器总量在10亿以下且ID是小于10亿的整数，假设每份数据保存两个备份，这样就有两个机器存储了同样的数据。 1.假设在某个时间得到一个数据文件ID的列表，是
  • 关于Java中redirect与forward的区别 chenbowen00 javaservlet
    在Servlet中两种实现： forward方式：request.getRequestDispatcher(“/somePage.jsp”).forward(request, response); redirect方式：response.sendRedirect(“/somePage.jsp”); forward是服务器内部重定向，程序收到请求后重新定向到另一个程序，客户机并不知
  • [信号与系统]人体最关键的两个信号节点 comsci 系统
            如果把人体看做是一个带生物磁场的导体,那么这个导体有两个很重要的节点,第一个在头部,中医的名称叫做 百汇穴, 另外一个节点在腰部,中医的名称叫做 命门         如果要保护自己的脑部磁场不受到外界有害信号的攻击,最简单的
  • oracle 存储过程执行权限 daizj oracle存储过程权限执行者调用者
    在数据库系统中存储过程是必不可少的利器，存储过程是预先编译好的为实现一个复杂功能的一段Sql语句集合。它的优点我就不多说了，说一下我碰到的问题吧。我在项目开发的过程中需要用存储过程来实现一个功能，其中涉及到判断一张表是否已经建立，没有建立就由存储过程来建立这张表。 CREATE OR REPLACE PROCEDURE TestProc  IS    fla
  • 为mysql数据库建立索引 dengkane mysql性能索引
    前些时候，一位颇高级的程序员居然问我什么叫做索引，令我感到十分的惊奇，我想这绝不会是沧海一粟，因为有成千上万的开发者（可能大部分是使用MySQL的）都没有受过有关数据库的正规培训，尽管他们都为客户做过一些开发，但却对如何为数据库建立适当的索引所知较少，因此我起了写一篇相关文章的念头。  最普通的情况，是为出现在where子句的字段建一个索引。为方便讲述，我们先建立一个如下的表。
  • 学习C语言常见误区 如何看懂一个程序 如何掌握一个程序以及几个小题目示例 dcj3sjt126com c算法
    如果看懂一个程序，分三步   1、流程   2、每个语句的功能   3、试数   如何学习一些小算法的程序 尝试自己去编程解决它，大部分人都自己无法解决 如果解决不了就看答案 关键是把答案看懂，这个是要花很大的精力，也是我们学习的重点 看懂之后尝试自己去修改程序，并且知道修改之后程序的不同输出结果的含义 照着答案去敲 调试错误
  • centos6.3安装php5.4报错 dcj3sjt126com centos6
    报错内容如下: Resolving Dependencies --> Running transaction check ---> Package php54w.x86_64 0:5.4.38-1.w6 will be installed --> Processing Dependency: php54w-common(x86-64) = 5.4.38-1.w6 for
  • JSONP请求 flyer0126 jsonp
          使用jsonp不能发起POST请求。 It is not possible to make a JSONP POST request. JSONP works by creating a <script> tag that executes Javascript from a different domain; it is not pos
  • Spring Security（03）——核心类简介 234390216 Authentication
    核心类简介 目录 1.1     Authentication 1.2     SecurityContextHolder 1.3     AuthenticationManager和AuthenticationProvider 1.3.1  &nb
  • 在CentOS上部署JAVA服务 java--hhf javajdkcentosJava服务
        本文将介绍如何在CentOS上运行Java Web服务，其中将包括如何搭建JAVA运行环境、如何开启端口号、如何使得服务在命令执行窗口关闭后依旧运行     第一步：卸载旧Linux自带的JDK ①查看本机JDK版本 java -version    结果如下 java version "1.6.0"
  • oracle、sqlserver、mysql常用函数对比[to_char、to_number、to_date] ldzyz007 oraclemysqlSQL Server
    oracle                                &n
  • 记Protocol Oriented Programming in Swift of WWDC 2015 ningandjin protocolWWDC 2015Swift2.0
    其实最先朋友让我就这个题目写篇文章的时候，我是拒绝的，因为觉得苹果就是在炒冷饭， 把已经流行了数十年的OOP中的“面向接口编程”还拿来讲，看完整个Session之后呢，虽然还是觉得在炒冷饭，但是毕竟还是加了蛋的，有些东西还是值得说说的。 通常谈到面向接口编程，其主要作用是把系统设计和具体实现分离开，让系统的每个部分都可以在不影响别的部分的情况下，改变自身的具体实现。接口的设计就反映了系统
  • 搭建 CentOS 6 服务器(15) - Keepalived、HAProxy、LVS rensanning keepalived
    （一）Keepalived （1）安装 # cd /usr/local/src # wget http://www.keepalived.org/software/keepalived-1.2.15.tar.gz # tar zxvf keepalived-1.2.15.tar.gz # cd keepalived-1.2.15 # ./configure # make &a
  • ORACLE数据库SCN和时间的互相转换 tomcat_oracle oraclesql
    SCN（System Change Number 简称 SCN）是当Oracle数据库更新后，由DBMS自动维护去累积递增的一个数字，可以理解成ORACLE数据库的时间戳，从ORACLE 10G开始，提供了函数可以实现SCN和时间进行相互转换； 　　 用途：在进行数据库的还原和利用数据库的闪回功能时，进行SCN和时间的转换就变的非常必要了； 　 　操作方法： 　　1、通过dbms_f
  • Spring MVC 方法注解拦截器 xp9802 spring mvc
    应用场景，在方法级别对本次调用进行鉴权，如api接口中有个用户唯一标示accessToken,对于有accessToken的每次请求可以在方法加一个拦截器，获得本次请求的用户，存放到request或者session域。 python中，之前在python flask中可以使用装饰器来对方法进行预处理，进行权限处理 先看一个实例,使用@access_required拦截： ?
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他