公众号-芋道源码
公众号-芋道源码

理解分布式系统中的缓存架构(下)

点击上方“芋道源码”，选择“置顶公众号”

技术文章第一时间送达！

源码精品专栏

 

  • 精尽 Dubbo 原理与源码 69 篇

  • 精尽 Netty 原理与源码 61 篇

  • 中文详细注释的开源项目

  • Java 并发源码合集

  • RocketMQ 源码合集

  • Sharding-JDBC 源码解析合集

  • Spring MVC 和 Security 源码合集

  • MyCAT 源码解析合集

来源：http://t.cn/Rd0q4ht

1. 分层缓存架构设计2. 缓存带来的复杂度问题数据一致性缓存穿透缓存雪崩缓存高可用缓存热点3. 业界案例技术挑战Feed缓存架构图架构特点参考

承接上一篇《理解分布式系统中的缓存架构(上)》，介绍了大型分布式系统中缓存的相关理论，常见的缓存组件以及应用场景，本文主要介绍缓存架构设计常见问题以及解决方案，业界案例。

1. 分层缓存架构设计

理解分布式系统中的缓存架构(下)_第1张图片 img

2. 缓存带来的复杂度问题

常见的问题主要包括

  • 数据一致性

  • 缓存穿透

  • 缓存雪崩

  • 缓存高可用

  • 缓存热点 下面逐一介绍分析这些问题以及相应的解决方案。

数据一致性

因为缓存属于持久化数据的一个副本，因此不可避免的会出现数据不一致问题。导致脏读或读不到数据的情况。数据不一致，一般是因为网络不稳定或节点故障导致

问题出现的常见3个场景以及解决方案：

理解分布式系统中的缓存架构(下)_第2张图片 数据一致性问题场景及解决

缓存穿透

缓存一般是Key，value方式存在，当某一个Key不存在时会查询数据库，假如这个Key，一直不存在，则会频繁的请求数据库，对数据库造成访问压力。

主要解决方案：

  • 对结果为空的数据也进行缓存，当此key有数据后，清理缓存

  • 一定不存在的key，采用布隆过滤器，建立一个大的Bitmap中，查询时通过该bitmap过滤

缓存雪崩

理解分布式系统中的缓存架构(下)_第3张图片 缓存雪崩

缓存高可用

缓存是否高可用，需要根据实际的场景而定，并不是所有业务都要求缓存高可用，需要结合具体业务，具体情况进行方案设计，例如临界点是是否对后端的数据库造成影响。

主要解决方案：

  • 分布式：实现数据的海量缓存

  • 复制：实现缓存数据节点的高可用

缓存热点

一些特别热点的数据，高并发访问同一份缓存数据，导致缓存服务器压力过大。

解决：复制多份缓存副本，把请求分散到多个缓存服务器上，减轻缓存热点导致的单台缓存服务器压力

3. 业界案例

案例主要参考新浪微博陈波的技术分享

技术挑战

理解分布式系统中的缓存架构(下)_第4张图片 技术挑战

Feed缓存架构图

理解分布式系统中的缓存架构(下)_第5张图片 Feed缓存架构

架构特点

新浪微博把SSD应用在分布式缓存场景中，将传统的Redis/MC + Mysql方式，扩展为 Redis/MC + SSD Cache + Mysql方式，SSD Cache作为L2缓存使用，第一降低了MC/Redis成本过高，容量小的问题，也解决了穿透DB带来的数据库访问压力

主要在数据架构、性能、储存成本、服务化等不同方面进行了优化增强

理解分布式系统中的缓存架构(下)_第6张图片 img 理解分布式系统中的缓存架构(下)_第7张图片 架构关注点

参考

从0开始学架构 —— Alibaba 李运华

Java核心技术36讲—— Oracle 杨晓峰

微博Cache架构设计实践 —— 陈波

缓存在大型分布式系统中的最佳应用 —— 侯忠好

缓存，并发更新的大坑？ —— 58沈剑

分布式缓存设计—— crossoverJie

欢迎加入我的知识星球，一起探讨架构，交流源码。加入方式，长按下方二维码噢：

已在知识星球更新源码解析如下：

  • 《精尽 Dubbo 源码解析系列》69 篇。

  • 《精尽 Netty 源码解析系列》61 篇。

  • 《精尽 Spring 源码解析系列》35 篇。

  • 《精尽 MyBatis 源码解析系列》34 篇。

  • 《数据库实体设计》17 篇。

  • 正在准备更新《精尽 Spring MVC 源码解析系列》

目前在知识星球更新了《Dubbo 源码解析》目录如下：

01. 调试环境搭建
02. 项目结构一览
03. 配置 Configuration
04. 核心流程一览

05. 拓展机制 SPI

06. 线程池

07. 服务暴露 Export

08. 服务引用 Refer

09. 注册中心 Registry

10. 动态编译 Compile

11. 动态代理 Proxy

12. 服务调用 Invoke

13. 调用特性 

14. 过滤器 Filter

15. NIO 服务器

16. P2P 服务器

17. HTTP 服务器

18. 序列化 Serialization

19. 集群容错 Cluster

20. 优雅停机

21. 日志适配

22. 状态检查

23. 监控中心 Monitor

24. 管理中心 Admin

25. 运维命令 QOS

26. 链路追踪 Tracing

... 一共 69+ 篇

目前在知识星球更新了《Netty 源码解析》目录如下：

01. 调试环境搭建
02. NIO 基础
03. Netty 简介
04. 启动 Bootstrap

05. 事件轮询 EventLoop

06. 通道管道 ChannelPipeline

07. 通道 Channel

08. 字节缓冲区 ByteBuf

09. 通道处理器 ChannelHandler

10. 编解码 Codec

11. 工具类 Util

... 一共 61+ 篇

目前在知识星球更新了《数据库实体设计》目录如下：

01. 商品模块
02. 交易模块
03. 营销模块
04. 公用模块

... 一共 17+ 篇

目前在知识星球更新了《Spring 源码解析》目录如下：

01. 调试环境搭建
02. IoC Resource 定位
03. IoC BeanDefinition 载入

04. IoC BeanDefinition 注册

05. IoC Bean 获取

06. IoC Bean 生命周期

... 一共 35+ 篇

目前在知识星球更新了《MyBatis 源码解析》目录如下：

01. 调试环境搭建
02. 项目结构一览
03. MyBatis 面试题合集

04. MyBatis 学习资料合集

05. MyBatis 初始化

06. SQL 初始化

07. SQL 执行

08. 插件体系

09. Spring 集成

... 一共 34+ 篇

源码不易↓↓↓↓↓

点赞支持老艿艿↓↓

你可能感兴趣的:(理解分布式系统中的缓存架构(下))

  • WebSocket（WS）协议系列（四）SSL/TLS协议 是纯一呀 WebSocket网络websocketssl网络协议
    SSL（SecureSocketsLayer）和TLS（TransportLayerSecurity）是用于在网络上实现安全通信的协议，它们通常用于加密数据传输，保护数据免受窃取、篡改和伪造。虽然SSL已被逐步淘汰，现代网络通信大多使用TLS，但很多时候，我们仍然会把SSL/TLS一起提及，通常理解为同一个概念。SSL/TLS协议是什么？SSL是最初由Netscape开发的一种加密协议，目的是在计
  • 7.2 奇异值分解的基与矩阵 passxgx #第7章奇异值分解（SVD）矩阵线性代数
    一、奇异值分解奇异值分解（SVD）是线性代数的高光时刻。AAA是一个m×nm\timesnm×n的矩阵，可以是方阵或者长方形矩阵，秩为rrr。我们要对角化AAA，但并不是把它化成X−1AXX^{-1}AXX−1AX的形式。这是因为XXX中的特征向量有三个大问题：它们通常并不正交，并不总是有足够数量的特征向量，并且Ax=λxA\boldsymbolx=\lambda\boldsymbolxAx=λx
  • Docker 的基本概念和优势，以及在应用程序开发中的实际应用。 m0_65559335 计算机杂谈docker容器运维
    Docker是一个开源的容器化平台，可以将应用程序和所有其依赖的组件打包成一个容器。它的基本概念是镜像和容器。镜像是一个只读的文件，包含了需要运行的应用程序和其所需的操作系统、库文件和依赖项。镜像可以从DockerHub等公共或私有仓库中获取，也可以通过Dockerfile定义自己定制的镜像。容器是从镜像创建的运行实例，是可执行和可移植的。每个容器都是独立的，隔离的环境，可以在任何支持Docker
  • 解释 TypeScript 中的类型系统，如何定义和使用类型？ 程序员黄同学 前端开发JavaScripttypescriptubuntujavascript
    1.类型系统的核心作用TypeScript类型系统本质上是JavaScript的静态类型增强方案，提供三个核心价值：开发阶段类型检查（类似编译时eslint）更清晰的API文档（类型即文档）更好的IDE自动补全支持代码示例：//错误示范：未指定类型导致潜在隐患functionadd(a,b){returna+b;}add('hello',123);//运行时错误但编译期不报错//正确类型标注fun
  • 怎么定义世界模型，Sora/Genie/JEPA 谁是世界模型呢？（1） 周博洋K 分布式人工智能深度学习自然语言处理机器学习
    说这个问题之前先看一下什么是世界模型，它的定义是什么？首先世界模型的起源是咋回事呢？其实世界模型在ML领域不是什么新概念，远远早于Transfomer这些东西被提出来，因为它最早是强化学习RL领域的，在20世纪90年代由JuergenSchmiduber实验室给提出来的。2018年被Ha和Schmiduber发表了用RNN来做世界模型的论文，相当于给他重新做了一次定义。然后就是最近跟着Sora，G
  • 高效备考策略：考研英语阅读理解深度剖析 闲虎考研 考研经验考研
    随着考研竞争日益激烈，英语作为考研的重要科目，其阅读理解部分成为了考生们的难点和重点，想要在考研英语中取得高分，必须对阅读理解部分进行深入剖析，掌握高效备考策略，本文将从考研英语阅读理解的特点、技巧和方法三个方面进行详细讲解，帮助考生提高阅读理解能力。考研英语阅读理解的特点1、题材广泛：考研英语阅读理解的题材涵盖多个领域，如经济、文化、科技、环保等，考生在备考过程中，需要广泛涉猎各类文章，提高自己
  • 探索未来：FacebookResearch的JEPa项目详解 瞿旺晟
    探索未来：FacebookResearch的JEPa项目详解去发现同类优质开源项目:https://gitcode.com/项目简介是FacebookResearch推出的一个开源项目，全称为"JointEmbeddingofProgramsandAttributes"。它是一个用于程序理解和属性预测的深度学习框架，旨在提升代码的理解和自动化程度，为开发者提供更智能的编程辅助工具。技术分析**1.
  • C++上机实验|继承与派生编程练习 皖山文武 C++语言程序设计教程c++开发语言
    1.实验目的(1)掌握派生与继承的概念与使用方法(2)运用继承机制对现有的类进行重用。(3)掌握继承中的构造函数与析构函数的调用顺序,(4)为派生类设计合适的构造函数初始化派生类。(5)深入理解继承与组合的区别。2.实验内容设计一个人员类person和一个日期类date,由人员类派生出学生类student和教师类professor,学生类和教师类的数据成员birthday为日期类。3.参考代码#i
  • AOP开发 LDM>W< Java学习javaspring学习
    8.1aop思想oop（面向对象编程）：面向对象，就是纵向地将事物给封装成类，里面具有这种事物的属性和行为。当别人想用到这种事物时，就通过构造它的一个实例对象来获得。体现出一种封装性。aop（面向切面编程）：横向地对不同事物的抽象，属性与属性，方法与方法，对象与对象都可以组成一个切面。简单来说，aop思想就是可以将某些类里的属性方法等抽取出来进行处理，组成一个新方法。下面来张图说明一下：可以看到，
  • SpringBean的实例创建方式 LDM>W< Java学习javaspring
    说在前面：可能会疑惑之前不是学了两种方式吗：beanFactory和applicationContext。最根本来讲，就是通过工厂模式创建。是的，是工厂模式创建，但又分了两种方式：构造+工厂构造方法其中又分为了无参构造和有参构造。在默认情况下，工厂就是通过无参构造来创建bean的，如果我们提供的是有参构造的话，就需要在配置中添加参数publicServiceImpl(StringchineseNa
  • 2025年工业智能对讲机有多智能？数据采集+AI不在话下！ AORO_BEIDOU 人工智能信息与通信智能手机安全网络
    在工业通信领域，对讲机始终是不可替代的即时交互工具。但传统设备仅能实现基础语音传输的局限性，已难以满足现代工业对效率与智能化的需求。遨游通讯推出的新一代智能对讲机，凭借DeepSeek本地化部署与模块化数据采集能力，实现了语音交互的智能升级，并通过红外热成像、NFC、工业内窥镜等专业模块的深度融合，构建起覆盖现场感知、数据分析与决策支持的闭环体系。AOROM55G智能对讲机传统的对讲机往往只能进行
  • HTML基础标签 雪兔♛ html前端经验分享
    基础标签＜！--id属性，唯一的确定一个标签，id名字具有唯一性-->回到这里飞流直下三千尺飞流直下三千尺飞流直下三千尺飞流直下三千尺飞流直下三千尺飞流直下三千尺飞流直下三千尺飞流直下三千尺飞流直下三千尺飞流直下三千尺百度一下，你就知道登录点击回到顶部
  • PyQt有哪些主要组件？ 2301_78316786 pythonpyqt
    这是一个非常强大的跨平台GUI库，可以让你用Python语言创建美观且功能强大的桌面应用程序。让我们先来了解一下它的主要组件。首先，我们要介绍的是窗口。窗口是PyQt应用程序的基本元素，所有的GUI元素都放置在窗口中。你可以创建主窗口、模态对话框、无模式对话框和自定义窗口。下面是一个创建主窗口的例子：fromPyQt5.QtWidgetsimportQApplication,QMainWindow
  • C语言for循环语句的用法（非常详细） xiecoding.cn c语言开发语言青少年编程c++
    在C语言中，除了while和dowhile，使用for语句也可以实现循环结构。C语言for循环的基本用法for循环语句的一般形式如下：for(表达式1;表达式2;表达式3){语句块;}有以下几点说明：for是循环结构中的关键字之一。表达式1通常用于给循环变量赋初值。当然，也允许在for语句外给循环变量赋初值，此时可以省略此表达式。表达式2通常是循环检验的条件，用来决定是否继续执行for后紧跟的语句
  • 微服务下如何保证事务的一致性？ Java技术攻略 微服务java数据库
    背景随着业务的快速发展、业务复杂度越来越高，传统单体应用逐渐暴露出了一些问题，例如开发效率低、可维护性差、架构扩展性差、部署不灵活、健壮性差等等。而微服务架构是将单个服务拆分成一系列小服务，且这些小服务都拥有独立的进程，彼此独立，很好地解决了传统单体应用的上述问题，但是在微服务架构下如何保证事务的一致性呢？1、事务的介绍1.1事务1.1.1事务的产生数据库中的数据是共享资源，因此数据库系统通常要支
  • esp32手把手DIY AI小智语音助手教程 (三) 配置ESP32设备 Wi-Fi连接网络 代码简单说 智能硬件/物联网开发实战ai小智语音助手ai小智配网ai小智教程智能硬件esp32语音助手diy语音助手
    esp32手把手DIYAI小智语音助手教程(三)配置ESP32设备Wi-Fi连接网络1.WI-FI网络配置1）启动设备在bin固件下载/烧录后，将设备保持接通电源，按下开发板上的RST按钮复位重启设备（如下图位置1），设备将进⼊配⽹模式。2配网状态如果sRGB彩灯为蓝色（开发板上的⽩⾊灯），并保持闪烁，表⽰设备处于配⽹状态。如果sRGB彩灯⼀直不亮，请参考本页第2节详细说明。如果设备不在配⽹状态或
  • 【花雕动手做】基于ESP32S3和通义千问大模型AI语音聊天机器人 驴友花雕 人工智能机器人嵌入式硬件单片机c++基于ESP32S3通义千问AI语音聊天机器人
    开源项目1、核心功能：该项目利用ESP32S3开发板，结合通义千问大模型，实现了一个AI语音聊天机器人。用户可以通过语音与机器人进行交互，机器人能够理解用户的语音指令并给出相应的语音回答。2、技术架构：（1）语音识别：使用语音转文字大模型，将用户的语音输入转换为文本信息。（2）文本理解：将转换后的文本发送到通义千问大模型进行处理，模型会根据文本内容生成相应的回答。（3）语音合成：将模型生成的文本答
  • 跨领域算法安全优化与可解释实践 智能计算研究中心 其他
    内容概要作为系统性研究框架，《跨领域算法安全优化与可解释实践》从算法研发的全生命周期切入，重点解决多领域交叉应用中的核心矛盾。通过整合联邦学习的分布式架构与量子计算的高效特性，构建兼顾隐私保护与运算效率的算法优化范式，同时引入动态可解释性分析技术，为医疗影像诊断、金融风险预测等高敏感场景提供决策透明度保障。在技术路径层面，研究聚焦特征工程的鲁棒性设计、超参数的自适应调优策略，以及生成对抗网络在数据
  • 智能算法安全与跨领域创新实践 智能计算研究中心 其他
    内容概要在智能算法快速渗透各行业的背景下，安全治理与技术创新已成为驱动跨领域应用的核心议题。当前研究重点围绕算法可解释性增强、动态风险评估及数据安全防护展开，通过融合联邦学习的分布式协作框架、量子计算的算力突破以及注意力机制的特征聚焦能力，构建起多模态技术融合的创新路径。在应用场景层面，医疗影像诊断、金融风险预测与自动驾驶系统等关键领域已形成算法效能与安全性的双重验证体系，其中超参数优化、特征工程
  • 模型优化前沿趋势与行业应用实战 智能计算研究中心 其他
    内容概要模型优化技术正经历从理论研究到产业落地的关键跃迁。随着自动化机器学习（AutoML）与边缘计算技术的深度融合，模型开发范式正从人工调参转向自动化、自适应优化。以联邦学习为代表的数据隐私保护技术，正在重构跨机构协作的模型训练范式，而量子计算与神经架构搜索（NAS）的结合，为超参数优化开辟了新维度。在应用层面，医疗影像识别准确率突破99%的突破性成果，验证了迁移学习在跨领域知识迁移中的巨大潜力
  • H800实战应用深度解析endofsentence 智能计算研究中心 其他
    内容概要H800作为新一代计算架构的核心组件，其设计理念聚焦于高性能计算与人工智能场景的深度融合。通过模块化异构计算架构，H800实现了计算密度与能效比的突破性提升。下表展示了H800在不同场景下的性能表现对比：场景类型训练速度提升推理延迟降低能效比提升自然语言处理35%22%40%计算机视觉28%18%33%推荐系统41%29%37%资深系统架构师指出："H800的异构计算架构在模型并行处理方面
  • DeepSeek高效AI创作成本革新endofsentence 智能计算研究中心 其他
    内容概要DeepSeek作为新一代智能创作平台，其核心技术突破体现在混合专家架构（MoE）与670亿参数的深度融合。该系统通过多任务联合训练框架，在自然语言理解、代码生成和跨模态处理方面展现出显著优势。其混合专家架构采用动态路由机制，实现参数利用率提升40%以上，在保持模型容量的同时将推理成本降低68%。在代码生成任务中，DeepSeekCoder在HumanEval基准测试中达到83.1%的准确
  • PythonWeb——Django框架 Error_exception_worn Python基础数据库Pythondjango
    框架介绍1.什么是框架?框架就是程序的骨架，主体结构，也是个半成品。2.框架的优缺点可重用、成熟,稳健、易扩展、易维护3.Python中常见的框架大包大揽Django被官方称之为完美主义者的Web框架。力求精简web.py和Tornado新生代微框架Flask和Bottle4.Web框架中的一些概念MVC（模型-视图-控制器）和MVT（模型-视图-模板）Django框架介绍Django是一个高级的
  • 什么是分布式系统？什么是微服务架构？ BELONGS TO YOU . 微服务架构分布式
    什么是分布式系统？分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是利用更多的机器，处理更多的数据。首先需要明确的是，只有当单个节点的处理能力无法满足日益增长的计算、存储任务的时候，且硬件的提升（加内存、加磁盘、使用更好的CPU）高昂到得不偿失的时候，应用程序也不能进一步
  • 单片机寄存器理解 学不动CV了 51/32单片机相关知识数据库单片机c语言c++嵌入式硬件
    单片机寄存器是单片机（嵌入式微控制器）内部的一种存储单元，位于CPU核心或与CPU紧密集成，用于暂存数据、指令或控制硬件外设。其读写速度极快，是连接软件与硬件的关键桥梁，直接影响单片机的数据处理效率和功能实现一、基本定义与核心组成本质与结构寄存器由触发器（如D触发器）构成，每个触发器存储1位数据，多个触发器组合形成不同位宽的寄存器（如8位、32位）。例如，4位寄存器由4个D触发器组成，通过时钟脉冲
  • Python实现链表反转：迭代与递归双解法详解 达不溜先生 ୧⍢⃝୨ python数据结构链表算法leetcode
    目录一、问题描述二、核心代码实现2.1迭代法实现迭代法中的prev初始值是None的原因：关键步骤图解2.2递归法实现递归法中要设置head.next=None的原因递归过程拆解三、方法对比与选择建议一、问题描述链表反转是数据结构中的基础算法问题，常见于面试和算法题库（如LeetCode#206）。要求将单向链表的节点顺序完全倒置二、核心代码实现2.1迭代法实现时间复杂度：O(n)空间复杂度：O(
  • c语言笔记 函数参数的等价（下） 我是大咖 c语言笔记c语言笔记开发语言
    为什么这三种写法是等价的？这三种写法是等价的，数组在作为函数参数的时候会变成指针，数组的大小会被系统编译器自动忽略所以char*(argv[argc])等价于char*(argv[])*和[]是可以相互转换的所以char*(argv[])等价char*（*argv）作为命令行：这里我们需要的是一个指针数组，其实上面的理解都可以理解成一个指针数组，因为指针数组与char型的二维数组好搭配int*p[
  • DeepSeek大语言模型下几个常用术语 曲幽 AI计算机语言模型人工智能自然语言处理deepseekollamaai
    昨天刷B站看到复旦赵斌老师说的一句话“科幻电影里在人脑中植入芯片或许在当下无法实现，但当下可以借助AI人工智能实现人类第二脑”（大概是这个意思）更多内容，可关注公众号“一名程序媛”，我们一起从0-1学编程基本概念AI人工智能NLP自然语言处理LLM大语言模型HuggingFace一个提供了丰富的预训练模型和工具库的平台网站Ollama开源的本地大语言模型运行框架，用来在本地部署调用大语言模型，如D
  • 用 Claude3.5 从零写扫雷游戏-实现蜂窝地图 selfboot0 AI编程aichatgpt
    上一篇用Claude3.5从零写扫雷游戏-基本功能篇中，在Claude3.5的帮助下，我这前端小白也基本完成了一个完整的扫雷游戏。不过只是传统的方格扫雷，如果换成蜂窝扫雷游戏，Claude3.5能实现吗？先来看成果吧，可以在在线扫雷游戏中体验：Claude3.5蜂窝扫雷实现考虑到前面已经实现了基本的方格扫雷，并且我们很机智的把逻辑，渲染，UI组件都分开了。那么实现蜂窝状的扫雷，也可以按照这个思路来
  • Spring Boot 条件注解：@ConditionalOnProperty 完全解析 web18285997089 面试学习路线阿里巴巴springbootjava后端
    在SpringBoot项目中，有时候我们希望根据配置文件中的某个属性值来决定是否启用某个功能或加载某个组件。此时，@ConditionalOnProperty注解就可以发挥作用。它通过配置文件的属性值控制Bean或配置类的加载，使得我们的程序更具灵活性。本文将详细介绍@ConditionalOnProperty的用法，并通过功能开关和环境配置两个实际场景来展示它的强大之处。1.@Condition
  • Nginx负载均衡 510888780 nginx应用服务器
    Nginx负载均衡一些基础知识: nginx 的 upstream目前支持 4 种方式的分配 1)、轮询（默认）       每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。 2)、weight       指定轮询几率，weight和访问比率成正比
  • RedHat 6.4 安装 rabbitmq bylijinnan erlangrabbitmqredhat
    在 linux 下安装软件就是折腾，首先是测试机不能上外网要找运维开通，开通后发现测试机的 yum 不能使用于是又要配置 yum 源，最后安装 rabbitmq 时也尝试了两种方法最后才安装成功 机器版本： [root@redhat1 rabbitmq]# lsb_release LSB Version: :base-4.0-amd64:base-4.0-noarch:core
  • FilenameUtils工具类 eksliang FilenameUtilscommon-io
    转载请出自出处：http://eksliang.iteye.com/blog/2217081 一、概述 这是一个Java操作文件的常用库，是Apache对java的IO包的封装，这里面有两个非常核心的类FilenameUtils跟FileUtils，其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装，开发中对文件的操作，几乎都可以在这个框架里面找到。 非常的好用。
  • xml文件解析SAX 不懂事的小屁孩 xml
    xml文件解析:xml文件解析有四种方式， 1.DOM生成和解析XML文档(SAX是基于事件流的解析) 2.SAX生成和解析XML文档(基于XML文档树结构的解析) 3.DOM4J生成和解析XML文档 4.JDOM生成和解析XML 本文章用第一种方法进行解析，使用android常用的DefaultHandler import org.xml.sax.Attributes;
  • 通过定时任务执行mysql的定期删除和新建分区，此处是按日分区 酷的飞上天空 mysql
    使用python脚本作为命令脚本，linux的定时任务来每天定时执行 #!/usr/bin/python # -*- coding: utf8 -*- import pymysql import datetime import calendar #要分区的表 table_name = 'my_table' #连接数据库的信息 host,user,passwd,db =
  • 如何搭建数据湖架构？听听专家的意见 蓝儿唯美 架构
    Edo Interactive在几年前遇到一个大问题：公司使用交易数据来帮助零售商和餐馆进行个性化促销，但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据  “我们要花费27小时来处理每日的数据量，”Edo主管基础设施和信息系统的高级副总裁Tim Garnto说道：“所以在2013年，我们放弃了现有的基于PostgreSQL的关系型数据库系统，使用了Hadoop集群作为公司的数
  • spring学习——控制反转与依赖注入 a-john spring
           控制反转（Inversion of Control，英文缩写为IoC）是一个重要的面向对象编程的法则来削减计算机程序的耦合问题，也是轻量级的Spring框架的核心。 控制反转一般分为两种类型，依赖注入（Dependency Injection，简称DI）和依赖查找（Dependency Lookup）。依赖注入应用比较广泛。  
  • 用spool+unixshell生成文本文件的方法 aijuans xshell
    例如我们把scott.dept表生成文本文件的语句写成dept.sql,内容如下: 　　set pages 50000; 　　set lines 200; 　　set trims on; 　　set heading off; 　　spool /oracle_backup/log/test/dept.lst; 　　select deptno||','||dname||','||loc
  • 1、基础--名词解析(OOA/OOD/OOP) asia007 学习基础知识
    OOA:Object-Oriented Analysis（面向对象分析方法） 是在一个系统的开发过程中进行了系统业务调查以后，按照面向对象的思想来分析问题。OOA与结构化分析有较大的区别。OOA所强调的是在系统调查资料的基础上，针对OO方法所需要的素材进行的归类分析和整理，而不是对管理业务现状和方法的分析。 　　OOA（面向对象的分析）模型由5个层次（主题层、对象类层、结构层、属性层和服务层）
  • 浅谈java转成json编码格式技术 百合不是茶 json编码java转成json编码
    json编码;是一个轻量级的数据存储和传输的语言       在java中需要引入json相关的包,引包方式在工程的lib下就可以了   JSON与JAVA数据的转换（JSON 即 JavaScript Object Natation，它是一种轻量级的数据交换格式，非   常适合于服务器与 JavaScript 之间的数据的交
  • web.xml之Spring配置(基于Spring+Struts+Ibatis) bijian1013 javaweb.xmlSSIspring配置
    指定Spring配置文件位置 <context-param> <param-name>contextConfigLocation</param-name> <param-value> /WEB-INF/spring-dao-bean.xml,/WEB-INF/spring-resources.xml, /WEB-INF/
  • Installing SonarQube（Fail to download libraries from server） sunjing InstallSonar
    1.  Download and unzip the SonarQube distribution 2.  Starting the Web Server The default port is "9000" and the context path is "/". These values can be changed in &l
  • 【MongoDB学习笔记十一】Mongo副本集基本的增删查 bit1129 mongodb
    一、创建复本集   假设mongod,mongo已经配置在系统路径变量上，启动三个命令行窗口，分别执行如下命令：   mongod --port 27017 --dbpath data1 --replSet rs0 mongod --port 27018 --dbpath data2 --replSet rs0 mongod --port 27019 -
  • Anychart图表系列二之执行Flash和HTML5渲染 白糖_ Flash
    今天介绍Anychart的Flash和HTML5渲染功能   HTML5 Anychart从6.0第一个版本起，已经逐渐开始支持各种图的HTML5渲染效果了，也就是说即使你没有安装Flash插件，只要浏览器支持HTML5，也能看到Anychart的图形（不过这些是需要做一些配置的）。 这里要提醒下大家，Anychart6.0版本对HTML5的支持还不算很成熟，目前还处于
  • Laravel版本更新异常4.2.8-> 4.2.9 Declaration of ... CompilerEngine ... should be compa bozch laravel
    昨天在为了把laravel升级到最新的版本，突然之间就出现了如下错误： ErrorException thrown with message "Declaration of Illuminate\View\Engines\CompilerEngine::handleViewException() should be compatible with Illuminate\View\Eng
  • 编程之美-NIM游戏分析-石头总数为奇数时如何保证先动手者必胜 bylijinnan 编程之美
    import java.util.Arrays; import java.util.Random; public class Nim { /**编程之美 NIM游戏分析 问题： 有N块石头和两个玩家A和B，玩家A先将石头随机分成若干堆，然后按照BABA...的顺序不断轮流取石头， 能将剩下的石头一次取光的玩家获胜，每次取石头时，每个玩家只能从若干堆石头中任选一堆，
  • lunce创建索引及简单查询 chengxuyuancsdn 查询创建索引lunce
    import java.io.File; import java.io.IOException; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Docume
  • [IT与投资]坚持独立自主的研究核心技术 comsci it
           和别人合作开发某项产品....如果互相之间的技术水平不同,那么这种合作很难进行,一般都会成为强者控制弱者的方法和手段.....        所以弱者,在遇到技术难题的时候,最好不要一开始就去寻求强者的帮助,因为在我们这颗星球上,生物都有一种控制其
  • flashback transaction闪回事务查询 daizj oraclesql闪回事务
       闪回事务查询有别于闪回查询的特点有以下3个： （1）其正常工作不但需要利用撤销数据，还需要事先启用最小补充日志。 （2）返回的结果不是以前的“旧”数据，而是能够将当前数据修改为以前的样子的撤销SQL（Undo SQL）语句。 （3）集中地在名为flashback_transaction_query表上查询，而不是在各个表上通过“as of”或“vers
  • Java I/O之FilenameFilter类列举出指定路径下某个扩展名的文件 游其是你 FilenameFilter
    这是一个FilenameFilter类用法的例子，实现的列举出“c:\\folder“路径下所有以“.jpg”扩展名的文件。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
  • C语言学习五函数，函数的前置声明以及如何在软件开发中合理的设计函数来解决实际问题 dcj3sjt126com c
    # include <stdio.h> int f(void) //括号中的void表示该函数不能接受数据，int表示返回的类型为int类型 { return 10; //向主调函数返回10 } void g(void) //函数名前面的void表示该函数没有返回值 { //return 10; //error 与第8行行首的void相矛盾 } in
  • 今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Pl dcj3sjt126com centos
    今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again   处理很简单，修改文件“/etc/yum.repos.d/epel.repo”， 将baseurl的注释取消， mirrorlist注释掉。即可。 &n
  • 单例模式 shuizhaosi888 单例模式
    单例模式      懒汉式 public class RunMain { /** * 私有构造 */ private RunMain() { } /** * 内部类，用于占位，只有 */ private static class SingletonRunMain { priv
  • Spring Security（09）——Filter 234390216 Spring Security
    Filter 目录 1.1     Filter顺序 1.2     添加Filter到FilterChain 1.3     DelegatingFilterProxy 1.4     FilterChainProxy 1.5
  • 公司项目NODEJS实践0.1 逐行分析JS源代码 mongodbnginxubuntunodejs
      一、前言         前端如何独立用nodeJs实现一个简单的注册、登录功能，是不是只用nodejs+sql就可以了？其实是可以实现，但离实际应用还有距离，那要怎么做才是实际可用的。         网上有很多nod
  • java.lang.Math liuhaibo_ljf javaMathlang
    System.out.println(Math.PI); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1)); System.out.println(Math.abs(111111111)); System.out.println(Mat
  • linux下时间同步 nonobaba ntp
    今天在linux下做hbase集群的时候，发现hmaster启动成功了，但是用hbase命令进入shell的时候报了一个错误  PleaseHoldException: Master is initializing，查看了日志，大致意思是说master和slave时间不同步，没办法，只好找一种手动同步一下，后来发现一共部署了10来台机器，手动同步偏差又比较大，所以还是从网上找现成的解决方
  • ZooKeeper3.4.6的集群部署 roadrunners zookeeper集群部署
    ZooKeeper是Apache的一个开源项目，在分布式服务中应用比较广泛。它主要用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步、集群管理、配置文件管理、同步锁、队列等。这里主要讲集群中ZooKeeper的部署。   1、准备工作 我们准备3台机器做ZooKeeper集群，分别在3台机器上创建ZooKeeper需要的目录。   数据存储目录
  • Java高效读取大文件 tomcat_oracle java
    　　读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法： 　　Files.readLines(new File(path), Charsets.UTF_8); 　　FileUtils.readLines(new File(path)); 　　这种方法带来的问题是文件的所有行都被存放在内存中，当文件足够大时很快就会导致
  • 微信支付api返回的xml转换为Map的方法 xu3508620 xmlmap微信api
    举例如下： <xml>    <return_code><![CDATA[SUCCESS]]></return_code>    <return_msg><![CDATA[OK]]></return_msg>    <appid><
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他