公众号-芋道源码
公众号-芋道源码

理解分布式系统中的缓存架构(下)

点击上方“芋道源码”，选择“置顶公众号”

技术文章第一时间送达！

源码精品专栏

 

  • 精尽 Dubbo 原理与源码 69 篇

  • 精尽 Netty 原理与源码 61 篇

  • 中文详细注释的开源项目

  • Java 并发源码合集

  • RocketMQ 源码合集

  • Sharding-JDBC 源码解析合集

  • Spring MVC 和 Security 源码合集

  • MyCAT 源码解析合集

来源：http://t.cn/Rd0q4ht

1. 分层缓存架构设计2. 缓存带来的复杂度问题数据一致性缓存穿透缓存雪崩缓存高可用缓存热点3. 业界案例技术挑战Feed缓存架构图架构特点参考

承接上一篇《理解分布式系统中的缓存架构(上)》，介绍了大型分布式系统中缓存的相关理论，常见的缓存组件以及应用场景，本文主要介绍缓存架构设计常见问题以及解决方案，业界案例。

1. 分层缓存架构设计

理解分布式系统中的缓存架构(下)_第1张图片 img

2. 缓存带来的复杂度问题

常见的问题主要包括

  • 数据一致性

  • 缓存穿透

  • 缓存雪崩

  • 缓存高可用

  • 缓存热点 下面逐一介绍分析这些问题以及相应的解决方案。

数据一致性

因为缓存属于持久化数据的一个副本，因此不可避免的会出现数据不一致问题。导致脏读或读不到数据的情况。数据不一致，一般是因为网络不稳定或节点故障导致

问题出现的常见3个场景以及解决方案：

理解分布式系统中的缓存架构(下)_第2张图片 数据一致性问题场景及解决

缓存穿透

缓存一般是Key，value方式存在，当某一个Key不存在时会查询数据库，假如这个Key，一直不存在，则会频繁的请求数据库，对数据库造成访问压力。

主要解决方案：

  • 对结果为空的数据也进行缓存，当此key有数据后，清理缓存

  • 一定不存在的key，采用布隆过滤器，建立一个大的Bitmap中，查询时通过该bitmap过滤

缓存雪崩

理解分布式系统中的缓存架构(下)_第3张图片 缓存雪崩

缓存高可用

缓存是否高可用，需要根据实际的场景而定，并不是所有业务都要求缓存高可用，需要结合具体业务，具体情况进行方案设计，例如临界点是是否对后端的数据库造成影响。

主要解决方案：

  • 分布式：实现数据的海量缓存

  • 复制：实现缓存数据节点的高可用

缓存热点

一些特别热点的数据，高并发访问同一份缓存数据，导致缓存服务器压力过大。

解决：复制多份缓存副本，把请求分散到多个缓存服务器上，减轻缓存热点导致的单台缓存服务器压力

3. 业界案例

案例主要参考新浪微博陈波的技术分享

技术挑战

理解分布式系统中的缓存架构(下)_第4张图片 技术挑战

Feed缓存架构图

理解分布式系统中的缓存架构(下)_第5张图片 Feed缓存架构

架构特点

新浪微博把SSD应用在分布式缓存场景中，将传统的Redis/MC + Mysql方式，扩展为 Redis/MC + SSD Cache + Mysql方式，SSD Cache作为L2缓存使用，第一降低了MC/Redis成本过高，容量小的问题，也解决了穿透DB带来的数据库访问压力

主要在数据架构、性能、储存成本、服务化等不同方面进行了优化增强

理解分布式系统中的缓存架构(下)_第6张图片 img 理解分布式系统中的缓存架构(下)_第7张图片 架构关注点

参考

从0开始学架构 —— Alibaba 李运华

Java核心技术36讲—— Oracle 杨晓峰

微博Cache架构设计实践 —— 陈波

缓存在大型分布式系统中的最佳应用 —— 侯忠好

缓存，并发更新的大坑？ —— 58沈剑

分布式缓存设计—— crossoverJie

欢迎加入我的知识星球，一起探讨架构，交流源码。加入方式，长按下方二维码噢：

已在知识星球更新源码解析如下：

  • 《精尽 Dubbo 源码解析系列》69 篇。

  • 《精尽 Netty 源码解析系列》61 篇。

  • 《精尽 Spring 源码解析系列》35 篇。

  • 《精尽 MyBatis 源码解析系列》34 篇。

  • 《数据库实体设计》17 篇。

  • 正在准备更新《精尽 Spring MVC 源码解析系列》

目前在知识星球更新了《Dubbo 源码解析》目录如下：

01. 调试环境搭建
02. 项目结构一览
03. 配置 Configuration
04. 核心流程一览

05. 拓展机制 SPI

06. 线程池

07. 服务暴露 Export

08. 服务引用 Refer

09. 注册中心 Registry

10. 动态编译 Compile

11. 动态代理 Proxy

12. 服务调用 Invoke

13. 调用特性 

14. 过滤器 Filter

15. NIO 服务器

16. P2P 服务器

17. HTTP 服务器

18. 序列化 Serialization

19. 集群容错 Cluster

20. 优雅停机

21. 日志适配

22. 状态检查

23. 监控中心 Monitor

24. 管理中心 Admin

25. 运维命令 QOS

26. 链路追踪 Tracing

... 一共 69+ 篇

目前在知识星球更新了《Netty 源码解析》目录如下：

01. 调试环境搭建
02. NIO 基础
03. Netty 简介
04. 启动 Bootstrap

05. 事件轮询 EventLoop

06. 通道管道 ChannelPipeline

07. 通道 Channel

08. 字节缓冲区 ByteBuf

09. 通道处理器 ChannelHandler

10. 编解码 Codec

11. 工具类 Util

... 一共 61+ 篇

目前在知识星球更新了《数据库实体设计》目录如下：

01. 商品模块
02. 交易模块
03. 营销模块
04. 公用模块

... 一共 17+ 篇

目前在知识星球更新了《Spring 源码解析》目录如下：

01. 调试环境搭建
02. IoC Resource 定位
03. IoC BeanDefinition 载入

04. IoC BeanDefinition 注册

05. IoC Bean 获取

06. IoC Bean 生命周期

... 一共 35+ 篇

目前在知识星球更新了《MyBatis 源码解析》目录如下：

01. 调试环境搭建
02. 项目结构一览
03. MyBatis 面试题合集

04. MyBatis 学习资料合集

05. MyBatis 初始化

06. SQL 初始化

07. SQL 执行

08. 插件体系

09. Spring 集成

... 一共 34+ 篇

源码不易↓↓↓↓↓

点赞支持老艿艿↓↓

你可能感兴趣的:(理解分布式系统中的缓存架构(下))

  • PPT 要你好看（全彩） 又是一个装逼的
    分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！PPT,要你好看（全彩）杨臻编著ISBN978-7-121-14725-82011年11月出版定价：49.90元16开264页宣传语：般若黑洞▪百万点击之升华16位知名PPT高手联袂热议内容简介此刻呈现在你面前的
  • 进程与线程的联系和区别？ Owen_Xp JavaEEjava面试开发语言
    1、线程的基本概念概念：线程是进程中执行运算的最小单位，是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有系统资源，只拥有一点在运行中必不可少的资源，但它可与同属一个进程的其它线程共享进程所拥有的全部资源。一个线程可以创建和撤消另一个线程，同一进程中的多个线程之间可以并发执行。好处：（1）易于调度。（2）提高并发性。通过线程可方便有效地实现并发性。进程可创建多个线程来执行同一程序
  • 左神算法之有序二维矩阵中的目标值查找 岳轩子 左神算法算法矩阵线性代数
    有序二维矩阵中的目标值查找目录有序二维矩阵中的目标值查找1.题目描述2.问题解释3.解决思路方法一：逐行二分查找（适合行数较少的情况）方法二：利用行列有序特性（最优解）4.代码实现5.总结1.题目描述给定一个元素为非负整数的二维数组matrix，其中：每一行按照从左到右递增的顺序排列每一列按照从上到下递增的顺序排列再给定一个非负整数aim，请判断aim是否存在于matrix中。示例：int[][]
  • FTTR（Fiber to the Room）一主一从
    FTTR（FibertotheRoom）一主一从是家庭或企业光纤组网中的一种设备配置方式，具体含义如下：1.基本概念FTTR：指光纤直接延伸到每个房间（替代传统网线），实现全屋千兆/万兆覆盖。一主一从：由一台主光猫（主网关）和一台从光猫（从网关）组成的网络架构，通过光纤连接，形成主从协作的网络系统。2.主设备和从设备的作用主光猫（主网关）直接连接运营商的光纤入户线路，负责拨号、路由、Wi-Fi覆盖
  • Charles中文版抓包工具：如何加速API调试与网络优化 2501_91592143 httpudphttpswebsocket网络安全网络协议tcp/ip
    在软件开发的过程中，网络请求和API接口的调试与优化是最常见的挑战之一。无论是Web开发、移动应用调试，还是后端API性能优化，开发者都需要一个高效的工具来帮助诊断和解决网络流量中的潜在问题。Charles抓包工具作为一款行业领先的网络调试软件，凭借其强大的功能和简便的操作，帮助开发者提升开发效率、优化网络请求。本文将探讨如何通过Charles中文版抓包工具加速API调试与网络优化，确保开发过程中
  • iOS 应用安全加固指南：通过 IPA 混淆与防破解技术实现全面防护 00后程序员张 httpudphttpswebsocket网络安全网络协议tcp/ip
    在现代移动应用开发中，安全性已不再是一个可以忽视的领域。随着黑客技术的日益成熟以及用户对隐私保护的重视，开发者必须将安全性嵌入到应用的每一个开发环节中，而不仅仅是在开发的后期进行加固。尤其是对于那些涉及用户数据、支付信息等敏感内容的应用，确保应用的安全性是至关重要的。本文将介绍iOS应用开发中的安全实践，并结合具体的安全加固技术，如使用IpaGuard、Obfuscator-LLVM，从应用的设计
  • Joda-Time 日期时间库介绍 hweiyu00 技术栈杂谈开发语言java
    一、Joda-Time是什么？Joda-Time是由StephenColebourne开发的开源日期时间库，用于替代Java标准库中的java.util.Date和java.util.Calendar。它因设计更合理、使用更便捷，曾是Java开发中处理日期时间的主流选择，尤其在Java8推出新的日期时间API（java.time包）之前被广泛使用。二、Joda-Time解决了Java标准库的哪些问
  • Spring AI 结合 MCP MySQL 实现对话式数据库查询 没刮胡子 软件开发技术实战专栏人工智能AISpring数据库spring人工智能spring-aimcp-servermysql
    在现代应用开发中，将人工智能与数据库查询结合可以创造更自然、更智能的用户交互方式。下面我将详细介绍如何使用SpringAI框架结合MCP（可能指MySQL连接池或相关组件）实现对话中的数据库查询功能。什么是SpringAI和MCPMySQLSpringAI框架概述SpringAI是基于Spring生态的人工智能集成框架，它提供了：与大型语言模型(LLM)的集成能力对话管理和自然语言处理功能业务逻辑
  • 【Docker基础】Docker容器管理：docker stats及其参数详解 IT成长日记 容器技术深度解析与实践docker容器运维dockerstats
    目录1Docker监控概述2dockerstats基本用法2.1基本命令格式2.2常用操作示例3dockerstats参数详解3.1常用参数说明3.2输出字段解析3.3格式化输出示例4dockerstats工作原理4.1监控数据采集流程4.2数据源解析5常见问题解答5.1为什么CPU使用率会超过100%？5.2内存统计中的cache/buffer包含在哪里？5.3如何监控已停止的容器？6总结1Do
  • sqlserver 中的go的作用 NaiQai SqlServer
    如果只是执行一条语句，有没有go都一样，如果多条语句之间用go分隔开就不一样了，每个被go分隔的语句都是一个单独的事务，一个语句执行失败不会影响其他语句执行。例如:首先同时执行下边的语句select*fromsysobjectswhereid=aselectgetdate()你会发现会报错，并且不会显示任何结果集而你再执行select*fromsysobjectswhereid=agoselect
  • RNN循环神经网络原理解读 zhishidi ai笔记rnn人工智能深度学习
    我们把循环神经网络想象成一个有记忆的助手，特别擅长处理按顺序出现的信息，比如句子、语音、股票价格、音乐旋律等。核心思想：记住过去的信息，帮助理解现在。普通神经网络的局限（没有记忆）想象一个普通的神经网络（比如用于识别图片的）：输入：你给它一张图片。处理：它分析这张图片的像素。输出：告诉你图片里是“猫”还是“狗”。问题：它每次只看一个独立的输入（一张图片），输入之间没有联系。给它看一个视频（连续很多
  • 信息抽取领域关键Benchmark方法：分类体系
    信息抽取领域关键Benchmark方法：分类体系摘要信息抽取（InformationExtraction,IE）作为自然语言处理的核心任务之一，旨在从非结构化文本中识别并结构化关键信息（如实体、关系、事件等），广泛应用于知识图谱构建、智能问答和数据分析等领域。近年来，随着深度学习技术的快速发展，信息抽取方法在性能和应用范围上取得了显著进步，但同时也面临着任务多样性、跨领域泛化性以及低资源场景下的适
  • Flutter到鸿蒙的跨越：flutter-phone-direct-caller库的鸿蒙适配之旅 harmonyos
    flutter_app_icon_badge插件鸿蒙适配：实现跨平台应用图标角标管理本项目作者：坚果您可以使用这个Flutter插件来更改应用程序图标上的角标作者仓库：https://github.com/badver/flutter_app_icon_badge/在数字化浪潮的推动下，跨平台开发框架如Flutter凭借其高效、便捷的特性，成为了开发者们的宠儿。而鸿蒙系统的崛起，更是为跨平台开发注
  • memory_info：Flutter 插件助力鸿蒙生态，精准获取设备内存信息 harmonyos
    memory_info：Flutter插件助力鸿蒙生态，精准获取设备内存信息帮助您获取设备内存信息（ram&rom）本项目作者：王阳科/坚果您可以使用这个Flutter插件来更改应用程序图标上的角标作者仓库：https://github.com/MrOlolo/memory_info/tree/master/memory_info在数字化浪潮的推动下，跨平台开发框架如Flutter凭借其高效、便捷
  • 深度学习使用Pytorch训练模型步骤 vvvdg 深度学习pytorch人工智能
    训练模型是机器学习和深度学习中的核心过程，旨在通过大量数据学习模型参数，以便模型能够对新的、未见过的数据做出准确的预测。训练模型通常包括以下几个步骤：1.数据准备：收集和处理数据，包括清洗、标准化和归一化。将数据分为训练集、验证集和测试集。2.定义模型：选择模型架构，例如决策树、神经网络等。初始化模型参数（权重和偏置）。3.选择损失函数：根据任务类型（如分类、回归）选择合适的损失函数。4.选择优化
  • 插件鸿蒙化flutter_native_contact_picker_plus联系人选择器的跨平台适配实践【上篇】 harmonyos
    Flutter插件鸿蒙化，flutter_native_contact_picker_plus联系人选择器的跨平台适配实践本项目作者：坚果适配仓库地址作者仓库：https://pub.dev/packages/flutter_native_contact_picker_plus在数字化浪潮的推动下，跨平台开发框架如Flutter凭借其高效、便捷的特性，成为了开发者们的宠儿。而鸿蒙系统的崛起，更是为
  • 关于插件参数传递 harmonyos
    关于插件参数传递按照以前的习惯，dart端传递map参数，原生端根据map解析参数。但由于ts支持将字符串直接转换成对应的interface，那么我们可以将dart的端的参数。参数定义比如geolocator_ohos中的CurrentLocationSettingsOhos在dart端的实现为如下:MaptoMap(){return{if(priority!=null)'priority':pr
  • opencv —— floodFill 漫水填充法 实现证件照换背景 老干妈就泡面 opencv人工智能计算机视觉
    漫水填充：floodFill函数简单来说，漫水填充就是自动选中与种子像素相连的区域，利用指定颜色进行区域颜色填充。Windows画图工具中的油漆桶功能和Photoshop的魔法棒选择工具，都是漫水填充的改进和延伸。//第一个版本intfloodFill(InputOutputArrayimage,PointseedPoint,ScalarnewVal,Rect*rect=0,ScalarloDif
  • Go 语言单例模式全解析：从青铜到王者段位的实现方案 后端
    什么是单例模式？单例模式（SingletonPattern）是一种创建型设计模式，它确保一个类（或结构体，在Go语言中）只有一个实例，并提供一个全局访问点来访问这个实例。这个模式在需要协调系统中动作的场景下非常有用，例如日志记录、配置管理或数据库连接池。为什么在Go中需要单例模式？Go语言以其简洁和高效的并发能力而闻名，支持goroutine和通道（channel）来实现并发编程。在并发环境中，确
  • 车牌识别与标注：基于百度OCR与OpenCV的实现（一） 喜欢踢足球的老罗 大模型应用开发实践之旅ocropencv人工智能
    车牌识别与标注：基于百度OCR与OpenCV的实现在计算机视觉领域，车牌识别是一项极具实用价值的技术，广泛应用于交通监控、智能停车场管理等领域。本文将介绍如何在macOS系统下，利用百度OCRAPI进行车牌识别，并结合OpenCV库在图片上绘制标注框和车牌号码，实现一个完整的车牌识别与标注流程。整个工程将使用PyCharm进行组织和开发。一、系统环境与工程结构系统环境操作系统：macOS开发工具：
  • 一周搞定Redis面试题|第一天 认识Redis以及Redis数据类型 天天开心(∩_∩) redis数据库面试缓存
    目录认识Redis1.介绍一下Redis2.使用Redis的好处在哪里Redis的数据类型3.Redis的数据类型有哪些String三种编码方式常见面试题4.在Redis中String数据类型的编码方式有几种，区别是什么？5.浮点型在String使用什么编码方式6.为什么EMBSTR的阈值是44字节7.String可以有多大？8.SDS有什么作用？List常见面试题9.List对象底层存储的编码实
  • 深度学习中Embedding原理讲解 zhishidi ai笔记深度学习embedding人工智能
    我们用最直白的方式来理解深度学习中Embedding（嵌入）的概念。核心思想一句话：Embedding就是把一些复杂、离散的东西（比如文字、类别、ID）转换成计算机更容易理解和计算的“数字密码”，这些“数字密码”能代表这个东西的本质特征或含义。为什么需要Embedding？想象一下，你要教计算机认识“苹果”和“橙子”：原始表示（不好用）：你告诉计算机：“苹果”的编号是1，“橙子”的编号是2。问题来
  • 凌晨の3点，线程池竟在服务器里偷偷···· 山海上的风 Java服务器java-ee线程池
    凌晨の3点，线程池の竟在服务器里偷偷榨干CPU····⚡️CPU：JAVAKing为窝发声,HELPME⚡️JAVAKING今天将揭露线程池的罪恶行为⚡️《线程池：OH,YES》线程池到底对项目做了什么想象一下：每次点外卖都新雇一个厨师‍，吃完就开除——这就是裸奔线程的日常！在高并发三巨头（电商秒杀、金融交易、大数据处理）中：1️⃣CPU哭诉：90%时间在面试线程，10%干活（线程切换开销）2️⃣
  • 最新 抖音 iOS 设备注册算法（配合心跳做不上榜人气用） qq_1771238069 ios算法cocoa
    最新业务需要研究了一周时间做出来了可以配合心跳包做抖音人气用一下部分代码#-*-encoding:utf-8-*-importjson,random,time,sysimportrequestsfromurllib.parseimporturlparse,parse_qsimportratelimitfromloguruimportloggerfromspiders.reg.confimportm
  • 如何看待机器学习方法在超分子化学领域的日渐流行？ cda2024 机器学习人工智能
    大家好，今天咱们来聊聊一个既时髦又接地气的话题：如何看待机器学习方法在超分子化学领域的日渐流行？想象一下，你是一位超分子化学家，正忙于设计一种新型的分子结构，这个结构需要具备特定的功能。传统的方法是通过反复实验和理论计算来优化这个结构，但过程可能非常耗时且复杂。而现在，借助机器学习，你可以更快、更准确地找到最优解。这就是为什么机器学习在超分子化学领域变得越来越受欢迎的原因之一。一、超分子化学是什么
  • 助力您发SCI 机器学习（ML）在材料领域应用专题 YEcenfei 分子动力学催化材料机器学习人工智能python
    第一天机器学习在材料与化学常见的方法理论内容1.机器学习概述2.材料与化学中的常见机器学习方法3.应用前沿实操内容Python基础1.开发环境搭建2.变量和数据类型3.列表4.if语句5.字典6.For和while循环实操内容Python基础（续）1.函数2.类和对象3.模块Python科学数据处理1.NumPy2.Pandas3.Matplotlib第二天机器学习材料与化学应用<
  • Edge-TTS在广电系统中的语音合成技术的创新应用
    Edge-TTS在广电系统中的语音合成技术的创新应用作者：本人是一名县级融媒体中心的工程师，多年来一直坚持学习、提升自己。喜欢Python编程、人工智能、网络安全等多领域的技术。摘要随着人工智能技术的快速发展，文字转语音(Text-to-Speech,TTS)系统已成为多种应用的重要组成部分，尤其在广播电视领域。本文介绍了一种基于Edge-TTS大模型的文字转语音工具，该工具结合了现代文本处理和语
  • 数据库的查询 爱吃草莓的土拨鼠️ 数据库
    一.单表查询1.简单数据查询a.显示指定字段列：使用“*”显示全部字段列；列出字段名显示指定字段列。b.显示字段列别名：使用AS关键字为字段指定别名，方便理解。c.显示计算的列值：通过算术运算符(+-*/%)对字段进行计算，得到新的列值。d.消除重复行：使用DISTINCT参数消除查询结果中的重复行。e.限制行数：利用LIMIT控制返回的行数，可指定偏移量和行数。f.排序：ORDERBY子句按指定
  • 小柿子影视安卓版，跨平台开发的技术挑战与解决方案 2501_92530989 音视频百度经验分享其他
    在移动应用开发的浪潮中，视频类App因其对性能、用户体验、跨平台兼容性要求高，成为开发者面临的重点技术难题之一。本文将结合实际案例，分析一个典型的视频类项目“小柿子”的跨平台开发过程中的关键技术点。一、背景介绍“小柿子影视”是一款轻量级视频播放App，专注于提供清爽的界面和流畅的播放体验。该项目同时支持小柿子安卓与小柿子iOS两个平台，目标用户覆盖广泛。因此，跨平台开发策略、播放器内核选择、缓存机
  • Serverless架构下的持续交付实践 软件工程实践 软件工程最佳实践AI软件构建大数据系统架构serverless架构运维ai
    Serverless架构下的持续交付实践关键词：Serverless架构、持续交付、DevOps、无服务器计算、自动化部署摘要：本文深入探讨了Serverless架构下的持续交付实践。首先介绍了Serverless架构和持续交付的背景知识，接着解释了相关核心概念及其关系，详细阐述了核心算法原理与操作步骤，通过数学模型加深理解，结合实际项目案例展示了代码实现与解读，探讨了实际应用场景，推荐了相关工具
  • Nginx负载均衡 510888780 nginx应用服务器
    Nginx负载均衡一些基础知识: nginx 的 upstream目前支持 4 种方式的分配 1)、轮询（默认）       每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。 2)、weight       指定轮询几率，weight和访问比率成正比
  • RedHat 6.4 安装 rabbitmq bylijinnan erlangrabbitmqredhat
    在 linux 下安装软件就是折腾，首先是测试机不能上外网要找运维开通，开通后发现测试机的 yum 不能使用于是又要配置 yum 源，最后安装 rabbitmq 时也尝试了两种方法最后才安装成功 机器版本： [root@redhat1 rabbitmq]# lsb_release LSB Version: :base-4.0-amd64:base-4.0-noarch:core
  • FilenameUtils工具类 eksliang FilenameUtilscommon-io
    转载请出自出处：http://eksliang.iteye.com/blog/2217081 一、概述 这是一个Java操作文件的常用库，是Apache对java的IO包的封装，这里面有两个非常核心的类FilenameUtils跟FileUtils，其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装，开发中对文件的操作，几乎都可以在这个框架里面找到。 非常的好用。
  • xml文件解析SAX 不懂事的小屁孩 xml
    xml文件解析:xml文件解析有四种方式， 1.DOM生成和解析XML文档(SAX是基于事件流的解析) 2.SAX生成和解析XML文档(基于XML文档树结构的解析) 3.DOM4J生成和解析XML文档 4.JDOM生成和解析XML 本文章用第一种方法进行解析，使用android常用的DefaultHandler import org.xml.sax.Attributes;
  • 通过定时任务执行mysql的定期删除和新建分区，此处是按日分区 酷的飞上天空 mysql
    使用python脚本作为命令脚本，linux的定时任务来每天定时执行 #!/usr/bin/python # -*- coding: utf8 -*- import pymysql import datetime import calendar #要分区的表 table_name = 'my_table' #连接数据库的信息 host,user,passwd,db =
  • 如何搭建数据湖架构？听听专家的意见 蓝儿唯美 架构
    Edo Interactive在几年前遇到一个大问题：公司使用交易数据来帮助零售商和餐馆进行个性化促销，但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据  “我们要花费27小时来处理每日的数据量，”Edo主管基础设施和信息系统的高级副总裁Tim Garnto说道：“所以在2013年，我们放弃了现有的基于PostgreSQL的关系型数据库系统，使用了Hadoop集群作为公司的数
  • spring学习——控制反转与依赖注入 a-john spring
           控制反转（Inversion of Control，英文缩写为IoC）是一个重要的面向对象编程的法则来削减计算机程序的耦合问题，也是轻量级的Spring框架的核心。 控制反转一般分为两种类型，依赖注入（Dependency Injection，简称DI）和依赖查找（Dependency Lookup）。依赖注入应用比较广泛。  
  • 用spool+unixshell生成文本文件的方法 aijuans xshell
    例如我们把scott.dept表生成文本文件的语句写成dept.sql,内容如下: 　　set pages 50000; 　　set lines 200; 　　set trims on; 　　set heading off; 　　spool /oracle_backup/log/test/dept.lst; 　　select deptno||','||dname||','||loc
  • 1、基础--名词解析(OOA/OOD/OOP) asia007 学习基础知识
    OOA:Object-Oriented Analysis（面向对象分析方法） 是在一个系统的开发过程中进行了系统业务调查以后，按照面向对象的思想来分析问题。OOA与结构化分析有较大的区别。OOA所强调的是在系统调查资料的基础上，针对OO方法所需要的素材进行的归类分析和整理，而不是对管理业务现状和方法的分析。 　　OOA（面向对象的分析）模型由5个层次（主题层、对象类层、结构层、属性层和服务层）
  • 浅谈java转成json编码格式技术 百合不是茶 json编码java转成json编码
    json编码;是一个轻量级的数据存储和传输的语言       在java中需要引入json相关的包,引包方式在工程的lib下就可以了   JSON与JAVA数据的转换（JSON 即 JavaScript Object Natation，它是一种轻量级的数据交换格式，非   常适合于服务器与 JavaScript 之间的数据的交
  • web.xml之Spring配置(基于Spring+Struts+Ibatis) bijian1013 javaweb.xmlSSIspring配置
    指定Spring配置文件位置 <context-param> <param-name>contextConfigLocation</param-name> <param-value> /WEB-INF/spring-dao-bean.xml,/WEB-INF/spring-resources.xml, /WEB-INF/
  • Installing SonarQube（Fail to download libraries from server） sunjing InstallSonar
    1.  Download and unzip the SonarQube distribution 2.  Starting the Web Server The default port is "9000" and the context path is "/". These values can be changed in &l
  • 【MongoDB学习笔记十一】Mongo副本集基本的增删查 bit1129 mongodb
    一、创建复本集   假设mongod,mongo已经配置在系统路径变量上，启动三个命令行窗口，分别执行如下命令：   mongod --port 27017 --dbpath data1 --replSet rs0 mongod --port 27018 --dbpath data2 --replSet rs0 mongod --port 27019 -
  • Anychart图表系列二之执行Flash和HTML5渲染 白糖_ Flash
    今天介绍Anychart的Flash和HTML5渲染功能   HTML5 Anychart从6.0第一个版本起，已经逐渐开始支持各种图的HTML5渲染效果了，也就是说即使你没有安装Flash插件，只要浏览器支持HTML5，也能看到Anychart的图形（不过这些是需要做一些配置的）。 这里要提醒下大家，Anychart6.0版本对HTML5的支持还不算很成熟，目前还处于
  • Laravel版本更新异常4.2.8-> 4.2.9 Declaration of ... CompilerEngine ... should be compa bozch laravel
    昨天在为了把laravel升级到最新的版本，突然之间就出现了如下错误： ErrorException thrown with message "Declaration of Illuminate\View\Engines\CompilerEngine::handleViewException() should be compatible with Illuminate\View\Eng
  • 编程之美-NIM游戏分析-石头总数为奇数时如何保证先动手者必胜 bylijinnan 编程之美
    import java.util.Arrays; import java.util.Random; public class Nim { /**编程之美 NIM游戏分析 问题： 有N块石头和两个玩家A和B，玩家A先将石头随机分成若干堆，然后按照BABA...的顺序不断轮流取石头， 能将剩下的石头一次取光的玩家获胜，每次取石头时，每个玩家只能从若干堆石头中任选一堆，
  • lunce创建索引及简单查询 chengxuyuancsdn 查询创建索引lunce
    import java.io.File; import java.io.IOException; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Docume
  • [IT与投资]坚持独立自主的研究核心技术 comsci it
           和别人合作开发某项产品....如果互相之间的技术水平不同,那么这种合作很难进行,一般都会成为强者控制弱者的方法和手段.....        所以弱者,在遇到技术难题的时候,最好不要一开始就去寻求强者的帮助,因为在我们这颗星球上,生物都有一种控制其
  • flashback transaction闪回事务查询 daizj oraclesql闪回事务
       闪回事务查询有别于闪回查询的特点有以下3个： （1）其正常工作不但需要利用撤销数据，还需要事先启用最小补充日志。 （2）返回的结果不是以前的“旧”数据，而是能够将当前数据修改为以前的样子的撤销SQL（Undo SQL）语句。 （3）集中地在名为flashback_transaction_query表上查询，而不是在各个表上通过“as of”或“vers
  • Java I/O之FilenameFilter类列举出指定路径下某个扩展名的文件 游其是你 FilenameFilter
    这是一个FilenameFilter类用法的例子，实现的列举出“c:\\folder“路径下所有以“.jpg”扩展名的文件。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
  • C语言学习五函数，函数的前置声明以及如何在软件开发中合理的设计函数来解决实际问题 dcj3sjt126com c
    # include <stdio.h> int f(void) //括号中的void表示该函数不能接受数据，int表示返回的类型为int类型 { return 10; //向主调函数返回10 } void g(void) //函数名前面的void表示该函数没有返回值 { //return 10; //error 与第8行行首的void相矛盾 } in
  • 今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Pl dcj3sjt126com centos
    今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again   处理很简单，修改文件“/etc/yum.repos.d/epel.repo”， 将baseurl的注释取消， mirrorlist注释掉。即可。 &n
  • 单例模式 shuizhaosi888 单例模式
    单例模式      懒汉式 public class RunMain { /** * 私有构造 */ private RunMain() { } /** * 内部类，用于占位，只有 */ private static class SingletonRunMain { priv
  • Spring Security（09）——Filter 234390216 Spring Security
    Filter 目录 1.1     Filter顺序 1.2     添加Filter到FilterChain 1.3     DelegatingFilterProxy 1.4     FilterChainProxy 1.5
  • 公司项目NODEJS实践0.1 逐行分析JS源代码 mongodbnginxubuntunodejs
      一、前言         前端如何独立用nodeJs实现一个简单的注册、登录功能，是不是只用nodejs+sql就可以了？其实是可以实现，但离实际应用还有距离，那要怎么做才是实际可用的。         网上有很多nod
  • java.lang.Math liuhaibo_ljf javaMathlang
    System.out.println(Math.PI); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1)); System.out.println(Math.abs(111111111)); System.out.println(Mat
  • linux下时间同步 nonobaba ntp
    今天在linux下做hbase集群的时候，发现hmaster启动成功了，但是用hbase命令进入shell的时候报了一个错误  PleaseHoldException: Master is initializing，查看了日志，大致意思是说master和slave时间不同步，没办法，只好找一种手动同步一下，后来发现一共部署了10来台机器，手动同步偏差又比较大，所以还是从网上找现成的解决方
  • ZooKeeper3.4.6的集群部署 roadrunners zookeeper集群部署
    ZooKeeper是Apache的一个开源项目，在分布式服务中应用比较广泛。它主要用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步、集群管理、配置文件管理、同步锁、队列等。这里主要讲集群中ZooKeeper的部署。   1、准备工作 我们准备3台机器做ZooKeeper集群，分别在3台机器上创建ZooKeeper需要的目录。   数据存储目录
  • Java高效读取大文件 tomcat_oracle java
    　　读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法： 　　Files.readLines(new File(path), Charsets.UTF_8); 　　FileUtils.readLines(new File(path)); 　　这种方法带来的问题是文件的所有行都被存放在内存中，当文件足够大时很快就会导致
  • 微信支付api返回的xml转换为Map的方法 xu3508620 xmlmap微信api
    举例如下： <xml>    <return_code><![CDATA[SUCCESS]]></return_code>    <return_msg><![CDATA[OK]]></return_msg>    <appid><
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他