memcache与mysql数据库同步

面试某电商时，面试官问到了memcache和mysql数据库同步的问题，当时只是粗略的想到了mysql的触发器，现在查找了一些资料。mysql memcached UDF（用户自定义函数）和mysql触发器在更新mysql数据库的时候，触发更新memcache。

1、首先介绍mysql memcached UDF安装

http://blog.163.com/lgh_2002/blog/static/44017526201123121912959/

mysql memcached UDF 安装详解  

2011-03-31 14:19:12|  分类： php|字号 订阅

 
 
http://dev.mysql.com/doc/refman/5.0/en/ha-memcached-interfaces-mysqludf.html

1：mysql memcached UDF 其实就是通过libmemcached来使用memcache的一系列函数，通过这些函数，你能 对memcache进行get, set, cas, append, prepend, delete, increment, decrement objects操作，如果我们通过mysql trigger来使用这些函数，那么就能通过mysql更好的，更自动的管理memcache!

2:安装方法：

1）安装memcache

2）安装libmemcached

shell> cd libmemcached-0.35
shell> ./configure --with-memcached=/usr/local/bin/memcached
shell> make && make install
shell> echo "/usr/local/lib" >> /etc/ld.so.conf
shell> ldconfig

3）安装memcached_functions_mysql
shell> tar zxvf memcached_functions_mysql-0.9.tar.gz
shell> cd memcached_functions_mysql-0.9
shell> ./configure --with-mysql=/usr/local/mysql51/bin/mysql_config --with-libmemcached =/usr/local/
shell> make && make install

4）拷贝lib文件到mysql的plugin下面
shell> cp -R /usr/local/lib/libmemcached_functions_mysql.* /usr/local/mysql51/lib/mysql/plugin/

5）添加memcache UDF 函数

在mysql里执行 source install_functions.sql

这样我们就可以使用mysql memcached UDF 了，我们可以通过下面语句查看是否已经正常安装

1)查看mysql.func,有很多函数

mysql> select * from mysql.func;
+------------------------------+-----+---------------------------------+----------+
| name                         | ret | dl                              | type     |
+------------------------------+-----+---------------------------------+----------+
| memc_add                     |   2 | libmemcached_functions_mysql.so | function |
| memc_add_by_key              |   2 | libmemcached_functions_mysql.so | function |
| memc_servers_set             |   2 | libmemcached_functions_mysql.so | function |

2）添加trigger，看是否向memcache里insert、update等

具体的语句，我们可以参照：

1）memcached_functions_mysql-0.9/sql 目录下的trigger_fun.sql

2）使用参照文档：http://dev.mysql.com/doc/refman/5.1/en/ha-memcached-interfaces-mysqludf.html


我们还必须注意以下几点：

1）mysql 编译时一定不要带'--with-mysqld-ldflags=-all-static' 这个参数，因为这样就限制了mysql 的动态安装功能了

2）使用时，要观察mysql.err日志，不知道是有意还是无意，udf更新memcache都会记录在err日志里，注意清理该日志，否则一下就爆满了

3）mysql 官网有这样一句话：

The list of servers used by the memcached UDFs is not persistent over restarts of the MySQL server. If the MySQL server fails, then you must re-set the list of memcached servers.

所以，当我们重启mysql，我们必须通过select  memc_servers_set('192.168.0.1:11211,192.168.0.2:11211');语句重新注册memcache服务器！

2、创建mysql的insert，update，delete触发器更新memcache，参考http://blog.csdn.net/jiedushi/article/details/6176940

测试环境在Linux下进行，版本系统为CentOS5.
以下为相关软件，包括其版本和下载地址：

 

mysql-5.1.30 下载
memcached-1.2.6 下载
libevent-1.4.7-stable 下载
memcached_functions_mysql-1.1 下载
libmemcached-0.26 下载

 


编译安装MySQL,安装因个人细好而定，省略许多与测试无关的编译细节及参数。

[c]  view plain copy print ?
  1. <span>[</span>root@localhost ~<span>]</span><span>#tar xzf mysql-5.1.30.tar_001.gz</span>  
  2. <span>[</span>root@localhost ~<span>]</span><span>#cd mysql-5.1.30</span>  
  3. <span>[</span>root@localhost ~<span>]</span><span>#./configure --prefix=/usr/local/mysql51</span>  
  4. <span>[</span>root@localhost ~<span>]</span><span>#make</span>  
  5. <span>[</span>root@localhost ~<span>]</span><span>#make install</span>  
  6. <span>[</span>root@localhost ~<span>]</span><span>#./scripts/mysql_install_db --user=mysql --skip-name-resolve</span>  
  7. <span>[</span>root@localhost ~<span>]</span><span>#/usr/local/mysql51/bin/mysqld_safe</span>  

省略列出安装memcached和libevent的相关命令，具体可按照实际情况安装，测试时我将libevent默认安装，memcached安装于/usr/local/memcached目录下。
启动memcached.

[c]  view plain copy print ?
  1. <span>/</span>usr<span>/</span>local<span>/</span>memcached<span>/</span>bin<span>/</span>memcached <span>-</span>d <span>-</span>m <span>50</span> <span>-</span>u root <span>-</span>p <span>11211</span>  

编译安装libmemcache.

[c]  view plain copy print ?
  1. <span>[</span>root@localhost ~<span>]</span><span>#tar xzf libmemcached-0.26.tar.gz</span>  
  2. <span>[</span>root@localhost ~<span>]</span><span>#cd libmemcached-0.26</span>  
  3. <span>[</span>root@localhost ~<span>]</span><span>#./configure --with-memcached=/usr/local/memcached/bin/memcached</span>  
  4. <span>[</span>root@localhost ~<span>]</span><span># make && make install</span>  

编译安装Memcache UDFs for MySQL.

[c]  view plain copy print ?
  1. <span>[</span>root@localhost ~<span>]</span><span># tar xzf memcached_functions_mysql-1.1.tar.gz</span>  
  2. <span>[</span>root@localhost ~<span>]</span><span># cd memcached_functions_mysql-1.1</span>  
  3. <span>[</span>root@localhost ~<span>]</span><span># ./configure --with-mysql-config=/usr/local/mysql51/bin/mysql_config</span>  
  4. <span>[</span>root@localhost ~<span>]</span><span># make && make install</span>  

编译完成后将编译好的库文件复制到mysql的插件目录下，以便于加载使用。

[c]  view plain copy print ?
  1. cp <span>/</span>usr<span>/</span>local<span>/</span>lib<span>/</span>libmemcached_functions_mysql<span>*</span> <span>/</span>usr<span>/</span>local<span>/</span>mysql51<span>/</span>lib<span>/</span>mysql<span>/</span>plugin<span>/</span>  

进入memcached_functions_mysql的源码目录，在目录下有相关添加UDF的SQL文件用于初始化。

 

在mysql的shell中执行memcached_functions_mysql源码目录下的sql/install_functions.sql
或者运行memcached_functions_mysql源码目录下utils/install.pl这个perl脚本，把memcache function作为UDF加入mysql。

 

[root@localhost ~]# mysql <sql/install_functions.sql

 

检查安装是否成功


mysql> select name,dl from mysql.func;

 

 

二. 测试用例设计情况：

(1).新建两张表：urls和results，用来更新urls表里面的内容，让系统自动更新memcached的内容。results用来记录更新memcached失败的记录。
sql语句如下：
use tests;
drop table if exists urls;
CREATE TABLE `urls` (
  `id` int(10) NOT NULL,
  `url` varchar(255) NOT NULL DEFAULT '',
  PRIMARY KEY (`id`)
);

drop table if exists results;
CREATE TABLE `results` (
  `id` int(10) NOT NULL,
  `result` varchar(255) NOT NULL DEFAULT 'error',
  `time` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
);


(2). 建立三个trigger.

当向urls表里面插入数据时，对memcached执行set操作，trigger如下：
DELIMITER //
DROP TRIGGER IF EXISTS url_mem_insert;
CREATE TRIGGER url_mem_insert
BEFORE INSERT ON urls
FOR EACH ROW BEGIN
    set @mm = memc_set(NEW.id, NEW.url);
    if @mm <> 0 then
    insert into results(id) values(NEW.id);
    end if;

END //
DELIMITER ;


当对urls表里面的数据进行更新时，对memcached执行replace操作，trigger如下：

DELIMITER //
DROP TRIGGER IF EXISTS url_mem_update;
CREATE TRIGGER url_mem_update
BEFORE UPDATE ON urls
FOR EACH ROW BEGIN
    set @mm = memc_replace(OLD.id,NEW.url);
    if @mm <> 0 then
    insert into results(id) values(OLD.id);
    end if;

END //
DELIMITER ;


当对urls表里面的数据进行删除操作时，对memcached执行delete操作，trigger如下：

DELIMITER //
DROP TRIGGER IF EXISTS url_mem_delete;
CREATE TRIGGER url_mem_delete
BEFORE DELETE ON urls
FOR EACH ROW BEGIN
    set @mm = memc_delete(OLD.ID);
    if @mm <> 0 then
    insert into results(id) values(OLD.id);
    end if;

END //
DELIMITER ;


(3). 设置memcached相关参数

设置同时UDF操作的memcaced的机器IP和端口：

mysql> SELECT memc_servers_set('192.168.3.184:11900');
+---------------------------------------+
| memc_servers_set('192.168.3.184:11900') |
+---------------------------------------+
|                                     0 |
+---------------------------------------+
1 row in set (0.00 sec)


mysql> select memc_server_count();
+---------------------+
| memc_server_count() |
+---------------------+
|                   1 |
+---------------------+
1 row in set (0.00 sec)


在mysql命令行列出可以修改memcached参数的行为：
mysql> select memc_list_behaviors()/G
*************************** 1. row ***************************
memc_list_behaviors():
MEMCACHED SERVER BEHAVIORS
MEMCACHED_BEHAVIOR_SUPPORT_CAS
MEMCACHED_BEHAVIOR_NO_BLOCK
MEMCACHED_BEHAVIOR_TCP_NODELAY
MEMCACHED_BEHAVIOR_HASH
MEMCACHED_BEHAVIOR_CACHE_LOOKUPS
MEMCACHED_BEHAVIOR_SOCKET_SEND_SIZE
MEMCACHED_BEHAVIOR_SOCKET_RECV_SIZE
MEMCACHED_BEHAVIOR_BUFFER_REQUESTS
MEMCACHED_BEHAVIOR_KETAMA
MEMCACHED_BEHAVIOR_POLL_TIMEOUT
MEMCACHED_BEHAVIOR_RETRY_TIMEOUT
MEMCACHED_BEHAVIOR_DISTRIBUTION
MEMCACHED_BEHAVIOR_BUFFER_REQUESTS
MEMCACHED_BEHAVIOR_USER_DATA
MEMCACHED_BEHAVIOR_SORT_HOSTS
MEMCACHED_BEHAVIOR_VERIFY_KEY
MEMCACHED_BEHAVIOR_CONNECT_TIMEOUT
MEMCACHED_BEHAVIOR_KETAMA_WEIGHTED
MEMCACHED_BEHAVIOR_KETAMA_HASH
MEMCACHED_BEHAVIOR_BINARY_PROTOCOL
MEMCACHED_BEHAVIOR_SND_TIMEOUT
MEMCACHED_BEHAVIOR_RCV_TIMEOUT
MEMCACHED_BEHAVIOR_SERVER_FAILURE_LIMIT
MEMCACHED_BEHAVIOR_IO_MSG_WATERMARK
MEMCACHED_BEHAVIOR_IO_BYTES_WATERMARK

1 row in set (0.00 sec)


设置MEMCACHED_BEHAVIOR_NO_BLOCK为打开状态，这样在memcached出现问题时（不能连接时）
数据继续插入到mysql中，报错提示，如果不设置此值，如果memcached失败，mysql需要等到timeout
才可以插入到表中。
mysql> select memc_servers_behavior_set('MEMCACHED_BEHAVIOR_NO_BLOCK','1');
+--------------------------------------------------------------+
| memc_servers_behavior_set('MEMCACHED_BEHAVIOR_NO_BLOCK','1') |
+--------------------------------------------------------------+
|                                                            0 |
+--------------------------------------------------------------+
1 row in set (0.00 sec)

 

mysql> select memc_servers_behavior_set('MEMCACHED_BEHAVIOR_TCP_NODELAY','1');
+-----------------------------------------------------------------+
| memc_servers_behavior_set('MEMCACHED_BEHAVIOR_TCP_NODELAY','1') |
+-----------------------------------------------------------------+
|                                                               0 |
+-----------------------------------------------------------------+
1 row in set (0.00 sec)

 


三. 简单的功能测试：


1. 向表urls里面插入数据，然后查memcached是否也set进数据：

mysql> insert into urls (id,url) values (1, 'http://www.sina.com.cn');
Query OK, 1 row affected, 1 warning (0.00 sec)

mysql> select memc_get('1');  
+------------------------+
| memc_get('1')          |
+------------------------+
| http://www.sina.com.cn |
+------------------------+
1 row in set (0.00 sec)


1> telnet 192.168.3.184 11900
Trying 192.168.3.184...
Connected to 192.168.3.184 (192.168.3.184).
Escape character is '^]'.
get 1
VALUE 1 0 22
http://www.sina.com.cn
END


2.更新表urls里面的数据，然后查询memcached里面是否也更新：
mysql> update test.urls set url='http://blog.sina.com.cn' where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0


mysql> select memc_replace('1','http://blog.sina.com.cn'); 
+---------------------------------------------+
| memc_replace('1','http://blog.sina.com.cn') |
+---------------------------------------------+
|                                           0 |
+---------------------------------------------+
1 row in set (0.00 sec)

mysql> select memc_get('1');  
+-------------------------+
| memc_get('1')           |
+-------------------------+
| http://blog.sina.com.cn |
+-------------------------+
1 row in set (0.00 sec)


1> telnet 192.168.3.184 11900
Trying 192.168.3.184...
Connected to 192.168.3.184 (192.168.3.184).
Escape character is '^]'.
get 1
VALUE 1 0 23
http://blog.sina.com.cn
END


3.删除表urls里面的数据，然后查memcached是否也删除：
mysql> delete from test.urls where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select memc_get('1');  
+---------------+
| memc_get('1') |
+---------------+
| NULL          |
+---------------+
1 row in set (0.00 sec)


1> telnet 192.168.3.184 11900
Trying 192.168.3.184...
Connected to 192.168.3.184 (192.168.3.184).
Escape character is '^]'.
get 1
END

 

 

四. 利用php脚本insert, update,delete表urls里面的数据，进行测试。

每条记录的平均长度是：17K

单独向表urls里面插入10万条记录需要的时间为：75秒
单独对表urls里面更新10万条记录需要的时间为：70秒
单独对表urls里面删除10万条记录需要的时间为：105秒

同时进行30万数据的insert,update, delete操作需要时间为：241秒

上面操作都没有memcached失败情况：
mysql> select * from results;
Empty set (0.00 sec)


测试脚本如下：

插入脚本：
0> more a.php
<?php

$conn = mysql_connect("192.168.1.61","test","test") or die(mysql_error());

mysql_select_db("test",$conn) or die(mysql_error());

//$sql = "show tables";

echo date("Y-m-d H:i:s");
//mysql_query($sql) or die(mysql_error()); 

for ($i=1; $i<=100000; $i++) {
$sql="insert into urls (id,url) values ($i, 'http://$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i.com');";
mysql_query($sql) or die(mysql_error()); 
}

echo "/n";
echo date("Y-m-d H:i:s");

?>

更新脚本：
0> more b.php
<?php

$conn = mysql_connect("192.168.1.61","test","test") or die(mysql_error());

mysql_select_db("test",$conn) or die(mysql_error());

//$sql = "show tables";

echo date("Y-m-d H:i:s");
//mysql_query($sql) or die(mysql_error()); 

for ($i=1; $i<=100000; $i++) {
$sql="update test.urls set url='http://xxxx.$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i.com' where id=$i;";
mysql_query($sql) or die(mysql_error()); 
}

echo "/n";
echo date("Y-m-d H:i:s");

?>

删除脚本：
0> more c.php
<?php

$conn = mysql_connect("192.168.1.61","test","test") or die(mysql_error());

mysql_select_db("test",$conn) or die(mysql_error());

//$sql = "show tables";

echo date("Y-m-d H:i:s");
//mysql_query($sql) or die(mysql_error()); 

for ($i=1; $i<=100000; $i++) {
$sql="delete from test.urls where id=$i;";
mysql_query($sql) or die(mysql_error()); 
}

echo "/n";
echo date("Y-m-d H:i:s");

?>

 


五. 结论：
测试依赖的环境比较多，可能数据会不准确。整体来看速度还不错。
适合项目应用相对比较小的场合。

优点：
触发器中使用 UDFs 直接更新 Memcached 的内容，减轻了应用程序设计和编写的复杂性。

缺点：
1. 如果出现mysql服务重启，需要重新设置连接memcached关系（SELECT memc_servers_set('192.168.3.184:11900'))
2. 有可能存在bug问题，导致mysql的crash（测试时没遇到:)）.


真正的线上环境比这个复杂很多。我想到的需要考虑的问题：
1. 网络因素，mysql和memcached是否放在同一IDC，他们之间的网络性能是否很好。网络性能越好，速度肯定越快，如果使用本机的memcached能适当的减少网络开销。
2. 插入的数据量，向mysql插入每条记录的size，以及向memcached里面更新的数据size大小。更新mysql,memcached的数据size越大，更新的速度越慢。
所以前期规划好，在memcached里面存那两列（key-value)是关键。
3. 延时问题需要考虑，mysql所在机器如果资源使用比较狠，会导致更新memcached慢（出现类似m/s的延时问题）。
4. 考虑容灾问题，如果两者中有down出现时，需要考虑怎么恢复，当前的测试是这样考虑的：建一张错误表，如果在出现更新mc出现问题时，自动把更新错误的记录插到
一张表里面，通过查这张表，可以知道哪些数据在什么时间更新错误,如果应用于生产环境，需要考虑监控和出现问题时恢复工作（写好脚本完善这个工作）。
5. mysql自身因素，例如执行的mysql语句效率，以及连接mysql的client程序(php)的连接开销等等。

 

 

参考

http://blog.sina.com.cn/s/blog_499740cb0100g45p.html

http://www.libing.name/2009/02/06/mysql-map-data-to-memcached.html

 

你可能感兴趣的:(memcache)

  • 非关系型数据库 天秤-white nosql
    一、为什么要用Nosql1.单机MySQL的时代。一个基本的网站访问量一般不会太大，单个数据库完全足够。那时候更多使用的静态网页html，服务器根本没有太大压力。这时候网站的瓶颈是什么？-数据量如果太大，一个机器放不下。-数据量太大需要建立数据的索引（B+Tree），一个服务器内存放不下。-访问量读写混合，一个服务器承受不了。2.memcached缓存+MySQL+垂直拆分（读写分离）。网站80%
  • 华为云分布式缓存服务DCS与开源服务差异对比 hcinfo_18 redis使用华为云Redis5.0分布式缓存服务Redis客户端
    分布式缓存服务DCS提供单机、主备、集群等丰富的实例类型，满足用户高读写性能及快速数据访问的业务诉求。支持丰富的实例管理操作，帮助用户省去运维烦恼。用户可以聚焦于业务逻辑本身，而无需过多考虑部署、监控、扩容、安全、故障恢复等方面的问题。DCS基于开源Redis、Memcached向用户提供一定程度定制化的缓存服务，因此，除了拥有开源服务缓存数据库的优秀特性，DCS提供更多实用功能。一、与开源Red
  • Memcached stats sizes 命令 lly202406 开发语言
    Memcachedstatssizes命令Memcached是一种高性能的分布式内存对象缓存系统，通常用于缓存数据库调用、API响应或页面渲染结果，以减少加载时间并提高网站性能。在管理Memcached实例时，了解缓存中数据的分布和大小是非常重要的。statssizes命令是Memcached提供的一种工具，用于获取缓存中不同大小对象的统计信息。命令概述statssizes命令用于显示Memcac
  • java-redis-击穿 Flying_Fish_Xuan javaredisspringboot
    Java与Redis之缓存击穿问题解决方案1.背景：缓存的基本概念在高并发系统中，缓存是一个非常重要的优化手段。它的基本思想是将热点数据缓存在高速的存储系统（如Redis、Memcached）中，从而减轻数据库等持久层的压力，并加快请求响应速度。常见的缓存模式有：缓存读写：读取数据时优先从缓存中获取，如果缓存中没有数据，则从数据库或其他持久化存储中获取并缓存。缓存失效策略：缓存系统通常会为每条缓存
  • redis 主从配置 zfl092005 redis
    转自：http://www.ttlsa.com/html/3494.html市面上太多kv的缓存，最常用的就属memcache了，但是memcache存在单点问题，不过小日本有复制版本，但是使用的人比较少，redis的出现让kv内存存储的想法成为现实。今天主要内容便是redis主从实现简单的集群，实际上redis的安装配置砸门ttlsa之前就有个文章，废话少说，进入正题吧Redis简介redis是
  • django 刷新缓存_django缓存配置的几种方法详解 weixin_39928667 django刷新缓存
    为什么要用缓存？首先说，为什么要用缓存的，由于Django是动态网站，所有每次请求均会去数据进行相应的操作，当程序访问量大时，耗时必然会更加明显，最简单解决方式是使用：缓存，缓存将一个某个views的返回值保存至内存或者memcache中，5分钟内再有人来访问时(时间可以设置)，则不再去执行view中的操作，而是直接从内存或者Redis中之前缓存的内容拿到，并返回。另外，缓存只是一类统称，一般其介
  • Flask-Caching Botiway FlaskWebpythonflask后端linuxweb3
    Flask-Caching是Flask的一个扩展，它为Flask应用提供了缓存支持。缓存是一种优化技术，可以存储那些费时且不经常改变的运算结果或页面内容，从而加快应用的响应速度，减少对数据库或网络资源的重复访问。Flask-Caching的主要特点多种缓存后端支持：Flask-Caching支持多种缓存后端，包括内存缓存（如SimpleCache）、文件系统缓存、Memcached缓存、Redis
  • 设计缓存架构时需要考虑的因素总结 清锋Online 缓存分布式
    1.缓存组件的选择在设计架构缓存的时候，首先要选定缓存组件，比如要用Local-Cache，还是Redis、Memcached、Pika等开源缓存组件。如果业务缓存需求比较特殊，还要考虑是直接定制开发一个新的缓存组件，还是对开源缓存进行二次开发，来满足业务需要。2.缓存数据结构设计确定好缓存组件后，要根据业务访问的特点，进行缓存数据结构的设计。对于简单的KV读写的业务，将这些业务数据封装为Stri
  • Memcached多维度查询解密：高效缓存策略全解析 2402_85758936 缓存memcached数据库
    标题：Memcached多维度查询解密：高效缓存策略全解析摘要在现代的高性能网络应用中，缓存机制是提升数据访问速度和减轻后端服务器压力的关键技术。Memcached作为主流的分布式内存缓存系统，其对数据的存储和查询方式尤为关键。本文将详细探讨Memcached支持缓存数据的多维度查询方法，以及如何在实际应用中实现高效的缓存策略。1.Memcached概述Memcached是一个基于内存的分布式对象
  • 面试：说一下HashMap的底层实现原理，我懵了 一只程序猿哟
    哈希表（hashtable）也叫散列表，是一种非常重要的数据结构，应用场景及其丰富，许多缓存技术（比如memcached）的核心其实就是在内存中维护一张大的哈希表，而HashMap的实现原理也常常出现在各类的面试题中，重要性可见一斑。本文会对java集合框架中的对应实现HashMap的实现原理进行讲解，然后会对JDK7的HashMap源码进行分析（JDK8会有所不同，需要了解的可自行阅读JDK8的
  • SpringBoot学习（3）Redis使用 星河漫漫l springboot运维开发学习开发语言
    SpringBoot对常用的数据库支持外，对Nosql数据库也进行了封装自动化。Redis介绍Redis是目前业界使用最广泛的内存数据存储。相比Memcached，Redis支持更丰富的数据结构，例如hashes,lists,sets等，同时支持数据持久化。除此之外，Redis还提供一些类数据库的特性，比如事务，HA，主从库。可以说Redis兼具了缓存系统和数据库的一些特性，因此有着丰富的应用场景
  • 记录k8s证书过期的证书更新 安顾里 kuberneteskuberneteslinux服务器容器微服务
    root@master01:~#kubectlgetnodesE082810:29:54.48148947445memcache.go:265]couldn'tgetcurrentserverAPIgrouplist:Get"https://192.168.91.150:6443/api?timeout=32s":tls:failedtoverifycertificate:x509:certifi
  • Memcached append 命令 wjs2024 开发语言
    Memcachedappend命令Memcached是一种高性能的分布式内存对象缓存系统，常用于缓存数据库调用、API响应等，以减少服务器负载和提高访问速度。Memcached的append命令用于向已存在键的值的末尾追加数据。这个功能在需要在不覆盖原有数据的情况下，对数据进行扩展时非常有用。命令格式Memcached的append命令的基本格式如下：appendkeyflagsexptimeby
  • 浅谈C# Redis CN.LG C#redis数据库缓存
    一、基本介绍Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sortedset--有序集合)和hash（哈希类型）。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，
  • Django缓存设置 ac-er8888 django缓存python
    在Django中设置缓存可以显著提高网站的性能，特别是在处理大量请求或数据库查询时。Django支持多种缓存后端，包括内存缓存、文件缓存、数据库缓存和更高级的选项如Memcached和Redis。以下是如何在Django项目中设置缓存的基本步骤：1.选择缓存后端首先，你需要决定使用哪种缓存后端。根据你的项目需求和环境配置，选择最适合你的缓存系统。2.配置settings.py在Django的set
  • Django后端架构开发：缓存机制，接口缓存、文件缓存、数据库缓存与Memcached缓存 Switch616 PythonWeb数据库缓存djangopython架构中间件memcached
    深入探讨Django后端架构中的缓存机制：接口缓存、文件缓存、数据库缓存与Memcached缓存目录缓存接口数据的实现✨Django文件缓存的应用⚡关系型数据库缓存的策略Memcached缓存的配置与优化缓存接口数据的实现在Django后端架构中，缓存接口数据是一种常见的优化策略，用于提高应用程序的响应速度和减轻数据库负担。缓存机制通过将常用的数据存储在内存中，避免了每次请求都从数据库或外部服务中
  • Tair分布式缓存 kingkyrie 分布式
    淘宝缓存架构redis很好用，提供缓存服务。相比memcached多了新数据结构和主从模式增加可用性。不过redis有一点不能满足一些互联网公司开发者需求。redis集群中，想用缓存必须得指明redis服务器地址去要。这就增加了程序的维护复杂度。因为redis服务器很可能是需要频繁变动的。为什么不能像操作分布式数据库或者hadoop那样，增加一个中央节点，让它去代理所有事情。所以就开发了这个tai
  • 高性能内存对象缓存Memcached原理与部署 Small Cow Linux缓存memcached数据库linux
    案例概述Memcached概述一套开源的高性能分布式内存对象缓存系统所有的数据都存储在内存中支持任意存储类型的数据提高网站的访问速度数据存储方式与数据过期方式数据存储方式：SlabAllocation按组分配内存，每次分配一个Slab，相当于一个大小为1M的页，然后再1M的空间里根据数据划分大小相同的Chunk数据过期方式LRU：数据空间不足时，会根据LRU的情况淘汰最近最少使用的记录LazyEx
  • memcache安装和详解 iangyu memcached数据库缓存
    Memcached是一个高性能的分布式内存对象缓存系统，用于减轻数据库负载，加速动态Web应用程序和动态网站。它可以用来缓存数据库查询结果、API调用或者页面渲染结果等，提高数据访问速度和响应性能。1.Memcached的介绍分布式内存缓存：Memcached将数据存储在内存中，用于缓存经常访问的数据。这些数据可以是数据库查询结果、页面渲染结果或者其他计算成本高昂的操作结果。简单而有效：Memca
  • 深入讲解 Memcached 杨哥带你写代码 memcached数据库缓存
    深入讲解Memcached目录Memcached的数据存储机制Memcached的一致性哈希Memcached的内存管理Memcached的集群架构Memcached与Redis对比高级使用技巧性能优化Memcached的数据存储机制Memcached采用了key-value存储模型，所有数据以键值对的形式存储在内存中。数据存储过程如下：键值对的存储键：键是唯一标识数据的字符串，最大长度为250字
  • Nagios安装部署全攻略 weixin_34109408 memcachedphp操作系统
    概述：公司的生产机器一共有12台，2台LVS(主备)、2台nginx、2台tomcat、1台后台服务器(nginx_tomcat)、3台mysql(主+备+异地灾备)、1台图片服务器、2台memcached.可以看出网站的架构就是基于高可用的原理的，每个层面都做了主备、系统的PV不高，对于并发布，高性能没有那么苛求，对于系统安全、稳定有较高要求，前期已经对系统做了各种日志分析，WAF配置，漏洞扫面
  • 数据库的锁机制(悲观锁/乐观锁) 程宇寒 数据库悲观锁乐观锁mysql并发
    在数据库的锁机制中介绍过，数据库管理系统（DBMS）中的并发控制的任务是确保在多个事务同时存取数据库中同一数据时不破坏事务的隔离性和统一性以及数据库的统一性。乐观并发控制(乐观锁)和悲观并发控制（悲观锁）是并发控制主要采用的技术手段。无论是悲观锁还是乐观锁，都是人们定义出来的概念，可以认为是一种思想。其实不仅仅是关系型数据库系统中有乐观锁和悲观锁的概念，像memcache、hibernate、ta
  • 做后端php和java区别,【后端开发】php和java有什么区别 weixin_39847556 做后端php和java区别
    PHP与Java的区别有：在运行机制上PHP是直接对文本代码进行解释编译而Java则先被编译成字节码再在虚拟机中进行二次编译；在处理并发上，Java是采取单进程多线程的方式，PHP是多进程(1)运行机制Java代码被编译成字节码后，会在虚拟机里由JIT进行二次编译成为本地码，据传言其执行速度可以和C++相媲美，经过我自己测试，用Java实现一个简单的Memcache协议的缓存服务器，在Java1.
  • ThinkPHP5 将session保存到 mysql _不能说的秘密i
    参考我只是个搬运工,一个探路者,这个不是我写的,原作者在这里为什么有这样的需求?...鬼知道为什么不存memcache或者redis,鬼知道你会遇到什么样的需求,那还能怎么办,自己解决呗,为了避免下次再一顿百度..一顿谷歌...我就记录一下建立对应的数据表CREATETABLEthink_session(session_idvarchar(255)NOTNULL,session_expireint
  • Redis & RabbitMQ tianshuiyimo 通用理念redisrabbitmq数据库
    Redis：轻量级，NoSQL数据库redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sortedset--有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，r
  • 300分钟吃透分布式缓存-03讲：设计缓存架构时需要考量哪些因素？ 机智阳 java分布式缓存架构java后端运维
    缓存的引入及架构设计缓存组件选择在设计架构缓存时，你首先要选定缓存组件，比如要用Local-Cache，还是Redis、Memcached、Pika等开源缓存组件，如果业务缓存需求比较特殊，你还要考虑是直接定制开发一个新的缓存组件，还是对开源缓存进行二次开发，来满足业务需要。缓存数据结构设计确定好缓存组件后，你还要根据业务访问的特点，进行缓存数据结构的设计。对于直接简单KV读写的业务，你可以将这些
  • Linux Memcached 安装 执笔轻叹_
    Memcached支持许多平台：Linux、FreeBSD、Solaris、MacOS，也可以安装在Windows上。Linux系统安装memcached，首先要先安装libevent库。sudoapt-getinstalllibeventibevent-dev自动下载安装（Ubuntu/Debian）yuminstalllibeventlibevent-devel自动下载安装（Redhat/Fe
  • Redis篇----第一篇 数据大魔王 java面试题套2redis数据库缓存
    系列文章目录文章目录系列文章目录前言一、什么是Redis?二、Redis与其他key-value存储有什么不同？三、Redis的数据类型？四、使用Redis有哪些好处？五、Redis相比Memcached有哪些优势？前言前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站，这篇文章男女通用，看懂了就去分享给你的码吧。一、什么是Redis?Redis是完全
  • 分布式缓存上—浅谈缓存的理解 ZNineSun 分布式缓存CDN设计原则反向代理过期策略
    文章目录1.概述1.1概念1.2作用1.3原理2.缓存的分类2.1CDN缓存应用场景优点2.2反向代理缓存应用场景2.3本地应用缓存应用场景缓存介质实现1.通过编程实现2.Ehcahe缓存数据过期策略3.分布式缓存3.1Memcached基本介绍特点基本架构缓存数据过期策略数据淘汰内部实现分布式集群实现数据存储步骤：分布式算法3.2Redis基本介绍数据模型数据淘汰策略数据淘汰内部实现持久化方式底
  • Redis由浅到深层次讲解和springboot实战（服务器层面的搭建部署） 三横同学 服务器redisredisspringboot服务器
    Redis由深层次讲解到springboot实战一、Nosql概述为什么使用Nosql1、单机Mysql时代90年代,一个网站的访问量一般不会太大，单个数据库完全够用。随着用户增多，网站出现以下问题数据量增加到一定程度，单机数据库就放不下了数据的索引（B+Tree）,一个机器内存也存放不下访问量变大后（读写混合），一台服务器承受不住。2、Memcached(缓存)+Mysql+垂直拆分（读写分离）
  • ztree异步加载 3213213333332132 JavaScriptAjaxjsonWebztree
    相信新手用ztree的时候,对异步加载会有些困惑，我开始的时候也是看了API花了些时间才搞定了异步加载，在这里分享给大家。 我后台代码生成的是json格式的数据，数据大家按各自的需求生成，这里只给出前端的代码。 设置setting，这里只关注async属性的配置 var setting = { //异步加载配置
  • thirft rpc 具体调用流程 BlueSkator 中间件rpcthrift
    Thrift调用过程中，Thrift客户端和服务器之间主要用到传输层类、协议层类和处理类三个主要的核心类，这三个类的相互协作共同完成rpc的整个调用过程。在调用过程中将按照以下顺序进行协同工作：         （1）     将客户端程序调用的函数名和参数传递给协议层（TProtocol），协议
  • 异或运算推导, 交换数据 dcj3sjt126com PHP异或^
    /* * 5 0101 * 9 1010 * * 5 ^ 5 * 0101 * 0101 * ----- * 0000 * 得出第一个规律: 相同的数进行异或, 结果是0 * * 9 ^ 5 ^ 6 * 1010 * 0101 * ---- * 1111 * * 1111 * 0110 * ---- * 1001
  • 事件源对象 周华华 JavaScript
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&q
  • MySql配置及相关命令 g21121 mysql
            MySQL安装完毕后我们需要对它进行一些设置及性能优化，主要包括字符集设置，启动设置，连接优化，表优化，分区优化等等。           一 修改MySQL密码及用户      
  • [简单]poi删除excel 2007超链接 53873039oycg Excel
          采用解析sheet.xml方式删除超链接，缺点是要打开文件2次,代码如下:      public void removeExcel2007AllHyperLink(String filePath) throws Exception { OPCPackage ocPkg = OPCPac
  • Struts2添加 open flash chart 云端月影
    准备以下开源项目： 1. Struts 2.1.6 2. Open Flash Chart 2 Version 2 Lug Wyrm Charmer (28th, July 2009) 3. jofc2，这东西不知道是没做好还是什么意思，好像和ofc2不怎么匹配，最好下源码，有什么问题直接改。 4. log4j 用eclipse新建动态网站，取名OFC2Demo，将Struts2 l
  • spring包详解 aijuans spring
    下载的spring包中文件及各种包众多，在项目中往往只有部分是我们必须的，如果不清楚什么时候需要什么包的话，看看下面就知道了。 aspectj目录下是在Spring框架下使用aspectj的源代码和测试程序文件。Aspectj是java最早的提供AOP的应用框架。 dist 目录下是Spring 的发布包，关于发布包下面会详细进行说明。 docs&nb
  • 网站推广之seo概念 antonyup_2006 算法Web应用服务器搜索引擎Google
       持续开发一年多的b2c网站终于在08年10月23日上线了。作为开发人员的我在修改bug的同时，准备了解下网站的推广分析策略。     所谓网站推广，目的在于让尽可能多的潜在用户了解并访问网站，通过网站获得有关产品和服务等信息，为最终形成购买决策提供支持。     网站推广策略有很多，seo，email，adv
  • 单例模式,sql注入,序列 百合不是茶 单例模式序列sql注入预编译
      序列在前面写过有关的博客,也有过总结,但是今天在做一个JDBC操作数据库的相关内容时 需要使用序列创建一个自增长的字段  居然不会了,所以将序列写在本篇的前面    1,序列是一个保存数据连续的增长的一种方式; 序列的创建; CREATE SEQUENCE seq_pro 2 INCREMENT BY 1 -- 每次加几个 3
  • Mockito单元测试实例 bijian1013 单元测试mockito
    Mockito单元测试实例： public class SettingServiceTest { private List<PersonDTO> personList = new ArrayList<PersonDTO>(); @InjectMocks private SettingPojoService settin
  • 精通Oracle10编程SQL(9)使用游标 bijian1013 oracle数据库plsql
    /* *使用游标 */ --显示游标 --在显式游标中使用FETCH...INTO语句 DECLARE CURSOR emp_cursor is select ename,sal from emp where deptno=1; v_ename emp.ename%TYPE; v_sal emp.sal%TYPE; begin ope
  • 【Java语言】动态代理 bit1129 java语言
      JDK接口动态代理 JDK自带的动态代理通过动态的根据接口生成字节码(实现接口的一个具体类)的方式，为接口的实现类提供代理。被代理的对象和代理对象通过InvocationHandler建立关联   package com.tom; import com.tom.model.User; import com.tom.service.IUserService;
  • Java通信之URL通信基础 白糖_ javajdkwebservice网络协议ITeye
    java对网络通信以及提供了比较全面的jdk支持，java.net包能让程序员直接在程序中实现网络通信。 在技术日新月异的现在，我们能通过很多方式实现数据通信，比如webservice、url通信、socket通信等等，今天简单介绍下URL通信。 学习准备：建议首先学习java的IO基础知识   URL是统一资源定位器的简写，URL可以访问Internet和www，可以通过url
  • 博弈Java讲义 - Java线程同步 (1) boyitech java多线程同步锁
      在并发编程中经常会碰到多个执行线程共享资源的问题。例如多个线程同时读写文件，共用数据库连接，全局的计数器等。如果不处理好多线程之间的同步问题很容易引起状态不一致或者其他的错误。    同步不仅可以阻止一个线程看到对象处于不一致的状态，它还可以保证进入同步方法或者块的每个线程，都看到由同一锁保护的之前所有的修改结果。处理同步的关键就是要正确的识别临界条件（cri
  • java-给定字符串，删除开始和结尾处的空格，并将中间的多个连续的空格合并成一个。 bylijinnan java
    public class DeleteExtraSpace { /** * 题目：给定字符串，删除开始和结尾处的空格，并将中间的多个连续的空格合并成一个。 * 方法1.用已有的String类的trim和replaceAll方法 * 方法2.全部用正则表达式，这个我不熟 * 方法3.“重新发明轮子”，从头遍历一次 */ public static v
  • An error has occurred.See the log file错误解决！ Kai_Ge MyEclipse
    今天早上打开MyEclipse时，自动关闭！弹出An error has occurred.See the log file错误提示！ 很郁闷昨天启动和关闭还好着！！！打开几次依然报此错误，确定不是眼花了！ 打开日志文件！找到当日错误文件内容： --------------------------------------------------------------------------
  • [矿业与工业]修建一个空间矿床开采站要多少钱? comsci
           地球上的钛金属矿藏已经接近枯竭...........        我们在冥王星的一颗卫星上面发现一些具有开采价值的矿床.....        那么,现在要编制一个预算,提交给财政部门..
  • 解析Google Map Routes dai_lm google api
    为了获得从A点到B点的路劲，经常会使用Google提供的API，例如 [url] http://maps.googleapis.com/maps/api/directions/json?origin=40.7144,-74.0060&destination=47.6063,-122.3204&sensor=false [/url] 从返回的结果上，大致可以了解应该怎么走，但
  • SQL还有多少“理所应当”？ datamachine sql
    转贴存档，原帖地址：http://blog.chinaunix.net/uid-29242841-id-3968998.html、http://blog.chinaunix.net/uid-29242841-id-3971046.html！ ------------------------------------华丽的分割线--------------------------------
  • Yii使用Ajax验证时，如何设置某些字段不需要验证 dcj3sjt126com Ajaxyii
    经常像你注册页面,你可能非常希望只需要Ajax去验证用户名和Email,而不需要使用Ajax再去验证密码,默认如果你使用Yii 内置的ajax验证Form,例如: $form=$this->beginWidget('CActiveForm', array(        'id'=>'usuario-form',&
  • 使用git同步网站代码 dcj3sjt126com crontabgit
    转自:http://ued.ctrip.com/blog/?p=3646?tn=gongxinjun.com   管理一网站，最开始使用的虚拟空间，采用提供商支持的ftp上传网站文件，后换用vps，vps可以自己搭建ftp的，但是懒得搞，直接使用scp传输文件到服务器，现在需要更新文件到服务器，使用scp真的很烦。发现本人就职的公司，采用的git+rsync的方式来管理、同步代码，遂
  • sql基本操作 蕃薯耀 sqlsql基本操作sql常用操作
    sql基本操作 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2015年6月1日 17:30:33 星期一     &
  • Spring4+Hibernate4+Atomikos3.3多数据源事务管理 hanqunfeng Hibernate4
    Spring3+后不再对JTOM提供支持，所以可以改用Atomikos管理多数据源事务。Spring2.5+Hibernate3+JTOM参考：http://hanqunfeng.iteye.com/blog/1554251Atomikos官网网站：http://www.atomikos.com/   一.pom.xml <dependency> <
  • jquery中两个值得注意的方法one()和trigger()方法 jackyrong trigger
      在jquery中，有两个值得注意但容易忽视的方法，分别是one()方法和trigger()方法,这是从国内作者<<jquery权威指南》一书中看到不错的介绍 1） one方法     one方法的功能是让所选定的元素绑定一个仅触发一次的处理函数，格式为    one(type,${data},fn) &nb
  • 拿工资不仅仅是让你写代码的 lampcy 工作面试咨询
    这是我对团队每个新进员工说的第一件事情。这句话的意思是，我并不关心你是如何快速完成任务的，哪怕代码很差，只要它像救生艇通气门一样管用就行。这句话也是我最喜欢的座右铭之一。 这个说法其实很合理：我们的工作是思考客户提出的问题，然后制定解决方案。思考第一，代码第二，公司请我们的最终目的不是写代码，而是想出解决方案。 话粗理不粗。 付你薪水不是让你来思考的，也不是让你来写代码的，你的目的是交付产品
  • 架构师之对象操作----------对象的效率复制和判断是否全为空 nannan408 架构师
    1.前言。   如题。 2.代码。 (1)对象的复制，比spring的beanCopier在大并发下效率要高，利用net.sf.cglib.beans.BeanCopier Src src=new Src(); BeanCopier beanCopier = BeanCopier.create(Src.class, Des.class, false);
  • ajax 被缓存的解决方案 Rainbow702 JavaScriptjqueryAjaxcache缓存
    使用jquery的ajax来发送请求进行局部刷新画面，各位可能都做过。 今天碰到一个奇怪的现象，就是，同一个ajax请求，在chrome中，不论发送多少次，都可以发送至服务器端，而不会被缓存。但是，换成在IE下的时候，发现，同一个ajax请求，会发生被缓存的情况，只有第一次才会被发送至服务器端，之后的不会再被发送。郁闷。 解决方法如下： ① 直接使用 JQuery提供的 “cache”参数，
  • 修改date.toLocaleString()的警告 tntxia String
      我们在写程序的时候，经常要查看时间，所以我们经常会用到date.toLocaleString()，但是date.toLocaleString()是一个过时 的API，代替的方法如下：   package com.tntxia.htmlmaker.util; import java.text.SimpleDateFormat; import java.util.
  • 项目完成后的小总结 xiaomiya js总结项目
    项目完成了，突然想做个总结但是有点无从下手了。 做之前对于客户端给的接口很模式。然而定义好了格式要求就如此的愉快了。 先说说项目主要实现的功能吧 1，按键精灵 2，获取行情数据 3，各种input输入条件判断 4，发送数据（有json格式和string格式） 5，获取预警条件列表和预警结果列表， 6，排序， 7，预警结果分页获取 8，导出文件（excel，text等） 9，修
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他