- 优酷视频云技术解析-立哥技术
小可爱J 人工智能学者 全栈工程师
大数据分析Java网页前端音视频sql微信小程序dockervscode
前言:从15年开始,云计算就开始从领先概念慢慢落成实地,视频云技术作为其中重要分支,得到了长足发展。今天是笔者的生日,也从技术发展角度解析下视频云的要点技术。1.优酷视频云技术核心:CacheCloud。2.云架构:2.1Redis搭建:环境初始化、实例部署安装、类型架构支持;2.2客户端接入:Java-SDK接入、客户端监控、其他语言接入;2.3运维管理:宿主环境、资源管理、应用审计、应用运维、
- 迁Aliyun Redis踩坑之路 - 实践总结
liaomengge
背景:从自建redis(CacheCloud)到迁移到aliyunredis81.踩“坑”一问题:平常小伙伴们在项目中可能用到rediskeyexpirenofity的场景(比如:处理延时任务等),但是发现迁移后key过期通知总是比未迁移之前的时间慢一个数量级(基本上分钟级别,社区版基本上秒级别),及时在很少的key情况也是一样的;之前也和aliyunsupport小伙伴沟通过,给出反馈都一个星期
- Redis RDB持久化和AOF持久化及恢复测试
不与天斗姜大夫
#redis4.0redisrdbaof备份恢复
RedisRdbAof恢复RDB恢复虚拟机搭建cachecloud测试服务参考文档:https://blog.csdn.net/wejack/article/details/120569162现在通过cachecloud创建一个测试集群,测试rdb和aof的备份与恢复通过连接节点服务,可以查看到缓存实例备份文件的目录为/opt/cachecloud/data>redis-cli-h10.4.7.2
- 第7章 Redis的噩梦:阻塞
leon4ever
Redis的单线程架构决定了其不能允许阻塞。1.发现阻塞线上应用最先感知到阻塞,客户端会抛出异常,应用方应当收集异常。并保存异常的信息(哪个Redis节点,ip,port等)借助Redis监控系统,如CacheCloud2.内在原因2.1API或数据结构使用不合理避免在大对象上执行算法复杂度超过O(n)的命令。发现慢查询:慢查询统计功能,slowlogget{n}发现大对象:bigkeys,统计历
- Rdis云平台CacheCloud
yanghx
Redis规模化运维快速构建集群部署应用接入运维功能一.Redis规模化运维image.png二.快速构建三.集群部署四.应用接入五.运维功能
- cachecloud部署详细过程
yujin2010good
redis
一、jdk安装卸载openjdk配置环境变量并测试是否配置成功vim/etc/profileexportJAVA_HOME=/usr/java/jdk1.7.0_75exportJAVA_BIN=/usr/java/jdk1.7.0_75/binexportPATH=$PATH:$JAVA_HOME/binexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_
- Redis云管理平台 CacheCloud
xiaomin_____
一、CacheCloud是做什么的CacheCloud提供一个Redis云管理平台:实现多种类型(RedisStandalone、RedisSentinel、RedisCluster)自动部署、解决Redis实例碎片化现象、提供完善统计、监控、运维功能、减少开发人员的运维成本和误操作,提高机器的利用率,提供灵活的伸缩性,提供方便的接入客户端。二、CacheCloud提供哪些功能监控统计:提供了机器
- CacheCloud详解(二)---------- SSH-2协议工具包
xiaofengbuhuimai
cachecloudredis
SSH-2协议工具包:CacheCloud平台提供了对redis集群的集中化管理、运维、监控等功能,但是CacheCloud是如何对机器进行监控和维护的呢?是如何获得redis所在服务器的信息呢?通过查看源代码,发现平台引入了SSH-2协议的工具包:ganymed-ssh2,这个工具包提供了java连接linux服务器的功能,通过这个工具包就可以在服务器上面执行应用逻辑ch.ethz.ganyme
- CacheCloud的入门运用与实战
胡芳文嘻嘻
技术问题工具教程详细文档
一,cachecloud是一款提供redis云管理的平台,现在有很多公司运用它进行集群的管理,它实现(redis单机部署,redissentinel,rediscluster)的自动部署,大大降低了运维的难度,一键式的界面操控。解决了redis的实例碎片化现象,提供了完善的统计,监控,运维功能,减少了运维的成本和误操作,提高机器的利用率,提供灵活的伸缩性,提供方便的接入客户端。下载地址:https
- CacheCloud运维管理平台学习笔记
weixin_34168700
最近在读《Redis开发与运维》这本书,发现搜狐视频出的cachecloud这个平台非常不错,下面是自己的学习笔记。不过这个是用java语言写的,现在开发运维一般都使用python,后期看看能不能用python模仿做一个这样的运维管理平台,提升自己开发能力。目录结构:-平台简介-平台安装-安装包-数据库配置-应用配置文件-编译应用-启动应用-登录测试-redis安装-创建cachecloud用户-
- Redis 集群管理工具 CacheCloud
weixin_34015860
2019独角兽企业重金招聘Python工程师标准>>>Redis集群管理工具CacheCloudhttps://github.com/sohutv/cachecloud转载于:https://my.oschina.net/qwfys200/blog/1922184
- cachecloud安装部署
weixin_30527323
数据库java运维
项目地址:https://github.com/sohutv/cachecloud#初始化数据库默认插入admin超级管理员,用户名admin,密码:admin安装mysqlyum-yinstallmariadbmariadb-servermariadb-develsystemctlenablemariadbsystemctlstartmariadb#clone项目并导入mysql数据cd/usr
- 最全CacheCloud最完整安装使用文档【实操系列】
ssssrui
Redis
文章目录准备阶段安装cachecloud登陆准备阶段下载cachecloud-master版本解压后目录cachecloud-master#ll-htotal56Kdrwxr-xr-x6rootroot4.0KNov1416:41cachecloud-open-clientdrwxr-xr-x3rootroot4.0KNov1416:41cachecloud-open-commondrwxr-xr
- A6-5-Linux 下 Redis 监控工具Cachecloud使用(三)
谦杯
Redislinux
A6-5-Linux下Redis监控工具Cachecloud使用(三)查了很久,在确保配置无误的情况下,依旧报错,那就应该考虑redis的版本问题了。现在将其重新生成至3.0版本。杀死原redis进程pkill-9redis-server删除原初始化目录rm-fr/opt/cachecloud/redis/更改初始化配置文件vim/usr/local/cachecloud/script/cache
- cachecloud(redis云平台)源码方式搭建(inux下适合新手的超详细搭建步骤)
yfzhao9
redis搭建监控cachecloudredis
前言1、linux操作系统发行版:CentOSrelease6.92、服务器需要安装MySQL,具体搭建方案见之前的文章:https://blog.csdn.net/qq_33286321/article/details/10706733533、cachecloud版本:1.24、使用cachecloud(redis云平台)搭建和监控redis见下一篇文章:https://blog.csdn.ne
- 使用cachecloud(redis云平台)搭建和监控redis
yfzhao9
redis搭建监控cachecloudredisjava
前言1、cachecloud具体搭建方案见之前的文章:https://blog.csdn.net/qq_33286321/article/details/107083478准备1、打开已经搭建好的cachecloud系统注册一个新用户2、使用admin用户登录系统进行审批3、普通用户登录(登录密码在第一次登录填写)添加redis服务器1、将初始化脚本中Redis版本修改掉、创建redis目录和下载
- Redis云管理平台CacheCloud
江畔独步
Redis
一、CacheCloud介绍该项目由搜狐开源,源代码托管至github上,地址为:https://github.com/sohutv/cachecloud。CacheCloud提供一个Redis云管理平台:实现多种类型(RedisStandalone、RedisSentinel、RedisCluster)自动部署、解决Redis实例碎片化现象、提供完善统计、监控、运维功能、减少运维成本和误操作,提
- Redis监控运维平台-CacheCloud
姜秀丽
Redis
一、CacheCloud1、出现问题当Redis达到一定规模,容易出现以下问题:运维部署成本高,手动部署,容易出现错误。实例碎片化,机器利用率较低,可能出现大量闲置资源。监控,统计,管理不完善,配置分散,不便于发现线上问题。2、CacheCloud如果通过平台化的工具统一监控和管理Redis,将极大的提升开发和运维人员的工作效率。CacheCloud,就是这样的一款开源的Redis管理、可视化运维
- 【工具】--CacheCloud迁移工具
起个昵称好难呀q
工具
一.能做什么?数据迁移工具可以完成如下功能:支持在RDB文件、RedisStandalone、RedisSentinel、RedisCluster之间进行数据迁移(也可以直接是CacheCloud的应用,也就是appId),如下图所示支持任意两种类型的source和target进行数据迁移。数据迁移能够保证实时性,所以如果合理使用可以基本保证一致性。(原理可以参考第二小节)迁移过程可视化完成流程的
- cachecloud部署和创建机器
深圳gg
redis
1.安装1.7以上的JDktar-zxvfjdk-7u71-linux-x64.tar.gzvi/etc/profile#setjavaenvironmentJAVA_HOME=/usr/java/jdk1.7.0_71JRE_HOME=/usr/java/jdk1.7.0_71/jreCLASS_PATH=.:JAVAHOME/lib/dt.jar:JAVA_HOME/lib/dt.jar:JA
- 踩坑录·CacheCloud无法启动
Jeffid
Linux运维
问题CentOS7中事先已经安装好MySQL5.7、Maven3.3和JDK7,采用二进制包直接打开的方式运行CacheCloud。在数据库中导入cachecloud.sql和完成jdbc.properties的相关配置后,执行start.sh文件后出现一界面一直输出点点而无法正常启动Cachecloud。解决经查证,经出现这种情况是因为start.sh文件中设置**-Xmx和-Xms默认是4g*
- CacheCloud详解(一)----------CacheCloud搭建(Redis云平台)
xiaofengbuhuimai
rediscachecloud
目标:redis作为流行的缓存数据库,被众多企业使用,但是对于中小型企业来说,日益增多的redis服务器,如何管理是个问题。本系列文章就搜狐视频开源的CacheCloud云平台进行深入讲解。通过从安装到源码讲解,让你深入了解实现原理。CacheCloud可以做什么?cacheCloud提供一个Redis云管理平台:实现多种类型(RedisStandalone、RedisSentinel、Redis
- Redis管理工具CacheCloud的部署与使用
lamarsan
redis学习RedisCacheCloudCloud踩坑阅读
Redis管理工具CacheCloud的部署与使用Git项目地址CacheCloud作用下载1)下载项目2)导入表结构启动1)配置CacheCloud项目2)启动1:编译2:拷贝war包(cachecloud-open-web/target/cachecloud-open-web-1.0-SNAPSHOT.war)到/opt/cachecloud-web下3:拷贝配置文件(cachecloud-o
- springboot 接入 cachecloud redis 实践
summer2233
最近项目中需要接入RedisCacheCloud,CacheCloud是一个开源的Redis运维监控云平台,功能十分强大,支持Redis实例自动部署、扩容、碎片管理、统计、监控等功能,特别是支持单机、sentinel、cluster三种模式的自动部署,搭建redis集群一步到位轻松搞定。java项目中接入CacheCloudredis的方式主要有两种。第一种就是在CacheCloud上创建好red
- redis使用CacheCloud搭建(Redis云平台)搭建集群监控等等
风水道人
redis
下面是搭建的详细说明https://blog.csdn.net/fouy_yun/article/details/82011562githttps://github.com/sohutv/cachecloud
- CacheCloud搭建(Redis云平台)缓存管理
沉思的小清新
https://blog.csdn.net/fouy_yun/article/details/82011562
- 快速了解Redis、Cachecloud集群的搭建及管理
谦杯
Redislinuxredis
Redis集群的搭建及管理目录Redis集群的搭建及管理...1一、概述...2二、Redis介绍...32.1、Redis与Memcache的对比....32.1.1、区别(单服务)....32.1.2、优劣....42.1.3、适用....42.2、Redis与Kafka的对比....52.3、Redis适用场景....5三、Redis服务安装及测试...53.1、获取安装包....53.2、
- 启动jar命令
weixin_34054931
java-jar-Xmx1g-Xms1g-Xss256k-XX:MaxDirectMemorySize=1G-XX:+UseG1GC-XX:MaxGCPauseMillis=200-XX:G1ReservePercent=25-XX:InitiatingHeapOccupancyPercent=40-XX:+PrintGCDateStamps-Xloggc:/opt/cachecloud-web/
- Redis开发与运维一书-勘误
weixin_33928137
Redis开发与一书勘误列表如下:https://cachecloud.github.io/2017/02/17/%E3%80%8ARedis%E5%BC%80%E5%8F%91%E4%B8%8E%E8%BF%90%E7%BB%B4%E3%80%8B%E5%8B%98%E8%AF%AF/
- GitHub压缩包下载URL
Rain_Bow_2017
GitHubURL压缩包资源地址tar.gz
2018年7月27日记以往在GitHub上下载源码直接,点击DownloadZip即可,但是今天想在Linux上安装CacheCloud,想利用wget直接下载源码包,但是需要这个压缩包的URL,在GitHub上怎么也找不到正确的URL地址。HTML页面中对应的地址:href="/sohutv/cachecloud/archive/master.zip"加上前缀http://schema.org/
- Nginx负载均衡
510888780
nginx应用服务器
Nginx负载均衡一些基础知识:
nginx 的 upstream目前支持 4 种方式的分配
1)、轮询(默认)
每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器down掉,能自动剔除。
2)、weight
指定轮询几率,weight和访问比率成正比
- RedHat 6.4 安装 rabbitmq
bylijinnan
erlangrabbitmqredhat
在 linux 下安装软件就是折腾,首先是测试机不能上外网要找运维开通,开通后发现测试机的 yum 不能使用于是又要配置 yum 源,最后安装 rabbitmq 时也尝试了两种方法最后才安装成功
机器版本:
[root@redhat1 rabbitmq]# lsb_release
LSB Version: :base-4.0-amd64:base-4.0-noarch:core
- FilenameUtils工具类
eksliang
FilenameUtilscommon-io
转载请出自出处:http://eksliang.iteye.com/blog/2217081 一、概述
这是一个Java操作文件的常用库,是Apache对java的IO包的封装,这里面有两个非常核心的类FilenameUtils跟FileUtils,其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装,开发中对文件的操作,几乎都可以在这个框架里面找到。 非常的好用。
- xml文件解析SAX
不懂事的小屁孩
xml
xml文件解析:xml文件解析有四种方式,
1.DOM生成和解析XML文档(SAX是基于事件流的解析)
2.SAX生成和解析XML文档(基于XML文档树结构的解析)
3.DOM4J生成和解析XML文档
4.JDOM生成和解析XML
本文章用第一种方法进行解析,使用android常用的DefaultHandler
import org.xml.sax.Attributes;
- 通过定时任务执行mysql的定期删除和新建分区,此处是按日分区
酷的飞上天空
mysql
使用python脚本作为命令脚本,linux的定时任务来每天定时执行
#!/usr/bin/python
# -*- coding: utf8 -*-
import pymysql
import datetime
import calendar
#要分区的表
table_name = 'my_table'
#连接数据库的信息
host,user,passwd,db =
- 如何搭建数据湖架构?听听专家的意见
蓝儿唯美
架构
Edo Interactive在几年前遇到一个大问题:公司使用交易数据来帮助零售商和餐馆进行个性化促销,但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据
“我们要花费27小时来处理每日的数据量,”Edo主管基础设施和信息系统的高级副总裁Tim Garnto说道:“所以在2013年,我们放弃了现有的基于PostgreSQL的关系型数据库系统,使用了Hadoop集群作为公司的数
- spring学习——控制反转与依赖注入
a-john
spring
控制反转(Inversion of Control,英文缩写为IoC)是一个重要的面向对象编程的法则来削减计算机程序的耦合问题,也是轻量级的Spring框架的核心。 控制反转一般分为两种类型,依赖注入(Dependency Injection,简称DI)和依赖查找(Dependency Lookup)。依赖注入应用比较广泛。
- 用spool+unixshell生成文本文件的方法
aijuans
xshell
例如我们把scott.dept表生成文本文件的语句写成dept.sql,内容如下:
set pages 50000;
set lines 200;
set trims on;
set heading off;
spool /oracle_backup/log/test/dept.lst;
select deptno||','||dname||','||loc
- 1、基础--名词解析(OOA/OOD/OOP)
asia007
学习基础知识
OOA:Object-Oriented Analysis(面向对象分析方法)
是在一个系统的开发过程中进行了系统业务调查以后,按照面向对象的思想来分析问题。OOA与结构化分析有较大的区别。OOA所强调的是在系统调查资料的基础上,针对OO方法所需要的素材进行的归类分析和整理,而不是对管理业务现状和方法的分析。
OOA(面向对象的分析)模型由5个层次(主题层、对象类层、结构层、属性层和服务层)
- 浅谈java转成json编码格式技术
百合不是茶
json编码java转成json编码
json编码;是一个轻量级的数据存储和传输的语言
在java中需要引入json相关的包,引包方式在工程的lib下就可以了
JSON与JAVA数据的转换(JSON 即 JavaScript Object Natation,它是一种轻量级的数据交换格式,非
常适合于服务器与 JavaScript 之间的数据的交
- web.xml之Spring配置(基于Spring+Struts+Ibatis)
bijian1013
javaweb.xmlSSIspring配置
指定Spring配置文件位置
<context-param>
<param-name>contextConfigLocation</param-name>
<param-value>
/WEB-INF/spring-dao-bean.xml,/WEB-INF/spring-resources.xml,
/WEB-INF/
- Installing SonarQube(Fail to download libraries from server)
sunjing
InstallSonar
1. Download and unzip the SonarQube distribution
2. Starting the Web Server
The default port is "9000" and the context path is "/". These values can be changed in &l
- 【MongoDB学习笔记十一】Mongo副本集基本的增删查
bit1129
mongodb
一、创建复本集
假设mongod,mongo已经配置在系统路径变量上,启动三个命令行窗口,分别执行如下命令:
mongod --port 27017 --dbpath data1 --replSet rs0
mongod --port 27018 --dbpath data2 --replSet rs0
mongod --port 27019 -
- Anychart图表系列二之执行Flash和HTML5渲染
白糖_
Flash
今天介绍Anychart的Flash和HTML5渲染功能
HTML5
Anychart从6.0第一个版本起,已经逐渐开始支持各种图的HTML5渲染效果了,也就是说即使你没有安装Flash插件,只要浏览器支持HTML5,也能看到Anychart的图形(不过这些是需要做一些配置的)。
这里要提醒下大家,Anychart6.0版本对HTML5的支持还不算很成熟,目前还处于
- Laravel版本更新异常4.2.8-> 4.2.9 Declaration of ... CompilerEngine ... should be compa
bozch
laravel
昨天在为了把laravel升级到最新的版本,突然之间就出现了如下错误:
ErrorException thrown with message "Declaration of Illuminate\View\Engines\CompilerEngine::handleViewException() should be compatible with Illuminate\View\Eng
- 编程之美-NIM游戏分析-石头总数为奇数时如何保证先动手者必胜
bylijinnan
编程之美
import java.util.Arrays;
import java.util.Random;
public class Nim {
/**编程之美 NIM游戏分析
问题:
有N块石头和两个玩家A和B,玩家A先将石头随机分成若干堆,然后按照BABA...的顺序不断轮流取石头,
能将剩下的石头一次取光的玩家获胜,每次取石头时,每个玩家只能从若干堆石头中任选一堆,
- lunce创建索引及简单查询
chengxuyuancsdn
查询创建索引lunce
import java.io.File;
import java.io.IOException;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Docume
- [IT与投资]坚持独立自主的研究核心技术
comsci
it
和别人合作开发某项产品....如果互相之间的技术水平不同,那么这种合作很难进行,一般都会成为强者控制弱者的方法和手段.....
所以弱者,在遇到技术难题的时候,最好不要一开始就去寻求强者的帮助,因为在我们这颗星球上,生物都有一种控制其
- flashback transaction闪回事务查询
daizj
oraclesql闪回事务
闪回事务查询有别于闪回查询的特点有以下3个:
(1)其正常工作不但需要利用撤销数据,还需要事先启用最小补充日志。
(2)返回的结果不是以前的“旧”数据,而是能够将当前数据修改为以前的样子的撤销SQL(Undo SQL)语句。
(3)集中地在名为flashback_transaction_query表上查询,而不是在各个表上通过“as of”或“vers
- Java I/O之FilenameFilter类列举出指定路径下某个扩展名的文件
游其是你
FilenameFilter
这是一个FilenameFilter类用法的例子,实现的列举出“c:\\folder“路径下所有以“.jpg”扩展名的文件。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
- C语言学习五函数,函数的前置声明以及如何在软件开发中合理的设计函数来解决实际问题
dcj3sjt126com
c
# include <stdio.h>
int f(void) //括号中的void表示该函数不能接受数据,int表示返回的类型为int类型
{
return 10; //向主调函数返回10
}
void g(void) //函数名前面的void表示该函数没有返回值
{
//return 10; //error 与第8行行首的void相矛盾
}
in
- 今天在测试环境使用yum安装,遇到一个问题: Error: Cannot retrieve metalink for repository: epel. Pl
dcj3sjt126com
centos
今天在测试环境使用yum安装,遇到一个问题:
Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again
处理很简单,修改文件“/etc/yum.repos.d/epel.repo”, 将baseurl的注释取消, mirrorlist注释掉。即可。
&n
- 单例模式
shuizhaosi888
单例模式
单例模式 懒汉式
public class RunMain {
/**
* 私有构造
*/
private RunMain() {
}
/**
* 内部类,用于占位,只有
*/
private static class SingletonRunMain {
priv
- Spring Security(09)——Filter
234390216
Spring Security
Filter
目录
1.1 Filter顺序
1.2 添加Filter到FilterChain
1.3 DelegatingFilterProxy
1.4 FilterChainProxy
1.5
- 公司项目NODEJS实践0.1
逐行分析JS源代码
mongodbnginxubuntunodejs
一、前言
前端如何独立用nodeJs实现一个简单的注册、登录功能,是不是只用nodejs+sql就可以了?其实是可以实现,但离实际应用还有距离,那要怎么做才是实际可用的。
网上有很多nod
- java.lang.Math
liuhaibo_ljf
javaMathlang
System.out.println(Math.PI);
System.out.println(Math.abs(1.2));
System.out.println(Math.abs(1.2));
System.out.println(Math.abs(1));
System.out.println(Math.abs(111111111));
System.out.println(Mat
- linux下时间同步
nonobaba
ntp
今天在linux下做hbase集群的时候,发现hmaster启动成功了,但是用hbase命令进入shell的时候报了一个错误 PleaseHoldException: Master is initializing,查看了日志,大致意思是说master和slave时间不同步,没办法,只好找一种手动同步一下,后来发现一共部署了10来台机器,手动同步偏差又比较大,所以还是从网上找现成的解决方
- ZooKeeper3.4.6的集群部署
roadrunners
zookeeper集群部署
ZooKeeper是Apache的一个开源项目,在分布式服务中应用比较广泛。它主要用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步、集群管理、配置文件管理、同步锁、队列等。这里主要讲集群中ZooKeeper的部署。
1、准备工作
我们准备3台机器做ZooKeeper集群,分别在3台机器上创建ZooKeeper需要的目录。
数据存储目录
- Java高效读取大文件
tomcat_oracle
java
读取文件行的标准方式是在内存中读取,Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法: Files.readLines(new File(path), Charsets.UTF_8); FileUtils.readLines(new File(path)); 这种方法带来的问题是文件的所有行都被存放在内存中,当文件足够大时很快就会导致
- 微信支付api返回的xml转换为Map的方法
xu3508620
xmlmap微信api
举例如下:
<xml>
<return_code><![CDATA[SUCCESS]]></return_code>
<return_msg><![CDATA[OK]]></return_msg>
<appid><