- k8s 调度流程和资源管理
Cloud孙文波
kubernetes大数据编程语言javapythonkubernetes
一、Kubernetes调度过程首先来看第一部分-Kubernetes的调度过程。如下图所示,画了一个很简单的Kubernetes集群架构,它包括了一个kube-ApiServer,一组webhooks的Controller,以及一个默认的调度器kube-Scheduler,还有两台物理机节点Node1和Node2,分别在上面部署了两个kubelet。我们来看一下,假如要向这个Kubernetes
- 存储集群消除pg数量过多的告警
大 大金
ceph
[root@xxxxxxxxxxxxxx~]#ceph-scluster334cfe7e-9ccc-483d-8d2c-218fde3a5fdehealthHEALTH_WARNtoomanyPGsperOSD(307>max300)nodeep-scrubflag(s)setmonmape1:3monsat{node1=100.88.28.11:6789/0,node2=100.88.28.12
- linux搭建ceph集群
浓黑的daidai
linuxceph服务器
linux三节点搭建ceph集群主机IP主机名称172.26.50.75node1172.26.50.112node2172.26.50.228node3ceph-mon,ceph-mgr,ceph-mds都搭建在node1上,node2和node3上搭建ceph-osd,每个机器1个osdCeph是一个分布式的存储系统,可以在统一的系统中提供唯一的对象、块和文件存储,Ceph的大致组件如下:1.
- 部署EFK
m0_59430185
EFKEFK
文章目录前言一、拓扑图二、配置环境三、配置tomcat服务器1.安装JDK,配置JAVA环境2.安装配置Tomcat3.Tomcat配置说明4.启动Tomcat5.优化Tomcat启动速度四、配置Elasticsearch环境五、安装elasticsearch集群1.部署Elasticsearch软件3.安装elasticsearch-head插件六、部署filebeat七、node1安装Kiba
- 【Hadoop】- MapReduce & YARN 初体验[9]
星星法术嗲人
hadoophadoopmapreduce
目录提交MapReduce程序至YARN运行1、提交wordcount示例程序1.1、先准备words.txt文件上传到hdfs,文件内容如下:1.2、在hdfs中创建两个文件夹,分别为/input、/output1.3、将创建好的words.txt文件上传到hdfs中/input1.4、提交MapReduce程序至YARN1.5、可通过node1:8088查看1.6、返回我们的服务器,检查输出文
- ansible动态主机清单案例
山客泛舟游Y
ansiblelinuxphp
linuxansible动态主机清单案例使用动态清单模板,修改其内容,要求如下:(1)node1是test主机组的成员,其中test主机组可以使用变量:aa=11bb=22(2)node2和node3是prod主机组的成员,其中prod主机组可以使用的变量:cc=33dd=44(3)node1还可以使用的变量:nodevar=xxx1(4)node2还可以使用的变量:nodevar=xxx2(5)
- HDFS的超级用户
重剑DS
大数据hdfshadoop大数据
一.解释原因HDFS(HadoopDistributedFileSystem)和linux文件系统管理一样,也是存在权限控制的。但是很不一样的是,在Linux文件系统中,超级用户Superuser是root而在HDFS中,超级用户Superuser是启动了namenode的用户,上图的node1(其实就是IP地址:192.168.88.101)中的用户hadoop就是启动了namenode的用户,
- Prometheus服务器、Prometheus被监控端、Grafana、监控MySQL数据库、自动发现概述、配置自动发现、Alertmanager
Mick方
prometheusgrafana
目录Prometheus概述部署Prometheus服务器环境说明:配置时间安装Prometheus服务器添加被监控端部署通用的监控exporterGrafana概述部署Grafana展示node1的监控信息监控MySQL数据库配置MySQL配置mysqlexporter配置mysqlexporter配置prometheus监控mysql自动发现机制概述基于文件自动发现修改Prometheus使用
- Day15 二叉树part02
临渊羡鱼的猫
代码随想录一刷数据结构算法
层序遍历二叉树利用队列模拟每一层,注意需要记录size。其实重点就是如何判断每一层结束了,这里给出的方法就是记录size。因为记录的size就是上一层的左右孩子的个数,所以成立。等到size变成0的时候,下一层的元素也就加到队列中了。妙啊,妙啊对称二叉树判断两子树是否相等:defare_nodes_equal(self,node1:TreeNode,node2:TreeNode)->bool:#如
- K8S之运用节点选择器指定Pod运行的节点
sissie喵~
kuberneteskubernetes容器云原生
node节点选择器的使用使用场景实践使用nodeName使用nodeSelectornodeName和nodeSelector混合使用1、设置了nodeName和设置Node上都不存在的标签。看调度情况2、设置nodeName为node1和设置node2上才有的标签。看调度情况实践总结使用场景默认情况,在创建Pod资源的时候,会根据schduler进行节点调度,默认会随机调度一个工作节点。如果想要
- 阿里云服务器centos_7_9_x64位,3台,搭建k8s集群
fyihdg
服务器阿里云centosk8s
目录1.环境信息2.搭建过程2.1安装Docker源2.2安装Docker2.3安装kubeadm,kubelet和kubectl2.4部署KubernetesMaster(node1)2.5安装Pod网络插件(CNI)2.6加入KubernetesNode2.7测试kubernetes集群3.部署Dashboard3.1在node1上新建文件:kubernetes-dashboard.yaml3
- 前端环境配置
你好岁月神偷
1、安装VSCode编辑器vscode官网:https://code.visualstudio.com/好用插件:https://zhuanlan.zhihu.com/p/279058382、安装node1)下载node(node官网):https://nodejs.org/zh-cn/2)安装教程(Node.js安装配置-菜鸟教程):https://www.runoob.com/nodejs/n
- Spark Shuffle模块详解
晓之以理的喵~~
大数据HadoopSparkspark大数据hadoop
Shuffle,具有某种共同特征的一类数据需要最终汇聚(aggregate)到一个计算节点上进行计算。这些数据分布在各个存储节点上并且由不同节点的计算单元处理。以最简单的WordCount为例,其中数据保存在Node1、Node2和Node3;经过处理后,这些数据最终会汇聚到Nodea、Nodeb处理。这个数据重新打乱然后汇聚到不同节点的过程就是Shuffle。但是实际上,Shuffle过程可能会
- vue前端+nodejs后端通信-简单demo
和世界不一样,那就不一样!
前端vue.jsjavascript
本文记录vue前端+nodejs后端通讯最简单的方法,供广大网友最快速进入全栈开发。技术架构前端vue+axios后端nodejs+express一、前端部分-搭建VUE项目vuecreateVnodenpmrunserve启动;具体操作步骤,请自行百度,这里没什么难度昂。二、后端-node1、在vue项目,src同级目录下,创建app.js文件app.js//引入express模块constex
- 随想录刷题笔记 —链表篇2 24两两交换链表节点 19删除倒数第N个节点 02 07链表相交 142环形链表II
XWHQQ7426
随想录刷题笔记链表数据结构java
24两两交换链表节点两两交换相邻的节点首先创建了哨兵结点。其次创建3个指针,分别指向prenode1node2,交换node1和node2classSolution{publicListNodeswapPairs(ListNodehead){if(head==null||head.next==null){returnhead;}ListNodefrehead=newListNode(-1,head
- 大数据本地环境搭建03-Spark搭建
OnePandas
Spark大数据集群环境搭建大数据spark分布式
需要提前部署好Zookeeper/Hadoop/Hive环境1Local模式1.1上传压缩包下载链接链接:https://pan.baidu.com/s/1rLq39ddxh7np7JKiuRAhDA?pwd=e20h提取码:e20h将spark-3.1.2-bin-hadoop3.2.tar.gz压缩包到node1下的/export/server目录1.2解压压缩包tar-zxvf/export
- K8S集群部署采坑总结
阿亚卡
运维kubernetes
k8s版本:1.24.1matser节点操作系统:CentOSLinuxrelease7.9.2009(Core)node1:CentOSLinuxrelease7.9.2009(Core)node2:CentOSLinuxrelease7.2.1511(Core)问题一:master节点kubeadminit时,报错k8s.gcr.io/pause:3.6拉取失败[root@k8s-master
- 2024-02-01(Hive)
陈xr
随记日志hadoop
1.我们通过忘Hive中执行SQL语句,Hive会帮我们将SQL语句翻译成MapReduce在底层去做分布式的计算。2.Hive看似处理的是mysql的表,但实际上处理的是HDFS中的文本文件。3.Hive中创建的库和表的数据,存储在HDFS中,默认存放在:hdfs://node1:8020/user/hive/warehouse中。4.hive的数据库本质上在HDFS中就是一个文件夹,文件夹中存
- docker swarm
i0208
docker容器运维
1.准备三台机器,分别安装docker,例如IP分别为:192.168.88.131,192.168.88.136,192.168.88.1382.修改/etc/hostname分别为:manger,node1,node23.分别修改/etc/hosts添加:192.168.88.131manger192.168.88.136node1192.168.88.138node2创建swarm集群初始化
- Hbase安装详解
沉默鹰_90
软件安装hbase大数据linux
本文安装环境介绍:a、三台linux服务器,分别命名为node1、node2、node3(已在/etc/hosts文件里做好了ip和名字的映射)b、软件压缩包存储路径:/export/software/c、解压后安装包存储路径:/export/server/d、hadoop版本:hadoop-3.3.0hadoop和hbase兼容性1、下载Hbase网址:https://dlcdn.apache.
- Harbor高可用部署
曹弘毅
dockerharbor
1、前置准备三台虚拟机主机名IP地址部署分配master10.204.81.117nginxnode110.204.82.15harbor-1node210.204.82.16harbor-22、分别在node1、node2部署harbora、分别部署安装docker【参考docker安装、常用命令、容器服务启动脚本】b、上传、解压harbor安装包:harbor-offline-installe
- 配置ssh远程连接,实现两台linux主机之间通过公钥验证能够互相实现免密登陆
网安小菜鸡
linuxssh服务器
1.node1免密登录到server上:1.客户端node1创建密钥:ssh-keygen-trsa2.把公钥发送到服务端server:
[email protected]@192.168.137.132:node1客户端登录到服务端server:2.server免密登录到node1上:1.客户端server创建公钥:ssh-keygen-trsa2.把
- 安装Hive
小王每天都在学习
Hivehive
主要使用远程模式部署hive的metastore服务。在node1机器上安装。注意:以下两件事在启动hive之前必须确保正常完成。1、提前安装mysql,确保具有远程访问的权限2、启动hadoop集群,确保集群正常能够访问1.上传软件使用CRT等客户端远程上传apache-hive-3.1.2-bin.tar.gz文件到/export/software目录下2.解压软件[root@node1sof
- Centos7 双机单网卡安装 OpenStack
qq_31292011
openstack
虚拟机配置1:准备虚拟机2台,配置如下openstackmaster----192.168.20.2052cpu,8G内存,200G硬盘,网络桥接方式--静态IP----单网卡node1计算节点---192.168.20.2152cpu,8G内存,200G硬盘,网络桥接方式--静态IP----单网卡2:配置hosts,2台机器互通3:初始化---防火墙----国内源等等参考前面文章Centos7单
- K8S、keepalived、haproxy 高可用集群实战
lqcbj_IT老混混
k8skeepalivedDockerkubernetes容器云原生
K8S、keepalived、haproxy高可用集群实战环境:Centos7.6、2个CPU、8G内存以上配置Master1:172.20.26.24Master2:172.20.26.86Master3:172.20.26.89Node1:172.20.26.104VIP:172.20.26.201在master1、2、3、Node1上:关闭selinux、firewalld、安装net-to
- 力扣算法题—LCR 140.训练计划 II
jtyyyds388
算法leetcode
题目:给定一个头节点为head的链表用于记录一系列核心肌群训练项目编号,请查找并返回倒数第cnt个训练项目编号。示例1:输入:head=[2,4,7,8],cnt=1输出:8提示:1next;}while(node2){node1=node1->next;node2=node2->next;}returnnode1;}时间复杂度:O(1)
- Hadoop集群部署流程
正在绘制中
hadoop大数据分布式
前置要求需要3台虚拟机,系统为Centos7,分别host命名为node1,node2,node3,密码均为root请确保这三台虚拟机已经完成了JDK、SSH免密、关闭防火墙、配置主机名映射等前置操作在3台虚拟机的/etc/hosts文件中,填入如下内容:(同时这也是三台虚拟机的ip地址)192.168.88.131node1192.168.88.132node2192.168.88.133nod
- 数组与链表
天际神游
数组(Array)一段固定的连续的存储单元.特征:大小固定:一般来说,数组一旦申请成功,就不能改变大小了查找O(1):下标索引会根据数组的内存地址直接计算得到,所以查找的时间复杂度是O(1)小心越界:当查找的返回超过数组边界时,会报错//在Java中新建数组int[]arr=newint[10];链表(List)链表一般分为单链表和双链表.其物理存储的位置是不连续的单链表:head-->node1
- ES文档索引、查询、分片、文档评分和分析器技术原理
冲上云霄的Jayden
ESelasticsearch索引文档数据更新Bulk分析器分词器文档评分
技术原理索引文档索引文档分为单个文档和多个文档。单个文档新建单个文档所需要的步骤顺序:客户端向Node1发送新建、索引或者删除请求。节点使用文档的_id确定文档属于分片0。请求会被转发到Node3,因为分片0的主分片目前被分配在Node3上。Node3在主分片上面执行请求。如果成功了,它将请求并行转发到Node1和Node2的副本分片上。一旦所有的副本分片都报告成功,Node3将向协调节点报告成功
- change pdb name in rac
xiaofan23z
oracleDBAoracle
node1:1.closepdboneachnodeSQL>alterpluggabledatabasecrmpdbcloseimmediate;Pluggabledatabasealtered.2.openpdbononenodeinrestrictedmodeSQL>alterpluggabledatabasecrmpdbopenrestricted;Pluggabledatabasealte
- Java实现的简单双向Map,支持重复Value
superlxw1234
java双向map
关键字:Java双向Map、DualHashBidiMap
有个需求,需要根据即时修改Map结构中的Value值,比如,将Map中所有value=V1的记录改成value=V2,key保持不变。
数据量比较大,遍历Map性能太差,这就需要根据Value先找到Key,然后去修改。
即:既要根据Key找Value,又要根据Value
- PL/SQL触发器基础及例子
百合不是茶
oracle数据库触发器PL/SQL编程
触发器的简介;
触发器的定义就是说某个条件成立的时候,触发器里面所定义的语句就会被自动的执行。因此触发器不需要人为的去调用,也不能调用。触发器和过程函数类似 过程函数必须要调用,
一个表中最多只能有12个触发器类型的,触发器和过程函数相似 触发器不需要调用直接执行,
触发时间:指明触发器何时执行,该值可取:
before:表示在数据库动作之前触发
- [时空与探索]穿越时空的一些问题
comsci
问题
我们还没有进行过任何数学形式上的证明,仅仅是一个猜想.....
这个猜想就是; 任何有质量的物体(哪怕只有一微克)都不可能穿越时空,该物体强行穿越时空的时候,物体的质量会与时空粒子产生反应,物体会变成暗物质,也就是说,任何物体穿越时空会变成暗物质..(暗物质就我的理
- easy ui datagrid上移下移一行
商人shang
js上移下移easyuidatagrid
/**
* 向上移动一行
*
* @param dg
* @param row
*/
function moveupRow(dg, row) {
var datagrid = $(dg);
var index = datagrid.datagrid("getRowIndex", row);
if (isFirstRow(dg, row)) {
- Java反射
oloz
反射
本人菜鸟,今天恰好有时间,写写博客,总结复习一下java反射方面的知识,欢迎大家探讨交流学习指教
首先看看java中的Class
package demo;
public class ClassTest {
/*先了解java中的Class*/
public static void main(String[] args) {
//任何一个类都
- springMVC 使用JSR-303 Validation验证
杨白白
springmvc
JSR-303是一个数据验证的规范,但是spring并没有对其进行实现,Hibernate Validator是实现了这一规范的,通过此这个实现来讲SpringMVC对JSR-303的支持。
JSR-303的校验是基于注解的,首先要把这些注解标记在需要验证的实体类的属性上或是其对应的get方法上。
登录需要验证类
public class Login {
@NotEmpty
- log4j
香水浓
log4j
log4j.rootCategory=DEBUG, STDOUT, DAILYFILE, HTML, DATABASE
#log4j.rootCategory=DEBUG, STDOUT, DAILYFILE, ROLLINGFILE, HTML
#console
log4j.appender.STDOUT=org.apache.log4j.ConsoleAppender
log4
- 使用ajax和history.pushState无刷新改变页面URL
agevs
jquery框架Ajaxhtml5chrome
表现
如果你使用chrome或者firefox等浏览器访问本博客、github.com、plus.google.com等网站时,细心的你会发现页面之间的点击是通过ajax异步请求的,同时页面的URL发生了了改变。并且能够很好的支持浏览器前进和后退。
是什么有这么强大的功能呢?
HTML5里引用了新的API,history.pushState和history.replaceState,就是通过
- centos中文乱码
AILIKES
centosOSssh
一、CentOS系统访问 g.cn ,发现中文乱码。
于是用以前的方式:yum -y install fonts-chinese
CentOS系统安装后,还是不能显示中文字体。我使用 gedit 编辑源码,其中文注释也为乱码。
后来,终于找到以下方法可以解决,需要两个中文支持的包:
fonts-chinese-3.02-12.
- 触发器
baalwolf
触发器
触发器(trigger):监视某种情况,并触发某种操作。
触发器创建语法四要素:1.监视地点(table) 2.监视事件(insert/update/delete) 3.触发时间(after/before) 4.触发事件(insert/update/delete)
语法:
create trigger triggerName
after/before 
- JS正则表达式的i m g
bijian1013
JavaScript正则表达式
g:表示全局(global)模式,即模式将被应用于所有字符串,而非在发现第一个匹配项时立即停止。 i:表示不区分大小写(case-insensitive)模式,即在确定匹配项时忽略模式与字符串的大小写。 m:表示
- HTML5模式和Hashbang模式
bijian1013
JavaScriptAngularJSHashbang模式HTML5模式
我们可以用$locationProvider来配置$location服务(可以采用注入的方式,就像AngularJS中其他所有东西一样)。这里provider的两个参数很有意思,介绍如下。
html5Mode
一个布尔值,标识$location服务是否运行在HTML5模式下。
ha
- [Maven学习笔记六]Maven生命周期
bit1129
maven
从mvn test的输出开始说起
当我们在user-core中执行mvn test时,执行的输出如下:
/software/devsoftware/jdk1.7.0_55/bin/java -Dmaven.home=/software/devsoftware/apache-maven-3.2.1 -Dclassworlds.conf=/software/devs
- 【Hadoop七】基于Yarn的Hadoop Map Reduce容错
bit1129
hadoop
运行于Yarn的Map Reduce作业,可能发生失败的点包括
Task Failure
Application Master Failure
Node Manager Failure
Resource Manager Failure
1. Task Failure
任务执行过程中产生的异常和JVM的意外终止会汇报给Application Master。僵死的任务也会被A
- 记一次数据推送的异常解决端口解决
ronin47
记一次数据推送的异常解决
需求:从db获取数据然后推送到B
程序开发完成,上jboss,刚开始报了很多错,逐一解决,可最后显示连接不到数据库。机房的同事说可以ping 通。
自已画了个图,逐一排除,把linux 防火墙 和 setenforce 设置最低。
service iptables stop
- 巧用视错觉-UI更有趣
brotherlamp
UIui视频ui教程ui自学ui资料
我们每个人在生活中都曾感受过视错觉(optical illusion)的魅力。
视错觉现象是双眼跟我们开的一个玩笑,而我们往往还心甘情愿地接受我们看到的假象。其实不止如此,视觉错现象的背后还有一个重要的科学原理——格式塔原理。
格式塔原理解释了人们如何以视觉方式感觉物体,以及图像的结构,视角,大小等要素是如何影响我们的视觉的。
在下面这篇文章中,我们首先会简单介绍一下格式塔原理中的基本概念,
- 线段树-poj1177-N个矩形求边长(离散化+扫描线)
bylijinnan
数据结构算法线段树
package com.ljn.base;
import java.util.Arrays;
import java.util.Comparator;
import java.util.Set;
import java.util.TreeSet;
/**
* POJ 1177 (线段树+离散化+扫描线),题目链接为http://poj.org/problem?id=1177
- HTTP协议详解
chicony
http协议
引言
- Scala设计模式
chenchao051
设计模式scala
Scala设计模式
我的话: 在国外网站上看到一篇文章,里面详细描述了很多设计模式,并且用Java及Scala两种语言描述,清晰的让我们看到各种常规的设计模式,在Scala中是如何在语言特性层面直接支持的。基于文章很nice,我利用今天的空闲时间将其翻译,希望大家能一起学习,讨论。翻译
- 安装mysql
daizj
mysql安装
安装mysql
(1)删除linux上已经安装的mysql相关库信息。rpm -e xxxxxxx --nodeps (强制删除)
执行命令rpm -qa |grep mysql 检查是否删除干净
(2)执行命令 rpm -i MySQL-server-5.5.31-2.el
- HTTP状态码大全
dcj3sjt126com
http状态码
完整的 HTTP 1.1规范说明书来自于RFC 2616,你可以在http://www.talentdigger.cn/home/link.php?url=d3d3LnJmYy1lZGl0b3Iub3JnLw%3D%3D在线查阅。HTTP 1.1的状态码被标记为新特性,因为许多浏览器只支持 HTTP 1.0。你应只把状态码发送给支持 HTTP 1.1的客户端,支持协议版本可以通过调用request
- asihttprequest上传图片
dcj3sjt126com
ASIHTTPRequest
NSURL *url =@"yourURL";
ASIFormDataRequest*currentRequest =[ASIFormDataRequest requestWithURL:url];
[currentRequest setPostFormat:ASIMultipartFormDataPostFormat];[currentRequest se
- C语言中,关键字static的作用
e200702084
C++cC#
在C语言中,关键字static有三个明显的作用:
1)在函数体,局部的static变量。生存期为程序的整个生命周期,(它存活多长时间);作用域却在函数体内(它在什么地方能被访问(空间))。
一个被声明为静态的变量在这一函数被调用过程中维持其值不变。因为它分配在静态存储区,函数调用结束后并不释放单元,但是在其它的作用域的无法访问。当再次调用这个函数时,这个局部的静态变量还存活,而且用在它的访
- win7/8使用curl
geeksun
win7
1. WIN7/8下要使用curl,需要下载curl-7.20.0-win64-ssl-sspi.zip和Win64OpenSSL_Light-1_0_2d.exe。 下载地址:
http://curl.haxx.se/download.html 请选择不带SSL的版本,否则还需要安装SSL的支持包 2. 可以给Windows增加c
- Creating a Shared Repository; Users Sharing The Repository
hongtoushizi
git
转载自:
http://www.gitguys.com/topics/creating-a-shared-repository-users-sharing-the-repository/ Commands discussed in this section:
git init –bare
git clone
git remote
git pull
git p
- Java实现字符串反转的8种或9种方法
Josh_Persistence
异或反转递归反转二分交换反转java字符串反转栈反转
注:对于第7种使用异或的方式来实现字符串的反转,如果不太看得明白的,可以参照另一篇博客:
http://josh-persistence.iteye.com/blog/2205768
/**
*
*/
package com.wsheng.aggregator.algorithm.string;
import java.util.Stack;
/**
- 代码实现任意容量倒水问题
home198979
PHP算法倒水
形象化设计模式实战 HELLO!架构 redis命令源码解析
倒水问题:有两个杯子,一个A升,一个B升,水有无限多,现要求利用这两杯子装C
- Druid datasource
zhb8015
druid
推荐大家使用数据库连接池 DruidDataSource. http://code.alibabatech.com/wiki/display/Druid/DruidDataSource DruidDataSource经过阿里巴巴数百个应用一年多生产环境运行验证,稳定可靠。 它最重要的特点是:监控、扩展和性能。 下载和Maven配置看这里: http
- 两种启动监听器ApplicationListener和ServletContextListener
spjich
javaspring框架
引言:有时候需要在项目初始化的时候进行一系列工作,比如初始化一个线程池,初始化配置文件,初始化缓存等等,这时候就需要用到启动监听器,下面分别介绍一下两种常用的项目启动监听器
ServletContextListener
特点: 依赖于sevlet容器,需要配置web.xml
使用方法:
public class StartListener implements
- JavaScript Rounding Methods of the Math object
何不笑
JavaScriptMath
The next group of methods has to do with rounding decimal values into integers. Three methods — Math.ceil(), Math.floor(), and Math.round() — handle rounding in differen