lewis2016

网络存储集群

网络存储分类：

按网络拓扑分类：

1、DAS：直接附加存储；优点：技术简单、传输速率高；缺点：存储设备与磁盘相互绑定。

2、NAS：网络附加存储；优点：技术相对简单、不要求存储设备直连本机，只需网络访问即可；缺点：存储速率较慢。

3、SAN：存储区域网络；优点：存储安全性较高、存储速率较高；缺点：造价昂贵、技术难度相对较高。

按存储技术分类：

1、块存储（硬盘、U盘等）；优点：可以通过raid/lvm等技术提供保护、可独立使用；缺点：不利于共享。

2、文件存储/网络存储（samba、nfs、ftp）；优点：构建资金较低、可在不同主机之前共享存储；缺点：读写速率低，传输速率慢。

3、对象存储/分布式存储/存储桶（重点是：将元数据和真实数据分别存储多台服务器上）；优点：读写效率高、可在不同主机之间共享存储；缺点：造价昂贵、技术实现难度较高。

常用模式：

1、块存储+DAS：底层技术

2、块存储+NAS

3、块存储+SAN

4、文件存储+NAS：NFS、Samba、ftp

5、对象存储+SAN：MFS、RHCS、ceph等

文件存储之NFS：依赖RPC协议传输

nfs-utils：NFS服务主程序包

rpcbind：centos6和7的RPC主程序包（centos5为portmap）

server端NFS配置：

/etc/exports：nfs配置文件；格式：

NFS共享目录 NFS客户端地址1(参数1,参数2...) NFS客户端地址2(参数1,参数2...) #可以多行表示多个共享

常用参数：

rw：可读写。需要目录权限共同参与

ro：只读

sync：文件同时写入硬盘和内存

async：文件暂存于内存，而不是直接写入内存

no_root_squash：允许root权限

root_squash：将root用户的权限映射为匿名用户权限（nobody或者nfsnobody）

all_squash：所有用户都映射为匿名用户权限（nobody或者nfsnobody）

anonuid：匿名用户的uid

anongid：匿名用户的gid

示例：

server端

~]# yum -y install rpcbind nfs-utils

~]# mkdir -pv /nfs1 /nfs2

~]# chown -R nobody:nobody /nfs1 /nfs2

~]# vim /etc/exports

/nfs1 192.168.0.0/24(rw,no_root_squash,async) 172.20.120.0/24(rw,no_root_squash,async)

/nfs2 172.20.120.0/24(ro,no_root_squash,async)

~]# systemctl restart rpcbind

~]# systemctl restart nfs

clinet端

~]# yum -y install nfs-utils

~]# showmount -e 172.20.120.182

~]# mkdir -pv /tmp/nfs[1,2]

~]# mount -t nfs 172.20.120.182:/nfs1 /tmp/nfs1

~]# mount -t nfs 172.20.120.182:/nfs2 /tmp/nfs2

分布式存储之MFS（MooseFS）：一个具备冗余容错功能的分布式网络文件系统。

特性：

缺点：

MFS组件说明：

1、master（managin server）：分发用户请求和存储元数据

2、metalogger（metadata backup servers）：备份master变化的metadata信息日志文件

3、data（chunk server）：存储数据文件实体

4、client（client server）：挂载并使用mfs文件系统的客户端；需要系统支持fuse

master主配置文件：mfsmaster.cfg

示例：1台master，1台metalogger，2台data，1台client

此处示例为moosefs-3.0.84；下载地址：https://github.com/moosefs/moosefs/releases/tag/v3.0.84

master设置：

~]# tar xvf moosefs-3.0.84.tar.gz -C /usr/local/

~]# cd /usr/local/moosefs-3.0.84/

moosefs-3.0.84]# useradd -s /sbin/nologin -M mfs

moosefs-3.0.84]# yum -y groupinstall "Development Tools"

moosefs-3.0.84]# yum -y install zlib-devel

moosefs-3.0.84]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

moosefs-3.0.84]# make && make install

moosefs-3.0.84]# chown -R mfs:mfs /usr/local/mfs/

moosefs-3.0.84]# ln -sv /usr/local/mfs/bin/mfscli /usr/local/bin/

moosefs-3.0.84]# ln -sv /usr/local/mfs/sbin/* /usr/local/sbin/

~]# cp -a /usr/local/mfs/etc/mfs/mfsmaster.cfg.sample /usr/local/mfs/etc/mfs/mfsmaster.cfg

~]# cp -a /usr/local/mfs/etc/mfs/mfsexports.cfg.sample /usr/local/mfs/etc/mfs/mfsexports.cfg

~]# vim /usr/local/mfs/etc/mfs/mfsexports.cfg

172.20.120.0/24 . rw,alldirs,maproot=0 #设置MFS挂载权限

~]# cp /usr/local/mfs/var/mfs/metadata.mfs.empty /usr/local/mfs/var/mfs/metadata.mfs #初始化MFS元数据信息文件

可选服务（mfscgiserv）：在端口9425开启web监控页面；可用zabbix调用

设置开机自启：

~]# systemctl start moosefs-master moosefs-cgiserv #启动MFS-master服务和mfscgiserv服务

~]# systemctl enable moosefs-master moosefs-cgiserv

附录：centos7 system脚本制作：moosefs-master.service

~]# vim /usr/lib/systemd/system/moosefs-master.service

[Unit]

Description=MooseFS Master server

Wants=network-online.target

After=network.target network-online.target

[Service]

Type=forking

ExecStart=/usr/local/mfs/sbin/mfsmaster -a

ExecStop=/usr/local/mfs/sbin/mfsmaster stop

ExecReload=/usr/local/mfs/sbin/mfsmaster reload

PIDFile=/usr/local/mfs/var/mfs/.mfsmaster.lock

TimeoutStopSec=1800

TimeoutStartSec=1800

Restart=no

[Install]

WantedBy=multi-user.target

附录：centos7 system脚本制作：moosefs-cgiserv.service

~]# vim /usr/lib/systemd/system/moosefs-cgiserv.service

[Unit]

Description=MooseFS CGI server

Wants=network-online.target

After=network.target network-online.target

[Service]

Type=forking

ExecStart=/usr/local/mfs/sbin/mfscgiserv start

ExecStop=/usr/local/mfs/sbin/mfscgiserv stop

PIDFile=/usr/local/mfs/var/mfs/.mfscgiserv.lock

Restart=on-abnormal

[Install]

WantedBy=multi-user.target

metalogger设置：

~]# tar xvf moosefs-3.0.84.tar.gz -C /usr/local/

~]# cd /usr/local/moosefs-3.0.84/

moosefs-3.0.84]# useradd -s /sbin/nologin -M mfs

moosefs-3.0.84]# yum -y groupinstall "Development Tools"

moosefs-3.0.84]# yum -y install zlib-devel

moosefs-3.0.84]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

moosefs-3.0.84]# make && make install

moosefs-3.0.84]# chown -R mfs:mfs /usr/local/mfs/

moosefs-3.0.84]# ln -sv /usr/local/mfs/bin/mfscli /usr/local/bin/

moosefs-3.0.84]# ln -sv /usr/local/mfs/sbin/* /usr/local/sbin/

moosefs-3.0.84]# cp -a /usr/local/mfs/etc/mfs/mfsmetalogger.cfg.sample /usr/local/mfs/etc/mfs/mfsmetalogger.cfg

moosefs-3.0.84]# vim /usr/local/mfs/etc/mfs/mfsmetalogger.cfg

META_DOWNLOAD_FREQ = 2 #设置完整同步间隔为2小时

MASTER_HOST = 172.20.120.187 #设置master服务器ip地址

moosefs-3.0.84]# systemctl start moosefs-metalogger #启动服务并开机自启

moosefs-3.0.84]# systemctl enable moosefs-metalogger

moosefs-3.0.84]# lsof -i :9419 #验证是否跟master联系

moosefs-3.0.84]# ls /usr/local/mfs/var/mfs/ #查看元数据信息是否已同步

附录：centos7 system脚本制作：moosefs-metalogger.service

~]# vim /usr/lib/systemd/system/moosefs-metalogger.service

[Unit]

Description=MooseFS Metalogger server

Wants=network-online.target

After=network.target network-online.target

[Service]

Type=forking

ExecStart=/usr/local/mfs/sbin/mfsmetalogger start

ExecStop=/usr/local/mfs/sbin/mfsmetalogger stop

ExecReload=/usr/local/mfs/sbin/mfsmetalogger reload

PIDFile=/usr/local/mfs/var/mfs/.mfsmetalogger.lock

Restart=on-abnormal

[Install]

WantedBy=multi-user.target

chunk server设置：

准备共享的设备，此处为独立的硬盘

~]# mkfs.xfs /dev/vdb1

~]# mkdir -pv /mfs

~]# mount /dev/vdb1 /mfs

~]# chown -R mfs:mfs /mfs

~]# vim /etc/fstab #设置开机挂载

/dev/vdb1 /mfs xfs defaults 0 0

安装配置

~]# tar xvf moosefs-3.0.84.tar.gz -C /usr/local/

~]# cd /usr/local/moosefs-3.0.84/

moosefs-3.0.84]# useradd -s /sbin/nologin -M mfs

moosefs-3.0.84]# yum -y groupinstall "Development Tools"

moosefs-3.0.84]# yum -y install zlib-devel

moosefs-3.0.84]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

moosefs-3.0.84]# make && make install

moosefs-3.0.84]# chown -R mfs:mfs /usr/local/mfs/

moosefs-3.0.84]# ln -sv /usr/local/mfs/bin/mfscli /usr/local/bin/

moosefs-3.0.84]# ln -sv /usr/local/mfs/sbin/* /usr/local/sbin/

moosefs-3.0.84]# cp -a /usr/local/mfs/etc/mfs/mfschunkserver.cfg.sample /usr/local/mfs/etc/mfs/mfschunkserver.cfg

moosefs-3.0.84]# vim /usr/local/mfs/etc/mfs/mfschunkserver.cfg

MASTER_HOST = 172.20.120.187 #指定master服务器ip

HDD_CONF_FILENAME = /usr/local/mfs/etc/mfs/mfshdd.cfg

moosefs-3.0.84]# cp -a /usr/local/mfs/etc/mfs/mfshdd.cfg.sample /usr/local/mfs/etc/mfs/mfshdd.cfg

moosefs-3.0.84]# vim /usr/local/mfs/etc/mfs/mfshdd.cfg

/mfs #指定共享设备

~]# systemctl start moosefs-chunkserver #启动服务并开机自启

~]# systemctl enable moosefs-chunkserver

附录：centos7 system脚本制作：moosefs-chunkserver.service

~]# vim /usr/lib/systemd/system/moosefs-chunkserver.service

[Unit]

Description=MooseFS Chunkserver

Wants=network-online.target

After=network.target network-online.target

[Service]

Type=forking

ExecStart=/usr/local/mfs/sbin/mfschunkserver start

ExecStop=/usr/local/mfs/sbin/mfschunkserver stop

ExecReload=/usr/local/mfs/sbin/mfschunkserver reload

PIDFile=/usr/local/mfs/var/mfs/.mfschunkserver.lock

Restart=on-abnormal

[Install]

WantedBy=multi-user.target

clinet端设置

~]# yum -y install fuse fuse-libs fuse-devel #安装fuse

~]# tar xvf moosefs-3.0.84.tar.gz -C /usr/local/

~]# cd /usr/local/moosefs-3.0.84/

moosefs-3.0.84]# useradd -s /sbin/nologin -M mfs

moosefs-3.0.84]# yum -y groupinstall "Development Tools"

moosefs-3.0.84]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster --disable-mfschunkserver

moosefs-3.0.84]# make && make install

moosefs-3.0.84]# chown -R mfs:mfs /usr/local/mfs/

moosefs-3.0.84]# ln -sv /usr/local/mfs/bin/* /usr/local/bin/

moosefs-3.0.84]# ln -sv /usr/local/mfs/sbin/* /usr/local/sbin/

创建并挂载

~]# mkdir -pv /mfs

~]# mfsmount /mfs/ -H 172.20.120.187

~]# chown -R mfs:mfs /mfs

~]# vim /mfs/1.txt

~]# mfsfileinfo /mfs/1.txt #查看文件信息

开机自动挂载

~]# vim /etc/rc.d/rc.local

/usr/local/bin/mfsmount /mfs -H 172.20.120.187

~]# chmod a+x /etc/rc.d/rc.local

MFS维护操作：

1、在trashtime时间内恢复误删除的文件：（默认误删可恢复时长为1天）

~]# mkdir -pv /mfsback

~]# chown -R mfs:mfs /mfsback

~]# mfsmount -m /mfsback/ -H 172.20.120.187

~]# find /mfsback/ -name "*2.txt" #前提是知道误删文件的名称，此处定位该文件

~]# mv /mfsback/trash/009/00000009\|2.txt /mfsback/trash/undel/

2、快照功能：

~]# mkdir -pv /mfs/mfssnap #要求跟源文件在同一设备上

~]# chown -R mfs:mfs /mfs/mfssnap/

~]# mfsmakesnapshot /mfs/2.txt /mfs/mfssnap/

3、冗余goal设置（默认为2）

~]# mfssetgoal 1 /mfs/1.txt #设置1.txt副本数为1

~]# mfsgetgoal /mfs/1.txt #查看验证

~]# mfsfileinfo /mfs/1.txt

4、还原master

重构master环境（省略）

metalogger端将数据传输到master：

~]# scp /usr/local/mfs/var/mfs/* [email protected]:/usr/local/mfs/var/mfs/

master端恢复和启动：（恢复数据需一定时长）

~]# mfsmaster -a

5、高可用master服务器

块存储之ISCSI：

跟文件文件系统的区别：1、提供块存储；2、传输iscsi指令，效率更高

iSCSI技术在工作形式上分为服务端（target）与客户端（initiator）。

1、iSCSI服务端即用于存放硬盘存储资源的服务器，它作为前面创建的RAID磁盘阵列的存储端，能够为用户提供可用的存储资。

2、iSCSI客户端则是用户使用的软件，用于访问远程服务端的存储资源。

服务端设置：

1、准备共享用的块设备（可以使磁盘、分区、逻辑卷）；此处示例为/dev/vdc1分区

2、安装配置target端

~]# yum -y install scsi-target-utils

~]# vim /etc/tgt/conf.d/test.conf 通过配置文件持久化配置

#配置共享磁盘

vendor_id hbzh #配置发行商（任意）

lun 1 #配置LUN号

incominguser iscsiuser iscsiuser #配置认证的用户名和密码

initiator-address 172.20.120.0/24 #配置允许的网段

~]# systemctl start tgtd

~]# systemctl enable tgtd

~]# tgtadm -L iscsi -o show -m target #查验配置

客户端设置：

~]# yum -y install iscsi-initiator-utils

~]# vim /etc/iscsi/iscsid.conf

node.session.auth.username = iscsiuser #输入服务器端设置的用户密码

node.session.auth.password = iscsiuser

~]# iscsiadm -m discovery -t st -p 172.20.120.184 #执行发现操作

~]# iscsiadm -m node -T iqn.2020-01.com.nice.www:iscsi.sda --login #登录操作

~]# fdisk -l #查看新增的硬盘信息

后续按操作实体硬盘操作即可（格式化、挂载、使用）

开机自动挂载

~]# vim /etc/fstab

/dev/sda1 /tmp/iscsi xfs _netdev 0 0

~]# systemctl start iscsi

~]# systemctl enable iscsi

你可能感兴趣的:(网络存储,linux运维学习笔记)

数据传输协议概览：从NFS和iSCSI到SFTP和HTTP Lyle_Tu Linux 云计算运维网络协议服务器运维
在当今的数字化世界中，数据的快速、安全传输比以往任何时候都更为重要。无论是在企业数据中心还是在云环境中，选择合适的数据传输协议对于确保数据完整性、提高性能和保障安全至关重要。本文将探讨几种常用的数据传输协议，包括它们的工作原理、优缺点以及适用场景。NFS和iSCSI：网络存储的基石NFS(NetworkFileSystem)是一种允许网络中的计算机通过TCP/IP网络共享文件资源的协议。NFS的主
艺术市场如何从区块链中受益？九卿逸墨
《中国美术报》第115期艺术财富艺术市场如何从区块链中受益？□ 永琰什么是区块链？“神通广大”的区块链到底是什么？其实，区块链技术是一种分散式数据库，它通过对等网络存储使用者的资产登记和交易信息，而且交易记录是通过密码被安全保护的，时间一过，交易记录会被封存在数据库里。这就创建了一个不可改变也不会丢失的记录。2008年，日裔美国人中本聪首次提出区块链的概念，其本质是一个去中心化的数据库。2009年
2022-12-28-PV和PVC简介、使用案例，动静态挂载； DGFM
PV/PVC简介PV：PersistentVolumePVC：PersistentVolumeClaim用于实现pod和storage的解耦，这样我们在修改存储的同时，不需要修改pod。与NFS的区别，可以在PV和PVC的层面上实现对存储服务器的空间分配，存储权限管理等。kubernetes在1.0版时开始支持PV和PVC。PV：是集群中由kubernetes管理员配置的一个网络存储，一个集群中的
centos7挂载nas存储_CentOS7搭建NAS文件共享存储 weixin_39612023 centos7挂载nas存储
概述：NFS是一种基于TCP/IP传输的网络文件系统协议，最初由SUN公司开发。通过NFS协议，客户机可以像访问本地目录一样访问远程服务器中的共享资源。NFS得到了如NAS等网络存储的设备极好支持。也是LVS共享存储的首选。环境：CentOS7.8x64一、安装服务端安装nfs-utils、rcpbind软件包；yum-yinstallnfs-utilsrpcbind二、通过nfs协议配置nas1
（新人免费)使用函数计算FC云端部署Stable Diffusion丨阿里云 weixin_45597589 #stable diffusion部署专题 stable diffusion专题云计算 stable diffusion
使用函数计算FC云端部署StableDiffusion丨阿里云开通前置服务1.函数计算FC作用：代码层面实现SD以及调用云端的显卡、CPU进行计算点击立即使用，按照提示支付宝扫码、认证2.文件存储NARS作用：网络存储，云端调用SD模型和扩展由于上一步已经认证过了，这一步直接点击立即试用即可创建应用进入函数计算FC页面，点击管理控制台弹出窗口中点击创建>同意授权右侧工具栏>应用>AI数字绘画sta
给朋友分享超大文件，有没有省时高效的办法？ xiaofeixia688 大文件传输超大附件异地传输
想给外地朋友发送7个G的文件，注册了好几个网盘，体验略坑爹：要么是文件因为太大还无法上传，要么上传速度超级慢……分享给异地或国外的朋友几个G的文件时，用什么办法是省时高效的？身边不少朋友都遇到过这种困扰。现在拆解一下这个问题，找下解决方法。网络文件分享，尤其是超大文件网络分享，需要解决两个问题：网络存储和共享访问。网络存储又有两个问题——存储空间的大小和文件高速上传。一般的网盘的存储都会限制空间大
docker-学习-4 不冤不乐 docker学习 docker 学习 eureka
docker学习第四天docker学习第四天1.回顾1.1.容器的网络类型1.2.容器的本质1.3.数据的持久化1.4.看有哪些卷1.5.看卷的详细信息2.如何做多台宿主机里的多个容器之间的数据共享2.1.概念2.2.搭NFS服务器+实现多个容器之间的数据共享的详细步骤2.3.如果是多台机器，背后需要使用nfs、NAS、SAN、云存储等网络存储解决2.3.1.数据一致性的解决方案↓2.3.2.nf
响应式编程——R2DBC weixin_50458070 java
Web、网络、IO（存储）、中间件（Redis、MySQL）应用开发：网络存储：MySQL、RedisWeb：Webflux前端；后端：Controller--Service--Dao（r2dbc；mysql）数据库：导入驱动；以前：JDBC（jdbc、各大驱动mysql-connector）；现在：r2dbc（r2dbc-spi、各大驱动r2dbc-mysql）驱动：获取连接发送SQL、执行封装
简述云原生基础定义及关键技术蚊子不吸吸云原生 Kubernetes Docker 云原生 linux 运维 docker kubernetes k8s cloud native
云原生是什么云原生是面向“云”而设计的应用，因此技术部分依赖于传统云计算的3层概念，基础设施即服务（IaaS）、平台即服务（PaaS）和软件即服务（SaaS）。例如，敏捷的不可变基础设施交付类似于IaaS，用来提供计算网络存储等基础资源，这些资源是可编程且不可变的，直接通过API可以对外提供服务；有些应用通过PaaS服务本来就能组合成不同的业务能力，不一定需要从头开始建设；还有一些软件只需要“云”
软考系分之计算机网络规划设计、综合布线、RAID和网络存储等说来世事不如闲~ 计算机网络网络
文章目录1、概要2、网络的三层模型3、综合布线系统4、廉价磁盘冗余阵列（RAID）5、网络存储6、总结1、概要本篇重点介绍计算机网络中的网络规划设计、综合布线、RAID和网络存储。2、网络的三层模型三层模型分为核心层、汇聚层和接入层，接入层主要负责用户接入相关事宜，汇聚层主要负责用户接入后到核心业务之间的负载路由等等，核心层主要负责互联网不同业务之间高速的数据传送。3、综合布线系统综合
【实战】K8S部署Redis集群代理Predixy 小沈同学呀 Kubernetes kubernetes redis 容器
文章目录前言技术积累为什么要在redis集群前面加个predixy代理？这样做的好处有哪些？常用代理配置网络存储实战构建predixy镜像并部署下载predixy源码编译构建镜像创建K8S配置文件predixy-configmap并执行网络储存PV与PVC部署predixy-deployment测试代理效果写在最后前言部署在K8S中的redis可以在集群内通过服务名访问，这个我们前面博文K8SHe
Linux运维学习笔记我是六月生运维 linux 学习
导航此笔记为学习https://www.bilibili.com/video/BV1nW411L7xm/?vd_source=3f851e85e66ef33269a2eefee664cec2的学习记录，希望能找到运维的实习吖Ｏ(≧▽≦)Ｏ文章目录导航Linux的终端终端组成部分Linux关机命令使用VMware备份操作系统快照克隆Linux系统的文件文件与文件夹Linux系统的文件目录结构Linu
linux运维学习笔记：集群系列之01：linux集群基础概念周少言
linux运维学习笔记：集群系列之01：linux集群基础概念作者：周少言2018年1月，于北京声明：本博客是本人周少言在某培训机构学习期间所写，其中参考借鉴了他人的博客，本文将会选择性给出相关链接，如有侵权，恳请告知。本文如有错误，恳请告知，欢迎交流。参考连接一、集群的类型：1、scaleon:向上扩展意思就是将我们的服务器的内存容量调大和cpu数量增加些.缺点:在一定的范围之内它的性能是上升的
（二十）Kubernetes系列之存储(网络存储卷(StorageClass)) 调试大师云计算 #Kubernetes 服务器 linux 运维
通过手动创建固定大小的方式创建pv有很多的限制，和开发人员创建的pvc需求资源匹配的上，为了解决这个问题可以通过使用StorageClass来动态PV。1.安装存储插件1.1.创建存储插件模板vinfs-client-provisioner.yml内容如下：1.2.根据模板创建存储插件kubectlapply-fnfs-client-provisioner.yml1.3为存储插件分配集群操作权限1
从0开始深入理解并发、线程与等待通知机制 liushaojiax java
基础概念在正式学习Java的并发编程之前，还有几个并发编程的基础概念我们需要熟悉和学习。进程和线程进程我们常听说的是应用程序，也就是app，由指令和数据组成。但是当我们不运行一个具体的app时，这些应用程序就是放在磁盘（也包括U盘、远程网络存储等等）上的一些二进制的代码。一旦我们运行这些应用程序，指令要运行，数据要读写，就必须将指令加载至CPU，数据加载至内存。在指令运行过程中还需要用到磁盘、网络
Clickhouse: One table to rule them all! 量化风云量化交易 clickhouse quant python
前面几篇笔记我们讨论了存储海量行情数据的个人技术方案。它们之所以被称之为个人方案，并不是因为性能弱，而是指在这些方案中，数据都存储在本地，也只适合单机查询。数据源很贵–在这个冬天，我们已经听说，某些上了规模的机构，也在让员工共享万得账号了。所以，共享网络存储，从而只需要一个数据账号，就成为合理的需求。更不必说，集中管理才可能让IT来进行数据维护，而分析师只需要专注于策略就好。那些以讹传讹的解决方案
SharedPreferences存储数据鴻9527
Android的存储方式使用SharedPreferences存储数据文件存储数据SQLite数据库存储数据使用ContentProvider存储数据网络存储数据SharedPreferences是一个采用Key/value的方式存储轻量级数据的接口。轻量级的数据存储方式采用Key/value的方式进行映射SharedPreferences的简单使用初始化SharedPreferences/***
Oracle 21c部署 in Docker itachi-uchiha 数据库 oracle docker 数据库
目录#热分配新硬盘#拉取镜像#启动数据库访问Oracle数据库本环境的用途为开发测试环境；所以，分配给Oracle的资源相对较低；如果在生产环境下，请提前规范分配的CPU、内存、IO、磁盘（本地磁盘or网络存储、磁盘空间大小）；本案例通过dockerrun启动容器，当然也可以通过docker-compose、kubernetes等平台启动管理。#热分配新硬盘#手动扫描新硬盘echo"---">/s
Linux学习之网络编程2（socket，简单C/S模型） _snowstorm_ #Linux网络编程 Linux linux 学习网络 Linux网络编程套接字socket
写在前面Linux网络编程我是看视频学的，Linux网络编程，看完这个视频大概网络编程的基础差不多就掌握了。这个系列是我看这个Linux网络编程视频写的笔记总结。网络字节序小端法：pc本地存储，高位存高地址，低位存低地址。大端法：网络存储，高位存低地址，低位存高地址。由此我们看到本地和网络的存储方式不一样，所以每次建立连接都要转换，下面我来介绍一些关于大端法和小端法的转换函数。htonl：本地——
nas系统盘制作（群晖）云边的快乐猫软件操作计算机底层操作 h群晖 nas 系统盘 Rufus GitHub
目录一、前言二、制作系统盘（一）下载镜像（二）下载U盘刷写工具三、资料获取一、前言群晖系统是使用比较多的nas系统。现在主要使用的是7版本的系统。h群晖是指“h群晖NAS”（HackintoshNAS）系统，它是由h苹果社区开发的一种非官方的SynologyDSM（DiskStationManager）操作系统。SynologyDSM是Synology公司为其网络存储设备（NAS）开发的操作系统，
k8s存储卷林凡修 kubernetes
文章目录简介emptyDir存储卷hostPath存储卷网络存储卷NFS存储卷PV和PVCPV和PVC介绍PV生命周期静态PVPVCPVC使用动态PVStorageClassNFSStorageClassPV动态预配简介存储卷是定义在Pod之上的可被其内部所有容器挂载是使用的共享目录，该目录实际上是宿主机或外部存储设备之上的存储空间，可以被Pod内的多个容器挂载使用。存储卷独立与Pod的生命周期，
multipath 内核接口及框架介绍内核新视界 linux linux 云主机存储 multipath
文章目录1云主机使用网络存储io流程2multipath介绍1云主机使用网络存储io流程对于一个云服务环境，大致会有网络节点，存储节点，计算节点，控制节点，其中虚拟云主机在计算节点工作，而虚拟云主机（qemu虚机）使用的存储一般通过ceph，drbd，mulitpch，iscsi使其在存储节点存储。（1）计算节点云主机访问本地/dev/vda，/dev/vdb…块设备，实际访问的是dm-mulit
《Linux高性能服务器编程》学习笔记-----服务器程序架构 coolhuhu~ 网络编程 cpp 服务器 linux 开发语言 c++
服务器程序架构服务器编程基本框架服务器程序的基本框架如上图所示，上图既能表示一台服务器，也能表示一个服务器集群。其中各模块的含义和功能如下表所示。模块单个服务器程序服务器集群I/O处理单元处理客户连接，读写网络数据作为接入服务器，实现负载均衡逻辑单元业务进程或线程逻辑服务器请求队列各单元之间的通信方式各服务器之间的永久TCP连接网络存储单元本地数据库、文件或缓存数据库服务器I/O模型I/O模型指的
ceph存储 MoonSoin 云原生 k8s ceph windows 云原生
ceph一.存储分类1.本地存储的文件系统ext3ext4efsntfs2.网络存储nfs网络文件系统hdfs分布式网络文件系统glusterfs分布式网络文件系统3.传统存储(1).DASSAS,SATA,SCSI,IDE,USB,无论是那种接口,都是存储设备驱动下的磁盘设备,而磁盘设备其实就是一种存储,这种存储是直接接入主板总线上去的(2).NASNFS,CIFS,FTP,几乎所有的网线存储设
NFS网络存储服务深入知识慕男
NFS共享参数参数作用rw读写权限ro只读权限sync同时将数据写入到内存于硬盘中，保证不丢失数据async优先将数据保存到内存，然后再写入硬盘；这样效率更高，但可能会丢失数据root_squash当NFS客户端以root管理员访问时，映射为NFS服务器的匿名用户（不常用）no_root_squash当NFS客户端以root管理员访问时，均映射为NFS的服务器的root管理员（管理员）all_sq
PV、PVC、StorageClass、Provisioner的职责是什么 lnsyyj
以下是PV（PersistentVolume）、PVC（PersistentVolumeClaim）、StorageClass和Provisioner在Kubernetes中的职责：PersistentVolume（PV）：PV是Kubernetes中抽象的存储资源。它表示集群中的一部分存储，可以是物理存储、网络存储、云存储等。PV独立于Pod和容器，并且可以在多个Pod之间共享。PV的职责是提供
群晖DS916+加密数据恢复案例分析鸿萌数据安全程序人生 linux 安全
DS916+近日，深圳客户翟先生将他的群晖DS916+网络存储发到了鸿萌数据安全中心，设备数据丢失故障详情如下：设备内原来是4块8T酷狼硬盘，组的RAID5磁盘阵列，因为资料日益增多，空间告急。翟先生就又买了4块16T企业级硬盘。他将群晖内的一块8T取出来，插入一块16T，设备按照RAID5阵列技术进行了数据同步，同步完成后，又换了另一块16T，到目前为止，同步了两块16T，当时可能有些迷糊，客户
k8s集群内部署nexus Apex Predator nexus kubernetes 容器云原生
一、前言在k8s集群中部署nexus服务需要使用到pv、pvc服务来存储nexus的数据，需要使用service服务来提供对外访问nexus服务的端口，需要使用deployment服务来管理nexus服务，接下来就是用这些服务来在k8s集群中搭建nexus，pv服务使用了nfs网络存储并且部署的是3.28.0版本的neuxs，如需其他版本自行更改镜像版本二、部署创建yaml文件存放目录mkdir/
网络存储NFS 运维螺丝钉网络
NFS概述NFS是一种基于TCP/IP传输的网络文件系统协议。通过使用NFS协议，客户机可以像访问本地目录一样访问远程服务器中的共享资源。NAS存储:NFS服务的实现依赖于RPC(RemoteProcessCall，远端过程调用)机制，以完成远程到本地的映射过程。NFS的文件传输NFS这个服务器的端口开在2049,但由于文件系统非常复杂。因此NFS还有其他的程序去启动额外的端口，这些额外的用来传输
云原生Kubernetes系列 | Docker/Kubernetes的卷管理降世神童云原生技术专栏云原生 kubernetes docker
云原生Kubernetes系列|Docker/Kubernetes的卷管理1.Docker卷管理2.Kubernetes卷管理2.1.本地存储2.1.1.emptyDir2.1.2.hostPath2.2.网络存储2.2.1.使用NFS2.2.2.使用ISCSI2.3.持久化存储2.3.1.PV和PVC2.3.2.访问模式2.3.3.回收策略1.Docker卷管理
Linux的Initrd机制被触发 linux
Linux 的 initrd 技术是一个非常普遍使用的机制，linux2.6 内核的 initrd 的文件格式由原来的文件系统镜像文件转变成了 cpio 格式，变化不仅反映在文件格式上， linux 内核对这两种格式的 initrd 的处理有着截然的不同。本文首先介绍了什么是 initrd 技术，然后分别介绍了 Linux2.4 内核和 2.6 内核的 initrd 的处理流程。最后通过对 Lin
maven本地仓库路径修改 bitcarter maven
默认maven本地仓库路径：C:\Users\Administrator\.m2 修改maven本地仓库路径方法： 1.打开E:\maven\apache-maven-2.2.1\conf\settings.xml 2.找到
XSD和XML中的命名空间 darrenzhu xml xsd schema namespace 命名空间
http://www.360doc.com/content/12/0418/10/9437165_204585479.shtml http://blog.csdn.net/wanghuan203/article/details/9203621 http://blog.csdn.net/wanghuan203/article/details/9204337 http://www.cn
Java 求素数运算周凡杨 java 算法素数
网络上对求素数之解数不胜数，我在此总结归纳一下，同时对一些编码，加以改进，效率有成倍热提高。第一种：原理: 6N(+-)1法任何一个自然数，总可以表示成为如下的形式之一： 6N，6N+1，6N+2，6N+3，6N+4，6N+5 (N=0，1，2，…)
java 单例模式 g21121 java
想必单例模式大家都不会陌生，有如下两种方式来实现单例模式： class Singleton { private static Singleton instance=new Singleton(); private Singleton(){} static Singleton getInstance() { return instance; }
Linux下Mysql源码安装 510888780 mysql
1.假设已经有mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz (1)创建mysql的安装目录及数据库存放目录解压缩下载的源码包，目录结构，特殊指定的目录除外：
32位和64位操作系统墙头上一根草 32位和64位操作系统
32位和64位操作系统是指：CPU一次处理数据的能力是32位还是64位。现在市场上的CPU一般都是64位的，但是这些CPU并不是真正意义上的64 位CPU，里面依然保留了大部分32位的技术，只是进行了部分64位的改进。32位和64位的区别还涉及了内存的寻址方面，32位系统的最大寻址空间是2 的32次方= 4294967296（bit）= 4（GB）左右，而64位系统的最大寻址空间的寻址空间则达到了
我的spring学习笔记10-轻量级_Spring框架 aijuans Spring 3
一、问题提问： → 请简单介绍一下什么是轻量级？轻量级（Leightweight）是相对于一些重量级的容器来说的，比如Spring的核心是一个轻量级的容器，Spring的核心包在文件容量上只有不到1M大小，使用Spring核心包所需要的资源也是很少的，您甚至可以在小型设备中使用Spring。
mongodb 环境搭建及简单CURD antlove Web Install curd NoSQL mongo
一搭建mongodb环境 1. 在mongo官网下载mongodb 2. 在本地创建目录 "D:\Program Files\mongodb-win32-i386-2.6.4\data\db" 3. 运行mongodb服务 [mongod.exe --dbpath "D:\Program Files\mongodb-win32-i386-2.6.4\data\
数据字典和动态视图百合不是茶 oracle 数据字典动态视图系统和对象权限
数据字典（data dictionary）是 Oracle 数据库的一个重要组成部分，这是一组用于记录数据库信息的只读（read-only）表。随着数据库的启动而启动,数据库关闭时数据字典也关闭数据字典中包含数据库中所有方案对象（schema object）的定义(包括表，视图，索引，簇，同义词，序列，过程，函数，包，触发器等等) 数据库为一
多线程编程一般规则 bijian1013 java thread 多线程 java多线程
如果两个工两个以上的线程都修改一个对象，那么把执行修改的方法定义为被同步的，如果对象更新影响到只读方法，那么只读方法也要定义成同步的。不要滥用同步。如果在一个对象内的不同的方法访问的不是同一个数据，就不要将方法设置为synchronized的。
将文件或目录拷贝到另一个Linux系统的命令scp bijian1013 linux unix scp
一.功能说明 scp就是security copy，用于将文件或者目录从一个Linux系统拷贝到另一个Linux系统下。scp传输数据用的是SSH协议，保证了数据传输的安全，其格式如下： scp 远程用户名@IP地址：文件的绝对路径
【持久化框架MyBatis3五】MyBatis3一对多关联查询 bit1129 Mybatis3
以教员和课程为例介绍一对多关联关系，在这里认为一个教员可以叫多门课程，而一门课程只有1个教员教，这种关系在实际中不太常见，通过教员和课程是多对多的关系。示例数据：地址表： CREATE TABLE ADDRESSES ( ADDR_ID INT(11) NOT NULL AUTO_INCREMENT, STREET VAR
cookie状态判断引发的查找问题 bitcarter form cgi
先说一下我们的业务背景： 1.前台将图片和文本通过form表单提交到后台，图片我们都做了base64的编码，并且前台图片进行了压缩 2.form中action是一个cgi服务 3.后台cgi服务同时供PC，H5，APP 4.后台cgi中调用公共的cookie状态判断方法（公共的，大家都用，几年了没有问题）问题：（折腾两天。。。。） 1.PC端cgi服务正常调用，cookie判断没
通过Nginx,Tomcat访问日志(access log)记录请求耗时 ronin47
一、Nginx通过$upstream_response_time $request_time统计请求和后台服务响应时间 nginx.conf使用配置方式： log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_r
java-67- n个骰子的点数。把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。 bylijinnan java
public class ProbabilityOfDice { /** * Q67 n个骰子的点数 * 把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。 * 在以下求解过程中，我们把骰子看作是有序的。 * 例如当n=2时，我们认为（1，2）和（2，1）是两种不同的情况 */ private stati
看别人的博客，觉得心情很好 Cb123456 博客心情
以为写博客，就是总结，就和日记一样吧，同时也在督促自己。今天看了好长时间博客: 职业规划: http://www.iteye.com/blogs/subjects/zhiyeguihua android学习: 1.http://byandby.i
[JWFD开源工作流]尝试用原生代码引擎实现循环反馈拓扑分析 comsci 工作流
我们已经不满足于仅仅跳跃一次，通过对引擎的升级，今天我测试了一下循环反馈模式，大概跑了200圈，引擎报一个溢出错误在一个流程图的结束节点中嵌入一段方程，每次引擎运行到这个节点的时候，通过实时编译器GM模块，计算这个方程，计算结果与预设值进行比较，符合条件则跳跃到开始节点，继续新一轮拓扑分析，直到遇到
JS常用的事件及方法 cwqcwqmax9 js
事件描述 onactivate 当对象设置为活动元素时触发。 onafterupdate 当成功更新数据源对象中的关联对象后在数据绑定对象上触发。 onbeforeactivate 对象要被设置为当前元素前立即触发。 onbeforecut 当选中区从文档中删除之前在源对象触发。 onbeforedeactivate 在 activeElement 从当前对象变为父文档其它对象之前立即
正则表达式验证日期格式 dashuaifu 正则表达式 IT其它 java其它
正则表达式验证日期格式 function isDate(d){ var v = d.match(/^(\d{4})-(\d{1,2})-(\d{1,2})$/i); if(!v) { this.focus(); return false; } } <input value="2000-8-8" onblu
Yii CModel.rules() 方法、validate预定义完整列表、以及说说验证 dcj3sjt126com yii
public array rules () {return} array 要调用 validate() 时应用的有效性规则。返回属性的有效性规则。声明验证规则，应重写此方法。每个规则是数组具有以下结构：array('attribute list', 'validator name', 'on'=>'scenario name', ...validation
UITextAttributeTextColor = deprecated in iOS 7.0 dcj3sjt126com ios
In this lesson we used the key "UITextAttributeTextColor" to change the color of the UINavigationBar appearance to white. This prompts a warning "first deprecated in iOS 7.0." Ins
判断一个数是质数的几种方法 EmmaZhao Math python
质数也叫素数，是只能被1和它本身整除的正整数，最小的质数是2，目前发现的最大的质数是p=2^57885161-1【注1】。判断一个数是质数的最简单的方法如下： def isPrime1(n): for i in range(2, n): if n % i == 0: return False return True 但是在上面的方法中有一些冗余的计算，所以
SpringSecurity工作原理小解读坏我一锅粥 SpringSecurity
SecurityContextPersistenceFilter ConcurrentSessionFilter WebAsyncManagerIntegrationFilter HeaderWriterFilter CsrfFilter LogoutFilter Use
JS实现自适应宽度的Tag切换 ini JavaScript html Web css html5
效果体验：http://hovertree.com/texiao/js/3.htm 该效果使用纯JavaScript代码，实现TAB页切换效果，TAB标签根据内容自适应宽度，点击TAB标签切换内容页。 HTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"
Hbase Rest API : 数据查询 kane_xie REST hbase
hbase（hadoop）是用java编写的，有些语言（例如python）能够对它提供良好的支持，但也有很多语言使用起来并不是那么方便，比如c#只能通过thrift访问。Rest就能很好的解决这个问题。Hbase的org.apache.hadoop.hbase.rest包提供了rest接口，它内嵌了jetty作为servlet容器。启动命令：./bin/hbase rest s
JQuery实现鼠标拖动元素移动位置（源码+注释）明子健 jquery js 源码拖动鼠标
欢迎讨论指正！ print.html代码： <!DOCTYPE html> <html> <head> <meta http-equiv=Content-Type content="text/html;charset=utf-8"> <title>发票打印</title> &l
Postgresql 连表更新字段语法 update qifeifei PostgreSQL
下面这段sql本来目的是想更新条件下的数据，可是这段sql却更新了整个表的数据。sql如下： UPDATE tops_visa.visa_order SET op_audit_abort_pass_date = now() FROM tops_visa.visa_order as t1 INNER JOIN tops_visa.visa_visitor as t2 ON t1.
将redis,memcache结合使用的方案? tcrct redis cache
公司架构上使用了阿里云的服务，由于阿里的kvstore收费相当高，打算自建，自建后就需要自己维护，所以就有了一个想法，针对kvstore(redis)及ocs(memcache)的特点，想自己开发一个cache层，将需要用到list，set，map等redis方法的继续使用redis来完成，将整条记录放在memcache下，即findbyid，save等时就memcache，其它就对应使用redi
开发中遇到的诡异的bug wudixiaotie bug
今天我们服务器组遇到个问题：我们的服务是从Kafka里面取出数据，然后把offset存储到ssdb中，每个topic和partition都对应ssdb中不同的key，服务启动之后，每次kafka数据更新我们这边收到消息，然后存储之后就发现ssdb的值偶尔是-2,这就奇怪了，最开始我们是在代码中打印存储的日志，发现没什么问题，后来去查看ssdb的日志，才发现里面每次set的时候都会对同一个key