五行哥
五行哥

glusterfs

本文作者: wuXing
QQ: 1226032602
E-mail: [email protected]

glusterfs

https://www.gluster.org/
https://docs.gluster.org/en/latest/Install-Guide/Setup_virt/

glusterfs概述

1. 什么是Gluster

Gluster是一个横向扩展的分布式文件系统，可将来自多个服务器的磁盘存储资源整合到一个全局名称空间中，可以根据存储消耗需求快速调配额外的存储。它将自动故障转移作为主要功能

当您修复发生故障的服务器并使其恢复联机状态时，除了等待外，您无需执行任何操作即可恢复数据。与此同时，您的数据的最新副本继续从仍在运行的节点获取。

Gluster数据可以从几乎任何地方访问，可以使用传统的NFS，Windows客户端的SMB / CIFS或我们自己的本地GlusterFS（客户机上需要一些附加软件包）

2. 企业应用场景

媒体数据：文档、图片、音频、视频
共享存储：云储存、虚拟化存储、HPC（高性能计算）
大数据：日志文件、RFID（射频识别）数据

3. 优点

缩放到几PB
处理数千个客户
POSIX兼容
可以使用任何支持扩展属性的ondisk文件系统
使用NFS和SMB等行业标准协议访问
提供复制，配额，地理复制，快照和bitrot检测
允许优化不同的工作量
开源

4. 缺点

不适用于存储大量小文件的场景，因为GlusterFS的设计之初就是用于存储大数据的，对小文件的优化不是很好，推荐保存单个文件至少1MB以上的环境，如果是大量小文件的场景建议使用FastDFS、MFS等

gluster安装配置

https://docs.gluster.org/en/latest/Quick-Start-Guide/Quickstart/
https://wiki.centos.org/SpecialInterestGroup/Storage/gluster-Quickstart

环境准备

两台名为server1和server2的服务器上的CentOS 7
两个虚拟磁盘，一个用于OS安装（sda），另一个用于服务GlusterFS存储（sdb）

格式化磁盘

CentOS6需要安装

yum install xfsprogs

在两个节点上都执行

mkfs.xfs -i size=512 /dev/sdb
mkdir -p /bricks/brick1

/etc/fstab

[root@server1 ~]# tail -1 /etc/fstab 
/dev/sdb /bricks/brick1       xfs   defaults        0 0

挂载

mount -a

安装GlusterFS并启动

三台服务器上都安装
安装gluster源

yum install centos-release-gluster

安装glusterfs

yum install glusterfs-server

启动

systemctl start glusterd.service

hosts解析

三台都做
/etc/hosts

10.0.0.201 server1
10.0.0.202 server2

172.16.1.51     db01
172.16.1.31     nfs01
172.16.1.41     backup

添加服务器

nfs01:

gluster peer probe backup
gluster peer probe db01

backup:

gluster peer probe nfs01
gluster peer probe db01

db01:

gluster peer probe nfs01
gluster peer probe backup

查看对等状态

gluster peer status

删除服务器

gluster peer detach

查看服务器列表

gluster pool list

gluster UUID

[root@server1 ~]# cat /var/lib/glusterd/glusterd.info 
UUID=9c8f138a-d502-4b69-9b84-61bd81286ea6
operating-version=31202

建立GlusterFS卷

https://docs.gluster.org/en/latest/CLI-Reference/cli-main/

三台机器都执行

mkdir /bricks/brick1/gv0
mkdir /bricks/brick1/gv1

任意一台机器执行
创建复制卷

gluster volume create gv0 replica 2 nfs01:/bricks/brick1/gv0 db01:/bricks/brick1/gv0
gluster volume create gv1 replica 3 nfs01:/bricks/brick1/gv1 db01:/bricks/brick1/gv1 backup:/bricks/brick1/gv1
gluster volume create gv1 replica 3 arbiter 1 nfs01:/bricks/brick1/gv1 db01:/bricks/brick1/gv1 backup:/bricks/brick1/gv1

启动卷

gluster volume start gv0
gluster volume start gv1

查看信息

gluster volume info

日志

tail -f /var/log/glusterfs/glusterd.log

https://docs.gluster.org/en/latest/Administrator%20Guide/

glusterfs客户端

安装gluster源

yum install centos-release-gluster

安装

yum install glusterfs glusterfs-fuse glusterfs-rdma

hosts解析
/etc/hosts

10.0.0.201     server1
10.0.0.202     server2

172.16.1.51     db01
172.16.1.31     nfs01
172.16.1.41     backup

挂载

mount -t glusterfs server1:/gv0 /mnt/

mount -t glusterfs nfs01:/gv1 /mnt/
mount -t glusterfs backup:/gv1 /mnt/

gluster Volume Commands

volume create volname [options] bricks    创建卷

volume start volname [force]            启动卷

volume stop volname                  停止卷

volume info [volname]                 查看卷信息

volumes status[volname]               查看卷状态

volume list                          查看卷列表

volume add-brick brick-1 ... brick-n      扩容

volume remove-brick brick-1 ... brick-n \     缩减

volume delete volname                删除卷

glusterfs volume 模式

默认模式

默认模式，既DHT, 也叫 分布卷: 将文件已hash算法随机分布到 一台服务器节点中存储

gluster volume create test-volume server1:/exp1 server2:/exp2
图片

复制模式

复制模式，既AFR, 创建volume 时带 replica x 数量: 将文件复制到 replica x 个节点中。

gluster volume create test-volume replica 2 transport tcp server1:/exp1 server2:/exp2
图片

条带模式

条带模式，既Striped, 创建volume 时带 stripe x 数量： 将文件切割成数据块，分别存储到 stripe x 个节点中 ( 类似raid 0 )。

gluster volume create test-volume stripe 2 transport tcp server1:/exp1 server2:/exp2
图片

分布式条带模式

分布式条带模式（组合型），最少需要4台服务器才能创建。 创建volume 时 stripe 2 server = 4 个节点： 是DHT 与 Striped 的组合型。

gluster volume create test-volume stripe 2 transport tcp server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4
图片

分布式复制模式

分布式复制模式（组合型）, 最少需要4台服务器才能创建。 创建volume 时 replica 2 server = 4 个节点：是DHT 与 AFR 的组合型。

gluster volume create test-volume replica 2 transport tcp server1:/exp1 server2:/exp2　server3:/exp3 server4:/exp4
图片

条带复制卷模式

条带复制卷模式（组合型）, 最少需要4台服务器才能创建。 创建volume 时 stripe 2 replica 2 server = 4 个节点： 是 Striped 与 AFR 的组合型。

gluster volume create test-volume stripe 2 replica 2 transport tcp server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4
图片

三种模式混合

三种模式混合, 至少需要8台 服务器才能创建。 stripe 2 replica 2 , 每4个节点 组成一个 组。

gluster volume create test-volume stripe 2 replica 2 transport tcp server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4 server5:/exp5 server6:/exp6 server7:/exp7 server8:/exp8
图片

修复

查看这个卷是否在线

gluster volume status test2

启动完全修复

gluster volume heal test2 full
gluster volume heal gv1 full

查看需要修复的文件

gluster volume heal test2 info

查看修复成功的文件

gluster volume heal test2 info healed

查看修改失败的文件

gluster volume heal test2 info heal-failed

查看脑裂的文件

gluster volume heal test2 info split-brain

你可能感兴趣的:(glusterfs)

  • 以内存为核心的开源分布式存储系统 这次靠你了 大数据Tachyonhdfs大数据
    是一个以内存为核心的开源分布式存储系统，也是目前发展最迅速的开源大数据项目之一。Tachyon为不同的大数据计算框架（如ApacheSpark，HadoopMapReduce,ApacheFlink等）提供可靠的内存级的数据共享服务。此外，Tachyon还能够整合众多现有的存储系统（如AmazonS3,ApacheHDFS,RedHatGlusterFS,OpenStackSwift等），为用
  • GlusterFS：开源分布式文件系统的深度解析与应用场景实践 超逮虾户 企业级工具开源系统架构java
    引言在当今大数据时代背景下，企业对存储系统的容量、性能和可靠性提出了前所未有的挑战。GlusterFS作为一款开源的、高度可扩展的分布式文件系统，以其独特的无中心元数据设计和灵活的卷管理机制，在众多场景中脱颖而出，为解决大规模数据存储难题提供了强有力的支持。GlusterFS简介与核心概念GlusterFS简介GlusterFS是一款开源、可扩展的分布式文件系统，专为大规模数据存储和管理而设计。它
  • Kubernetes深度实践（三） 哦呵呵_3579
    如果是公网的Kubernetres集群可以省去不少烦恼，一般云供应商都会有完整的配套服务，包括存储和网络，但如果是自行搭建的集群就需要自行解决这两部分问题。先说一下存储的选择，一般的话有一个分布式存储+Localstorage基本就够了。分布式存储的话有许多开源方案的可选项，例如Ceph、GlusterFS、Longhorn等，使用分布式存储的话一定要记得要有一个时钟服务器，有好几次出问题都是因为
  • GlusterFS分布式复制卷搭建 wyl9527 linux分布式存储
    目录1准备工作1.1每台机器添加一块磁盘1.2分区1.3格式化磁盘1.4挂载磁盘2安装GlusterFS2.1安装依赖2.2安装glusterfs2.3启动服务2.4存储主机加入信任存储池2.5创建分布式复制卷前面我们讲到过分布式卷的创建，这里准备工作都是一样的，直接复制过来1准备工作1.1每台机器添加一块磁盘机器规划wyl01wyl01,wyl02为复制1，2和3，4作为分布式wyl02wyl0
  • glusterfs存储卷分布卷、复制卷测试 daydayup9527 ceph存储gluster存储运维linux学习
    分布式卷创建分布卷默认模式类似raid0，hash写入单个文件，节点上是单个文件[root@node1~]#glustervolumecreatetest1node1:/brick/test1volumecreate:test1:success:pleasestartthevolumetoaccessdata[root@node1~]#glustervolumeinfotest1Bricks:Br
  • glusterfs——启动报错之一及解决方法 与之二三事、 排错glusterfs
    安装好glusterfs启动的时候发现报错，脑子里突然闪过一句话遇事不决，可问春风，忍不住嘴里来了一句国粹，算了，遇事不决还是问问百度比较靠谱百度到的内容大多是修改配置文件，或者是更改路径，我直觉这个不太行，为啥觉得百度也不靠谱了那我索性来个终极奥义——卸载重装吧！！！说干就干，直接yumremove送它离开千里之外~~然后再次进行Yum重新安装，并查看端口因为之前已经卸载过版本过高的软件依赖包，
  • GFS分布式文件系统 IT.cat linux服务运维linux服务器缓存
    目录引言一、文件系统的作用1.1、文件系统的挂载使用二、GlusterFS简介三、GlusterFS特点3.1、扩展性和高性能3.2、高可用性3.3、全局同一命名空间3.4、弹性卷管理3.5、基于标准协议四、GlusterFS术语五、GlusterFS构成六、GlusterFS的工作流程理解：七、弹性HASH算法弹性HASH算法优点八、GFS支持七种卷8.1、分布式卷（Distributevolu
  • GFS 分布式文件系统 「已注销」 bigdatagfs
    一、GlusterFS概述1．GlusterFS简介GlusterFS是一个开源的分布式文件系统。由存储服务器、客户端以及NFS/Samba存储网关（可选，根据需要选择使用）组成。没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。MFS传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率高，但是也存在一些缺陷，例如
  • 详解 GFS分布式文件系统 （条带卷/复制卷/分布式条带卷/分布式复制卷） W.scaler linuxgfslinux运维gfs分布式分布式存储
    GFS分布式文件系统一.GlusterFS概述1.GlusterFS简介2.GlusterFS特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS工作流程6.弹性HASH算法7.GlusterFs的卷类型二.部署GlusterFs群集三.客户端部署与测试测试总结补充：一.GlusterFS概述1.GlusterFS简介①GlusterFS是一-个开源的分布式文件系统。由存储服务
  • Glusterfs分布式存储 忙碌滴比特流 运维linux基础运维
    目录一、简介二、特点1、扩展性和高性能2、高可用性3、全局统一命名空间4、弹性卷管理5、基于标准协议三、专业术语四、GlusterFS构成五、GlusterFS的工作流程1、工作流程2、弹性HASH算法六、GlusterFS常用分布式简介1、分布式卷2、条带卷（Stripevolume）3、复制卷（Replicavolume）4、分布式条带卷（DistributeStripevolume）5、分布
  • 如何搭建glusterfs分布式存储系统 MssGuo 存储篇分布式运维glusterfs
    目录前言什么是分布式存储分布式存储的优点本章重点glusterfs相关术语glusterfs的逻辑卷类型准备6台测试服务器storage服务器安装glusterfs软件并启动分布式集群的结构配置可信池pool创建复制卷--replicatedvolumeclient客户端挂载复制卷卷的删除创建条带卷--stripedvolumeclient客户端挂载条带卷创建分布式卷--replicatedvol
  • GlusterFS——分布式复制卷 康丶 Linux分布式网络
    目录一、目的二、环境三、安装准备3.1关闭防火墙3.2关闭selinux3.3时间同步四、安装过程4.1先搜索可以安装的源4.2选择合适的版本进行下载安装源（这边举例最新版本）4.3执行安装4.4查看安装的版本4.5启动GFS并设为开机自启，然后可查看一下GFS状态五、GlusterFS分布式复制卷配置5.1创建所需要的目录5.2在其中一个服务端上建立与其他两台的peer关系，我这边在20.0.0
  • Gluster ubuntu安装 科氏加速度 ubuntulinux运维
    除了安装包外，其他操作与centos一致环境gluster版本9安装服务端安装software-properties-common：aptinstall-ysoftware-properties-common然后添加社区GlusterFSPPA：add-apt-repository-yppa:gluster/glusterfs-9aptupdate可以搜索是否源加上gluster9版本aptsea
  • linux高级篇基础理论十一（GlusterFS） 小刘在C站 LINUX高级理论知识linux运维服务器
    ♥️作者：小刘在C站♥️个人主页：小刘主页♥️不能因为人生的道路坎坷,就使自己的身躯变得弯曲;不能因为生活的历程漫长,就使求索的脚步迟缓。♥️学习两年总结出的运维经验，以及思科模拟器全套网络实验教程。专栏：云计算技术♥️感谢CSDN让你我相遇！目录GFS简介1、GlusterFS特点：2、GFS术语3、GlusterFS的工作流程4、弹性HASH算法算法优点5、GFS的七种卷的类型：6、GFS多卷
  • k8s（存储）数据卷与数据持久卷 黑马金牌编程 docker/K8S/KVMlinux运维k8s数据卷与持久卷kubernetes
    为什么需要数据卷？容器中的文件在磁盘上是临时存放的，这给容器中运行比较重要的应用程序带来一些问题问题1：当容器升级或者崩溃时，kubelet会重建容器，容器内文件会丢失问题2：一个Pod中运行多个容器并需要共享文件kubenetes卷（Volume）这一抽象概念能够解决这两个问题常用的数据卷•节点本地（hostPath，emptyDir）•网络（NFS，Ceph，GlusterFS）•公有云（AW
  • glusterFS MoonSoin k8s云原生glusterFS文件存储kubernetes
    一.概念1.介绍gluster是一个横向扩展的分布式文件系统，可将来自多个服务器的磁盘存储资源整合到一个全局名称空间中，可以根据存储消耗需求快速调配额外的存储。它将自动故障转移作为主要功能.分布式存储系统.集群式NAS存储.无集中式元数据服务,采用Hash算法定位.一致性哈希DHT.Hash值落在哪个范围内,数据就存储在哪里.弹性卷管理.自动做了raid.2.优点缩放到几PB.处理数千个客户.开源
  • GFS 分布式文件系统 偷个月亮吗733 linux
    GlusterFS特点●扩展性和高性能GlusterFS利用双重特性来提供高容量存储解决方案。（1）Scale-Out架构允许通过简单地增加存储节点的方式来提高存储容量和性能（磁盘、计算和I/O资源都可以独立增加），支持10GbE和InfiniBand等高速网络互联。（2）Gluster弹性哈希（ElasticHash）解决了GlusterFS对元数据服务器的依赖，改善了单点故障和性能瓶颈，真正实
  • 8.云原生存储之Ceph集群 野心与梦 私有云搭建实战云原生ceph
    1.私有云实战之基础环境搭建2.云原生实战之kubesphere搭建3.云原生之kubesphere运维4.云原生之kubesphere基础服务搭建5.云原生安全之kubesphere应用网关配置域名TLS证书6.云原生之DevOps和CICD7.云原生之jenkins集成SonarQube8.云原生存储之Ceph集群文章目录为什么要用Ceph？glusterfs、ceph、nfs对比使用阿里云n
  • GFS分布式文件系统 Kido.S 笔记
    目录一、什么是GFS?二、GFS的特点三、模块化堆栈式架构四、GFS工作流程术语：五、GFS的卷类型六、基础语句一、什么是GFS?GlusterFS是一个开源的分布式文件系统。二、GFS的特点1、扩展性和高性能GlusterFS利用双重特性来提供高容量存储解决方案。（1）Scale-Out架构允许通过简单地增加存储节点的方式来提高存储容量和性能（磁盘、计算和I/O资源都可以独立增加），支持10Gb
  • ceph存储 MoonSoin 云原生k8scephwindows云原生
    ceph一.存储分类1.本地存储的文件系统ext3ext4efsntfs2.网络存储nfs网络文件系统hdfs分布式网络文件系统glusterfs分布式网络文件系统3.传统存储(1).DASSAS,SATA,SCSI,IDE,USB,无论是那种接口,都是存储设备驱动下的磁盘设备,而磁盘设备其实就是一种存储,这种存储是直接接入主板总线上去的(2).NASNFS,CIFS,FTP,几乎所有的网线存储设
  • GFS分布式文件系统 早上的星星 mysql数据库
    gfdglusterFS开源的分布式文件系统存储服务器客户端以及网络（NFS/samba）网关传统式老的分布式系统是依赖于元服务器，元服务器保存存储节点的目录树信息。一旦元服务器故障，所有的存储节点全部失效现在的GFS已经取消了元服务器机制，数据横向扩展能力更强，可靠性更强，存储效率也更高GFS的特点：1、扩展性更强，高性能2、高可用，可以自动对文件进行复制，还可以实现多次复制，确保数据总是可以访
  • GFS分布式文件系统 DDYYmmm 运维
    GFS分布式文件系统：全称：gfdglusterFS开源的分布式的文件系统存储服务器客户端以及网络（NFS/samba）网关传统式老的分布式系统元服务器，元服务器保存存储节点的目录树信息。一旦元服务器故障，所有的存储节点全部失效现在GFS取消了元服务器机制，数据横向扩展能力更强。可靠性更强。存储效率也更高GFS的特点：扩展性更强，高性能高可用，可以自动对文件进行复制。多次复制。确保数据总是可以访问
  • 云原生之深入解析Kubernetes本地持久化存储方案OpenEBS LocalPV的最佳实践 ╰つ栺尖篴夢ゞ 云原生kubernetes容器OpenEBSLocalPV
    一、K8s本地存储K8s支持多达20+种类型的持久化存储，如常见的CephFS、Glusterfs等，不过这些大都是分布式存储，随着社区的发展，越来越多的用户期望将K8s集群中工作节点上挂载的数据盘利用起来，于是就有了local类型持久卷的支持。可以把local类型持久卷称作：LocalPersistentVolume，简称LocalPV。LocalPV所代表的是某个被挂载的本地（工作节点）存储设
  • 3-分布式存储之Ceph 师范大学通信大怨总 分布式ceph
    任务背景虽然使用了分布式的glusterfs存储,但是对于爆炸式的数据增长仍然感觉力不从心。对于大数据与云计算等技术的成熟,存储也需要跟上步伐.所以这次我们选用对象存储.任务要求1,搭建ceph集群2,实现对象存储的应用任务拆解1,了解ceph2,搭建ceph集群3,了解rados原生数据存取4,实现ceph文件存储5,实现ceph块存储6,实现ceph对象存储学习目标能够成功部署ceph集群能够
  • GlusterFS 集群磁盘利用率100% 皇甫LG
    一、问题描述通过监控发现，每天凌晨3点之后，glfs所有服务端节点的磁盘利用率会规律性地上升到100%，持续时间不定，一般持续3小时以上。利用率100%的时候，对业务正常IO无影响，业务无感知。image二、问题分析2.1有定时任务？最初怀疑是业务有定时任务，定期高吞吐写入Glusterfs集群，造成磁盘利用率100%，经排查监控查看带宽以及与业务沟通，已排除此种情况。2.2定向分析再次出现问题时
  • 大数据技术合集（持续更新） amuseme_lu BigData大数据
    0.大数据技术演变史（来自通信院）1.起源：Google的三驾马车1.1GFS1.2BigTable1.3MapReduce2.开源大数据文件、对象、块存储2.1分布式文件系统：HDFS、Ceph、GlusterFS、Lustre2.2分布式缓冲文件系统：Alluxio、JuiceFS2.3对象存储：OZone、SeaweedFS、MinIO3.数据库技术3.1列式数据库：HBase、Cassan
  • 【开源存储】glusterfs分布式文件系统部署实践 Luxf0 #开源存储开源
    文章目录一、前言1、介绍说明2、术语说明3、冗余模式3.1、复制卷（Replication）3.2、纠删卷（ErasureCode）二、部署说明1、软件安装2、集群部署2.1、前置准备2.2、部署过程a、添加节点b、配置存储c、创建glusterfs卷d、客户端挂载3、常用操作3.1、扩展卷（add-brick）3.2、收缩卷（remove-brick）三、Q&A1、volumecreate:re
  • 玩转人工智能（11）使用Pyspark上手机器学习 Moscar_M
    文件系统HDFSHadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。GlusterFS是一个集群的文件系统，支持PB级的数据量。GlusterFS通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。
  • 大数据组件图谱 饮水思源09 Hadoop
    大数据组件图谱文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台文件系统HDFSHadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。GlusterFS是一个集群的文件系统，支持PB级的数据量
  • find 查找具体时间 去掉某个目录，然后拷贝到其他服务器 哎路
    find./-newermt'2019-10-1320:52:27'-typef!-path"./package/nsf0cus/new_site/bin/*"!-path"./package/.glusterfs/*"-execscp-i/root/.ssh/upgrade_id_rsa{}[email protected]:/opt/large_disk2/{}\;
  • ASM系列五 利用TreeApi 解析生成Class lijingyao8206 ASM字节码动态生成ClassNodeTreeAPI
       前面CoreApi的介绍部分基本涵盖了ASMCore包下面的主要API及功能，其中还有一部分关于MetaData的解析和生成就不再赘述。这篇开始介绍ASM另一部分主要的Api。TreeApi。这一部分源码是关联的asm-tree-5.0.4的版本。          在介绍前，先要知道一点， Tree工程的接口基本可以完
  • 链表树——复合数据结构应用实例 bardo 数据结构树型结构表结构设计链表菜单排序
    我们清楚：数据库设计中，表结构设计的好坏，直接影响程序的复杂度。所以，本文就无限级分类（目录）树与链表的复合在表设计中的应用进行探讨。当然，什么是树，什么是链表，这里不作介绍。有兴趣可以去看相关的教材。 需求简介： 经常遇到这样的需求，我们希望能将保存在数据库中的树结构能够按确定的顺序读出来。比如，多级菜单、组织结构、商品分类。更具体的，我们希望某个二级菜单在这一级别中就是第一个。虽然它是最后
  • 为啥要用位运算代替取模呢 chenchao051 位运算哈希汇编
        在hash中查找key的时候，经常会发现用&取代%，先看两段代码吧，     JDK6中的HashMap中的indexFor方法： /** * Returns index for hash code h. */ static int indexFor(int h, int length) {
  • 最近的情况 麦田的设计者 生活感悟计划软考想
          今天是2015年4月27号      整理一下最近的思绪以及要完成的任务             1、最近在驾校科目二练车，每周四天，练三周。其实做什么都要用心，追求合理的途径解决。为
  • PHP去掉字符串中最后一个字符的方法 IT独行者 PHP字符串
    今天在PHP项目开发中遇到一个需求，去掉字符串中的最后一个字符 原字符串1,2,3,4,5,6, 去掉最后一个字符","，最终结果为1,2,3,4,5,6 代码如下： $str = "1,2,3,4,5,6,"; $newstr = substr($str,0,strlen($str)-1); echo $newstr;
  • hadoop在linux上单机安装过程 _wy_ linuxhadoop
    1、安装JDK     jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行：    export JAVA_HOME=/usr/java/jdk1.7.0_25  
  • JAVA进阶----分布式事务的一种简单处理方法 无量 多系统交互分布式事务
    每个方法都是原子操作： 提供第三方服务的系统，要同时提供执行方法和对应的回滚方法 A系统调用B,C,D系统完成分布式事务 =========执行开始======== A.aa(); try { B.bb(); } catch(Exception e) { A.rollbackAa(); } try { C.cc(); } catch(Excep
  • 安墨移动广 告：移动DSP厚积薄发 引领未来广 告业发展命脉 矮蛋蛋 hadoop互联网
    　　“谁掌握了强大的DSP技术，谁将引领未来的广 告行业发展命脉。”2014年，移动广 告行业的热点非移动DSP莫属。各个圈子都在纷纷谈论，认为移动DSP是行业突破点，一时间许多移动广 告联盟风起云涌，竞相推出专属移动DSP产品。 　　到底什么是移动DSP呢? 　　DSP(Demand-SidePlatform)，就是需求方平台，为解决广 告主投放的各种需求，真正实现人群定位的精准广
  • myelipse设置 alafqq IP
      在一个项目的完整的生命周期中，其维护费用，往往是其开发费用的数倍。因此项目的可维护性、可复用性是衡量一个项目好坏的关键。而注释则是可维护性中必不可少的一环。 注释模板导入步骤  安装方法： 打开eclipse/myeclipse 选择 window-->Preferences-->JAVA-->Code-->Code
  • java数组 百合不是茶 java数组
    java数组的   声明  创建  初始化；   java支持C语言      数组中的每个数都有唯一的一个下标 一维数组的定义 声明： int[] a = new int[3];声明数组中有三个数int[3] int[] a 中有三个数，下标从0开始，可以同过for来遍历数组中的数
  • javascript读取表单数据 bijian1013 JavaScript
    利用javascript读取表单数据，可以利用以下三种方法获取： 1、通过表单ID属性：var a = document.getElementByIdx_x_x("id"); 2、通过表单名称属性：var b = document.getElementsByName("name"); 3、直接通过表单名字获取：var c = form.content.
  • 探索JUnit4扩展：使用Theory bijian1013 javaJUnitTheory
    理论机制（Theory） 一.为什么要引用理论机制（Theory）         当今软件开发中，测试驱动开发（TDD — Test-driven development）越发流行。为什么 TDD 会如此流行呢？因为它确实拥有很多优点，它允许开发人员通过简单的例子来指定和表明他们代码的行为意图。 TDD 的优点：     &nb
  • [Spring Data Mongo一]Spring Mongo Template操作MongoDB bit1129 template
    什么是Spring Data Mongo Spring Data MongoDB项目对访问MongoDB的Java客户端API进行了封装，这种封装类似于Spring封装Hibernate和JDBC而提供的HibernateTemplate和JDBCTemplate，主要能力包括 1. 封装客户端跟MongoDB的链接管理 2. 文档-对象映射，通过注解:@Document(collectio
  • 【Kafka八】Zookeeper上关于Kafka的配置信息 bit1129 zookeeper
    问题： 1. Kafka的哪些信息记录在Zookeeper中 2. Consumer Group消费的每个Partition的Offset信息存放在什么位置 3. Topic的每个Partition存放在哪个Broker上的信息存放在哪里 4. Producer跟Zookeeper究竟有没有关系？没有关系！！！   //consumers、config、brokers、cont
  • java OOM内存异常的四种类型及异常与解决方案 ronin47 java OOM 内存异常
          　OOM异常的四种类型： 　　　 　　一：　StackOverflowError ：通常因为递归函数引起（死递归，递归太深）。-Xss 128k 一般够用。     　  二：　out Of memory: PermGen Space：通常是动态类大多，比如web 服务器自动更新部署时引起。-Xmx
  • java-实现链表反转-递归和非递归实现 bylijinnan java
    20120422更新： 对链表中部分节点进行反转操作，这些节点相隔k个： 0->1->2->3->4->5->6->7->8->9 k=2 8->1->6->3->4->5->2->7->0->9 注意1 3 5 7 9 位置是不变的。 解法： 将链表拆成两部分： a.0-&
  • Netty源码学习-DelimiterBasedFrameDecoder bylijinnan javanetty
    看DelimiterBasedFrameDecoder的API，有举例： 接收到的ChannelBuffer如下： +--------------+ | ABC\nDEF\r\n | +--------------+ 经过DelimiterBasedFrameDecoder(Delimiters.lineDelimiter())之后，得到： +-----+----
  • linux的一些命令 -查看cc攻击-网口ip统计等 hotsunshine linux
    Linux判断CC攻击命令详解 2011年12月23日 ⁄ 安全 ⁄ 暂无评论 查看所有80端口的连接数 netstat -nat|grep -i '80'|wc -l 对连接的IP按连接数量进行排序 netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n 查看TCP连接状态 n
  • Spring获取SessionFactory ctrain sessionFactory
    String sql = "select sysdate from dual"; WebApplicationContext wac = ContextLoader.getCurrentWebApplicationContext(); String[] names = wac.getBeanDefinitionNames(); for(int i=0; i&
  • Hive几种导出数据方式 daizj hive数据导出
    Hive几种导出数据方式   1.拷贝文件   如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。 hadoop fs –cp source_path target_path   2.导出到本地文件系统   --不能使用insert into local directory来导出数据，会报错 --只能使用
  • 编程之美 dcj3sjt126com 编程PHP重构
    我个人的 PHP 编程经验中，递归调用常常与静态变量使用。静态变量的含义可以参考 PHP 手册。希望下面的代码，会更有利于对递归以及静态变量的理解   header("Content-type: text/plain"); function static_function () { static $i = 0; if ($i++ < 1
  • Android保存用户名和密码 dcj3sjt126com android
    转自：http://www.2cto.com/kf/201401/272336.html 我们不管在开发一个项目或者使用别人的项目，都有用户登录功能，为了让用户的体验效果更好，我们通常会做一个功能，叫做保存用户，这样做的目地就是为了让用户下一次再使用该程序不会重新输入用户名和密码，这里我使用3种方式来存储用户名和密码 1、通过普通 的txt文本存储 2、通过properties属性文件进行存
  • Oracle 复习笔记之同义词 eksliang Oracle 同义词Oracle synonym
    转载请出自出处：http://eksliang.iteye.com/blog/2098861 1.什么是同义词       同义词是现有模式对象的一个别名。       概念性的东西，什么是模式呢？创建一个用户，就相应的创建了 一个模式。模式是指数据库对象，是对用户所创建的数据对象的总称。模式对象包括表、视图、索引、同义词、序列、过
  • Ajax案例 gongmeitao Ajaxjsp
    数据库采用Sql Server2005 项目名称为:Ajax_Demo 1.com.demo.conn包 package com.demo.conn; import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException; //获取数据库连接的类public class DBConnec
  • ASP.NET中Request.RawUrl、Request.Url的区别 hvt .netWebC#asp.nethovertree
      如果访问的地址是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree%3C&n=myslider#zonemenu那么Request.Url.ToString() 的值是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree<&
  • SVG 教程 （七）SVG 实例，SVG 参考手册 天梯梦 svg
    SVG 实例 在线实例 下面的例子是把SVG代码直接嵌入到HTML代码中。 谷歌Chrome，火狐，Internet Explorer9，和Safari都支持。 注意：下面的例子将不会在Opera运行，即使Opera支持SVG - 它也不支持SVG在HTML代码中直接使用。   SVG 实例 SVG基本形状 一个圆 矩形 不透明矩形 一个矩形不透明2 一个带圆角矩
  • 事务管理 luyulong javaspring编程事务
    事物管理 spring事物的好处 为不同的事物API提供了一致的编程模型 支持声明式事务管理 提供比大多数事务API更简单更易于使用的编程式事务管理API 整合spring的各种数据访问抽象 TransactionDefinition 定义了事务策略 int getIsolationLevel()得到当前事务的隔离级别 READ_COMMITTED 
  • 基础数据结构和算法十一：Red-black binary search tree sunwinner AlgorithmRed-black
      The insertion algorithm for 2-3 trees just described is not difficult to understand; now, we will see that it is also not difficult to implement. We will consider a simple representation known
  • centos同步时间 stunizhengjia linux集群同步时间
    做了集群，时间的同步就显得非常必要了。 以下是查到的如何做时间同步。 在CentOS 5不再区分客户端和服务器，只要配置了NTP，它就会提供NTP服务。 1)确认已经ntp程序包： # yum install ntp 2)配置时间源（默认就行，不需要修改） # vi /etc/ntp.conf server pool.ntp.o
  • ITeye 9月技术图书有奖试读获奖名单公布 ITeye管理员 ITeye
    ITeye携手博文视点举办的9月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 9月试读活动回顾：http://webmaster.iteye.com/blog/2118112本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：      《NFC：Arduino、Andro
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他