liuyun2113
liuyun2113

ZFS文件系统（6） -- 自我恢复RAID

自我恢复RAID

       这个给了我一个简单而又强大的理由，让我立马为之折服，ZFS可以自动的检测发生的错误，而且，可以自我修复这些错误。假设有一个时刻，磁盘阵列中的数据是错误的，不管是什么原因造成的，当应用程序去访问这一块数据时，ZFS会像上一篇介绍的一样通过构建每一块数据，并且通过SHA-256方式校验每一块数据的校验位，如果发现数据读条带数据不能匹配校验，那么就会认为是发生了数据损坏，然后通过奇偶组合方式进行恢复这一块数据，然后返回给调用他的应用程序。这一切都是由ZFS文件系统自身来完成，无需借助特殊的硬件。另外一方面，如果条带长于磁盘阵列，如果一个磁盘发生了故障，这里就没有足够的奇偶校验可以来重建这些数据，所以我们还必须为此添加一块镜像盘以防止此类情况的发生。

      如果你的文件系统和RAID是分别独立的，他们互相不了解对方，那么这种静默式的修复是完全不可能的。


RAIDZ-1

      RAIDZ-1和RAID-5是很相似的，有一个单一的奇偶校验位位于所以的磁盘阵列中，而且条带的宽度都是可变的，基本可以涵盖所有的磁盘阵列的宽度，可以是很多的磁盘，或者很少的磁盘，在上一节的图片说的很明显了，他们都允许一个磁盘发生故障时对他进行修复，RAIDZ-1也最少使用3个磁盘，您的存储容量是最小磁盘的容量大小减去磁盘存储的奇偶校验位大小，在一下的例子中，我会使用大约16G的磁盘。

      要设置一个存储池采用一个RAIDZ-1，我需要3个USB磁盘驱动器。

# zpool create tank raidz1 sde sdf sdg
# zpool status tank
  pool: pool
 state: ONLINE
 scan: none requested
config:

        NAME          STATE     READ WRITE CKSUM
        pool          ONLINE       0     0     0
          raidz1-0    ONLINE       0     0     0
            sde       ONLINE       0     0     0
            sdf       ONLINE       0     0     0
            sdg       ONLINE       0     0     0

errors: No known data errors

# zpool destroy tank

RAIDZ-2

      RAIDZ-2和RAID-6十分相似，他采用双奇偶校验位进行校验，分布在阵列中的所有磁盘中，条带的宽度也是可变的，可以涵盖磁盘阵列的确切的宽度，很少的磁盘，或者很多的磁盘。由于采用双奇偶校验，所以可以允许最多2个磁盘发生故障，超过就会导致数据丢失，为了成功搭建RAIDZ-2,必须要至少4个磁盘，您的磁盘存储容量是最小的那个磁盘容量减去两个存储奇偶校验位的大小，在例子中，我使用了大约16G的磁盘。

通过以下步骤来设置RAIDZ-2

# zpool create tank raidz2 sde sdf sdg sdh
# zpool status tank
  pool: pool
 state: ONLINE
 scan: none requested
config:

        NAME          STATE     READ WRITE CKSUM
        pool          ONLINE       0     0     0
          raidz2-0    ONLINE       0     0     0
            sde       ONLINE       0     0     0
            sdf       ONLINE       0     0     0
            sdg       ONLINE       0     0     0
            sdh       ONLINE       0     0     0

errors: No known data errors

# zpool destroy tank

RAIDZ-3

      他并不能称为一个标准的RAID，不过可以看着是RAIDZ-1和RAIDZ-2的延伸，基本概念和RAID-1/2是一致的，只不过他拥有3组奇偶校验位，他可以允许至多3个磁盘数据丢失，要搭建他至少需要5个磁盘，他的存储容量为最小盘容量减去3个奇偶校验位产生的存储容量，在例子中，我使用了16G磁盘。

      使用以下步骤设置RAIDZ-3

# zpool create tank raidze sde sdf sdg sdh sdi
# zpool status tank
  pool: pool
 state: ONLINE
 scan: none requested
config:

        NAME          STATE     READ WRITE CKSUM
        pool          ONLINE       0     0     0
          raidz3-0    ONLINE       0     0     0
            sde       ONLINE       0     0     0
            sdf       ONLINE       0     0     0
            sdg       ONLINE       0     0     0
            sdh       ONLINE       0     0     0
            sdi       ONLINE       0     0     0

errors: No known data errors

# zpool destroy tank

关于RAIDZ最后一些想法

      对于什么时候使用RAIDZ-1/2/3我没有什么建议，有些人说，RAID-1和RAID-3应该使用在奇数个磁盘上，RAID-1的使用实在3个磁盘以上，7个磁盘一下使用，而RAID-3则实在7个磁盘以上时使用，不超过15个。RAIDZ-2应该使用偶数个磁盘上，最少6个磁盘，不超过12个的时候。这是为了确保你的偶数数据被写入到磁盘中时，阵列的性能最大化。

       相反，在我看来，你应该保持一个低消耗的RAIDZ阵列，对与RAIDZ-1来说，3、5、9个磁盘比较合适，4、6、10、18对于RAIDZ-2比较合适，而RAIDZ-3则应该是5、7、11、19个磁盘最佳，如果不这么做，我个人宁愿使用RAID-1+0来实现RAID，因为在很多磁盘的时候，和RAID-10对比，去计算他的RAIDZ的奇偶校验代价真是太昂贵了。

      此外，我还看到一些这样的建议，不超过1TB的磁盘使用RAIDZ-1，2TB的磁盘使用RAIDZ-2，3TB的磁盘使用RAIDZ-3，而超出这些值时，你应该使用2路或者3路镜像条带化。我不能评价这些说法的准确性等，不过，我可以说的就是，在较少的磁盘数量时，你应该使用一个RAID级别容纳你现在的缺点，这是不会错误的。在4个磁盘中，使用多个奇偶校验会让你牺牲大量的性能，但是如果我也遇到过2个磁盘同时失效的情况（这情况可以使用RAID-10或者RAIDZ-2来修复），这时候，既不能大量的消耗性能，也不能丢弃正确性，采用RAIDZ-1是很合适的，他可以承受一个磁盘发生故障，同时也不消耗大量的性能。当然，如果你有12个磁盘，那我认为，RAIDZ-3会更合适，因为他可以承受更多的磁盘发生故障而不造成数据丢失。

      最终，你还是需要了解你自己本身磁盘的情况、数量，还有需要面临的问题，然后选择不同RAID方案，并使用合适的工具测试，比如IOZONE进行压力测试等。你知道要存入的是什么数据，你要知道在磁盘上安装什么硬件，你还要知道你需要达到一个什么样的效果，这些都有你来决定，如果你肯花时间来研究，做许多的功课，那么你一定可以搭配出一套最佳的方案。

      最后，在性能方面，镜像在读写时要强于RAIDZ，RAIDZ-1的表现又强于RAIDZ-2，他的打开表现将优于RAIDZ-3，你去读取或写入数据时，越多的校验位需要计算，那么时间就越长，当然，你可以随时的添加或者拆分VDEVS来让这个数据最优。例如嵌套级别的RAID（RAID-10），他具有很强大的灵活性。总之，从快到慢，非嵌套级别的RAID顺序如下：

RAID-0 (fastest)

RAID-1

RAIDZ-1

RAIDZ-2

RAIDZ-3 (slowest)

你可能感兴趣的:(ZFS文件系统)

  • 第六集如何安装CentOS7.0，3分钟学会centos7安装教程 date分享
    从光盘引导系统按回车键继续进入引导程序安装界面，选择语言这里选择简体中文版点击继续选择桌面安装下面给系统分区选择磁盘，点击完成选择基本分区，点击加号swap分区,大小填内存的两倍在选择根分区，使用所有可用的磁盘空间选择文件系统ext4点击完成，点击开始安装设置root密码，点击完成设置普通用户和密码，点击完成整个过程持续八分钟左右根据个人配置不同，时间长短不同好，现在点击重启系统进入重启状态点击本
  • docker igotyback eureka云原生
    Docker容器的文件系统是隔离的，但是可以通过挂载卷（Volumes）或绑定挂载（BindMounts）将宿主机的文件系统目录映射到容器内部。要查看Docker容器的映射路径，可以使用以下方法：查看容器配置：使用dockerinspect命令可以查看容器的详细配置信息，包括挂载的卷。例如：bashdockerinspect在输出的JSON格式中，查找"Mounts"部分，这里会列出所有的挂载信息
  • 光盘文件系统 (iso9660) 格式解析 穷人小水滴 光盘文件系统iso9660denoGNU/Linuxjavascript
    越简单的系统,越可靠,越不容易出问题.光盘文件系统(iso9660)十分简单,只需不到200行代码,即可实现定位读取其中的文件.参考资料:https://wiki.osdev.org/ISO_9660相关文章:《光盘防水嘛?DVD+R刻录光盘泡水实验》https://blog.csdn.net/secext2022/article/details/140583910《光驱的内部结构及日常使用》ht
  • Python多线程实现大规模数据集高效转移 sand&wich 网络python服务器
    背景在处理大规模数据集时，通常需要在不同存储设备、不同服务器或文件夹之间高效地传输数据。如果采用单线程传输方式，当数据量非常大时，整个过程会非常耗时。因此，通过多线程并行处理可以大幅提升数据传输效率。本文将分享一个基于Python多线程实现的高效数据传输工具，通过遍历源文件夹中的所有文件，将它们移动到目标文件夹。工具和库这个数据集转移工具主要依赖于以下Python标准库：os：用于文件系统操作，如
  • Hadoop 傲雪凌霜，松柏长青 后端大数据hadoop大数据分布式
    ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
  • linux挂载文件夹 小码快撩 linux
    1.使用NFS（NetworkFileSystem）NFS是一种分布式文件系统协议，允许一个系统将其文件系统的一部分共享给其他系统。检查是否安装NFSrpm-qa|grepnfs2.启动和启用NFS服务假设服务名称为nfs-server.service，你可以使用以下命令启动和启用它：sudosystemctlstartnfs-server.servicesudosystemctlenablenf
  • nfs服务搭建 GHope
    nfs是什么？基哥度娘网络文件系统(NFS)是sun微系统最初开发的分布式文件系统协议,[1]允许客户端计算机上的用户通过计算机网络访问文件很像本地存储被访问。NFS与许多其他协议一样,在开放网络计算远程过程调用(很久以前RPC)系统上建立。NFS是在请求注释(RFC)中定义的开放标准,允许任何人实现协议。NFSNFS优势：节省本地存储空间，将常用的数据存放在一台NFS服务器上且可以通过网络访问，
  • ⭐Unity 安卓环境中正确地读取和处理 XML 文件 惊鸿醉 Unityunityandroidxml
    写了一个选择题Demo，电脑包和编辑器内无问题，但是打包安卓手机之后题目无法正常使用，想到的是安卓环境中正确地读取文件的问题改进方案：1.由于XmlDocument.Load方法在Android上的路径问题（由于文件位于APK内部，无法像在文件系统中那样直接访问），需要先使用UnityWebRequest来异步加载文件内容，然后再解析XML。2.异步处理：修改你的代码，以支持异步文件加载和处理，这
  • pnpm解說 白总Server 服务器kubernetes网络运维云原生pythonjava
    pnpm（PerformanceNodePackageManager）是一个高性能的Node.js包管理器，它旨在解决npm和yarn在处理依赖关系时可能遇到的一些问题，如重复安装相同版本的包、包的存储空间占用过大等。pnpm使用了一种称为“硬链接”和“符号链接”的文件系统技术，这使得它能够以更高效的方式存储和管理依赖项。关键特点：高效存储：pnpm使用一种称为内容可寻址存储（ContentAdd
  • 鸿萌数据恢复服务：Mac 文件系统是如何影响 Mac 数据恢复的? 鸿萌数据安全 macosmac数据恢复
    天津鸿萌科贸发展有限公司从事数据安全服务二十余年，致力于为各领域客户提供专业的数据备份、数据恢复解决方案与服务，并针对企业面临的数据安全风险，提供专业的相关数据安全培训。公司是多款国际主流数据恢复软件的授权代理商，为数据恢复公司、数据取证机构及有专业技能的个人或企业提供官方正版软件产品。文章内容：1.什么是文件系统?2.Mac文件系统的类型3.了解各种Mac文件系统4.在Mac上恢复被删除或丢失的
  • Tuxera NTFS for Mac破解版下载 Tuxera NTFS for Mac2023激活码 mac电脑ntfs磁盘软件 雨林谷 果粉俱乐部macos电脑免费的NTFS软件
    TuxeraNTFSforMac是一款优秀的Mac系统完全读写软件，提供Fat32、NTFS、Exfat、macos扩展格式的转换，稳定性好，传输速度极快。TuxeraNTFSforMac功能丰富，能修复NTFS卷、创建NTFS磁盘映像、创建NTFS分区等等。同时软件支持所有从OSX10.4Tiger开始的Mac平台，TuxeraNTFS还可以无阻碍地使用各种文件系统磁盘，还能解决磁盘无法正常显示
  • windows 列出文件的树形结构（tree的用法） abments 办公工具windows
    在Windows操作系统中，tree命令是一个强大的命令行工具，用于以树状结构显示指定路径下的目录和文件。这对于快速查看文件和文件夹的层次结构非常有用，尤其是在大型项目或文件系统中。以下是tree命令的基本用法和一些高级功能：基本用法显示当前目录及其子目录结构：在命令行中输入tree（不带任何参数）将显示当前目录及其所有子目录的结构。显示指定路径下的目录结构：可以通过在tree命令后指定一个路径来
  • 【Mac/Linux终端快捷操作】Finder移动/复制/合并文件 TUTO_TUTO 终端快捷操作linuxmacos运维学习笔记
    【注】所有使用相对路径的方法都需要：使用cd命令导航到指定文件夹目录（cd空格把文件夹直接拖进终端）补充在终端中使用cd命令导航文件系统:cd/full/path/to/folder进入特定文件夹。cdsubfolder进入当前目录的子文件夹。cd..返回上一级目录。cd或cd~返回主目录。注意:可以使用Tab键自动补全文件夹名1.多个txt文件中的内容合并成一个txt文件使用相对路径：cat./
  • 掌握检索技术：构建高效知识检索系统的架构与算法23 是小旭啊 人工智能
    在检索专业知识层需要涵盖更高级的检索技术，包括工程架构和算法策略。一、工程架构工程架构在构建检索系统中决定了系统的可扩展性、高可用性和性能。比如需要考虑的基本点：分布式架构：水平扩展：采用分布式架构，将检索任务分布到多个节点上，实现水平扩展。这可以通过将索引数据分片存储在不同的节点上，并使用分布式文件系统或对象存储来存储大规模的索引数据。任务分配：设计任务调度器，负责将查询请求分配到空闲的节点上进
  • 掌握检索技术：构建高效知识检索系统的架构与算法21 是小旭啊 人工智能
    在检索专业知识层需要涵盖更高级的检索技术，包括工程架构和算法策略。一、工程架构工程架构在构建检索系统中决定了系统的可扩展性、高可用性和性能。比如需要考虑的基本点：分布式架构：水平扩展：采用分布式架构，将检索任务分布到多个节点上，实现水平扩展。这可以通过将索引数据分片存储在不同的节点上，并使用分布式文件系统或对象存储来存储大规模的索引数据。任务分配：设计任务调度器，负责将查询请求分配到空闲的节点上进
  • 【HDFS】角色的架构设计 流辉fglow #HDFS大数据hdfshadoop大数据学习分布式
    HDFS角色的架构设计前置知识：Windows与Linux文件系统的差异HDFS中的角色及功能HDFS的架构NameNodeDataNodeNameNode元数据的持久化说明：/表示两个词是同一语义，方便你理解的前置知识：Windows与Linux文件系统的差异Windows&LInux虽然都有硬盘/分区、目录，但感受很不同的是：Windows：有很强的分区概念，要先通过不同的“盘符”去找文件在命
  • Hadoop常见面试题整理及解答 叶青舟 Linuxhdfs大数据hadooplinux
    Hadoop常见面试题整理及解答一、基础知识篇：1.把数据仓库从传统关系型数据库转到hadoop有什么优势？答：（1）关系型数据库成本高，且存储空间有限。而Hadoop使用较为廉价的机器存储数据，且Hadoop可以将大量机器构建成一个集群，并在集群中使用HDFS文件系统统一管理数据，极大的提高了数据的存储及处理能力。（2）关系型数据库仅支持标准结构化数据格式，Hadoop不仅支持标准结构化数据格式
  • 故障恢复（残次版） Cat God 007 备忘录服务器数据库运维
    视频地址一：文件系统故障修复案例模拟搞坏磁盘中的某一块ddif=/dev/zeroof=/dev/sdb1bs=1kcount=10(默认4K)1.修补分区中每个组中坏掉的超级块部分查看超级块的备份块dumpe2fs磁盘位置如：dumpe2fs/dev/sdb1使用备份超级块进行修复（超级块的备份块有几份，默认最近，可能最近的备份块可能修复不了，可以制定其他备份块进行恢复{组0，1{32768}，
  • 使用Python通过字节串或字节数组加载和保存PDF文档 Eiceblue PythonPDFpythonpdf开发语言pycharmvisualstudiocode
    处理PDF文件的可以直接读取和写入文件系统中的PDF文件，然而，通过字节串（bytestring）或字节数组（bytearray）来加载和保存PDF文档在某些情况下更高效。这种方法不仅可以提高数据处理的灵活性，允许开发者在内存中直接操作PDF，而且还能增强安全性，同时方便跨应用传输和网络传输。本文将介绍如何使用Python通过字节串或字节数组来加载和保存PDF文档。文章目录创建PDF文档并保存为字
  • mysql整体架构描述 问道飞鱼 数据库相关技术mysql架构数据库
    文章目录数据库架构示意图1.连接层2.服务层3.存储引擎层4.文件系统层5.系统层主要特性数据库文件格式InnoDB存储引擎文件类型及用途MyISAM存储引擎文件类型及用途其他文件类型文件内容示例表结构文件示例(`.frm`)InnoDB数据文件示例（`.ibd`）MyISAM数据文件示例（`.MYD`）SQL脚本文件示例（`.sql`）数据库内存结构示意图MySQLServer层面的内存结构In
  • Linux格式化命令 sky wide linux运维服务器
    Linux格式化命令：格式化硬盘成ext4文件系统：mkfs.ext4/dev/sdb1格式化硬盘成NTFS文件系统：mkfs.ntfs/dev/sdb1格式化U盘成FAT32文件系统：mkfs.vfat-F32/dev/sdc1格式化U盘成exFAT文件系统：mkfs.exfat/dev/sdc1格式化硬盘成XFS文件系统：mkfs.xfs/dev/sdb1格式化硬盘成Btrfs文件系统：mkf
  • 存储课程学习笔记7_fuse库的简单使用（fuse,opencv的demo） yun6853992 dpdk学习fuse
    fuse一般称为用户态度文件系统，可以实现在用户层实现对文件系统的控制。通过fuse内核模块的支持，基于libfuse提供的接口，就可以实现一个文件系统。fuse内核模块实现了与VFS的对接，运行后可以看到/dev/fuse，拦截相关请求，反馈给fuse进程，进行操作。使用fuse进行开发，不用关注内核模块，直接使用libfuse库在用户态实现文件系统即可。0：总结1：fuse的开发，实际上和前面
  • chmod命令学习2 天南地北飞 linux基础学习学习linux服务器
    递归地修改权限chmod-R很多Linux命令可以递归地应用于文件和目录，chmod命令也不例外。使用-R（或–recursive）选项能够在短时间内修改数百个文件系统对象的权限。$pwd/home/scott/pictures/libby$ls-lFdrwxrw----2scottscott...by_pool/-rw-r--r--1scottscott...libby_arrowrock.jp
  • 浅谈一下B树 AIGC Ball b树
    B树（平衡二叉树）是一种自平衡的二叉查找树，它允许搜索、顺序访问、插入和删除操作在对数时间内完成。B树的关键特性是它可以保持所有叶子节点在同一层，这使得它非常适合用于数据库和文件系统中的索引结构。B树的基本概念节点：B树的每个节点可以包含一个键值对和两个子节点的指针，除了根节点和叶子节点。根节点至少含有一个键，叶子节点包含n个键和n+1个子节点指针（n>1）。键：B树中的键是用于排序和查找的值，每
  • linux运维常见命令行 问道飞鱼 运维linux服务器
    文章目录用户管理创建用户修改用户信息列出用户信息添加用户到组删除用户创建和管理组查看用户和组的信息其他相关命令文件管理文件和目录的基本操作文件权限管理文件压缩和归档磁盘管理查看磁盘使用情况查看文件和目录的磁盘使用情况磁盘分区管理挂载和卸载文件系统磁盘配额管理LVM（LogicalVolumeManager）管理网络管理查看网络接口状态配置网络接口查看和管理路由表管理DNS和主机名网络诊断工具网络流
  • 数据库服务器运维最佳实践 bigbig猩猩 数据库运维服务器
    数据库服务器运维是确保数据库系统高效、稳定和安全运行的关键环节。随着信息技术的不断发展，数据库系统的规模和复杂性不断增加，对运维工作的要求也越来越高。以下将从硬件选择、操作系统和文件系统优化、数据库版本选择、参数优化、数据备份与恢复、性能监控与调优、安全管理以及高可用性和灾难恢复等方面详细介绍数据库服务器运维的最佳实践。一、硬件选择1.CPU选择多核高主频的处理器是保障数据库性能的基础。数据库服务
  • 消息中间件之ActiveMQ — 07 筑梦之人 消息中间件MQjavaactivemq
    集群配置官方文档主备集群官方文档MasterSlaveTypeRequirementsProsConsSharedFileSystemMasterSlave共享文件系统，如SAN需要运行多个slave。当master挂掉之后会自动进行故障恢复需要共享文件系统JDBCMasterSlave共享数据库需要运行多个slave。当master挂掉之后会自动进行故障恢复需要一个共享的数据库。也相对缓慢，因为
  • 大数据分析与安全分析 Zh&&Li 网络安全运维数据分析安全数据挖掘运维数据库
    大数据分析一、大数据安全威胁与需求分析1.1大数据相关概念发展大数据：是指非传统的数据处理工具的数据集大数据特征：海量的数据规模、快速的数据流转、多样的数据类型和价值密度低等大数据的种类和来源非常多，包括结构化、半结构化和非结构化数据有关大数据的新兴网络信息技术应用不断出现，主要包括大规模数据分析处理、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和存储系统1.2大数据安全威胁分析“数
  • 【网络安全 | 渗透工具】IIS 短文件名枚举工具—shortscan安装使用教程 秋说 渗透工具web安全漏洞挖掘渗透工具
    未经许可，不得转载。文章目录shortscan安装使用Shortutil工具shortscanShortScan是一种用于在MicrosoftIIS(InternetInformationServices)Web服务器上进行短文件名枚举的工具。该工具可以帮助攻击者利用IIS的文件名处理特性，通过预测性扫描枚举服务器上的文件和目录名称。背景：在早期的Windows文件系统（如FAT和NTFS）中，每
  • 数据采集与数据预处理（python）概述（一） 数学难 python开发语言
    一，数据采集的概念在处理海量事务时，我们经常需要针对特定条件进行数据的精准获取，这一过程被称为数据采集。数据采集的核心在于从多样化的数据存储形式中，根据具体需求进行有针对性的数据提取。这些数据存储形式丰富多样，涵盖了从简单的文本文档到复杂的数据库系统，再到多媒体文件等多个领域。常见的数据存储方式包括：文件系统（FileSystem）：文本文档：TXT,DOC,PDF,XLS(Excel),CSV等
  • 数据采集高并发的架构应用 3golden .net
    问题的出发点：          最近公司为了发展需要，要扩大对用户的信息采集，每个用户的采集量估计约2W。如果用户量增加的话，将会大量照成采集量成3W倍的增长，但是又要满足日常业务需要，特别是指令要及时得到响应的频率次数远大于预期。       &n
  • 不停止 MySQL 服务增加从库的两种方式 brotherlamp linuxlinux视频linux资料linux教程linux自学
    现在生产环境MySQL数据库是一主一从，由于业务量访问不断增大，故再增加一台从库。前提是不能影响线上业务使用，也就是说不能重启MySQL服务，为了避免出现其他情况，选择在网站访问量低峰期时间段操作。  一般在线增加从库有两种方式，一种是通过mysqldump备份主库，恢复到从库，mysqldump是逻辑备份，数据量大时，备份速度会很慢，锁表的时间也会很长。另一种是通过xtrabacku
  • Quartz——SimpleTrigger触发器 eksliang SimpleTriggerTriggerUtilsquartz
    转载请出自出处：http://eksliang.iteye.com/blog/2208166 一.概述 SimpleTrigger触发器，当且仅需触发一次或者以固定时间间隔周期触发执行；   二.SimpleTrigger的构造函数 SimpleTrigger(String name, String group)：通过该构造函数指定Trigger所属组和名称； Simpl
  • Informatica应用（1） 18289753290 sqlworkflowlookup组件Informatica
    1.如果要在workflow中调用shell脚本有一个command组件，在里面设置shell的路径；调度wf可以右键出现schedule，现在用的是HP的tidal调度wf的执行。 2.designer里面的router类似于SSIS中的broadcast（多播组件）;Reset_Workflow_Var：参数重置 （比如说我这个参数初始是1在workflow跑得过程中变成了3我要在结束时还要
  • python 获取图片验证码中文字 酷的飞上天空 python
    根据现成的开源项目 http://code.google.com/p/pytesser/改写 在window上用easy_install安装不上  看了下源码发现代码很少  于是就想自己改写一下   添加支持网络图片的直接解析   #coding:utf-8 #import sys #reload(sys) #sys.s
  • AJAX 永夜-极光 Ajax
    1.AJAX功能:动态更新页面,减少流量消耗,减轻服务器负担   2.代码结构:    <html> <head> <script type="text/javascript"> function loadXMLDoc() { .... AJAX script goes here ...
  • 创业OR读研 随便小屋 创业
            现在研一，有种想创业的想法，不知道该不该去实施。因为对于的我情况这两者是矛盾的，可能就是鱼与熊掌不能兼得。                研一的生活刚刚过去两个月，我们学校主要的是
  • 需求做得好与坏直接关系着程序员生活质量 aijuans IT 生活
            这个故事还得从去年换工作的事情说起，由于自己不太喜欢第一家公司的环境我选择了换一份工作。去年九月份我入职现在的这家公司，专门从事金融业内软件的开发。十一月份我们整个项目组前往北京做现场开发，从此苦逼的日子开始了。        系统背景：五月份就有同事前往甲方了解需求一直到6月份，后续几个月也完
  • 如何定义和区分高级软件开发工程师 aoyouzi
    在软件开发领域，高级开发工程师通常是指那些编写代码超过 3 年的人。这些人可能会被放到领导的位置，但经常会产生非常糟糕的结果。Matt Briggs 是一名高级开发工程师兼 Scrum 管理员。他认为，单纯使用年限来划分开发人员存在问题，两个同样具有 10 年开发经验的开发人员可能大不相同。近日，他发表了一篇博文，根据开发者所能发挥的作用划分软件开发工程师的成长阶段。 　　初
  • Servlet的请求与响应 百合不是茶 servletget提交java处理post提交
      Servlet是tomcat中的一个重要组成,也是负责客户端和服务端的中介     1,Http的请求方式(get  ,post);   客户端的请求一般都会都是Servlet来接受的,在接收之前怎么来确定是那种方式提交的,以及如何反馈,Servlet中有相应的方法,  http的get方式 servlet就是都doGet(
  • web.xml配置详解之listener bijian1013 javaweb.xmllistener
    一.定义 <listener> <listen-class>com.myapp.MyListener</listen-class> </listener>   二.作用        该元素用来注册一个监听器类。可以收到事件什么时候发生以及用什么作为响
  • Web页面性能优化（yahoo技术） Bill_chen JavaScriptAjaxWebcssYahoo
    1.尽可能的减少HTTP请求数 content 2.使用CDN server 3.添加Expires头(或者 Cache-control) server 4.Gzip 组件 server 5.把CSS样式放在页面的上方。 css 6.将脚本放在底部(包括内联的) javascript 7.避免在CSS中使用Expressions css 8.将javascript和css独立成外部文
  • 【MongoDB学习笔记八】MongoDB游标、分页查询、查询结果排序 bit1129 mongodb
    游标   游标，简单的说就是一个查询结果的指针。游标作为数据库的一个对象，使用它是包括 声明 打开 循环抓去一定数目的文档直到结果集中的所有文档已经抓取完 关闭游标   游标的基本用法，类似于JDBC的ResultSet(hasNext判断是否抓去完,next移动游标到下一条文档)，在获取一个文档集时，可以提供一个类似JDBC的FetchSize
  • ORA-12514 TNS 监听程序当前无法识别连接描述符中请求服务 的解决方法 白糖_ ORA-12514
    今天通过Oracle SQL*Plus连接远端服务器的时候提示“监听程序当前无法识别连接描述符中请求服务”，遂在网上找到了解决方案： ①打开Oracle服务器安装目录\NETWORK\ADMIN\listener.ora文件，你会看到如下信息：   # listener.ora Network Configuration File: D:\database\Oracle\net
  • Eclipse 问题 A resource exists with a different case bozch eclipse
    在使用Eclipse进行开发的时候，出现了如下的问题： Description Resource Path Location TypeThe project was not built due to "A resource exists with a different case: '/SeenTaoImp_zhV2/bin/seentao'.&
  • 编程之美-小飞的电梯调度算法 bylijinnan 编程之美
    public class AptElevator { /** * 编程之美 小飞 电梯调度算法 * 在繁忙的时间，每次电梯从一层往上走时，我们只允许电梯停在其中的某一层。 * 所有乘客都从一楼上电梯，到达某层楼后，电梯听下来，所有乘客再从这里爬楼梯到自己的目的层。 * 在一楼时，每个乘客选择自己的目的层，电梯则自动计算出应停的楼层。 * 问：电梯停在哪
  • SQL注入相关概念 chenbowen00 sqlWeb安全
    SQL Injection：就是通过把SQL命令插入到Web表单递交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。 具体来说，它是利用现有应用程序，将（恶意）的SQL命令注入到后台数据库引擎执行的能力，它可以通过在Web表单中输入（恶意）SQL语句得到一个存在安全漏洞的网站上的数据库，而不是按照设计者意图去执行SQL语句。 首先让我们了解什么时候可能发生SQ
  • [光与电]光子信号战防御原理 comsci 原理
          无论是在战场上,还是在后方,敌人都有可能用光子信号对人体进行控制和攻击,那么采取什么样的防御方法,最简单,最有效呢?       我们这里有几个山寨的办法,可能有些作用,大家如果有兴趣可以去实验一下       根据光
  • oracle 11g新特性:Pending Statistics daizj oracledbms_stats
    oracle 11g新特性:Pending Statistics 转 从11g开始，表与索引的统计信息收集完毕后，可以选择收集的统信息立即发布，也可以选择使新收集的统计信息处于pending状态，待确定处于pending状态的统计信息是安全的，再使处于pending状态的统计信息发布，这样就会避免一些因为收集统计信息立即发布而导致SQL执行计划走错的灾难。 在 11g 之前的版本中，D
  • 快速理解RequireJs dengkane jqueryrequirejs
    RequireJs已经流行很久了，我们在项目中也打算使用它。它提供了以下功能： 声明不同js文件之间的依赖 可以按需、并行、延时载入js库 可以让我们的代码以模块化的方式组织 初看起来并不复杂。 在html中引入requirejs 在HTML中，添加这样的 <script> 标签： <script src="/path/to
  • C语言学习四流程控制if条件选择、for循环和强制类型转换 dcj3sjt126com c
    # include <stdio.h> int main(void) { int i, j; scanf("%d %d", &i, &j); if (i > j) printf("i大于j\n"); else printf("i小于j\n"); retu
  • dictionary的使用要注意 dcj3sjt126com IO
    NSDictionary *dict = [NSDictionary dictionaryWithObjectsAndKeys: user.user_id , @"id", user.username , @"username",
  • Android 中的资源访问(Resource) finally_m xmlandroidStringdrawablecolor
    简单的说，Android中的资源是指非代码部分。例如，在我们的Android程序中要使用一些图片来设置界面，要使用一些音频文件来设置铃声，要使用一些动画来显示特效，要使用一些字符串来显示提示信息。那么，这些图片、音频、动画和字符串等叫做Android中的资源文件。 在Eclipse创建的工程中，我们可以看到res和assets两个文件夹，是用来保存资源文件的，在assets中保存的一般是原生
  • Spring使用Cache、整合Ehcache 234390216 springcacheehcache@Cacheable
    Spring使用Cache            从3.1开始，Spring引入了对Cache的支持。其使用方法和原理都类似于Spring对事务管理的支持。Spring Cache是作用在方法上的，其核心思想是这样的：当我们在调用一个缓存方法时会把该方法参数和返回结果作为一个键值对存放在缓存中，等到下次利用同样的
  • 当druid遇上oracle blob(clob) jackyrong oracle
    http://blog.csdn.net/renfufei/article/details/44887371 众所周知，Oracle有很多坑, 所以才有了去IOE。 在使用Druid做数据库连接池后，其实偶尔也会碰到小坑，这就是使用开源项目所必须去填平的。【如果使用不开源的产品，那就不是坑，而是陷阱了，你都不知道怎么去填坑】 用Druid连接池，通过JDBC往Oracle数据库的
  • easyui datagrid pagination获得分页页码、总页数等信息 ldzyz007
    var grid = $('#datagrid');  var options = grid.datagrid('getPager').data("pagination").options;  var curr = options.pageNumber;  var total = options.total;  var max =
  • 浅析awk里的数组 nigelzeng 二维数组array数组awk
    awk绝对是文本处理中的神器，它本身也是一门编程语言，还有许多功能本人没有使用到。这篇文章就单单针对awk里的数组来进行讨论，如何利用数组来帮助完成文本分析。   有这么一组数据：   abcd,91#31#2012-12-31 11:24:00 case_a,136#19#2012-12-31 11:24:00 case_a,136#23#2012-12-31 1
  • 搭建 CentOS 6 服务器(6) - TigerVNC rensanning centos
    安装GNOME桌面环境 # yum groupinstall "X Window System" "Desktop" 安装TigerVNC # yum -y install tigervnc-server tigervnc 启动VNC服务 # /etc/init.d/vncserver restart # vncser
  • Spring 数据库连接整理 tomcat_oracle springbeanjdbc
    1、数据库连接jdbc.properties配置详解 　　jdbc.url=jdbc:hsqldb:hsql://localhost/xdb 　　jdbc.username=sa 　　jdbc.password= 　　jdbc.driver=不同的数据库厂商驱动，此处不一一列举 　　接下来，详细配置代码如下： 　　 Spring连接池    
  • Dom4J解析使用xpath java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常 xp9802
    用Dom4J解析xml,以前没注意,今天使用dom4j包解析xml时在xpath使用处报错      异常栈：java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常       导入包 jaxen-1.1-beta-6.jar 解决; &nb
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他