喵星人ZC
喵星人ZC

HDFS文件损坏解决方法

HDFS文件损坏解决方法_第1张图片
image.png

自己虚拟机搭建的伪分布Hadoop，没有停止进程，不小心点到关机。再次启动时就一直处于安全模式，而且说损坏了20个块

[hadoop@hadoop000 hadoop]$ hdfs fsck /

Connecting to namenode via http://hadoop000:50070
FSCK started by hadoop (auth:SIMPLE) from /192.168.245.100 for path / at Thu May 30 22:25:35 CST 2019
........
/spark_eventLog/application_1557764445673_0005: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741882

/spark_eventLog/application_1557764445673_0005: MISSING 1 blocks of total size 46746 B..
/spark_eventLog/application_1557764445673_0006: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741888

/spark_eventLog/application_1557764445673_0006: MISSING 1 blocks of total size 44885 B..
/spark_eventLog/application_1557764445673_0007: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741893

/spark_eventLog/application_1557764445673_0007: MISSING 1 blocks of total size 44932 B..
/spark_eventLog/application_1557764445673_0008: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741898

/spark_eventLog/application_1557764445673_0008: MISSING 1 blocks of total size 44935 B..
/spark_eventLog/application_1557764445673_0009: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741903

/spark_eventLog/application_1557764445673_0009: MISSING 1 blocks of total size 44931 B..
/spark_eventLog/application_1557764445673_0010: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741908

/spark_eventLog/application_1557764445673_0010: MISSING 1 blocks of total size 44935 B..
/spark_eventLog/application_1557764445673_0011: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741913

/spark_eventLog/application_1557764445673_0011: MISSING 1 blocks of total size 44931 B..
/spark_eventLog/application_1557764445673_0012: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741918

/spark_eventLog/application_1557764445673_0012: MISSING 1 blocks of total size 62124 B..
/spark_eventLog/application_1557764445673_0013: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741923

/spark_eventLog/application_1557764445673_0013: MISSING 1 blocks of total size 44932 B.........................
/spark_eventLog/local-1558243986730: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741876

/spark_eventLog/local-1558243986730: MISSING 1 blocks of total size 38056 B..
/spark_eventLog/local-1558244355032: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741877

/spark_eventLog/local-1558244355032: MISSING 1 blocks of total size 38056 B..........
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0002-1558020903556-hadoop-select+domain+%2C+time+%2C+row_num...domain_info%28Stage-1558020926785-1-1-SUCCEEDED-root.hadoop-1558020910773.jhist: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741843

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0002-1558020903556-hadoop-select+domain+%2C+time+%2C+row_num...domain_info%28Stage-1558020926785-1-1-SUCCEEDED-root.hadoop-1558020910773.jhist: MISSING 1 blocks of total size 35395 B..
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0002.summary: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741842

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0002.summary: MISSING 1 blocks of total size 394 B..
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0002_conf.xml: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741844

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0002_conf.xml: MISSING 1 blocks of total size 223006 B..
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0003-1558021068294-hadoop-select+%0Adomain%2C+%0Atime%2C+%0Arow_nu...domain_info%28Stage-1558021086767-1-1-SUCCEEDED-root.hadoop-1558021073405.jhist: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741856

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0003-1558021068294-hadoop-select+%0Adomain%2C+%0Atime%2C+%0Arow_nu...domain_info%28Stage-1558021086767-1-1-SUCCEEDED-root.hadoop-1558021073405.jhist: MISSING 1 blocks of total size 35481 B..
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0003.summary: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741855

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0003.summary: MISSING 1 blocks of total size 397 B..
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0003_conf.xml: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741857

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0003_conf.xml: MISSING 1 blocks of total size 223167 B..
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0004-1558021143709-hadoop-select+%0Adomain%2C+%0Atime%2C+%0Arow_nu...domain_info%28Stage-1558021160715-1-1-SUCCEEDED-root.hadoop-1558021148130.jhist: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741869

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0004-1558021143709-hadoop-select+%0Adomain%2C+%0Atime%2C+%0Arow_nu...domain_info%28Stage-1558021160715-1-1-SUCCEEDED-root.hadoop-1558021148130.jhist: MISSING 1 blocks of total size 35551 B..
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0004.summary: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741868

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0004.summary: MISSING 1 blocks of total size 397 B..
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0004_conf.xml: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741870

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0004_conf.xml: MISSING 1 blocks of total size 223322 B...Status: CORRUPT
 Total size:    102274952 B
 Total dirs:    29
 Total files:   60
 Total symlinks:                0
 Total blocks (validated):      57 (avg. block size 1794297 B)
  ********************************
  CORRUPT FILES:        20
  MISSING BLOCKS:       20
  MISSING SIZE:         1276573 B
  CORRUPT BLOCKS:       20
  ********************************
 Minimally replicated blocks:   37 (64.91228 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    1
 Average block replication:     0.64912283
 Corrupt blocks:                20
 Missing replicas:              0 (0.0 %)
 Number of data-nodes:          1
 Number of racks:               1
FSCK ended at Thu May 30 22:25:35 CST 2019 in 11 milliseconds


The filesystem under path '/' is CORRUPT

解决方法：

离开安全模式(处于安全模式是无法删除损坏块的)
hadoop dfsadmin -safemode leave


删除损坏块
hdfs fsck  /  -delete

如果是生产请尝试使用hdfs debug

你可能感兴趣的:(HDFS文件损坏解决方法)

  • unblock with ‘mysqladmin flush-hosts‘ 解决方法 祈祷平安,加油 数据库常见问题oracle数据库
    MySqlHostisblockedbecauseofmanyconnectionerrors;unblockwith'mysqladminflush-hosts'解决方法环境：linux，mysql5.5.21错误：Hostisblockedbecauseofmanyconnectionerrors;unblockwith'mysqladminflush-hosts'原因：同一个ip在短时间内产
  • eclipse导入项目 warning报错 org.springframework.ide.eclipse.core.springnature zhangfeng1133 ideeclipsejava
    报错org.springframework.ide.eclipse.core.springnature报错信息"org.springframework.ide.eclipse.core.springnature"通常表示EclipseIDE中与Spring框架集成的插件出现了问题。这个错误可能是因为SpringIDE插件没有正确安装或配置，或者Eclipse的更新过程中出现了问题。解决方法：确认S
  • Element-UI中el-time-picker时间选择器无法选择 爱健身的小刘同学 bugElementVue系列javascript前端elementui
    前言前几天开发时，在做一个时间选择时，遇到了无法选中时间的问题在网络上找了解决方法，特此记录一下解决方法我的代码结构营业时间时间选择不上的原因是因为初始值问题很有可能是最开始赋值为空数组了所以有3个解决方法1.设置为nullbusinessTimeInfo:null2.设置当前时间businessTimeInfo:[newDate(newDate()),newDate(newDate())]（默认
  • Azkaban各种类型的Job编写 __元昊__
    一、概述原生的Azkaban支持的plugin类型有以下这些：command：Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java任务hive：支持执行hiveSQLpig：pig脚本任务spark：spark任务hdfsToTeradata：把数据从hdfs导入TeradatateradataToHdfs：把数据从Te
  • 【Linux】PyCharm无法启动报错及解决方法 不是AI python软件操作Linuxlinuxpycharm运维
    一、问题描述如图，笔者试图在Ubuntu18.04虚拟机上运行PyCharm开发工具（已安装，安装过程可以参考我的博客Ubuntu安装PyCharm），无法启动，报错：CannotconnecttoalreadyrunningIDEinstance.Exception:Process2574isstillrunning.报错截图如下：二、解决方法通过报错信息看出，出于某种原因，进程（PID为257
  • Linux（centos7）部署hive 灯下夜无眠 Linuxlinuxhive运维dbeaverhive客户端
    前提环境：已部署完hadoop(HDFS、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL-2022#安装Mysqlyum库rpm-Uvhhttp://repo.mysql.com//mysql57-community-release-el7-7.noarch.
  • SWIFT环境配置及大模型微调实践 weixin_43870390 swift开发语言ios
    SWIFT环境配置及大模型微调实践SWIFT环境配置基础配置增量配置SWIFTQwen_audio_chat大模型微调实践问题1:问题2:问题定位解决方法手动安装pytorchSWIFT介绍参考：这里SWIFT环境配置基础配置condacreate-nswiftpython=3.8pipinstallms-swift[all]-U#下载项目gitclonehttps://github.com/mo
  • 关于HDP的20道高级运维面试题 编织幻境的妖 运维
    1.描述HDP的主要组件及其作用。HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive、HBase等。以下是对这些组件及其作用的具体描述：Hadoop框架:Hadoop是一个开源的分布式计算框架，用Java语言编写，用于存储和处理大规模数据集。它广义
  • 九月目标达成训练营 yuqiong_819a
    1设立九月微目标【9月微目标】写作商业案例笔记45个【微目标分解】公司案例40个/每天2个，上午完成。行业笔记5个。1，9月第一周科技公司主题10个，2,9月第二周消费和服务业主题12个3，9月第三周智能制造4,9月第四周其他行业【目标达成阻碍】过度思考和找资料耽误进度，陪娃容易陷入时间黑洞，【解决方法PlanB】每周工作想清楚重点，细分目标;高质量陪娃也要目标管理～每天一个故事一个游戏【非达成不
  • 解决el-input无法输入的问题和表单验证失败问题 颖儿♡＾▽＾♡ vueelement-uivue.jsjavascriptelementui
    el-input无法输入的问题和表单验证失败问题原因1、el-input组件没有绑定双向响应式数据(v-model)解决方案:在data中定义一个变量，然后在el-input组件中使用v-model进行双向数据绑定，这样子就会解决el-input组件无法输入的问题了。原因2、组件嵌套太深(具体原因不清楚，只知道解决方法)有时，你会发现我们进行了双向数据绑定了，但是el-input还是无法输入，我们
  • linux环境下 python import找不到自定义模块的解决方法 强哥的博客 python
    问题现象：Linux环境中自定义的模块basic，importbasic出错。basic模块在/quoteEastmoney/目录下。两种方法：1.在导入模块之前（每个.py文件都需要加）importsyssys.path.append('/quoteEastmoney/')2.更改环境变量（一次修改永久生效）管理员权限修改：/etc/profile。在最后一行加上exportPYTHONPATH
  • Mockito.when返回的list长度为0问题解决方法 Fanzongshen Javalistjava
    今天玩Mockito.when遇见一个问题Mockito.when返回的list长度为0；上代码ArrayListchildDepts=newArrayListlist=orgMapper.selectOrgList(queryChild);//发现该代码返回的list长度为0此时应该把我们的模拟代码修改成这样Mockito.when(orgMapper.selectOrgList(Mockito
  • IDEA显示Cannot resolve symbol XXX 醉书生ꦿ℘゜এ javaJavaScriptjsintellijidea
    解决方法：File-->InvalidateCaches/Restart-->InvalidateandRestart
  • Minio设置文件链接永久有效 jackob-94 文件存储miniojava
    Minio设置文件链接永久有效一、问题描述minio分享文件的链接，最多支持分享七天。而我们正常的文件需要永久有效，此时需要设置文件链接永久有效。二、解决方法minio提供了一个客户端工具。可以直接对minioserver进行配置，将指定桶设置为公共永久可下载。三、具体解决步骤1、安装minio的mc首先是安装minio客户端，这个官方文档很清楚选择(Linux或者windows选择下载一个即可)
  • 为什么 v-if 和 v-for 不能在一起使用 懒大王9527 vue
    原因：因为两者的优先级不一样，v-for的优先级比v-if高，如果一起使用，每次渲染时都会先循环再进行条件判断，先循环再做判断会造成性能浪费，使用过程中不要把它们放在同一个元素上。解决方法：1.将v-if放在外层嵌套template（页面渲染不生成dom节点），在这一层先进行v-if判断，然后在内部进行v-for循环。2.如果条件出现在循环内部,不得不放在一起时,可通过计算属性computed提前
  • 【笔记】HDFS基础笔记 哇咔咔哇咔 Hadoophdfs笔记hadoop大数据ubuntu
    启动hadoop命令（未配环境变量）：进入hadoop安装目录输入./sbin/start-dfs.sh已配环境变量：start-dfs.sh关闭hadoop命令：stop-dfs.sh启动完成后，可以通过命令jps来判断是否成功启动，若成功启动则会列出如下进程:"NameNode"、"DataNode"和"SecondaryNameNode"三种Shell命令方式：1.hadoopfs2.had
  • 底层逻辑的读书笔记 唐亚明
    我读的这本书的作者是张羽，就是那个抖音平台30万粉丝，被网友称为“职场达人羽总”的。一开始的时候我读本书的目的是想了解什么是底层逻辑？在我的生活及工作中底层逻辑到底能给我提供那些支持？所谓底层逻辑就是从事物的底层、本质出发，寻找解决问题路径的思考方法。首先发现问题，其次可以对问题进行逐层分析，直到找到问题的本质，再从问题的本质出发，进一步深入，直到找到其解决方法。这个有点像剥洋葱，我喜欢吃洋葱最中
  • 如何解决GitHub打不开的问题！！！ 吾忆da githubgit
    如果遇到GitHub打不开的问题，可以尝试以下几种解决方法：检查网络连接：确保你的网络连接正常，可以访问其他网站。使用VPN：如果网络连接没有问题，可以尝试使用VPN，这可能会解决GitHub访问问题。检查代理设置：如果你使用了代理服务器，尝试将其关闭或切换到其他代理服务器。清除浏览器缓存和Cookie：有时候浏览器缓存或Cookie会导致访问问题，清除它们可能会解决问题。尝试访问其他GitHub
  • 【elementui】一招解决 el-table 重复写 loading 的问题 落落叶叶无声 elementuielementuiel-tableloading重复前端
    问题项目中使用elementui开发表格的小伙伴知道，给el-table添加加载动画一般都是用v-loading指令，同时组建中添加loading变量来控制。可是当表格越来越多时，每次都必须加一个loading变量同时在请求数据的方法中必须耦合loading的控制逻辑。太多的重复工作，既降低效率，也使得代码难于维护。解决方法使用Mixin+Proxy第一步，创建loading.js作为mixin，
  • Hibernate的Criteria查询因某个字段为空，导致查询数据为空问题 clk_esunny 随笔javahibernatejava查询
    今天，使用Hibernate的Criteria查询Oracle数据库表数据，发现只要表里面某个字段为空，查询不出来数据，这是为什么呢？下面解决方法介绍一下：(下面的表User_Info，只是举例说明使用)一、查找原因，排除法（1）是不是这个Criteria查询方法不支持？a.采用普通的Hibernate查询QueryqyeryObj=session.createQuery("FROMUSER_IN
  • 企业跨境出海选择AWS怎么样？ 九河云 阿里云人工智能大数据
    随着中国经济的快速发展和技术的不断提升，国内市场已逐渐达到饱和，越来越多的中国企业开始将业务拓展到海外市场。而多云出海技术可以满足不同企业的业务需求。对于希望拓展到海外市场的中资企业来说，多云技术可以帮助他们更快地进入市场，同时也可以降低成本和提高效率。这篇文章九河云详细阐述下AWS出海方案解决企业的哪些问题：AWS出海面临的挑战与解决方法：IT人员能力与经验：在海外市场上，可能需要具备不同国家、
  • hive库表占用空间大小的命令 刀鋒偏冷 hivehadoop数据仓库
    1、查每个hive表占用的空间大小hdfsdfs-du-h/user/hive/warehouse2、按占用空间大小降序排列hdfsdfs-du/user/hive/warehouse/ipms.db|sort-nr3、查某一个分区占用空间大小（单位G)hadoopfs-ls/user/hive/warehouse/ipms.db/dw_ft_se_nt_u_gen_h/fp_rat=6/stat
  • -[AwesomeProjectTests testRendersWelcomeScreen] 架构师的一小步
    "_RCTSetLogFunction",referencedfrom:-[AwesomeProjectTeststestRendersWelcomeScreen]inAwesomeProjectTests.o运行报错---->解决方法：在BuildSetting->Linking->DeadCodeStripping中设置为No就可以了。
  • 京东账号领不了券怎么办？解析领券失败的原因及解决方法 氧惠超好用
    在电商时代，优惠券已经成为消费者享受购物优惠的重要工具。然而，有时我们可能会遇到京东账号领不了券的情况，这让人感到困惑和失望。那么，京东账号领不了券是怎么回事呢？本文将为您解析领券失败的原因，并提供相应的解决方法。一、领券失败的原因分析账号异常：如果您的京东账号存在异常，例如被冻结、限制使用等，将无法领取优惠券。这通常是由于账号安全问题或违反京东的使用规定导致的。高省-淘宝38密令（超红密令）领取
  • resetFields()失效 虾仁不眨眼ok 前端javascripthtmlvue
    问题描述先点击新增，再取消弹窗。resetFields()正常运行，清空表单内容。先点击编辑，再新增，表单内容不能清空。解决方法在nextTick里赋值表单内容，因为弹窗会把第一次赋值的内容当成初始值，所以要在弹窗加载完之后再赋值constopenModal=(data)=>{base.visible=true;nextTick(()=>{base.formData=Object.assign({
  • 【Git】Github 上commit后，绿格子contribution却不显示？不知道怎么弥补？解决方法在这里 weiambt Linux/Git异常配置gitgithub
    github上commit后，绿格子（contribution）却不显示问题描述今天一直在github上面commit代码，但是github中并没有显示自己的contribution（没有绿色的格子），全是空白，网上一查是因为邮箱不一致导致的，难道以前的contribution就无法弥补回来了吗？这篇文章告诉你解决方法。原因分析哪些条件下，才符合Github的contribution？官方的解释如
  • python 使用 Crypto.PublicKey.RSA遇到的问题:from Crypto.PublicKey import RSA ModuleNotFoundError: No module ChenDuBr Errorpython
    fromCrypto.PublicKeyimportRSAModuleNotFoundError:Nomodulenamed‘Crypto’解决方法：（1）安装pycryptodome库：pipinstallpycryptodome如果site-packages中存在crypto、pycrypto，在pip之前，需要pipuninstallcrypto、pipuninstallpycrypto，否
  • HDFS weixin_51987187 笔记大数据
    （一）HDFS简介及其基本概念  HDFS（HadoopDistributedFileSystem）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HDFS中的数据。HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个商业硬件
  • 大数据开发（Hadoop面试真题-卷二） Key-Key 大数据hadoop面试
    大数据开发（Hadoop面试真题）1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点？如何解决这些问题？2、请解释一下HDFS架构中NameNode和DataNode之间是如何通信的？3、请解释一下Hadoop的工作原理及其组成部分？4、HDFS读写流程是什么样子？5、Hadoop中fsimage和edit的区别是什么？6、Spark为什么比MapReduce更快？7、详细描述一
  • Unresolved dependency: ‘com.aspose:aspose:jar:19‘最直接解决方法 我是时生 javajava
    Unresolveddependency:'com.aspose:aspose:jar:19’最直接解决方法产生该问题的原因是在maven中配置的http://maven.aliyun.com/nexus/content/groups/public下载不了com.aspose:aspose的jar包最快的方法是直接下载jar包到maven仓库中，我提供安装包。
  • 数据采集高并发的架构应用 3golden .net
    问题的出发点：          最近公司为了发展需要，要扩大对用户的信息采集，每个用户的采集量估计约2W。如果用户量增加的话，将会大量照成采集量成3W倍的增长，但是又要满足日常业务需要，特别是指令要及时得到响应的频率次数远大于预期。       &n
  • 不停止 MySQL 服务增加从库的两种方式 brotherlamp linuxlinux视频linux资料linux教程linux自学
    现在生产环境MySQL数据库是一主一从，由于业务量访问不断增大，故再增加一台从库。前提是不能影响线上业务使用，也就是说不能重启MySQL服务，为了避免出现其他情况，选择在网站访问量低峰期时间段操作。  一般在线增加从库有两种方式，一种是通过mysqldump备份主库，恢复到从库，mysqldump是逻辑备份，数据量大时，备份速度会很慢，锁表的时间也会很长。另一种是通过xtrabacku
  • Quartz——SimpleTrigger触发器 eksliang SimpleTriggerTriggerUtilsquartz
    转载请出自出处：http://eksliang.iteye.com/blog/2208166 一.概述 SimpleTrigger触发器，当且仅需触发一次或者以固定时间间隔周期触发执行；   二.SimpleTrigger的构造函数 SimpleTrigger(String name, String group)：通过该构造函数指定Trigger所属组和名称； Simpl
  • Informatica应用（1） 18289753290 sqlworkflowlookup组件Informatica
    1.如果要在workflow中调用shell脚本有一个command组件，在里面设置shell的路径；调度wf可以右键出现schedule，现在用的是HP的tidal调度wf的执行。 2.designer里面的router类似于SSIS中的broadcast（多播组件）;Reset_Workflow_Var：参数重置 （比如说我这个参数初始是1在workflow跑得过程中变成了3我要在结束时还要
  • python 获取图片验证码中文字 酷的飞上天空 python
    根据现成的开源项目 http://code.google.com/p/pytesser/改写 在window上用easy_install安装不上  看了下源码发现代码很少  于是就想自己改写一下   添加支持网络图片的直接解析   #coding:utf-8 #import sys #reload(sys) #sys.s
  • AJAX 永夜-极光 Ajax
    1.AJAX功能:动态更新页面,减少流量消耗,减轻服务器负担   2.代码结构:    <html> <head> <script type="text/javascript"> function loadXMLDoc() { .... AJAX script goes here ...
  • 创业OR读研 随便小屋 创业
            现在研一，有种想创业的想法，不知道该不该去实施。因为对于的我情况这两者是矛盾的，可能就是鱼与熊掌不能兼得。                研一的生活刚刚过去两个月，我们学校主要的是
  • 需求做得好与坏直接关系着程序员生活质量 aijuans IT 生活
            这个故事还得从去年换工作的事情说起，由于自己不太喜欢第一家公司的环境我选择了换一份工作。去年九月份我入职现在的这家公司，专门从事金融业内软件的开发。十一月份我们整个项目组前往北京做现场开发，从此苦逼的日子开始了。        系统背景：五月份就有同事前往甲方了解需求一直到6月份，后续几个月也完
  • 如何定义和区分高级软件开发工程师 aoyouzi
    在软件开发领域，高级开发工程师通常是指那些编写代码超过 3 年的人。这些人可能会被放到领导的位置，但经常会产生非常糟糕的结果。Matt Briggs 是一名高级开发工程师兼 Scrum 管理员。他认为，单纯使用年限来划分开发人员存在问题，两个同样具有 10 年开发经验的开发人员可能大不相同。近日，他发表了一篇博文，根据开发者所能发挥的作用划分软件开发工程师的成长阶段。 　　初
  • Servlet的请求与响应 百合不是茶 servletget提交java处理post提交
      Servlet是tomcat中的一个重要组成,也是负责客户端和服务端的中介     1,Http的请求方式(get  ,post);   客户端的请求一般都会都是Servlet来接受的,在接收之前怎么来确定是那种方式提交的,以及如何反馈,Servlet中有相应的方法,  http的get方式 servlet就是都doGet(
  • web.xml配置详解之listener bijian1013 javaweb.xmllistener
    一.定义 <listener> <listen-class>com.myapp.MyListener</listen-class> </listener>   二.作用        该元素用来注册一个监听器类。可以收到事件什么时候发生以及用什么作为响
  • Web页面性能优化（yahoo技术） Bill_chen JavaScriptAjaxWebcssYahoo
    1.尽可能的减少HTTP请求数 content 2.使用CDN server 3.添加Expires头(或者 Cache-control) server 4.Gzip 组件 server 5.把CSS样式放在页面的上方。 css 6.将脚本放在底部(包括内联的) javascript 7.避免在CSS中使用Expressions css 8.将javascript和css独立成外部文
  • 【MongoDB学习笔记八】MongoDB游标、分页查询、查询结果排序 bit1129 mongodb
    游标   游标，简单的说就是一个查询结果的指针。游标作为数据库的一个对象，使用它是包括 声明 打开 循环抓去一定数目的文档直到结果集中的所有文档已经抓取完 关闭游标   游标的基本用法，类似于JDBC的ResultSet(hasNext判断是否抓去完,next移动游标到下一条文档)，在获取一个文档集时，可以提供一个类似JDBC的FetchSize
  • ORA-12514 TNS 监听程序当前无法识别连接描述符中请求服务 的解决方法 白糖_ ORA-12514
    今天通过Oracle SQL*Plus连接远端服务器的时候提示“监听程序当前无法识别连接描述符中请求服务”，遂在网上找到了解决方案： ①打开Oracle服务器安装目录\NETWORK\ADMIN\listener.ora文件，你会看到如下信息：   # listener.ora Network Configuration File: D:\database\Oracle\net
  • Eclipse 问题 A resource exists with a different case bozch eclipse
    在使用Eclipse进行开发的时候，出现了如下的问题： Description Resource Path Location TypeThe project was not built due to "A resource exists with a different case: '/SeenTaoImp_zhV2/bin/seentao'.&
  • 编程之美-小飞的电梯调度算法 bylijinnan 编程之美
    public class AptElevator { /** * 编程之美 小飞 电梯调度算法 * 在繁忙的时间，每次电梯从一层往上走时，我们只允许电梯停在其中的某一层。 * 所有乘客都从一楼上电梯，到达某层楼后，电梯听下来，所有乘客再从这里爬楼梯到自己的目的层。 * 在一楼时，每个乘客选择自己的目的层，电梯则自动计算出应停的楼层。 * 问：电梯停在哪
  • SQL注入相关概念 chenbowen00 sqlWeb安全
    SQL Injection：就是通过把SQL命令插入到Web表单递交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。 具体来说，它是利用现有应用程序，将（恶意）的SQL命令注入到后台数据库引擎执行的能力，它可以通过在Web表单中输入（恶意）SQL语句得到一个存在安全漏洞的网站上的数据库，而不是按照设计者意图去执行SQL语句。 首先让我们了解什么时候可能发生SQ
  • [光与电]光子信号战防御原理 comsci 原理
          无论是在战场上,还是在后方,敌人都有可能用光子信号对人体进行控制和攻击,那么采取什么样的防御方法,最简单,最有效呢?       我们这里有几个山寨的办法,可能有些作用,大家如果有兴趣可以去实验一下       根据光
  • oracle 11g新特性:Pending Statistics daizj oracledbms_stats
    oracle 11g新特性:Pending Statistics 转 从11g开始，表与索引的统计信息收集完毕后，可以选择收集的统信息立即发布，也可以选择使新收集的统计信息处于pending状态，待确定处于pending状态的统计信息是安全的，再使处于pending状态的统计信息发布，这样就会避免一些因为收集统计信息立即发布而导致SQL执行计划走错的灾难。 在 11g 之前的版本中，D
  • 快速理解RequireJs dengkane jqueryrequirejs
    RequireJs已经流行很久了，我们在项目中也打算使用它。它提供了以下功能： 声明不同js文件之间的依赖 可以按需、并行、延时载入js库 可以让我们的代码以模块化的方式组织 初看起来并不复杂。 在html中引入requirejs 在HTML中，添加这样的 <script> 标签： <script src="/path/to
  • C语言学习四流程控制if条件选择、for循环和强制类型转换 dcj3sjt126com c
    # include <stdio.h> int main(void) { int i, j; scanf("%d %d", &i, &j); if (i > j) printf("i大于j\n"); else printf("i小于j\n"); retu
  • dictionary的使用要注意 dcj3sjt126com IO
    NSDictionary *dict = [NSDictionary dictionaryWithObjectsAndKeys: user.user_id , @"id", user.username , @"username",
  • Android 中的资源访问(Resource) finally_m xmlandroidStringdrawablecolor
    简单的说，Android中的资源是指非代码部分。例如，在我们的Android程序中要使用一些图片来设置界面，要使用一些音频文件来设置铃声，要使用一些动画来显示特效，要使用一些字符串来显示提示信息。那么，这些图片、音频、动画和字符串等叫做Android中的资源文件。 在Eclipse创建的工程中，我们可以看到res和assets两个文件夹，是用来保存资源文件的，在assets中保存的一般是原生
  • Spring使用Cache、整合Ehcache 234390216 springcacheehcache@Cacheable
    Spring使用Cache            从3.1开始，Spring引入了对Cache的支持。其使用方法和原理都类似于Spring对事务管理的支持。Spring Cache是作用在方法上的，其核心思想是这样的：当我们在调用一个缓存方法时会把该方法参数和返回结果作为一个键值对存放在缓存中，等到下次利用同样的
  • 当druid遇上oracle blob(clob) jackyrong oracle
    http://blog.csdn.net/renfufei/article/details/44887371 众所周知，Oracle有很多坑, 所以才有了去IOE。 在使用Druid做数据库连接池后，其实偶尔也会碰到小坑，这就是使用开源项目所必须去填平的。【如果使用不开源的产品，那就不是坑，而是陷阱了，你都不知道怎么去填坑】 用Druid连接池，通过JDBC往Oracle数据库的
  • easyui datagrid pagination获得分页页码、总页数等信息 ldzyz007
    var grid = $('#datagrid');  var options = grid.datagrid('getPager').data("pagination").options;  var curr = options.pageNumber;  var total = options.total;  var max =
  • 浅析awk里的数组 nigelzeng 二维数组array数组awk
    awk绝对是文本处理中的神器，它本身也是一门编程语言，还有许多功能本人没有使用到。这篇文章就单单针对awk里的数组来进行讨论，如何利用数组来帮助完成文本分析。   有这么一组数据：   abcd,91#31#2012-12-31 11:24:00 case_a,136#19#2012-12-31 11:24:00 case_a,136#23#2012-12-31 1
  • 搭建 CentOS 6 服务器(6) - TigerVNC rensanning centos
    安装GNOME桌面环境 # yum groupinstall "X Window System" "Desktop" 安装TigerVNC # yum -y install tigervnc-server tigervnc 启动VNC服务 # /etc/init.d/vncserver restart # vncser
  • Spring 数据库连接整理 tomcat_oracle springbeanjdbc
    1、数据库连接jdbc.properties配置详解 　　jdbc.url=jdbc:hsqldb:hsql://localhost/xdb 　　jdbc.username=sa 　　jdbc.password= 　　jdbc.driver=不同的数据库厂商驱动，此处不一一列举 　　接下来，详细配置代码如下： 　　 Spring连接池    
  • Dom4J解析使用xpath java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常 xp9802
    用Dom4J解析xml,以前没注意,今天使用dom4j包解析xml时在xpath使用处报错      异常栈：java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常       导入包 jaxen-1.1-beta-6.jar 解决; &nb
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他