喵星人ZC
喵星人ZC

HDFS文件损坏解决方法

HDFS文件损坏解决方法_第1张图片
image.png

自己虚拟机搭建的伪分布Hadoop，没有停止进程，不小心点到关机。再次启动时就一直处于安全模式，而且说损坏了20个块

[hadoop@hadoop000 hadoop]$ hdfs fsck /

Connecting to namenode via http://hadoop000:50070
FSCK started by hadoop (auth:SIMPLE) from /192.168.245.100 for path / at Thu May 30 22:25:35 CST 2019
........
/spark_eventLog/application_1557764445673_0005: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741882

/spark_eventLog/application_1557764445673_0005: MISSING 1 blocks of total size 46746 B..
/spark_eventLog/application_1557764445673_0006: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741888

/spark_eventLog/application_1557764445673_0006: MISSING 1 blocks of total size 44885 B..
/spark_eventLog/application_1557764445673_0007: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741893

/spark_eventLog/application_1557764445673_0007: MISSING 1 blocks of total size 44932 B..
/spark_eventLog/application_1557764445673_0008: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741898

/spark_eventLog/application_1557764445673_0008: MISSING 1 blocks of total size 44935 B..
/spark_eventLog/application_1557764445673_0009: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741903

/spark_eventLog/application_1557764445673_0009: MISSING 1 blocks of total size 44931 B..
/spark_eventLog/application_1557764445673_0010: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741908

/spark_eventLog/application_1557764445673_0010: MISSING 1 blocks of total size 44935 B..
/spark_eventLog/application_1557764445673_0011: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741913

/spark_eventLog/application_1557764445673_0011: MISSING 1 blocks of total size 44931 B..
/spark_eventLog/application_1557764445673_0012: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741918

/spark_eventLog/application_1557764445673_0012: MISSING 1 blocks of total size 62124 B..
/spark_eventLog/application_1557764445673_0013: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741923

/spark_eventLog/application_1557764445673_0013: MISSING 1 blocks of total size 44932 B.........................
/spark_eventLog/local-1558243986730: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741876

/spark_eventLog/local-1558243986730: MISSING 1 blocks of total size 38056 B..
/spark_eventLog/local-1558244355032: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741877

/spark_eventLog/local-1558244355032: MISSING 1 blocks of total size 38056 B..........
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0002-1558020903556-hadoop-select+domain+%2C+time+%2C+row_num...domain_info%28Stage-1558020926785-1-1-SUCCEEDED-root.hadoop-1558020910773.jhist: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741843

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0002-1558020903556-hadoop-select+domain+%2C+time+%2C+row_num...domain_info%28Stage-1558020926785-1-1-SUCCEEDED-root.hadoop-1558020910773.jhist: MISSING 1 blocks of total size 35395 B..
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0002.summary: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741842

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0002.summary: MISSING 1 blocks of total size 394 B..
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0002_conf.xml: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741844

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0002_conf.xml: MISSING 1 blocks of total size 223006 B..
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0003-1558021068294-hadoop-select+%0Adomain%2C+%0Atime%2C+%0Arow_nu...domain_info%28Stage-1558021086767-1-1-SUCCEEDED-root.hadoop-1558021073405.jhist: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741856

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0003-1558021068294-hadoop-select+%0Adomain%2C+%0Atime%2C+%0Arow_nu...domain_info%28Stage-1558021086767-1-1-SUCCEEDED-root.hadoop-1558021073405.jhist: MISSING 1 blocks of total size 35481 B..
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0003.summary: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741855

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0003.summary: MISSING 1 blocks of total size 397 B..
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0003_conf.xml: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741857

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0003_conf.xml: MISSING 1 blocks of total size 223167 B..
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0004-1558021143709-hadoop-select+%0Adomain%2C+%0Atime%2C+%0Arow_nu...domain_info%28Stage-1558021160715-1-1-SUCCEEDED-root.hadoop-1558021148130.jhist: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741869

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0004-1558021143709-hadoop-select+%0Adomain%2C+%0Atime%2C+%0Arow_nu...domain_info%28Stage-1558021160715-1-1-SUCCEEDED-root.hadoop-1558021148130.jhist: MISSING 1 blocks of total size 35551 B..
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0004.summary: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741868

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0004.summary: MISSING 1 blocks of total size 397 B..
/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0004_conf.xml: CORRUPT blockpool BP-1926021031-192.168.245.100-1557764272932 block blk_1073741870

/tmp/hadoop-yarn/staging/history/done_intermediate/hadoop/job_1557764445673_0004_conf.xml: MISSING 1 blocks of total size 223322 B...Status: CORRUPT
 Total size:    102274952 B
 Total dirs:    29
 Total files:   60
 Total symlinks:                0
 Total blocks (validated):      57 (avg. block size 1794297 B)
  ********************************
  CORRUPT FILES:        20
  MISSING BLOCKS:       20
  MISSING SIZE:         1276573 B
  CORRUPT BLOCKS:       20
  ********************************
 Minimally replicated blocks:   37 (64.91228 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    1
 Average block replication:     0.64912283
 Corrupt blocks:                20
 Missing replicas:              0 (0.0 %)
 Number of data-nodes:          1
 Number of racks:               1
FSCK ended at Thu May 30 22:25:35 CST 2019 in 11 milliseconds


The filesystem under path '/' is CORRUPT

解决方法：

离开安全模式(处于安全模式是无法删除损坏块的)
hadoop dfsadmin -safemode leave


删除损坏块
hdfs fsck  /  -delete

如果是生产请尝试使用hdfs debug

你可能感兴趣的:(HDFS文件损坏解决方法)

  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 为什么你总是对下属不满意? ZhaoWu1050
    【ZhaoWu的听课笔记】大多数公司，都存在两种问题。我创业四年，更是体会深切。这两种问题就是：老板经常不满意下属的表现；下属总是不知道老板想要什么；虽然这两种问题普遍存在，其实解决方法并不复杂。这节课，我们再聊聊第一个问题：为什么老板经常不满意下属表现?其实，这背后也是一条管理常识。管理学家德鲁克先生早就说过：管理者的任务，不是去改变人。*来自《卓有成效的管理者》只是大多数老板和我一样，都是一边
  • vue3中el-table中点击图片放大时，被表格覆盖 叫我小鹏呀 vue.jsjavascript前端
    问题：vue3中el-table中点击图片放大时，被表格覆盖。解决方法：el-image添加preview-teleported
  • 正确解决ModuleNotFoundError: No module named ‘PIL‘异常的有效解决方法 飞码创造者 解决bug人工智能pythonbugpillow
    正确解决ModuleNotFoundError:Nomodulenamed‘PIL‘异常的有效解决方法文章目录报错问题报错原因解决方法报错问题ModuleNotFoundError:Nomodulenamed‘PIL‘异常报错原因ModuleNotFoundError:Nomodule
  • Python3.7出现“ModuleNotFoundError: No module named ‘Tkinter‘”错误的解决方法 可爱的小红猪 python
    Python3.7出现“ModuleNotFoundError:Nomodulenamed‘Tkinter’”错误的解决方法在网上看到很多针对这个问题的解决方法都是重新安装或配置Tkinter库，但Tkinter是python内置的标准GUI库，安装Python时就已经内置在了库中，不需要另外下载。针对于Tkinter，你的代码很可能是这样的：importTkinter或者是这样fromTkint
  • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
  • 吴恩达深度学习笔记(30)-正则化的解释 极客Array
    正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，这也是非常
  • Hadoop 傲雪凌霜，松柏长青 后端大数据hadoop大数据分布式
    ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
  • Hadoop架构 henan程序媛 hadoop大数据分布式
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
  • 【K8s】专题十一：Kubernetes 集群证书过期处理方法 行者Sun1989 Kuberneteskubernetes云原生容器
    本文内容均来自个人笔记并重新梳理，如有错误欢迎指正！如果对您有帮助，烦请点赞、关注、转发、订阅专栏！专栏订阅入口Linux专栏|Docker专栏|Kubernetes专栏往期精彩文章【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法（续）【Docker】MySQL源码构建Docker镜
  • Cut, Paste and Learn方法解读 wangxinwei2000 深度学习人工智能
    Abstract问题背景：标注数据的缺乏：在实例检测任务中，部署物体检测模型的一个主要障碍是缺乏大量标注数据。例如，在一个特定的厨房环境中找到包含实例的大型标注数据集是不太可能的。每当面对新的环境和新的物体实例时，都需要进行昂贵的数据收集和标注工作。研究贡献：解决方法：本文提出了一种简单的方法，可以以最小的努力生成大量标注的实例数据集。关键洞察：研究者的关键洞察是，仅仅确保“局部真实感”（patc
  • 管理员权限的软件不能开机自启动的解决方法 ss_ctrl
    这是几种解决方法：1.将启动参数写入到32位注册表里面去在64位系统下我们64位的程序访问此HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Run注册表路径，是可以正确访问的，32位程序访问此注册表路径时，默认会被系统自动映射到HKEY_LOCAL_MACHINE\SOFTWARE\WOW6432Node\Microsoft
  • talib的python库安装 jesonwz python开发语言
    talib的python库安装反正用清华源装不上发现talib的指标好多，想着用用，结果在python里装不上，清华源里提示找不到。也难怪，这个库上网查了一下，最新一次更新是在2013年，太老了。废话不说，上我的解决办法。解决方法步骤（靠谱的）思路：既然在线装不上，就用离线的1.下载对应python版本的talib的whl版本安装文件，链接在这：https://blog.csdn.net/FL16
  • 安装依赖时报错：npm ERR! code ERESOLVE npm ERR! ERESOLVE could not resolve npm ERR! npm ERR! While resolving 帅气绝非偶然 npm前端node.js
    这里我在npmivant@latest-v2或者其他依赖包的时候出现以上错误可能是npm版本问题报错解决方法：在安装命令后边加上1|--legacy-peer-deps或者--force如图中的指令：
  • hbase介绍 CrazyL- 云计算+大数据hbase
    hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用hadoopmapreduce来处理hbase、中的海量数据hbase利用zookeeper作为分布式系统服务特点：数据量大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的
  • 2020-07-08在js文件中使用elementUi报错TypeError: _this10.$message is not a function Kason晨
    问题：全局挂在elementUi后，在js文件内调用，报错_this10.$messageisnotafunction原因：在js文件里找不到this.$message这个属性。#错误的写法：this.$message({message:"解除成功",type:"success"});解决方法（正确写法）：单独引入，和换一种方法使用：//引入import{Message}from"element-
  • 【MySQL】Win10安装MySQL-5.7.24-winX64 启动服务器失败并且没有错误提示 Jinlong_Xu 数据库SQL实战mysql-5.7.24MySQL服务无法启动netstartmysql
    今天安装mysql-5.24-winX64后，在bin目录下运行netstartmysql,出现无法启动的情况：找了很多的教程，大部分的教程都是类似于下面的解决方案：但是我使用这些解决方法的时候，发现并不能很好的解决这个问题。我就核对我和他们的不一样，同时注意到cmd中打印的信息：我注意到很多的解决方案都是要初始化，所以我觉得我可能初始化的命令不对。步骤一：删除mysql目录下的data文件夹中的
  • 《黑神话：悟空》游戏AkExpander.dll文件缺失，使用工具修复更快捷 李秋秋啊 游戏
    在Windows操作系统中，当遇到“黑神话：悟空”游戏中的AkExpander.dll文件丢失问题时，用户可能会经历游戏启动失败或运行中断的情况。这个DLL文件是游戏正常运行所必需的，缺失或损坏会导致关键功能无法执行，影响游戏体验。针对《黑神话：悟空》游戏中AkExpander.dll文件缺失的问题，您可以尝试以下几种解决方法：一、重新安装游戏首先，考虑卸载当前安装的游戏版本，并从官方渠道重新下载
  • Certificate has expired(npm 安装strapi) 窥见漫天星光-莹 npmstrapi
    报错信息解决方法1、清空缓存，有时，损坏的缓存会导致连接问题npmcacheclean--force2、切换到淘宝镜像源的npm注册表npmconfigsetregistryhttps://registry.npmmirror.com/执行这两步后就可以执行自己想要安装的东西了，我是在执行npxcreate-strapi-appschedul命令创建strapi项目时报上述错误。仅供参考。当然再安
  • 2022年5月23日《0—8岁儿童自律教育》培训总结 心态决定一切
    -------杨丹妮+春蕾怡馨幼儿园感受:当遇到纪律教育问题的时候应该如何操作1.发现孩子的行为问题，首先我们就是要分析问题的原因，然后根据原因要追究其问题的根本所在，寻找解决方法。2.纪律教育问题的解决是需要时间的。包括儿童学习需要时间、成人做计划需要时间，不是一朝一夕就能改变的，一定要有耐心，做好持久战的准备。3.成人的态度至关重要，无论孩子犯了怎样的行为问题，我们一定要平静下来再和孩子沟通，
  • Mac 技术篇-应用程序被锁定无法进行卸载问题解决方法，文件、文件夹被锁定无法移入废纸篓处理方法 lq9527_ Mac使用macos
    在卸载Karabiner-Elements和Karabiner-EventViewer软件时，提示应用锁定，无法卸载。参照方法。在进行/bin/ls-dleO@App路径操作后，返回提示信息与链接方法略有区别。/bin/ls-dleO@App路径drwxr-xr-x@3root wheel uchg96 3 1 2022/Applications/Karabiner-Elements.appcom
  • 搜狗输入法输入上下标 xzlAwin 系统
    搜狗输入法输入上下标解决方法使用自定义短语映射上下标设置[设置]→[属性设置]→[高级]→[自定义短语]→[自定义短语设置]→[直接编辑配置文件]常用上下标表常用上标⁰¹²³⁴⁵⁶⁷⁸⁹⁺⁻⁼⁽⁾ⁿº˙常用下标₀₁₂₃₄₅₆₇₈₉₊₋₌₍₎ₐₑₒₓₔₕₖₗₘₙₚₛₜ更多上标ᵃᵇᶜᵈᵉᵍʰⁱʲᵏˡᵐⁿᵒᵖᵒ⃒ʳˢᵗᵘᵛʷˣʸᙆᴬᴮᒼᴰᴱᴳᴴᴵᴶᴷᴸᴹᴺᴼᴾᴼ̴ᴿˢᵀᵁᵂˣᵞᙆꝰˀˁˤꟸꭜʱꭝꭞʴʵʶ
  • 2024Mysql And Redis基础与进阶操作系列（8）作者——LJS[含MySQL 创建、修改、跟新、重命名、删除视图等具体详步骤；注意点及常见报错问题所对应的解决方法] 肾透侧视攻城狮 MYSQLREDISAdvanceoperationredismysql数据库linuxsqlbashadb
    目录1MySQL视图1.概念2.作用3.特点4.具体如何操作实现MYSQL视图4.1创建视图语法示例查看表和视图查看视图的结构查看视图属性信息（比如：显示数据表的存储引擎、版本、数据行数和数据大小等）查看视图的详细定义信息4.2修改视图简介格式举例4.3更新视图简介下述结构中不可更新的视图补充说明举例更新视图视图包含聚合函数不可更新视图包含distinct不可更新视图包含goupby、having
  • python离线安装一个第三方库 Lhj0616 python相关python第三方库
    文章目录实例步骤下载`xlwt`库将文件转移到目标机器在目标机器上安装`xlwt`验证安装总结步骤可能的问题解决方法检查库的兼容性使用`pip`下载适配特定Python版本的库创建虚拟环境创建虚拟环境（Python3.6）创建虚拟环境（Python3.11）检查和验证库的安装下载多个版本的`.whl`文件总结更新：下载的第三方库有依赖库解决方案实例想离线安装一个第三方库xlwt，python版本分
  • unocss 一直热更新打印[vite] hot updated: /__uno.css 柳雾青烟紫燕穿 csscss3vue
    控制台持续打印了几千条这条信息，页面逐渐卡死client.ts:450[vite]hotupdated:/__uno.css找出的原因是：依赖出问题了，重新安装unocss，执行命令npmiunocss后修复。但奇怪的是，删除node_modules重新全部安装依赖却不能修复，tmd。还有一种解决方法是切换分支，切去其它分支，再切回来，也不会再打印了。一开始还怀疑了是哪里的unocss类名一直在监
  • HBase介绍 mingyu1016 数据库
    概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase的表结构HBase以表的形式存储数据。表有行和列组成。列划分为
  • uniapp设计H5 tabbar会遮挡内容区的解决办法 qq_39016177 uni-app
    uniapp设计H5tabbar会遮挡内容区的解决办法1.现象底部tabbar会遮挡内容区最底部的文字2.解决方法—css中增加个padding-bottom:var(–window-bottom)这样就是好了官方依据官方文档链接https://uniapp.dcloud.net.cn/tutorial/syntax-css.html#css-%E5%8F%98%E9%87%8F诸君有用且点赞
  • python中读取文件报错_python中读取json文件报错，TypeError：the Json object must be str, bytes or bytearray，not ‘TextI... weixin_39783915 python中读取文件报错
    利用python中的json读取json文件时，因为错误使用了相应的方法导致报错：TypeError：theJsonobjectmustbestr,bytesorbytearray，not‘TextIOWrapper’。解决方法：首先要弄明白json有四个方法：dumps和loads、dump和load。其中，dumps和loads是在内存中转换(python对象和json字符串之间的转换)，而d
  • “ssh_dispatch_run_fatal: Connection to x.x.x.x port 22: message authentication code incorrect“报错解决方法 守月满空山雪照窗 Linuxssh运维
    ssh远程连接：[email protected]报错如下：CorruptedMAConinput.ssh_dispatch_run_fatal:Connectiontox.x.x.xport22:messageauthenticationcodeincorrect执行如下命令：ssh-Qmac可以看到：hmac-sha1hmac-sha1-96hmac-sha2-256hmac-sha2
  • 安装torch报错 raise ReadTimeoutError(self._pool, None, “Read timed out.“) pip._vendor.urllib3.exceptions 待磨的钝刨 pippytorch人工智能
    文章目录1.配置cuda的torch环境时报错1.配置命令2.报错bug2.解决方法1.增加下载超时时间：2.尝试使用镜像源：3.检查网络连接：4.分次安装：5.重试安装：6.手动下载.whl文件安装1.配置cuda的torch环境时报错1.配置命令pipinstalltorch==2.0.1torchvision==0.15.2torchaudio==2.0.2--index-urlhttps:
  • 数据采集高并发的架构应用 3golden .net
    问题的出发点：          最近公司为了发展需要，要扩大对用户的信息采集，每个用户的采集量估计约2W。如果用户量增加的话，将会大量照成采集量成3W倍的增长，但是又要满足日常业务需要，特别是指令要及时得到响应的频率次数远大于预期。       &n
  • 不停止 MySQL 服务增加从库的两种方式 brotherlamp linuxlinux视频linux资料linux教程linux自学
    现在生产环境MySQL数据库是一主一从，由于业务量访问不断增大，故再增加一台从库。前提是不能影响线上业务使用，也就是说不能重启MySQL服务，为了避免出现其他情况，选择在网站访问量低峰期时间段操作。  一般在线增加从库有两种方式，一种是通过mysqldump备份主库，恢复到从库，mysqldump是逻辑备份，数据量大时，备份速度会很慢，锁表的时间也会很长。另一种是通过xtrabacku
  • Quartz——SimpleTrigger触发器 eksliang SimpleTriggerTriggerUtilsquartz
    转载请出自出处：http://eksliang.iteye.com/blog/2208166 一.概述 SimpleTrigger触发器，当且仅需触发一次或者以固定时间间隔周期触发执行；   二.SimpleTrigger的构造函数 SimpleTrigger(String name, String group)：通过该构造函数指定Trigger所属组和名称； Simpl
  • Informatica应用（1） 18289753290 sqlworkflowlookup组件Informatica
    1.如果要在workflow中调用shell脚本有一个command组件，在里面设置shell的路径；调度wf可以右键出现schedule，现在用的是HP的tidal调度wf的执行。 2.designer里面的router类似于SSIS中的broadcast（多播组件）;Reset_Workflow_Var：参数重置 （比如说我这个参数初始是1在workflow跑得过程中变成了3我要在结束时还要
  • python 获取图片验证码中文字 酷的飞上天空 python
    根据现成的开源项目 http://code.google.com/p/pytesser/改写 在window上用easy_install安装不上  看了下源码发现代码很少  于是就想自己改写一下   添加支持网络图片的直接解析   #coding:utf-8 #import sys #reload(sys) #sys.s
  • AJAX 永夜-极光 Ajax
    1.AJAX功能:动态更新页面,减少流量消耗,减轻服务器负担   2.代码结构:    <html> <head> <script type="text/javascript"> function loadXMLDoc() { .... AJAX script goes here ...
  • 创业OR读研 随便小屋 创业
            现在研一，有种想创业的想法，不知道该不该去实施。因为对于的我情况这两者是矛盾的，可能就是鱼与熊掌不能兼得。                研一的生活刚刚过去两个月，我们学校主要的是
  • 需求做得好与坏直接关系着程序员生活质量 aijuans IT 生活
            这个故事还得从去年换工作的事情说起，由于自己不太喜欢第一家公司的环境我选择了换一份工作。去年九月份我入职现在的这家公司，专门从事金融业内软件的开发。十一月份我们整个项目组前往北京做现场开发，从此苦逼的日子开始了。        系统背景：五月份就有同事前往甲方了解需求一直到6月份，后续几个月也完
  • 如何定义和区分高级软件开发工程师 aoyouzi
    在软件开发领域，高级开发工程师通常是指那些编写代码超过 3 年的人。这些人可能会被放到领导的位置，但经常会产生非常糟糕的结果。Matt Briggs 是一名高级开发工程师兼 Scrum 管理员。他认为，单纯使用年限来划分开发人员存在问题，两个同样具有 10 年开发经验的开发人员可能大不相同。近日，他发表了一篇博文，根据开发者所能发挥的作用划分软件开发工程师的成长阶段。 　　初
  • Servlet的请求与响应 百合不是茶 servletget提交java处理post提交
      Servlet是tomcat中的一个重要组成,也是负责客户端和服务端的中介     1,Http的请求方式(get  ,post);   客户端的请求一般都会都是Servlet来接受的,在接收之前怎么来确定是那种方式提交的,以及如何反馈,Servlet中有相应的方法,  http的get方式 servlet就是都doGet(
  • web.xml配置详解之listener bijian1013 javaweb.xmllistener
    一.定义 <listener> <listen-class>com.myapp.MyListener</listen-class> </listener>   二.作用        该元素用来注册一个监听器类。可以收到事件什么时候发生以及用什么作为响
  • Web页面性能优化（yahoo技术） Bill_chen JavaScriptAjaxWebcssYahoo
    1.尽可能的减少HTTP请求数 content 2.使用CDN server 3.添加Expires头(或者 Cache-control) server 4.Gzip 组件 server 5.把CSS样式放在页面的上方。 css 6.将脚本放在底部(包括内联的) javascript 7.避免在CSS中使用Expressions css 8.将javascript和css独立成外部文
  • 【MongoDB学习笔记八】MongoDB游标、分页查询、查询结果排序 bit1129 mongodb
    游标   游标，简单的说就是一个查询结果的指针。游标作为数据库的一个对象，使用它是包括 声明 打开 循环抓去一定数目的文档直到结果集中的所有文档已经抓取完 关闭游标   游标的基本用法，类似于JDBC的ResultSet(hasNext判断是否抓去完,next移动游标到下一条文档)，在获取一个文档集时，可以提供一个类似JDBC的FetchSize
  • ORA-12514 TNS 监听程序当前无法识别连接描述符中请求服务 的解决方法 白糖_ ORA-12514
    今天通过Oracle SQL*Plus连接远端服务器的时候提示“监听程序当前无法识别连接描述符中请求服务”，遂在网上找到了解决方案： ①打开Oracle服务器安装目录\NETWORK\ADMIN\listener.ora文件，你会看到如下信息：   # listener.ora Network Configuration File: D:\database\Oracle\net
  • Eclipse 问题 A resource exists with a different case bozch eclipse
    在使用Eclipse进行开发的时候，出现了如下的问题： Description Resource Path Location TypeThe project was not built due to "A resource exists with a different case: '/SeenTaoImp_zhV2/bin/seentao'.&
  • 编程之美-小飞的电梯调度算法 bylijinnan 编程之美
    public class AptElevator { /** * 编程之美 小飞 电梯调度算法 * 在繁忙的时间，每次电梯从一层往上走时，我们只允许电梯停在其中的某一层。 * 所有乘客都从一楼上电梯，到达某层楼后，电梯听下来，所有乘客再从这里爬楼梯到自己的目的层。 * 在一楼时，每个乘客选择自己的目的层，电梯则自动计算出应停的楼层。 * 问：电梯停在哪
  • SQL注入相关概念 chenbowen00 sqlWeb安全
    SQL Injection：就是通过把SQL命令插入到Web表单递交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。 具体来说，它是利用现有应用程序，将（恶意）的SQL命令注入到后台数据库引擎执行的能力，它可以通过在Web表单中输入（恶意）SQL语句得到一个存在安全漏洞的网站上的数据库，而不是按照设计者意图去执行SQL语句。 首先让我们了解什么时候可能发生SQ
  • [光与电]光子信号战防御原理 comsci 原理
          无论是在战场上,还是在后方,敌人都有可能用光子信号对人体进行控制和攻击,那么采取什么样的防御方法,最简单,最有效呢?       我们这里有几个山寨的办法,可能有些作用,大家如果有兴趣可以去实验一下       根据光
  • oracle 11g新特性:Pending Statistics daizj oracledbms_stats
    oracle 11g新特性:Pending Statistics 转 从11g开始，表与索引的统计信息收集完毕后，可以选择收集的统信息立即发布，也可以选择使新收集的统计信息处于pending状态，待确定处于pending状态的统计信息是安全的，再使处于pending状态的统计信息发布，这样就会避免一些因为收集统计信息立即发布而导致SQL执行计划走错的灾难。 在 11g 之前的版本中，D
  • 快速理解RequireJs dengkane jqueryrequirejs
    RequireJs已经流行很久了，我们在项目中也打算使用它。它提供了以下功能： 声明不同js文件之间的依赖 可以按需、并行、延时载入js库 可以让我们的代码以模块化的方式组织 初看起来并不复杂。 在html中引入requirejs 在HTML中，添加这样的 <script> 标签： <script src="/path/to
  • C语言学习四流程控制if条件选择、for循环和强制类型转换 dcj3sjt126com c
    # include <stdio.h> int main(void) { int i, j; scanf("%d %d", &i, &j); if (i > j) printf("i大于j\n"); else printf("i小于j\n"); retu
  • dictionary的使用要注意 dcj3sjt126com IO
    NSDictionary *dict = [NSDictionary dictionaryWithObjectsAndKeys: user.user_id , @"id", user.username , @"username",
  • Android 中的资源访问(Resource) finally_m xmlandroidStringdrawablecolor
    简单的说，Android中的资源是指非代码部分。例如，在我们的Android程序中要使用一些图片来设置界面，要使用一些音频文件来设置铃声，要使用一些动画来显示特效，要使用一些字符串来显示提示信息。那么，这些图片、音频、动画和字符串等叫做Android中的资源文件。 在Eclipse创建的工程中，我们可以看到res和assets两个文件夹，是用来保存资源文件的，在assets中保存的一般是原生
  • Spring使用Cache、整合Ehcache 234390216 springcacheehcache@Cacheable
    Spring使用Cache            从3.1开始，Spring引入了对Cache的支持。其使用方法和原理都类似于Spring对事务管理的支持。Spring Cache是作用在方法上的，其核心思想是这样的：当我们在调用一个缓存方法时会把该方法参数和返回结果作为一个键值对存放在缓存中，等到下次利用同样的
  • 当druid遇上oracle blob(clob) jackyrong oracle
    http://blog.csdn.net/renfufei/article/details/44887371 众所周知，Oracle有很多坑, 所以才有了去IOE。 在使用Druid做数据库连接池后，其实偶尔也会碰到小坑，这就是使用开源项目所必须去填平的。【如果使用不开源的产品，那就不是坑，而是陷阱了，你都不知道怎么去填坑】 用Druid连接池，通过JDBC往Oracle数据库的
  • easyui datagrid pagination获得分页页码、总页数等信息 ldzyz007
    var grid = $('#datagrid');  var options = grid.datagrid('getPager').data("pagination").options;  var curr = options.pageNumber;  var total = options.total;  var max =
  • 浅析awk里的数组 nigelzeng 二维数组array数组awk
    awk绝对是文本处理中的神器，它本身也是一门编程语言，还有许多功能本人没有使用到。这篇文章就单单针对awk里的数组来进行讨论，如何利用数组来帮助完成文本分析。   有这么一组数据：   abcd,91#31#2012-12-31 11:24:00 case_a,136#19#2012-12-31 11:24:00 case_a,136#23#2012-12-31 1
  • 搭建 CentOS 6 服务器(6) - TigerVNC rensanning centos
    安装GNOME桌面环境 # yum groupinstall "X Window System" "Desktop" 安装TigerVNC # yum -y install tigervnc-server tigervnc 启动VNC服务 # /etc/init.d/vncserver restart # vncser
  • Spring 数据库连接整理 tomcat_oracle springbeanjdbc
    1、数据库连接jdbc.properties配置详解 　　jdbc.url=jdbc:hsqldb:hsql://localhost/xdb 　　jdbc.username=sa 　　jdbc.password= 　　jdbc.driver=不同的数据库厂商驱动，此处不一一列举 　　接下来，详细配置代码如下： 　　 Spring连接池    
  • Dom4J解析使用xpath java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常 xp9802
    用Dom4J解析xml,以前没注意,今天使用dom4j包解析xml时在xpath使用处报错      异常栈：java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常       导入包 jaxen-1.1-beta-6.jar 解决; &nb
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他