m0_74043383
m0_74043383

bazel远程构建(Remote Execution) -- Buildfarm部署中的问题

问题1：server报logOverdueOperation和WARNING: removed dispatched operation shard/operations/， worker报WARNING: missing queued operation: shard/operations/等问题，详情如下：

Server Log

INFO: DispatchedMonitor: Testing shard/operations/c1701659-f015-492b-abdb-ec5b190d07d0 because 1648017713060ms overdue (1648017713060 >= 0)
Mar 23, 2022 6:41:53 AM build.buildfarm.instance.shard.RedisShardBackplane queue
WARNING: removed dispatched operation shard/operations/c1701659-f015-492b-abdb-ec5b190d07d0
Mar 23, 2022 6:41:53 AM build.buildfarm.instance.shard.DispatchedMonitor lambda$requeueDispatchedOperation$0
INFO: DispatchedMonitor::run: requeue(shard/operations/c1701659-f015-492b-abdb-ec5b190d07d0) 13.2932ms
Mar 23, 2022 6:41:54 AM build.buildfarm.instance.shard.DispatchedMonitor logOverdueOperation
INFO: DispatchedMonitor: Testing shard/operations/c1701659-f015-492b-abdb-ec5b190d07d0 because 1648017714076ms overdue (1648017714076 >= 0)
Mar 23, 2022 6:41:54 AM build.buildfarm.instance.shard.ShardInstance canOperationBeRequeued
WARNING: Operation shard/operations/c1701659-f015-492b-abdb-ec5b190d07d0 not requeued.  Operation has been requeued too many times ( 6 > 5).
Mar 23, 2022 6:41:54 AM build.buildfarm.instance.shard.DispatchedMonitor lambda$requeueDispatchedOperation$0
INFO: DispatchedMonitor::run: requeue(shard/operations/c1701659-f015-492b-abdb-ec5b190d07d0) 0.0108280ms

Woker Log

WARNING: missing queued operation: shard/operations/c1701659-f015-492b-abdb-ec5b190d07d0
Mar 23, 2022 6:41:52 AM build.buildfarm.worker.InputFetcher fetchPolled
SEVERE: invalid queued operation: shard/operations/c1701659-f015-492b-abdb-ec5b190d07d0

使用了两台机器

机器1：部署redis1、server1、worker1

机器2：worker2

其中worker1默认没有任何日志，worker2报上述Woker Log。

定位步骤：

更改源码，在WARNING: missing queued operation打印的源码处加日志，判断执行情况，然后重新源码构建运行server和worker，

可以发现worker2上显示的丢失operation在worker1上运行，（测试命令执行是在机器1上，和worker1同机器）

类似报错如下链接

Operation has been requeued too many times · Issue #1047 · bazelbuild/bazel-buildfarm · GitHub

备注：查询buildFarm问题，可以在如下buildFarm的issues中查询，可获取其他人类似问题时buildFarm官方人员的回答。链接如下：

Issues · bazelbuild/bazel-buildfarm · GitHub

你可能感兴趣的:(bazel,Buildfarm)

  • 使用Bazel编译报错ERROR: Unrecognized option: --experimental_repo_remote_exec解决方法 青年夏日科技 tensorflow人工智能python
    ERROR:Unrecognizedoption:--experimental_repo_remote_exec一、问题：INFO:Optionsprovidedbytheclient:Inherited'common'options:--isatty=1--terminal_columns=80INFO:Readingrcoptionsfor'version'from/home/emadboct
  • 【RPC方案调研】Grpc 嵌入式移植流程 背着书包狂奔 架构设计c++软件架构师
    由于项目需求，准备在嵌入式上使用rpc方案，调研了多个方案，最终由于Grpc和protobuf天然的亲和性，决定对Grpc进行移植。Grpc地址：https://github.com/grpc/grpcGrpc的交叉编译支持三种方式：bazel，cmake，makefile；bazel由于编译太麻烦，主要适合google内部，直接放弃了，本文主要讲解基于cmake的交叉编译方式，makefile也
  • maven 包管理平台-05-multi module 多模块 后端java
    拓展阅读maven包管理平台-01-maven入门介绍+Maven、Gradle、Ant、Ivy、Bazel和SBT的详细对比表格maven包管理平台-02-windows安装配置+mac安装配置maven包管理平台-03-mavenprojectmaven项目的创建入门maven包管理平台-04-mavenarchetype项目原型maven包管理平台-05-multimodule多模块mave
  • maven 包管理平台-01-maven 入门介绍 + Maven、Gradle、Ant、Ivy、Bazel 和 SBT 的详细对比表格 老马啸西风 java
    拓展阅读maven包管理平台-01-maven入门介绍+Maven、Gradle、Ant、Ivy、Bazel和SBT的详细对比表格maven包管理平台-02-windows安装配置+mac安装配置maven包管理平台-03-mavenprojectmaven项目的创建入门maven包管理平台-04-mavenarchetype项目原型maven包管理平台-05-multimodule多模块mave
  • 安装bazel遇到的坑 华丽的基石 androidlinux运维服务器
    执行curl-fLO"https://github.com/bazelbuild/bazel/releases/download/$BAZEL_VERSION/bazel-$BAZEL_VERSION-installer-darwin-x86_64.sh"时如遇到curl:(92)HTTP/2stream0wasnotclosedcleanly:PROTOCOL_ERROR(err1)原因是因为c
  • Bazel 飞大圣 代码记录系统架构
    简介：Bazel是google研发的一款开源构建和测试工具,也是一种简单、易读的构建工具。Bazel支持多种编程语言的项目，并针对多个平台构建输出。高级构建语言：Bazel使用一种抽象的、人类可读的语言在高语义级别上描述项目的构建属性。与其他工具不同，Bazel在库、二进制文件、脚本和数据集的概念上运行，免于编写对编译器和链接器等工具的单独调用的复杂性。Bazel既快速又可靠：Bazel会缓存之前
  • Bazel-iOS Error 系列 (一) Could not launch “xxx” 西博尔
    错误详情DetailsCouldnotlaunch“xxx”Domain:IDEDebugSessionErrorDomainCode:3FailureReason:Nosuchfileordirectory(/private/var/containers/Bundle/Application/A7371FEF-1285-49EB-B767-007B890988F1/xxx.app)UserInf
  • 龙芯loongarch64服务器编译安装tensorflow 番茄小能手 龙芯loongarch64tensorflow人工智能python
    前言TensorFlow是一个由Google开发的开源机器学习框架，旨在实现深度学习模型的开发、训练和部署。它提供了丰富的工具和库，以支持各种机器学习任务和模型的构建。通过龙芯开源仓库只能下载单一版本的TensorFlow，本篇文章将讲解下如何编译安装TensorFlow任意版本，这里以最新版本r2.12版本为例，tensorflow编译用的Bazel，坑太多了，且看文章讲解。环境准备如果要从源代
  • 编译相关 修塔寻千里
    什么是编译，可以简单理解为将高级语言转化为机器或虚拟机所能识别的低级别语言的过程。对于Android来说，这个过程就是把Java或者Kotlin转变为Android虚拟机运行的Dalvik字节码的过程。Android编译Gradle是Android官方的编译工具，它是GitHub上的一个开源项目。目前开源的项目有FaceBook的Buck以及Google的Bazel。自己”造轮子”有如下好处：统一
  • ubuntu上搭建bazel编译环境，构建Android APP 掌心天涯 技术ubuntubazel
    背景是github上下载的工程，说明仅支持bazel编译，折腾了一天Androidstudio，失败。不得不尝试单价bazel编译环境，并不复杂，过程记录如下说明：ubuntu环境是20.04，pve虚拟机安装1.安装jdksudoaptinstallopenjdk-11-jdk2.下载安装AndroidStudioGoogle网站下载linux上的二进制包，也可以apt安装，前者定制方便些下载地
  • 编译修改Mediapipe到MFC中使用——凌空画画(凌空画板、隔空画板、隔空画板) 西部秋虫 opencvmediapipe
    参考教程：https://blog.csdn.net/pingchangxin_6/article/details/125634925https://stubbornhuang.blog.csdn.net/article/details/119546019软件版本：bazel-5.3.2-windows-x86_64mediapipe-0.8.10.1.zip系统变量：要安装BuildTools，
  • Bazel作为构建工具之王，将会颠覆你对CI的认知 apl359 ci/cd
    说到构建工具，不同语言技术栈的人，想起的构建工具不同。Java程序员想到的是Maven，前端程序员想的是NPM或者Webpack、Android程序员想到的是Gradle、Rust程序想到的是Cargo、C++程序员想到的是Make等等。然而这些工具在Bazel面前，层次有些低。所以，我愿称Bazel是构建工具之王。P.S.Android平台的构建，2020年已经开始了迁移到Bazel的工作。具体
  • aws-sdk-cpp通过bazel构建的S3_client轮子 橙子小满 c++
    感觉时间过得很快，又是很久没有更新了哎，主要原因还是很久都没有学什么东西了，进入社会后不知不觉间倦怠了许多没什么办法，上班了之后做的很多东西都是调用api，越来越像一个工具人了，虽然说本身也大差不差的回到这篇文章主要原因还是最近接了一个需求：在当前的代码仓库中没有S3_client.cc的轮子，所以需要提供一个这样的轮子供其他人使用反正就是这个需求最后落到了我的头上先搜了搜公司的内网技术文档，然后
  • 龙芯loongarch64服务器编译安装bazel 番茄小能手 龙芯loongarch64服务器运维
    Bazel简介Bazel是一个构建工具，即一个可以运行编译和测试来组装软件的工具，跟Make、Ant、Gradle、Buck、Pants和Maven一样。Bazel的特点高级构建语言：Bazel使用抽象的，人类可读的语言以高语义级别描述项目的构建属性。快速可靠：Bazel缓存所有以前完成的工作，并跟踪对文件内容和构建命令的更改。这样，Bazel知道何时需要重建某些内容，并且仅重建该内容。为了进一步
  • 记录 | centos源码编译bazel 极智视界 踩坑记录centosbazel源码编译bazel
    tensorflow的源码编译依赖于bazel这里进行bazel的源码编译1、安装依赖sudoyuminstall-yjava-11-openjdksudoyuminstall-yjava-11-openjdk-develsudoyuminstall-yprotobuf-compilerzipunzip2、知悉要安装的bazel的版本务必安装受支持的Bazel版本，可以是tensorflow/co
  • bazel编译C++ debug和release UUUUTaossienUUUU C/C++c++
    （1）debug方法一在项目WORKSPACE目录，编辑如下文件：vim.bazelrc新增如下内容：build--strip=neverbuild--copt=-gbuild--copt=-ggdb方法二在编译命令中增加参数：bazelbuild--strip=never--copt=-g--copt=-ggdb//main:demo（2）release默认编译release版本
  • 【C++】bazel构建工具配置与使用 DevFrank c++基础与实践c++开发语言bazel
    ★,°:.☆(￣▽￣)/$:.°★这篇文章主要介绍bazel构建工具配置与使用。学其所用，用其所学。——梁启超欢迎来到我的博客，一起学习，共同进步。喜欢的朋友可以关注一下，下次更新不迷路文章目录:smirk:1.bazel介绍:blush:2.环境安装与配置:satisfied:3.应用示例1.bazel介绍Bazel是一个构建和测试软件项目的开源构建工具，由Google开发并开源。它旨在提供高效
  • Bazel学习记录 古路 环境配置bazel构建项目bazel构建C++项目bazel构建C++bazel教程bazel入门
    0.安装Bazel构建C++项目学习bazelgithub下载,下载二进制直接安装就行参考备忘#bazel-5.3.0-installer-linux-x86_64.shchmod+xbazel-version-installer-linux-x86_64.sh./bazel-version-installer-linux-x86_64.sh执行输出信息：Bazelisnowinstalled!M
  • 解决brazel中github仓库无法下载的问题 eduics github
    解决方法：使用下面语句再进行编译：sed-i-e's#https:\/\/github\.com#https://github.com.cnpmjs.org#g'/home/wwh/.cache/bazel/_bazel_wwh/4c0cba7635ba55414dcc3c9efedaac56/external/org_tensorflow/third_party/repo.bzl这个命令使用了s
  • Windows从源码构建tensorflow（离线编译） dataloading windowstensorflow人工智能
    由一开始的在线编译，到后面的离线编译，一路踩坑无数，历经整整6个半小时，终于编译成功！在此记录一下参考过的文章，有时间整理一下踩坑记录。一、环境配置在tensorflow官网上有版本对应关系win10bazel3.1.0msys2tensorflow2.3.0python3.5-3.8MSVC2019protobuf3.9.2//protobuf的版本貌似非常重要，在tensorflow/tens
  • 安装TFF 我在Bilibili上大学 tensorflowpython人工智能
    安装TFF：tensorflow_gpu-2.5.0python3.9MSVC2019Bazel3.7.2cuda11.2cudnn8.1先创建环境，python为3.9(一定)，不然装TFF会报错；然后装TF，cuda，cudnn。装完记得代码试试GPU是否能用，小几行代码。这个时候基本小成；#tensorflow_gpu-2.5.03.6-3.9MSVC2019Bazel3.7.28.111.
  • bazel远程构建(Remote Execution) -- Buildfarm部署中的问题 m0_74043383 bazelBuildfarm
    问题1：server报logOverdueOperation和WARNING:removeddispatchedoperationshard/operations/，worker报WARNING:missingqueuedoperation:shard/operations/等问题，详情如下：ServerLogINFO:DispatchedMonitor:Testingshard/operatio
  • Window下搭建Tensorflow的C++环境 李小肥的YY c++python深度学习tensorflow
    参考Tensorflow官网安装文章：https://www.tensorflow.org/install/source_windows?hl=zh-cn一.下载需要的软件bazel：Google的一款可再生的代码构建工具，类似于Cmake。使用scoop进行安装：scoopinstallbazelpython3.7：这里最好用pip安装下必要的第三方包，比如tensorflow,kears,nu
  • 解决MacOS不能正确识别JAVA_HOME问题 gcygeeker JavaMacOsmacosjavajdkjava_home
    目录背景解决方案查看JavaHome值删除识别的错误目录重新启动系统补充设置JAVA_HOME环境变量参考资料背景最近使用Bazel在MacOS上编译运行Java代码，遇到Bazel一直识别不到本地的JDK导致编译报错的问题，经过这几天的查资料研究，终于发现解决办法。解决方案查看JavaHome值终端运行：$/usr/libexec/java_home-V输出：MatchingJavaVirtua
  • bazel build使用【未完】 ht6806 Apolloc++
    1.installinstall的作用：将生成的目标、文件复制到指定的安装目录中，可以是可执行文件、库文件、配置文件等若有一个c++可执行文件，可以使用install将其安装到标准的可执行路径中，以便于直接运行，而无需指定完整的文件路径。name：安装目标的名称srcs：指定安装的源文件、目标，可以是文件名、目标名、通配符dest：指定将文件、目标复制到安装目录install(name="my_t
  • 【Bazel】Bazel 学习笔记 unonoi 其他bazel
    本文简单记录下Bazel使用过程中的一些知识点。目录文章目录目录Bazel目录结构BUILD构建规则常用构建规则Bazel命令bazelbuildbazelqueryMac安装BazelBazel是谷歌推出的一个开源的构建工具，工作原理与make、maven或gradle等其他构建工具类似。但是与其他工具不同的是，Bazel支持多语言。Bazel也是增量编译，即只编译修改的文件，未修改的文件不会被
  • 精准测试不过是增量构建的副产品 apl359 python开发语言
    前文中，我们给了“精准测试”定义：它是一种能力，能只针对变更进行测试，而不是每次变更都进行全量测试。同时，介绍了当前行业里的主流实现方法。个人并不看好该实现方法。本文介绍的另一种实现精准测试的方法。在真正介绍前，我们就必须先说增量构建和Bazel。全量构建与增量构建在软件构建领域，存在两种构建类型：全量构建和增量构建。•全量构建指的是针对代码仓库中所有的代码进行构建；•增量构建是指只针对有变动的代
  • bazel安装以及tensorflow的编译 唐僧爱吃唐僧肉 nlp学习笔记tensorflow深度学习python
    bazel安装bazel与tensorflow对应版本bazel安装的官方文档官方文档推荐使用bazelisk来安装对应的bazel，对应的网址如下：bazelist的安装教程tensorflow阅读过程注意tensorflow中的./config必须下载tensorflow的源码才能够找到后来bazelisk安装不上，发现bazel下面的assets又能够找到对应的安装包了不同安装包对应的版本从
  • mac下bazel安装 有石为玉
    官方参考文档：https://docs.bazel.build/versions/master/install-os-x.html#install-with-installer-mac-os-x1、xcode安装和sdk查看sdk版本：2、下载安装包https://github.com/bazelbuild/bazel/releases3、运行安装chmod+xbazel--installer-d
  • linux安装bazel教程 程咬金666 linuxubuntu运维
    不得不说，安装过程真的很不顺利，网上的教程步骤真的都差不多，但是到最后就是测试不通过，而且找不到原因，也找不到解决办法，按照后面更改方式，竟然好了，具体原因也不是很清楚。瞎猫碰死耗子吧！1、首先需要安装用以下命令安装Java环境：sudoapt-getinstallopenjdk-8-jdk2、这部会显示以下错误E:无法获得锁/var/lib/dpkg/lock-frontend。锁正由进程179
  • ASM系列五 利用TreeApi 解析生成Class lijingyao8206 ASM字节码动态生成ClassNodeTreeAPI
       前面CoreApi的介绍部分基本涵盖了ASMCore包下面的主要API及功能，其中还有一部分关于MetaData的解析和生成就不再赘述。这篇开始介绍ASM另一部分主要的Api。TreeApi。这一部分源码是关联的asm-tree-5.0.4的版本。          在介绍前，先要知道一点， Tree工程的接口基本可以完
  • 链表树——复合数据结构应用实例 bardo 数据结构树型结构表结构设计链表菜单排序
    我们清楚：数据库设计中，表结构设计的好坏，直接影响程序的复杂度。所以，本文就无限级分类（目录）树与链表的复合在表设计中的应用进行探讨。当然，什么是树，什么是链表，这里不作介绍。有兴趣可以去看相关的教材。 需求简介： 经常遇到这样的需求，我们希望能将保存在数据库中的树结构能够按确定的顺序读出来。比如，多级菜单、组织结构、商品分类。更具体的，我们希望某个二级菜单在这一级别中就是第一个。虽然它是最后
  • 为啥要用位运算代替取模呢 chenchao051 位运算哈希汇编
        在hash中查找key的时候，经常会发现用&取代%，先看两段代码吧，     JDK6中的HashMap中的indexFor方法： /** * Returns index for hash code h. */ static int indexFor(int h, int length) {
  • 最近的情况 麦田的设计者 生活感悟计划软考想
          今天是2015年4月27号      整理一下最近的思绪以及要完成的任务             1、最近在驾校科目二练车，每周四天，练三周。其实做什么都要用心，追求合理的途径解决。为
  • PHP去掉字符串中最后一个字符的方法 IT独行者 PHP字符串
    今天在PHP项目开发中遇到一个需求，去掉字符串中的最后一个字符 原字符串1,2,3,4,5,6, 去掉最后一个字符","，最终结果为1,2,3,4,5,6 代码如下： $str = "1,2,3,4,5,6,"; $newstr = substr($str,0,strlen($str)-1); echo $newstr;
  • hadoop在linux上单机安装过程 _wy_ linuxhadoop
    1、安装JDK     jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行：    export JAVA_HOME=/usr/java/jdk1.7.0_25  
  • JAVA进阶----分布式事务的一种简单处理方法 无量 多系统交互分布式事务
    每个方法都是原子操作： 提供第三方服务的系统，要同时提供执行方法和对应的回滚方法 A系统调用B,C,D系统完成分布式事务 =========执行开始======== A.aa(); try { B.bb(); } catch(Exception e) { A.rollbackAa(); } try { C.cc(); } catch(Excep
  • 安墨移动广 告：移动DSP厚积薄发 引领未来广 告业发展命脉 矮蛋蛋 hadoop互联网
    　　“谁掌握了强大的DSP技术，谁将引领未来的广 告行业发展命脉。”2014年，移动广 告行业的热点非移动DSP莫属。各个圈子都在纷纷谈论，认为移动DSP是行业突破点，一时间许多移动广 告联盟风起云涌，竞相推出专属移动DSP产品。 　　到底什么是移动DSP呢? 　　DSP(Demand-SidePlatform)，就是需求方平台，为解决广 告主投放的各种需求，真正实现人群定位的精准广
  • myelipse设置 alafqq IP
      在一个项目的完整的生命周期中，其维护费用，往往是其开发费用的数倍。因此项目的可维护性、可复用性是衡量一个项目好坏的关键。而注释则是可维护性中必不可少的一环。 注释模板导入步骤  安装方法： 打开eclipse/myeclipse 选择 window-->Preferences-->JAVA-->Code-->Code
  • java数组 百合不是茶 java数组
    java数组的   声明  创建  初始化；   java支持C语言      数组中的每个数都有唯一的一个下标 一维数组的定义 声明： int[] a = new int[3];声明数组中有三个数int[3] int[] a 中有三个数，下标从0开始，可以同过for来遍历数组中的数
  • javascript读取表单数据 bijian1013 JavaScript
    利用javascript读取表单数据，可以利用以下三种方法获取： 1、通过表单ID属性：var a = document.getElementByIdx_x_x("id"); 2、通过表单名称属性：var b = document.getElementsByName("name"); 3、直接通过表单名字获取：var c = form.content.
  • 探索JUnit4扩展：使用Theory bijian1013 javaJUnitTheory
    理论机制（Theory） 一.为什么要引用理论机制（Theory）         当今软件开发中，测试驱动开发（TDD — Test-driven development）越发流行。为什么 TDD 会如此流行呢？因为它确实拥有很多优点，它允许开发人员通过简单的例子来指定和表明他们代码的行为意图。 TDD 的优点：     &nb
  • [Spring Data Mongo一]Spring Mongo Template操作MongoDB bit1129 template
    什么是Spring Data Mongo Spring Data MongoDB项目对访问MongoDB的Java客户端API进行了封装，这种封装类似于Spring封装Hibernate和JDBC而提供的HibernateTemplate和JDBCTemplate，主要能力包括 1. 封装客户端跟MongoDB的链接管理 2. 文档-对象映射，通过注解:@Document(collectio
  • 【Kafka八】Zookeeper上关于Kafka的配置信息 bit1129 zookeeper
    问题： 1. Kafka的哪些信息记录在Zookeeper中 2. Consumer Group消费的每个Partition的Offset信息存放在什么位置 3. Topic的每个Partition存放在哪个Broker上的信息存放在哪里 4. Producer跟Zookeeper究竟有没有关系？没有关系！！！   //consumers、config、brokers、cont
  • java OOM内存异常的四种类型及异常与解决方案 ronin47 java OOM 内存异常
          　OOM异常的四种类型： 　　　 　　一：　StackOverflowError ：通常因为递归函数引起（死递归，递归太深）。-Xss 128k 一般够用。     　  二：　out Of memory: PermGen Space：通常是动态类大多，比如web 服务器自动更新部署时引起。-Xmx
  • java-实现链表反转-递归和非递归实现 bylijinnan java
    20120422更新： 对链表中部分节点进行反转操作，这些节点相隔k个： 0->1->2->3->4->5->6->7->8->9 k=2 8->1->6->3->4->5->2->7->0->9 注意1 3 5 7 9 位置是不变的。 解法： 将链表拆成两部分： a.0-&
  • Netty源码学习-DelimiterBasedFrameDecoder bylijinnan javanetty
    看DelimiterBasedFrameDecoder的API，有举例： 接收到的ChannelBuffer如下： +--------------+ | ABC\nDEF\r\n | +--------------+ 经过DelimiterBasedFrameDecoder(Delimiters.lineDelimiter())之后，得到： +-----+----
  • linux的一些命令 -查看cc攻击-网口ip统计等 hotsunshine linux
    Linux判断CC攻击命令详解 2011年12月23日 ⁄ 安全 ⁄ 暂无评论 查看所有80端口的连接数 netstat -nat|grep -i '80'|wc -l 对连接的IP按连接数量进行排序 netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n 查看TCP连接状态 n
  • Spring获取SessionFactory ctrain sessionFactory
    String sql = "select sysdate from dual"; WebApplicationContext wac = ContextLoader.getCurrentWebApplicationContext(); String[] names = wac.getBeanDefinitionNames(); for(int i=0; i&
  • Hive几种导出数据方式 daizj hive数据导出
    Hive几种导出数据方式   1.拷贝文件   如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。 hadoop fs –cp source_path target_path   2.导出到本地文件系统   --不能使用insert into local directory来导出数据，会报错 --只能使用
  • 编程之美 dcj3sjt126com 编程PHP重构
    我个人的 PHP 编程经验中，递归调用常常与静态变量使用。静态变量的含义可以参考 PHP 手册。希望下面的代码，会更有利于对递归以及静态变量的理解   header("Content-type: text/plain"); function static_function () { static $i = 0; if ($i++ < 1
  • Android保存用户名和密码 dcj3sjt126com android
    转自：http://www.2cto.com/kf/201401/272336.html 我们不管在开发一个项目或者使用别人的项目，都有用户登录功能，为了让用户的体验效果更好，我们通常会做一个功能，叫做保存用户，这样做的目地就是为了让用户下一次再使用该程序不会重新输入用户名和密码，这里我使用3种方式来存储用户名和密码 1、通过普通 的txt文本存储 2、通过properties属性文件进行存
  • Oracle 复习笔记之同义词 eksliang Oracle 同义词Oracle synonym
    转载请出自出处：http://eksliang.iteye.com/blog/2098861 1.什么是同义词       同义词是现有模式对象的一个别名。       概念性的东西，什么是模式呢？创建一个用户，就相应的创建了 一个模式。模式是指数据库对象，是对用户所创建的数据对象的总称。模式对象包括表、视图、索引、同义词、序列、过
  • Ajax案例 gongmeitao Ajaxjsp
    数据库采用Sql Server2005 项目名称为:Ajax_Demo 1.com.demo.conn包 package com.demo.conn; import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException; //获取数据库连接的类public class DBConnec
  • ASP.NET中Request.RawUrl、Request.Url的区别 hvt .netWebC#asp.nethovertree
      如果访问的地址是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree%3C&n=myslider#zonemenu那么Request.Url.ToString() 的值是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree<&
  • SVG 教程 （七）SVG 实例，SVG 参考手册 天梯梦 svg
    SVG 实例 在线实例 下面的例子是把SVG代码直接嵌入到HTML代码中。 谷歌Chrome，火狐，Internet Explorer9，和Safari都支持。 注意：下面的例子将不会在Opera运行，即使Opera支持SVG - 它也不支持SVG在HTML代码中直接使用。   SVG 实例 SVG基本形状 一个圆 矩形 不透明矩形 一个矩形不透明2 一个带圆角矩
  • 事务管理 luyulong javaspring编程事务
    事物管理 spring事物的好处 为不同的事物API提供了一致的编程模型 支持声明式事务管理 提供比大多数事务API更简单更易于使用的编程式事务管理API 整合spring的各种数据访问抽象 TransactionDefinition 定义了事务策略 int getIsolationLevel()得到当前事务的隔离级别 READ_COMMITTED 
  • 基础数据结构和算法十一：Red-black binary search tree sunwinner AlgorithmRed-black
      The insertion algorithm for 2-3 trees just described is not difficult to understand; now, we will see that it is also not difficult to implement. We will consider a simple representation known
  • centos同步时间 stunizhengjia linux集群同步时间
    做了集群，时间的同步就显得非常必要了。 以下是查到的如何做时间同步。 在CentOS 5不再区分客户端和服务器，只要配置了NTP，它就会提供NTP服务。 1)确认已经ntp程序包： # yum install ntp 2)配置时间源（默认就行，不需要修改） # vi /etc/ntp.conf server pool.ntp.o
  • ITeye 9月技术图书有奖试读获奖名单公布 ITeye管理员 ITeye
    ITeye携手博文视点举办的9月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 9月试读活动回顾：http://webmaster.iteye.com/blog/2118112本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：      《NFC：Arduino、Andro
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他