cptn3m0
cptn3m0

mxnet-dep-engine-implemention

文章为转载 mxnet 官方文档
原文: mxnet-dep-engine-implemention
作者: yuyang0

我修改了格式, 来适配的 markdown 渲染.

Table of Contents

  1. 基本背景知识
  2. Op
  3. Var
  • 3.1. 类图
  • 3.2. 理解 Var 队列
  • 3.3. 添加读依赖
  • 3.4. 添加写依赖
  • 3.5. 读依赖完成
  • 3.5. 写依赖完成

基本背景知识

MXNET中有一个依赖引擎，这个引擎是用来分析计算过程的依赖关系，把不依赖的计算并行化，以达到提高性能的目的。它的基本原理可以看官方的文档。 简单的说就是给每一个对象打上一个tag，这个tag叫做Var，每一个计算(op)都会依赖一个或者多个Var，依赖有两种类型：写依赖和读依赖。依赖引擎为每一个Var都维护一个队列，然后根据op的依赖关系向队列中添加ReadDependency和WriteDependency，当各个依赖完成后要更新队列的状态。

Op

Op实际上是用来代表计算过程以及它依赖的var，先来看看它的uml类图。

mxnet-dep-engine-implemention_第1张图片
img

上面一些比较重要的属性如下：

  1. fn： op实际要执行的函数
  2. const_vars, mutable_vars: 依赖的var列表（读和写）。
  3. wait: 当前还没有就绪的var的个数，它的初始值是
    len(const_vars)+len(mutable_vars), 每一个依赖就绪那么就会调用 dec_wait 将
    该值减一，如果该值为0，那么所有的依赖都已就绪，那么可以丢到执行引擎执行了。

Var

var可以看做是一个tag，用来标示每一个对象的，这样Op对对象的依赖可以简化成对var的依赖，这样就可以构建出一个不依赖于具体的对象的通用的依赖引擎。Var是依赖引擎的关键。

类图

mxnet-dep-engine-implemention_第2张图片
img

声明：下文说到执行时，意思是Op的当前var的依赖已经就绪，因为一个op可以依赖多个var，如果其他的Var没有就绪，那么这时op可能并没有实际运行

Var只是一个基类，用来统一类型系统的，主要的工作在 ThreadedVar 中，每一个对象都会有一个由 VersionedVarBlock 所组成的链表，这个链表就是一个FIFO队列。 head_ 指向的是队列的尾部, 实际是一个哨兵(空对象)， head_ 这个命名有误导性, pending_write_ 指向的是最"老"的写依赖，如果没有写依赖，那么就指向 nullptr, 根据依赖引擎的特点，它实际上指向的是队列的头部， ThreadedVar 的那四个方法就是
来操作这个队列的。

  1. num_pending_reads_: 代表当前正在执行(还没有执行完)的读依赖的个数
  2. pending_write_: 代表队列中最“老”的写依赖, 它一直指向队列的头部。
  3. head_: 队列的尾部。

需要注意的是，正在执行的读依赖是不在队列中的，但是正在执行的写依赖是在队列中的。

理解Var的队列

var的队列是依赖引擎的核心，下面我们来分析下各种情况下，如何修改队列的状态。

  1. 添加读依赖: 如果前面没有写依赖，那么直接运行, 否则就插入队列的尾部(head_那一端)
  2. 添加写依赖： 直接将依赖插入队列的尾部，并检查是不是写就绪(既没有读依赖也没有写依赖在运行),如果是写就绪，那么就运行该依赖。
  3. 读依赖完成
  4. 写依赖完成
mxnet-dep-engine-implemention_第3张图片
img

上图中w1写依赖正在执行。

mxnet-dep-engine-implemention_第4张图片
img

写依赖w1完成将自己移出队列，并执行写依赖w2

mxnet-dep-engine-implemention_第5张图片
img

写依赖w2完成后将自己移出队列，接着并行的执行读依赖r1，r2，记住正在执行的读依赖是被移出队列的，它们的数目使用 num_pending_reads_ 跟踪的

mxnet-dep-engine-implemention_第6张图片
img

每一个读依赖完成都会将 num_pending_reads_ 减一，如果减为了0，那么就意味着所有的读依赖都完成了，当r1，r2都完成后，接着执行w3写依赖。

添加读依赖

代码主要在 src/engine/Threaded_engine.cc 的 AppendReadDependency 中。

inline void ThreadedVar::AppendReadDependency(OprBlock* opr_block) {
    std::lock_guard lock{m_};
    if (pending_write_ == nullptr) {
        // invariant: is_ready_to_read()
        CHECK_GE(num_pending_reads_, 0);
        // STATE CHANGE
        ++num_pending_reads_;
        // decrease wait counter
        opr_block->decr_wait();
    } else {
        auto&& new_var_block = VersionedVarBlock::New();
        assert(head_->next == nullptr);
        assert(head_->trigger == nullptr);
        assert(head_->write == false);
        // append things to next.
        head_->next = new_var_block;
        head_->trigger = opr_block;
        head_ = new_var_block;
    }
}

代码的基本思路是这样的：检查队列中有没有写依赖，这分两种情况：

  1. 如果没有写依赖，那么意味着，目前该Var没有依赖在执行，或者说只有读依赖在执行, 所以这个新的读依赖可以直接执行，那么它没有必要添加到队列中，只需要更新 num_pending_reads_ 就好，当然因为该op可能还依赖别的var，所以你只能调用 decr_wait ，只有当wait减为0的时候，才能开始运行。这部分代码在engine的push中。
  2. 如果有写依赖，那么读依赖必须在写依赖的后面执行，所以需要把读依赖添加到队列的尾部。记住 head_ 永远指向一个空的哨兵对象。

添加写依赖

代码主要在 src/engine/Threaded_engine.cc 的 AppendWriteDependency 中。

inline void ThreadedVar::AppendWriteDependency(OprBlock* opr_block) {
    auto&& new_var_block = VersionedVarBlock::New();
    std::lock_guard lock{m_};
    // invariant.
    assert(head_->next == nullptr);
    assert(head_->trigger == nullptr);
    assert(head_->write == false);
    // attach to head.
    head_->next = new_var_block;
    head_->trigger = opr_block;
    head_->write = true;

    // check if it is ready to write
    if (pending_write_ == nullptr) {
        // invariant: is_ready_to_read()
        pending_write_ = head_;
        CHECK_GE(num_pending_reads_, 0);
        if (num_pending_reads_ == 0) {
            // STATE CHANGE
            opr_block->decr_wait();
            num_pending_reads_ = kWriteTriggered;
        }
    } else {
        CHECK_NE(num_pending_reads_, 0);
    }
    head_ = new_var_block;
}

代码的基本思路是这样的： 将该Op放入队列的尾部，接着检查该Op的依赖有没有就绪，这要检查Var有没有写依赖(pending_read_==nullptr)和读依赖(num_pending_read_==0)的 Op 正在执行，只有二者都没有时，才能开始运行，当然你依然要检查该Op对其他的Var的依赖有没有就绪。需要注意的一点是，即便Op的Var写依赖就绪，该Op也不会从队列中移除，只有该Op执行完成后才会被移除，这在CompleteWriteDependency中实现。

读依赖完成

代码主要在 src/engine/Threaded_engine.cc 的 CompleteReadDependency 中。

template 
inline void ThreadedVar::CompleteReadDependency(Dispatcher dispatcher) {
    OprBlock *trigger = nullptr;
    {
        // this is lock scope
        std::lock_guard lock{m_};
        CHECK_GT(num_pending_reads_, 0);

        if (--num_pending_reads_ == 0) {
            if (pending_write_ != nullptr) {
                // STATE CHANGE
                trigger = pending_write_->trigger;
                num_pending_reads_ = kWriteTriggered;
            }
        }
    }
    if (trigger != nullptr && trigger->decr_wait() == 0) {
        dispatcher(trigger);
    }
}

该部分代码会在一个op运算完成后调用，代码逻辑是比较简单的，先更新num_pending_read_, 更新后如果该值为0，那么就意味着，所有的读依赖都已经执行完成,这样就检查队列，若是存在写依赖，那么该写依赖就就绪了，那么Op就可以执行了(前提是依赖的其他var也都就绪了, wait为0)。上面的dispatcher实际就是用来将Op丢入执行引擎的，它一般是PushToExecute，这个后文会看到。

写依赖完成

代码主要在 src/engine/Threaded_engine.cc 的 CompleteWriteDependency 中。

template 
inline bool ThreadedVar::CompleteWriteDependency(Dispatcher dispatcher) {
  // this is lock scope
  VersionedVarBlock *old_pending_write, *end_of_read_chain;
  OprBlock* trigger_write = nullptr;
  {
    std::lock_guard lock{m_};
    // invariants
    assert(head_->next == nullptr);
    assert(pending_write_ != nullptr);
    CHECK_EQ(num_pending_reads_, kWriteTriggered);

    // really delete
    if (to_delete_) {
      VersionedVarBlock *head = pending_write_->next;
      VersionedVarBlock::Delete(pending_write_);
      assert(head_ == head);
      VersionedVarBlock::Delete(head);
      return true;
    }
    // detach pending write
    old_pending_write = pending_write_;
    // search for chains to trigger
    end_of_read_chain = old_pending_write->next;
    // reset to 0 pending reads
    num_pending_reads_ = 0;
    while (end_of_read_chain != head_ &&
           end_of_read_chain->write == false) {
      ++num_pending_reads_;
      end_of_read_chain = end_of_read_chain->next;
    }
    if (end_of_read_chain == head_) {
      pending_write_ = nullptr;
    } else {
      // check if there is pending reads, if not trigger write
      assert(end_of_read_chain->write == true);
      pending_write_ = end_of_read_chain;
      if (num_pending_reads_ == 0) {
        // mark write as already actived in this var
        num_pending_reads_ = kWriteTriggered;
        trigger_write = end_of_read_chain->trigger;
      }
    }
  }
  // This is outside of lock scope
  // Be very carful, pending_write_ and num_pending_reads_
  // can change now, do not reply ont the two variables.
  // The linked list \in [old_pending_write, end_of_read_chain)
  // is already detached from this Var.
  // So it is safe to modify these
  VersionedVarBlock *cur_head = old_pending_write->next;
  VersionedVarBlock::Delete(old_pending_write);
  // dispatch all the events
  while (cur_head != end_of_read_chain) {
    if (cur_head->trigger->decr_wait() == 0) {
      dispatcher(cur_head->trigger);
    }
    auto prev = cur_head;
    cur_head = cur_head->next;
    assert(cur_head != nullptr);
    VersionedVarBlock::Delete(prev);
  }
  if (trigger_write != nullptr && trigger_write->decr_wait() == 0) {
    dispatcher(trigger_write);
  }
  return false;
}

和读依赖完成类似，只是写依赖的后面可能跟着多个读依赖，所以需要遍历链表直到发现下一个写依赖, 这个写依赖由 end_of_read_chain 指针来表示，如果没发现写依赖，那么该指针指向 head_,遍历的过程中每发现一个读依赖就将 num_pending_reads_ 加一，这样当遍历结束后， old_pending_write 指向已经完成的写依赖，而end_of_read_chain 指向下一个写依赖或者 head_, 这时候有两种情况：

  1. 这两个指针的中间有多个元素，很显然这是多个读依赖，第二个 while 循环就是用来并行的执行这两个指针中间的读依赖的。
  2. 这两个指针之间没有元素，那么意味着没有读依赖，那么就直接执行 end_of_read_chian 指向的写依赖，如果该指针指向 head_ 那么意味着队列为空，什么也不用做。 最后 一部分的 if 就是用来处理这个情况的。

Engine

Engine是总的调用接口。

void ThreadedEngine::Push(OprHandle op, Context exec_ctx, int priority) {
    ThreadedOpr* threaded_opr = ThreadedOpr::CastFromBase(op);
    OprBlock* opr_block = OprBlock::New();
    opr_block->opr = threaded_opr;

    opr_block->wait.store(static_cast(
                              threaded_opr->const_vars.size() +
                              threaded_opr->mutable_vars.size() + 1));
    opr_block->ctx = exec_ctx;
    opr_block->priority = priority;
    ++pending_;
    // Add read dependencies.
    for (auto&& i : threaded_opr->const_vars) {
        i->AppendReadDependency(opr_block);
    }
    // Add write dependencies.
    for (auto&& i : threaded_opr->mutable_vars) {
        i->AppendWriteDependency(opr_block);
    }
    if (opr_block->decr_wait() == 0) {
        this->PushToExecute(opr_block, true);
    }
}

代码是比较清楚的，主要是 AppendReadDependency 和 AppendWriteDependency 的部分，实际上就是把op加到它所依赖的Var的队列中, 最后检查wait是不是为0，如果为0，那么意味着所有依赖都已经就绪，可以直接扔到执行引擎上执行了(PushToExecute),对于不同的执行引擎, PushToExecute 的实现是不一样的。最终都会执行 ExecuteOprBlock.

void ExecuteOprBlock(RunContext run_ctx, OprBlock *opr_block) {
    ThreadedOpr* threaded_opr = opr_block->opr;
    CallbackOnComplete callback = this->CreateCallback(
        ThreadedEngine::OnCompleteStatic, threaded_opr);
    bool debug_info = (engine_info_ && debug_push_opr_ == opr_block);
    if (!shutdown_phase_) {
      try {
        threaded_opr->fn(run_ctx, callback);
      } catch(dmlc::Error &e) {
        std::string what = e.what();
      }
    } else {
      callback();
    }

    OprBlock::Delete(opr_block);
  }

上述代码实际就是执行op中的函数，同时在结束的时候运行 OnCompleteStatic.

void ThreadedEngine::OnCompleteStatic(
    Engine *engine, void *threaded_opr) {
  static_cast(engine)->OnComplete(
      static_cast(threaded_opr));
}

显然， OnCompleteStatic 就是执行 OnComplete。

inline void ThreadedEngine::OnComplete(ThreadedOpr* threaded_opr) {
  // Mark complete for read variables
  for (auto&& i : threaded_opr->const_vars) {
    i->CompleteReadDependency([this](OprBlock* opr) {
        this->PushToExecute(opr, false);
      });
  }
  // Mark complete for write variables.
  for (auto&& i : threaded_opr->mutable_vars) {
    bool debug_info = (engine_info_ && debug_wait_var_ == i);
    if (debug_info) {
      LOG(INFO) << "Complete write dep for " << i;
    }
    bool to_delete = i->CompleteWriteDependency(
        [this, debug_info](OprBlock* opr) {
          if (debug_info) {
            LOG(INFO) << "PushToExecute " << opr;
            debug_push_opr_ = opr;
          }
          this->PushToExecute(opr, false);
          if (debug_info) {
            LOG(INFO) << "Fin PushToExecute " << opr;
          }
        });
    if (to_delete) {
      ThreadedVar::Delete(i);
    }
  }
  int npending;
  {
    std::unique_lock lock{finished_m_};
    npending = --pending_;
  }
  CHECK_GE(npending, 0);
  if (npending == 0) {
    // no need to grab lock when notify.
    finished_cv_.notify_all();
  }

  // delte operator if it is temperory
  if (threaded_opr->temporary) {
    ThreadedOpr::Delete(threaded_opr);
  }
}

这个函数实际上就是Op完成后用来更新Var的队列的，在内部会调用每一个读依赖的
CompleteReadDependency 以及写依赖的 CompleteWriteDependency, 注意上面传递给 CompleteReadDependency 和 CompleteWriteDependency 的匿名函数(dispatcher)中主要是调用了 PushToExecute.

总结

通过 Push 将Op的各种依赖加入相应的Var的队列，并且当依赖都满足的时候将op丢入执行引擎执行，当执行引擎完成后，调用 Complete 系列的函数来更新Var的队列,在更新队列的过程中，它又会将依赖就绪的Op丢入执行引擎执行，这样一直循环，直到所有的计算过程都完成。

你可能感兴趣的:(mxnet-dep-engine-implemention)

  • mxnet-dep-engine-implemention cptn3m0
    文章为转载mxnet官方文档原文:mxnet-dep-engine-implemention作者:yuyang0我修改了格式,来适配的markdown渲染.TableofContents基本背景知识OpVar3.1.类图3.2.理解Var队列3.3.添加读依赖3.4.添加写依赖3.5.读依赖完成3.5.写依赖完成基本背景知识MXNET中有一个依赖引擎，这个引擎是用来分析计算过程的依赖关系，把不依赖
  • JAVA中的Enum 周凡杨 javaenum枚举
    Enum是计算机编程语言中的一种数据类型---枚举类型。 在实际问题中，有些变量的取值被限定在一个有限的范围内。     例如，一个星期内只有七天 我们通常这样实现上面的定义： public String monday; public String tuesday; public String wensday; public String thursday
  • 赶集网mysql开发36条军规 Bill_chen mysql业务架构设计mysql调优mysql性能优化
    (一)核心军规 (1)不在数据库做运算    cpu计算务必移至业务层； (2)控制单表数据量    int型不超过1000w，含char则不超过500w；    合理分表；    限制单库表数量在300以内； (3)控制列数量    字段少而精，字段数建议在20以内
  • Shell test命令 daizj shell字符串test数字文件比较
    Shell test命令 Shell中的 test 命令用于检查某个条件是否成立，它可以进行数值、字符和文件三个方面的测试。 数值测试 参数 说明 -eq 等于则为真 -ne 不等于则为真 -gt 大于则为真 -ge 大于等于则为真 -lt 小于则为真 -le 小于等于则为真 实例演示： num1=100 num2=100if test $[num1]
  • XFire框架实现WebService(二) 周凡杨 javawebservice
       有了XFire框架实现WebService(一)，就可以继续开发WebService的简单应用。 Webservice的服务端(WEB工程)： 两个java bean类： Course.java    package cn.com.bean; public class Course {     private
  • 重绘之画图板 朱辉辉33 画图板
           上次博客讲的五子棋重绘比较简单，因为只要在重写系统重绘方法paint（）时加入棋盘和棋子的绘制。这次我想说说画图板的重绘。        画图板重绘难在需要重绘的类型很多，比如说里面有矩形，园，直线之类的，所以我们要想办法将里面的图形加入一个队列中，这样在重绘时就
  • Java的IO流 西蜀石兰 java
    刚学Java的IO流时，被各种inputStream流弄的很迷糊，看老罗视频时说想象成插在文件上的一根管道，当初听时觉得自己很明白，可到自己用时，有不知道怎么代码了。。。 每当遇到这种问题时，我习惯性的从头开始理逻辑，会问自己一些很简单的问题，把这些简单的问题想明白了，再看代码时才不会迷糊。 IO流作用是什么？ 答：实现对文件的读写，这里的文件是广义的； Java如何实现程序到文件
  • No matching PlatformTransactionManager bean found for qualifier 'add' - neither 林鹤霄
    java.lang.IllegalStateException: No matching PlatformTransactionManager bean found for qualifier 'add' - neither qualifier match nor bean name match!   网上找了好多的资料没能解决，后来发现：项目中使用的是xml配置的方式配置事务，但是
  • Row size too large (> 8126). Changing some columns to TEXT or BLOB aigo column
    原文：http://stackoverflow.com/questions/15585602/change-limit-for-mysql-row-size-too-large   异常信息： Row size too large (> 8126). Changing some columns to TEXT or BLOB or using ROW_FORMAT=DYNAM
  • JS 格式化时间 alxw4616 JavaScript
    /** * 格式化时间 2013/6/13 by 半仙 [email protected] * 需要 pad 函数 * 接收可用的时间值. * 返回替换时间占位符后的字符串 * * 时间占位符:年 Y 月 M 日 D 小时 h 分 m 秒 s 重复次数表示占位数 * 如 YYYY 4占4位 YY 占2位<p></p> * MM DD hh mm
  • 队列中数据的移除问题 百合不是茶 队列移除
         队列的移除一般都是使用的remov();都可以移除的,但是在昨天做线程移除的时候出现了点问题,没有将遍历出来的全部移除,  代码如下;      // package com.Thread0715.com; import java.util.ArrayList; public class Threa
  • Runnable接口使用实例 bijian1013 javathreadRunnablejava多线程
    Runnable接口 a.       该接口只有一个方法：public void run(); b.       实现该接口的类必须覆盖该run方法 c.       实现了Runnable接口的类并不具有任何天
  • oracle里的extend详解 bijian1013 oracle数据库extend
    扩展已知的数组空间，例： DECLARE TYPE CourseList IS TABLE OF VARCHAR2(10); courses CourseList; BEGIN -- 初始化数组元素，大小为3 courses := CourseList('Biol 4412 ', 'Psyc 3112 ', 'Anth 3001 '); --
  • 【httpclient】httpclient发送表单POST请求 bit1129 httpclient
    浏览器Form Post请求 浏览器可以通过提交表单的方式向服务器发起POST请求，这种形式的POST请求不同于一般的POST请求 1. 一般的POST请求，将请求数据放置于请求体中，服务器端以二进制流的方式读取数据，HttpServletRequest.getInputStream()。这种方式的请求可以处理任意数据形式的POST请求，比如请求数据是字符串或者是二进制数据 2. Form
  • 【Hive十三】Hive读写Avro格式的数据 bit1129 hive
     1. 原始数据 hive> select * from word; OK 1 MSN 10 QQ 100 Gtalk 1000 Skype      2. 创建avro格式的数据表   hive> CREATE TABLE avro_table(age INT, name STRING)STORE
  • nginx+lua+redis自动识别封解禁频繁访问IP ronin47
    在站点遇到攻击且无明显攻击特征，造成站点访问慢，nginx不断返回502等错误时，可利用nginx+lua+redis实现在指定的时间段 内，若单IP的请求量达到指定的数量后对该IP进行封禁，nginx返回403禁止访问。利用redis的expire命令设置封禁IP的过期时间达到在 指定的封禁时间后实行自动解封的目的。 一、安装环境： CentOS x64 release 6.4(Fin
  • java-二叉树的遍历-先序、中序、后序（递归和非递归）、层次遍历 bylijinnan java
    import java.util.LinkedList; import java.util.List; import java.util.Stack; public class BinTreeTraverse { //private int[] array={ 1, 2, 3, 4, 5, 6, 7, 8, 9 }; private int[] array={ 10,6,
  • Spring源码学习-XML 配置方式的IoC容器启动过程分析 bylijinnan javaspringIOC
    以FileSystemXmlApplicationContext为例，把Spring IoC容器的初始化流程走一遍： ApplicationContext context = new FileSystemXmlApplicationContext ("C:/Users/ZARA/workspace/HelloSpring/src/Beans.xml&q
  • [科研与项目]民营企业请慎重参与军事科技工程 comsci 企业
         军事科研工程和项目 并非要用最先进，最时髦的技术，而是要做到“万无一失”    而民营科技企业在搞科技创新工程的时候，往往考虑的是技术的先进性，而对先进技术带来的风险考虑得不够，在今天提倡军民融合发展的大环境下，这种“万无一失”和“时髦性”的矛盾会日益凸显。。。。。。所以请大家在参与任何重大的军事和政府项目之前，对
  • spring 定时器-两种方式 cuityang springquartz定时器
    方式一： 间隔一定时间 运行 <bean id="updateSessionIdTask" class="com.yang.iprms.common.UpdateSessionTask" autowire="byName" /> <bean id="updateSessionIdSchedule
  • 简述一下关于BroadView站点的相关设计 damoqiongqiu view
    终于弄上线了，累趴，戳这里http://www.broadview.com.cn   简述一下相关的技术点   前端：jQuery+BootStrap3.2+HandleBars，全站Ajax（貌似对SEO的影响很大啊！怎么破？），用Grunt对全部JS做了压缩处理，对部分JS和CSS做了合并（模块间存在很多依赖，全部合并比较繁琐，待完善）。   后端：U
  • 运维 PHP问题汇总 dcj3sjt126com windows2003
    1、Dede(织梦)发表文章时,内容自动添加关键字显示空白页 解决方法： 后台>系统>系统基本参数>核心设置>关键字替换（是/否），这里选择“是”。 后台>系统>系统基本参数>其他选项>自动提取关键字，这里选择“是”。   2、解决PHP168超级管理员上传图片提示你的空间不足 网站是用PHP168做的，反映使用管理员在后台无法
  • mac 下 安装php扩展 - mcrypt dcj3sjt126com PHP
    MCrypt是一个功能强大的加密算法扩展库，它包括有22种算法，phpMyAdmin依赖这个PHP扩展，具体如下： 下载并解压libmcrypt-2.5.8.tar.gz。 在终端执行如下命令： tar zxvf libmcrypt-2.5.8.tar.gz cd libmcrypt-2.5.8/ ./configure --disable-posix-threads --
  • MongoDB更新文档 [四] eksliang mongodbMongodb更新文档
    MongoDB更新文档 转载请出自出处：http://eksliang.iteye.com/blog/2174104 MongoDB对文档的CURD，前面的博客简单介绍了，但是对文档更新篇幅比较大，所以这里单独拿出来。 语法结构如下： db.collection.update( criteria, objNew, upsert, multi) 参数含义 参数   
  • Linux下的解压，移除，复制，查看tomcat命令 y806839048 tomcat
    重复myeclipse生成webservice有问题删除以前的，干净 1、先切换到：cd usr/local/tomcat5/logs 2、tail -f catalina.out 3、这样运行时就可以实时查看运行日志了 Ctrl+c 是退出tail命令。 有问题不明的先注掉   cp /opt/tomcat-6.0.44/webapps/g
  • Spring之使用事务缘由(3-XML实现) ihuning spring
      用事务通知声明式地管理事务   事务管理是一种横切关注点。为了在 Spring 2.x 中启用声明式事务管理，可以通过 tx Schema 中定义的 <tx:advice> 元素声明事务通知，为此必须事先将这个 Schema 定义添加到 <beans> 根元素中去。声明了事务通知后，就需要将它与切入点关联起来。由于事务通知是在 <aop:
  • GCD使用经验与技巧浅谈 啸笑天 GC
    前言 GCD(Grand Central Dispatch)可以说是Mac、iOS开发中的一大“利器”，本文就总结一些有关使用GCD的经验与技巧。 dispatch_once_t必须是全局或static变量 这一条算是“老生常谈”了，但我认为还是有必要强调一次，毕竟非全局或非static的dispatch_once_t变量在使用时会导致非常不好排查的bug，正确的如下： 1
  • linux（Ubuntu）下常用命令备忘录1 macroli linux工作ubuntu
    在使用下面的命令是可以通过--help来获取更多的信息1,查询当前目录文件列表：ls ls命令默认状态下将按首字母升序列出你当前文件夹下面的所有内容，但这样直接运行所得到的信息也是比较少的，通常它可以结合以下这些参数运行以查询更多的信息：  ls / 显示/.下的所有文件和目录  ls -l 给出文件或者文件夹的详细信息 ls -a 显示所有文件，包括隐藏文
  • nodejs同步操作mysql qiaolevip 学习永无止境每天进步一点点mysqlnodejs
    // db-util.js var mysql = require('mysql'); var pool = mysql.createPool({ connectionLimit : 10, host: 'localhost', user: 'root', password: '', database: 'test', port: 3306 });
  • 一起学Hive系列文章 superlxw1234 hiveHive入门
      [一起学Hive]系列文章 目录贴，入门Hive，持续更新中。   [一起学Hive]之一—Hive概述，Hive是什么 [一起学Hive]之二—Hive函数大全-完整版 [一起学Hive]之三—Hive中的数据库(Database)和表(Table) [一起学Hive]之四-Hive的安装配置 [一起学Hive]之五-Hive的视图和分区 [一起学Hive
  • Spring开发利器：Spring Tool Suite 3.7.0 发布 wiselyman spring
    Spring Tool Suite(简称STS)是基于Eclipse，专门针对Spring开发者提供大量的便捷功能的优秀开发工具。   在3.7.0版本主要做了如下的更新：   将eclipse版本更新至Eclipse Mars 4.5 GA Spring Boot(JavaEE开发的颠覆者集大成者，推荐大家学习)的配置语言YAML编辑器的支持(包含自动提示，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他