后来丶_a24d
后来丶_a24d

分布式定时任务elastic-job(三)

目录

分布式定时任务elastic-job(三)_第1张图片
目录.png

分布式定时任务系列

  • 分布式定时任务elastic-job(一)
  • 分布式定时任务elastic-job(二)
  • 分布式定时任务elastic-job(三)
  • 分布式定时任务elastic-job(四)

选举

  • 主节点作用: 分配作业分片项，调解分布式作业不一致状态。因为elastic-job-lite是无中心化，通过jar提供的，所以需要主节点处理一些事情。这里不通过分布式锁处理这些问题，是为了避免每次操作都需要获取锁解锁，避免性能损耗。不同的作业是有可能有不同的主节点的。
  • 失效转移使用zk分布式锁，是因为希望集群一起负载失效的分片。

  • 选主时序图


    分布式定时任务elastic-job(三)_第2张图片
    选主时序图.png
  • 这里用分布式锁防止并发，回调时判断hasLeader是因为一台服务选完主节点后释放锁，另外的服务拿到锁后还是会执行回调代码， 所以要加这个判断
// LeaderService.java
// 选举主节点
public void electLeader() {
   // 通过回调的机制实现抽象公共代码部分
   jobNodeStorage.executeInLeader(LeaderNode.LATCH, new LeaderElectionExecutionCallback());
}

// JobNodeStorage.java
public void executeInLeader(final String latchNode, final LeaderExecutionCallback callback) {
   // try with resource, LeaderLatch实现closable, 完成后会自动调用close
   try (LeaderLatch latch = new LeaderLatch(getClient(), jobNodePath.getFullPath(latchNode))) {
       latch.start();
       latch.await();
       callback.execute();
   } catch (final Exception ex) {
       handleException(ex);
   }
}

// LeaderElectionExecutionCallback 回调
class LeaderElectionExecutionCallback implements LeaderExecutionCallback {
   @Override
   public void execute() {
       // 当前无主节点
       if (!hasLeader()) { 
           jobNodeStorage.fillEphemeralJobNode(LeaderNode.INSTANCE, JobRegistry.getInstance().getJobInstance(jobName).getJobInstanceId());
       }
   }
}
  • 选取成功后会填充节点/${JOB_NAME}/leader/electron/instance

选主时机

  • 初始化注册作业启动
public void registerStartUpInfo(final boolean enabled) {
   // 选举主节点
   leaderService.electLeader();
}
  • 节点数据变化时, 主节点下线
class LeaderElectionJobListener extends AbstractJobListener {
   
   @Override
   protected void dataChanged(final String path, final Type eventType, final String data) {
       if (!JobRegistry.getInstance().isShutdown(jobName) && (isActiveElection(path, data) || isPassiveElection(path, eventType))) {
           leaderService.electLeader();
       }
   }
}

等待主节点选举完成

  • 有些必须要主节点操作的任务，会等待主节点完成再继续
// LeaderService
public boolean isLeaderUntilBlock() {
   // 不存在主节点 && 有可用的服务器节点
   while (!hasLeader() && serverService.hasAvailableServers()) {
       log.info("Leader is electing, waiting for {} ms", 100);
       // 等待
       BlockUtils.waitingShortTime();
       if (!JobRegistry.getInstance().isShutdown(jobName)
               && serverService.isAvailableServer(JobRegistry.getInstance().getJobInstance(jobName).getIp())) { 
          // 当前服务器节点可用
           electLeader();
       }
   }
   // 返回当前节点是否是主节点
   return isLeader();
}

zk节点数据结构

  • 推荐使用zooInspector连接zk查看数据


    分布式定时任务elastic-job(三)_第3张图片
    ZK数据节点.png
  • com.seeger.demo.service.MySimpleJob是job的名称，每个job都会有类似这种目录，但是目录底下子目录leader, servers, config, instances, sharding这种结构是一样的
config
  • config节点是存放配置的，就是存一些比如分片总数之类的总体配置
servers
  • 各个服务实例ip
leader

  • 包括一些分布式锁，分片之类的信息


    分布式定时任务elastic-job(三)_第4张图片
    leader.png
instances
  • 实例节点
sharding

  • 分片相关，一个任务分片后，不同分片可能存在不同服务上


    分布式定时任务elastic-job(三)_第5张图片
    sharding.png

分片

分片策略

  • JobShardingStrategy策略接口
public interface JobShardingStrategy {
    Map> sharding(List jobInstances, String jobName, int shardingTotalCount);
}
默认策略AverageAllocationJobShardingStrategy
  • 基于平均分配算法的分片策略, 如果有3台作业节点
  1. 分成9片，则每台作业节点分到的分片是：1=[0,1,2], 2=[3,4,5], 3=[6,7,8]
  2. 分成8片，则每台作业节点分到的分片是：1=[0,1,6], 2=[2,3,7], 3=[4,5]
  • 感兴趣可以深入源码看看
OdevitySortByNameJobShardingStrategy
  • 根据哈希值奇偶数确定ip升降序算法，奇数升序，偶数降序
  1. 如果有3台作业节点, 分成2片, 作业名称的哈希值为奇数, 则每台作业节点分到的分片是: 1=[ ], 2=[1], 3=[0].
  2. 如果有3台作业节点, 分成2片, 作业名称的哈希值为偶数, 则每台作业节点分到的分片是: 1=[0], 2=[1], 3=[ ]
  • 优点: 可以根据作业名称重新分配作业节点负载, 不同的作业平均分配负载至不同的作业节点
RotateServerByNameJobShardingStrategy
  • 根据作业名哈希值进行轮转的分片策略
  1. 如果有3台作业节点，分成2片，作业名称的哈希值为奇数，则每台作业节点分到的分片是：1=[0], 2=[1], 3=[]
  2. 如果有3台作业节点，分成2片，作业名称的哈希值为偶数，则每台作业节点分到的分片是：3=[0], 2=[1], 1=[]
  • 优点分片更均衡, 不同的作业平均分配负载至不同的作业节点，确定分片数小于作业作业节点数时, 作业将永远分配至IP地址靠前的作业节点, 导致IP地址靠后的作业节点空闲
自定义实现
  • 当然也可以自定义实现，实现时，@Bean传入自定义实现的配置，原理跟listen自定义实现一样。

分片条件

设置重新分片代码
  • 设置要重新分片标记，zk上面的节点数据是/${JOB_NAME}/leader/sharding/necessary
// ShardingService.java
// 设置需要重新分片的标记.
public void setReshardingFlag() {
   jobNodeStorage.createJobNodeIfNeeded(ShardingNode.NECESSARY);
}

// JobNodeStorage.java
// 如果存在则创建作业节点
public void createJobNodeIfNeeded(final String node) {
   if (isJobRootNodeExisted() && !isJobNodeExisted(node)) {
       regCenter.persist(jobNodePath.getFullPath(node), "");
   }
}
  • 判断是否需要重新分片, 判断/${JOB_NAME}/leader/sharding/necessary节点存不存在
// ShardingService.java
// 判断是否需要重分片 判断/${JOB_NAME}/leader/sharding/necessary节点存不存在
public boolean isNeedSharding() {
   return jobNodeStorage.isJobNodeExisted(ShardingNode.NECESSARY);
}
需要重新分片的情况
  1. 作业启动时
// SchedulerFacade.java
public void registerStartUpInfo(final boolean enabled) {
   // 设置 需要重新分片的标记
   shardingService.setReshardingFlag();
}
  1. 分片总数变化时
  • 在监听器章节，介绍了监听器相关，分片总数变化时会触发ShardingTotalCountChangedJobListener监听器
// ShardingTotalCountChangedJobListener
class ShardingTotalCountChangedJobListener extends AbstractJobListener {
    
    @Override
    protected void dataChanged(final String path, final Type eventType, final String data) {
        if (configNode.isConfigPath(path) && 0 != JobRegistry.getInstance().getCurrentShardingTotalCount(jobName)) {
            int newShardingTotalCount = LiteJobConfigurationGsonFactory.fromJson(data).getTypeConfig().getCoreConfig().getShardingTotalCount();
            if (newShardingTotalCount != JobRegistry.getInstance().getCurrentShardingTotalCount(jobName)) {
                // 分片总数变化时设置需要重新分片
                shardingService.setReshardingFlag();
                JobRegistry.getInstance().setCurrentShardingTotalCount(jobName, newShardingTotalCount);
            }
        }
    }
}
  1. 服务器变化，服务器变化时触发服务器变化监听器
// ShardingListenerManager.java
class ListenServersChangedJobListener extends AbstractJobListener {

   @Override
   protected void dataChanged(final String path, final Type eventType, final String data) {
       if (!JobRegistry.getInstance().isShutdown(jobName)
               && (isInstanceChange(eventType, path)
                   || isServerChange(path))) {
           // 设置需要重新分片
           shardingService.setReshardingFlag();
       }
   }
   
   private boolean isInstanceChange(final Type eventType, final String path) {
       return instanceNode.isInstancePath(path) && Type.NODE_UPDATED != eventType;
   }
   
   private boolean isServerChange(final String path) {
       return serverNode.isServerPath(path);
   }
}
  1. 自诊断修复时也会触发，具体在自诊断修复章节

作业分片

  • 作业分片时序图


    分布式定时任务elastic-job(三)_第6张图片
    作业分片时序图.png 
// ShardingService.java
// 如果需要分片且当前节点为主节点, 则作业分片 如果当前无可用节点则不分片
public void shardingIfNecessary() {
   // 获取可用job实例
   List availableJobInstances = instanceService.getAvailableJobInstances();
   // 判断是否需要重新分片
   if (!isNeedSharding() || availableJobInstances.isEmpty()) {
       return;
   }
   // 非主节点等待作业分片项分配完成 主节点则继续
   if (!leaderService.isLeaderUntilBlock()) { 
       blockUntilShardingCompleted();
       return;
   }

   // 主节点继续，但是等待其他运行中的作业运行完
   waitingOtherJobCompleted();
   // 从zk获取配置
   LiteJobConfiguration liteJobConfig = configService.load(false);
   int shardingTotalCount = liteJobConfig.getTypeConfig().getCoreConfig().getShardingTotalCount();
   // 重新分片标记设置
   jobNodeStorage.fillEphemeralJobNode(ShardingNode.PROCESSING, "");
   // 重置作业分片项信息
   resetShardingInfo(shardingTotalCount);
   // zk事务执行多条语句
   JobShardingStrategy jobShardingStrategy = JobShardingStrategyFactory.getStrategy(liteJobConfig.getJobShardingStrategyClass());
   jobNodeStorage.executeInTransaction(new PersistShardingInfoTransactionExecutionCallback(jobShardingStrategy.sharding(availableJobInstances, jobName, shardingTotalCount)));
}
3. blockUntilShardingCompleted
  • 非主节点等待作业分片项分配完成 主节点则继续
4. waitingOtherJobCompleted
  • 主节点继续，但是等待其他运行中的作业运行完，作业是否则运行中需要作业设置LiteJobConfiguration.monitorExecution = true才可以监控到
5. load
  • 从zk获取配置而不走缓存，需要获取最新的数据
6. fillEphemeralJobNode
  • 设置正在重新分片标记 /${JOB_NAME}/leader/sharding/processing
7. resetShardingInfo
  • 重置分片信息
private void resetShardingInfo(final int shardingTotalCount) {
  // 重置 有效的作业分片项
  for (int i = 0; i < shardingTotalCount; i++) {
      // 移除 `/${JOB_NAME}/sharding/${ITEM_ID}/instance`
      jobNodeStorage.removeJobNodeIfExisted(ShardingNode.getInstanceNode(i)); 
      // 创建 `/${JOB_NAME}/sharding/${ITEM_ID}`
      jobNodeStorage.createJobNodeIfNeeded(ShardingNode.ROOT + "/" + i); 
  }
  // 移除 多余的作业分片项
  int actualShardingTotalCount = jobNodeStorage.getJobNodeChildrenKeys(ShardingNode.ROOT).size();
  if (actualShardingTotalCount > shardingTotalCount) {
      for (int i = shardingTotalCount; i < actualShardingTotalCount; i++) {
          // 移除 `/${JOB_NAME}/sharding/${ITEM_ID}`
          jobNodeStorage.removeJobNodeIfExisted(ShardingNode.ROOT + "/" + i); 
      }
  }
}
8. executeInTransaction zk提供的事务执行
  • JobShardingStrategy.sharding 分配分配策略前文介绍过了，
9. execute执行
  • 设置 /JOB_NAME/sharding/ITEM_ID/instance 分片节点数据
// PersistShardingInfoTransactionExecutionCallback.java
class PersistShardingInfoTransactionExecutionCallback implements TransactionExecutionCallback {
   
   // 作业分片项分配结果缓存
   private final Map> shardingResults;
   
   @Override
   public void execute(final CuratorTransactionFinal curatorTransactionFinal) throws Exception {
       // 设置 每个节点分配的作业分片项 真正设置数据进去
       for (Map.Entry> entry : shardingResults.entrySet()) {
           for (int shardingItem : entry.getValue()) {
               curatorTransactionFinal.create().forPath(jobNodePath.getFullPath(ShardingNode.getInstanceNode(shardingItem))
                       , entry.getKey().getJobInstanceId().getBytes()).and();
           }
       }
       // 移除 作业需要重分片的标记、作业正在重分片的标记
       curatorTransactionFinal.delete().forPath(jobNodePath.getFullPath(ShardingNode.NECESSARY)).and();
       curatorTransactionFinal.delete().forPath(jobNodePath.getFullPath(ShardingNode.PROCESSING)).and();
   }
}

获取作业分片上下文集合

  • 时序图


    分布式定时任务elastic-job(三)_第7张图片
    获取作业分片上下文集合.png
  • 图中2, 6部分在失效转移章节介绍
  • 具体代码
// LiteJobFacade.java
@Override
public ShardingContexts getShardingContexts() {
   // 失效转移部分，先跳过
   boolean isFailover = configService.load(true).isFailover();
   if (isFailover) {
       List failoverShardingItems = failoverService.getLocalFailoverItems();
       if (!failoverShardingItems.isEmpty()) {
           return executionContextService.getJobShardingContext(failoverShardingItems);
       }
   }
   // 作业分片, 如果需要分片且当前节点为主节点
   shardingService.shardingIfNecessary();
   // 获取分配在本机的作业分片项
   List shardingItems = shardingService.getLocalShardingItems();
   // 失效转移部分，先跳过
   if (isFailover) {
       shardingItems.removeAll(failoverService.getLocalTakeOffItems());
   }
   // 移除被禁用的作业分片项
   shardingItems.removeAll(executionService.getDisabledItems(shardingItems));
   // 获取当前作业服务器分片上下文
   return executionContextService.getJobShardingContext(shardingItems);
}
4. shardingIfNecessary
  • 作业分片, 如果需要分片且当前节点为主节点则分片
5. getLocalShardingItems
  • 获取分配在本机的作业分片项，即 /JOB_NAME/sharding/${ITEM_ID}/instance
// ShardingService.java
// 获取运行在本作业实例的分片项集合
public List getLocalShardingItems() {
   if (JobRegistry.getInstance().isShutdown(jobName) || !serverService.isAvailableServer(JobRegistry.getInstance().getJobInstance(jobName).getIp())) {
       return Collections.emptyList();
   }
   return getShardingItems(JobRegistry.getInstance().getJobInstance(jobName).getJobInstanceId());
}

// 获取作业运行实例的分片项集合.
public List getShardingItems(final String jobInstanceId) {
   JobInstance jobInstance = new JobInstance(jobInstanceId);
   if (!serverService.isAvailableServer(jobInstance.getIp())) {
       return Collections.emptyList();
   }
   List result = new LinkedList<>();
   int shardingTotalCount = configService.load(true).getTypeConfig().getCoreConfig().getShardingTotalCount();
   for (int i = 0; i < shardingTotalCount; i++) {
       // `/${JOB_NAME}/sharding/${ITEM_ID}/instance` 如果是本机则添加
       if (jobInstance.getJobInstanceId().equals(jobNodeStorage.getJobNodeData(ShardingNode.getInstanceNode(i)))) {
           result.add(i);
       }
   }
   return result;
}
7. shardingItems.removeAll
  • 移除被禁用的作业分片项
// ExecutionService.java
// 获取禁用的任务分片项
public List getDisabledItems(final List items) {
   List result = new ArrayList<>(items.size());
   for (int each : items) {
       // /${JOB_NAME}/sharding/${ITEM_ID}/disabled
       if (jobNodeStorage.isJobNodeExisted(ShardingNode.getDisabledNode(each))) {
           result.add(each);
       }
   }
   return result;
}
getJobShardingContext获取分片上下文
  • 移除 正在运行中的作业分片项，monitor开启才会记录运行中分片，才能有效移除正在运行的分片
// ExecutionContextService.java
public ShardingContexts getJobShardingContext(final List shardingItems) {
   LiteJobConfiguration liteJobConfig = configService.load(false);
   // 移除 正在运行中的作业分片项，monitor开启才会记录运行中分片
   removeRunningIfMonitorExecution(liteJobConfig.isMonitorExecution(), shardingItems);
   if (shardingItems.isEmpty()) {
       return new ShardingContexts(buildTaskId(liteJobConfig, shardingItems), liteJobConfig.getJobName(), liteJobConfig.getTypeConfig().getCoreConfig().getShardingTotalCount(), 
               liteJobConfig.getTypeConfig().getCoreConfig().getJobParameter(), Collections.emptyMap());
   }
   // 解析分片参数
   Map shardingItemParameterMap = new ShardingItemParameters(liteJobConfig.getTypeConfig().getCoreConfig().getShardingItemParameters()).getMap();
   // 创建 分片上下文集合
   return new ShardingContexts(buildTaskId(liteJobConfig, shardingItems), //
           liteJobConfig.getJobName(), liteJobConfig.getTypeConfig().getCoreConfig().getShardingTotalCount(),
           liteJobConfig.getTypeConfig().getCoreConfig().getJobParameter(),
           getAssignedShardingItemParameterMap(shardingItems, shardingItemParameterMap)); // 获得当前作业节点的分片参数
}

失效转移

  • 失效转移，指的是，别的服务宕机，这时候本服务运行完时会主动拉取失效转移的，当然也有被动触发的
  • 失效转移会调用quartz的trigger 会再次触发一次 等执行完再次触发，多次触发确实是串行执行的，因为设置了org.quartz.threadPool.threadCount设置quartz线程数为1，可以在自定义任务里面sleep然后多线程调用trigger做测试，可以发现是串行执行
  • 失效转移涉及别的服务宕机之类的，涉及重新分片更复杂，所以是在重新执行任务的时候做错过转移，而不像错过执行一样，是具备运行完马上再执行的

作业节点崩溃监听

  • 根据上问的监听器介绍，作业节点崩溃是在JobCrashedJobListener做监听，如果开启失效转移 并且/JOB_NAME/instances/INSTANCE_ID节点被移除，先获取/JOB_NAME/sharding/ITEM_ID/failover节点数据，如果没有的话获取/JOB_NAME/sharding/ITEM_ID/instance节点数据
// JobCrashedJobListener.java
class JobCrashedJobListener extends AbstractJobListener {
   
   @Override
   protected void dataChanged(final String path, final Type eventType, final String data) {
       // 开启失效转移 并且${JOB_NAME}/instances/${INSTANCE_ID}节点被移除
       if (isFailoverEnabled() && Type.NODE_REMOVED == eventType
               && instanceNode.isInstancePath(path)) { 
           String jobInstanceId = path.substring(instanceNode.getInstanceFullPath().length() + 1);
           if (jobInstanceId.equals(JobRegistry.getInstance().getJobInstance(jobName).getJobInstanceId())) {
               return;
           }
           // 先获取${JOB_NAME}/sharding/${ITEM_ID}/failover节点数据
           List failoverItems = failoverService.getFailoverItems(jobInstanceId);
           if (!failoverItems.isEmpty()) {
               for (int each : failoverItems) {
                   failoverService.setCrashedFailoverFlag(each);
                   failoverService.failoverIfNecessary();
               }
           } else {
                // 没有的话获取/${JOB_NAME}/sharding/${ITEM_ID}/instance节点数据
               for (int each : shardingService.getShardingItems(jobInstanceId)) { 
                   failoverService.setCrashedFailoverFlag(each);
                   failoverService.failoverIfNecessary();
               }
           }
       }
   }
}
  • 两个节点其中一个有数据时, 设置fail转移标识
public void setCrashedFailoverFlag(final int item) {
   if (!isFailoverAssigned(item)) {
       // /${JOB_NAME}/leader/failover/items/${ITEM_ID}
       jobNodeStorage.createJobNodeIfNeeded(FailoverNode.getItemsNode(item)); 
   }
}
    
private boolean isFailoverAssigned(final Integer item) {
   return jobNodeStorage.isJobNodeExisted(FailoverNode.getExecutionFailoverNode(item));
}

作业失效转移

  • 如果需要进行失效转移，利用分布式锁，然后回调机制实现
// FailoverService.java
public void failoverIfNecessary() {
   if (needFailover()) {
       jobNodeStorage.executeInLeader(FailoverNode.LATCH, new FailoverLeaderExecutionCallback());
   }
}

private boolean needFailover() {
    // `${JOB_NAME}/leader/failover/items/${ITEM_ID}` 有失效转移的作业分片项而且当前作业不在运行中
    return jobNodeStorage.isJobNodeExisted(FailoverNode.ITEMS_ROOT) && !jobNodeStorage.getJobNodeChildrenKeys(FailoverNode.ITEMS_ROOT).isEmpty()
            && !JobRegistry.getInstance().isJobRunning(jobName);
}
  • FailoverLeaderExecutionCallback回调逻辑, 最后需要的话会调用jobScheduleController.triggerJob()重新触发任务，这里参数设置了串行执行，所以不会有并发问题，因为失效转移比错过执行更复杂，往往涉及重分片，所以失效转移是重新出发任务，而错过执行是执行任务完马上再执行，而不重新触发新任务执行
class FailoverLeaderExecutionCallback implements LeaderExecutionCallback {
   
   @Override
   public void execute() {
       // 判断需要失效转移
       if (JobRegistry.getInstance().isShutdown(jobName) || !needFailover()) {
           return;
       }
       // 获得一个 `${JOB_NAME}/leader/failover/items/${ITEM_ID}` 作业分片项
       int crashedItem = Integer.parseInt(jobNodeStorage.getJobNodeChildrenKeys(FailoverNode.ITEMS_ROOT).get(0));
       // 设置这个 `${JOB_NAME}/sharding/${ITEM_ID}/failover` 作业分片项 为 当前作业节点
       jobNodeStorage.fillEphemeralJobNode(FailoverNode.getExecutionFailoverNode(crashedItem), JobRegistry.getInstance().getJobInstance(jobName).getJobInstanceId());
       // 移除这个 `${JOB_NAME}/leader/failover/items/${ITEM_ID}` 作业分片项
       jobNodeStorage.removeJobNodeIfExisted(FailoverNode.getItemsNode(crashedItem));
       // 触发作业执行
       JobScheduleController jobScheduleController = JobRegistry.getInstance().getJobScheduleController(jobName);
       if (null != jobScheduleController) {
           jobScheduleController.triggerJob();
       }
   }
}
  • 核心代码executor, 执行完任务时会主动进行failoverIfNecessary的方法，有需要则执行FailoverLeaderExecutionCallback回调，并设置失效转移/JOB_NAME/sharding/ITEM_ID/failover节点。所以getFailoverItems获取失效转移分片时是先获取/JOB_NAME/sharding/ITEM_ID/failover节点顺序，因为这个是执行完任务设置的
// AbstractElasticJobExecutor
public final void execute() {
   // 执行 普通触发的作业
   execute(shardingContexts, JobExecutionEvent.ExecutionSource.NORMAL_TRIGGER);
   // 执行 被跳过触发的作业
   while (jobFacade.isExecuteMisfired(shardingContexts.getShardingItemParameters().keySet())) {
       jobFacade.clearMisfire(shardingContexts.getShardingItemParameters().keySet());
       execute(shardingContexts, JobExecutionEvent.ExecutionSource.MISFIRE);
   }
   
   // 执行 作业失效转移
   jobFacade.failoverIfNecessary();
}
  • failoverIfNecessary只会抓取一个失效分片，这样集群就能一起处理失效分片，而不是所有任务都打到某台负载

获取作业分片上下文集合

  • 时序图


    分布式定时任务elastic-job(三)_第8张图片
    获取作业分片上下文集合.png
  • 失效转移时获取上下文，分片介绍了大部分流程，这里只介绍2，6, 2在作业节点崩溃监听章节介绍过了，执行完任务时有需要会设置失效转移/JOB_NAME/sharding/ITEM_ID/failover节点。所以getFailoverItems获取失效转移分片时是先获取/JOB_NAME/sharding/ITEM_ID/failover节点顺序。 6是移除失效转移分片
// LiteJobFacade.java
@Override
public ShardingContexts getShardingContexts() {
   // 获得 失效转移的作业分片项
   boolean isFailover = configService.load(true).isFailover();
   if (isFailover) {
       // 2. 获取失效转移分片
       List failoverShardingItems = failoverService.getLocalFailoverItems();
       if (!failoverShardingItems.isEmpty()) {
           // 跳过因为在分片章节介绍过了
           return executionContextService.getJobShardingContext(failoverShardingItems);
       }
   }
   // 跳过因为在分片章节介绍过了
   shardingService.shardingIfNecessary();
   // 跳过因为在分片章节介绍过了
   List shardingItems = shardingService.getLocalShardingItems();
   // 6. 移除失效转移分片
   if (isFailover) {
       shardingItems.removeAll(failoverService.getLocalTakeOffItems());
   }
   // 移除 被禁用的作业分片项
   shardingItems.removeAll(executionService.getDisabledItems(shardingItems));
   // 跳过因为在分片章节介绍过了
   return executionContextService.getJobShardingContext(shardingItems);
}
    1. 移除失效转移分片，这么做是因为有可能: 作业节点A持有作业分片项(0, 1)，此时断网，导致(0, 1)被作业节点B失效转移抓取，此时若作业节点A恢复，作业分片项(0, 1)依然属于作业节点A，但是可能已经在作业节点B执行，因此需要进行移除，避免多节点运行相同的作业分片项
shardingItems.removeAll(failoverService.getLocalTakeOffItems());
// 获取运行在本作业服务器的被失效转移的序列号
public List getLocalTakeOffItems() {
    List shardingItems = shardingService.getLocalShardingItems();
    List result = new ArrayList<>(shardingItems.size());
    for (int each : shardingItems) {
        if (jobNodeStorage.isJobNodeExisted(FailoverNode.getExecutionFailoverNode(each))) {
            result.add(each);
        }
    }
    return result;
}

错过执行

  • 错过任务执行指的是: 任务时间间隔小于任务执行时间，比如时间间隔10秒，但是任务执行本身花了15秒，这个时候下个任务触发时，因为有任务在执行，就会被表过错过
  • 错过执行本身quartz会支持，但是elastic-job设置quartz处理逻辑交还到ealstic-job本身，错过执行是在执行完正常的任务之后，立马执行错过任务，而不是重新执行任务时，执行错过执行任务。executor方法开始时防御性判是否有错过任务，应该只是防御性的判断这块。当然错过执行执行时也会判断任务是否在运行中
  • 错过执行只是涉及自己机器而且是在运行中才会错过，具备运行完马上再执行的条件。但是失效转移涉及别的服务宕机之类的，涉及重新分片更复杂，所以是在重新执行任务的时候做错过转移，而不像错过执行一样，是具备运行完马上再执行的

参考文章

  1. 脑裂是什么？Zookeeper是如何解决的？
  2. Kafka研究系列之kafka 如何避免脑裂？如何选举leader
  3. 如何防止ElasticSearch集群出现脑裂现象
  4. elastic-job调度模型
  5. 芋道源码-elastic-job
  6. Quartz原理解密
  7. 分布式定时任务调度系统技术选型

你可能感兴趣的:(分布式定时任务elastic-job(三))

  • 打造个体护城河 小怪兽的自我修炼
    《抢占心智》字数：633作为个体，如何打造自己的护城河?小A研究生毕业后连换三份工作，做过机构教师、做过行政岗，目前在学校里做全职老师，从换工作的情况来看，她的求职意向非常明确，求稳、兼顾家庭，看起来一切都很顺利啊，那么，她现在遇到什么问题了吗?001担任全职老师后，觉得工作内容枯燥，幸福感骤降，目前想通过找一份副业来提升自己的幸福指数及增加自己的收入；002所幸的是小A目前已找到两个领域，一个是
  • 我们为什么要“管”孩子 牵着小猪去散步
    图片发自App上午儿子比赛完回来，我和他在小饭馆吃饭。习惯性的，无聊的时候就问我要手机看了起来。随他吧，辛苦了半天，就把手机给了他。他看看班级微信群里大家的聊天记录、朋友圈和一些新闻。很快菜来了，我们便开始吃起来。不久，隔壁桌来了一家三口。小孩六七岁的样子，还戴着围裙，显然是刚从培训班学习过来。他们坐下后，爸爸开始点菜，妈妈拿着手机，在看什么，孩子无聊的坐在边上。一会儿，孩子坐不住了，委屈地说：你
  • 1.2如何整理电脑文件夹和桌面？ 和盼妈一起学阅读
    【高效省时36计·第1.2讲课后实践】这是2018年12月4日“崔律精时力之高效省时36计”系列第1.2讲的课后实践。动手调整电脑文件夹与电脑桌面。1.我在本讲中的收获：1）电脑文件夹新知1：最多四层（从前没有明确最多要几层，虽然没有特别多的层次）。硬盘分区-一级文件夹-二级文件夹-三级文件夹-文档新知2：原则MECE的运用：各层分级遵循MECE原则,相互独立，完全穷尽。新知3：一级文件夹，原则上
  • NOI / 1.5编程基础之循环控制 45:金币 Black Watchman c语言c++算法
    描述国王将金币作为工资，发放给忠诚的骑士。第一天，骑士收到一枚金币；之后两天（第二天和第三天）里，每天收到两枚金币；之后三天（第四、五、六天）里，每天收到三枚金币；之后四天（第七、八、九、十天）里，每天收到四枚金币……这种工资发放模式会一直这样延续下去：当连续N天每天收到N枚金币后，骑士会在之后的连续N+1天里，每天收到N+1枚金币（N为任意正整数）。你需要编写一个程序，确定从第一天开始的给定天数
  • 《你在自己的时区，从未落后》 胖大熊掌
    纽约时间比加州时间早三个小时，NewYorkis3hoursaheadofCalifornia,但加州时间并没有变慢。butitdoesnotmakeCaliforniaslow.有人22岁就毕业了，Someonegraduatedattheageof22,但等了五年才找到好的工作！butwaited5yearsbeforesecuringagoodjob!有人25岁就当上CEO，Someoneb
  • 520负负得正！ 思思的心事
    这就是我今天收到的意外12点，我旁边的送货小哥把车停到了我前面，去门市送货12点10分左右我出门开车发现此情此景。车被挤成波浪线了，右车门也无法打开。送货小哥喊冤，说他停的时候不是这样的。这时候有个大叔说，他看见十分钟前有一个中年男人身穿白色衣服，接孩子，开着一辆白色电动车，车子还能发出倒车请注意的声音，他发现送货小哥的车挡着他的路，就下车把电动三轮车"推"到了我的车旁边。然后发现有人看见他这个"
  • 沟通与倾听 彤心记
    今天是复工第四天，沟通与倾听的课程第二天。第一天，我学了为何我们不好好沟通，减少认知偏差。三种心理：无辜者心理，这不是我的错，反转，这里面有没有我的责任的呢。无助者心理：这事我也没办法，反转，为了共同的目的一起做点什么呢。受害者心理：这事都是你的错，反转，他背后的原因是什么呢？第二天，我学了让坏情绪不再影响沟通。说出情绪，不要压抑，情绪表达要勇敢和平等。
  • 并发问题的根源：CPU/内存/IO设备的速度差异 码上一元 并发编程java多线程
    CPU、内存、IO设备的速度差异程序整体的性能取决于最慢的操作—读写IO设备为了合理利用CPU的高性能，平衡三者的速度差异，计算机体系结构、操作系统、编译程序做了以下优化：CPU增加了缓存，以均衡与内存的速度差异；操作系统增加了进程、线程，以分时复用CPU，进而均衡CPU与I/O设备的速度差异；编译程序优化指令执行顺序，使得缓存能够更加合理的利用。并发程序的问题根源1.缓存导致的可见性问题单核时代
  • 请党放心,抗疫有我 张筱华
    临泽县第四中学初三4班张筱华现在是特殊的时期，新冠病毒袭卷全球，新型冠状病毒来势出汹,由新型冠状病毒感染的肺炎疫情牵动着每一个人的心，在我国打响了一场没有硝烟的疫情防控阻击战。我总觉得疫情离我们很遥远,但是现在,疫情来势汹汹，我的城市生病了。突如其来的疫情,打乱了我们的生活。全市上下打响了疫情防控遭遇战、阻击战。我们也暂时离开了熟悉的校园，开如居家生活、学习。街道上也没有了往日的车火马龙冷清的街道
  • Hadoop技术栈 XingChen. 分布式hadoop大数据
    1.什么是hadoop（分布式软件框架）他提供了分步式数据存储分布式数据计算分布式资源调度为一体的整体解决方案1.1hadoop的用处可以部署在1台乃至成千上万台服务器节点上协同工作。个人或企业可以借助Hadoop构建大规模服务器集群，完成海量数据的存储和计算。1.2hadoop的功能通常意义上，Hadoop是一个整体，其内部还会细分为三个功能组件，分别是：HDFS组件：HDFS是Hadoop内的
  • VUE3笔记 一介书生. 前端javascriptvue.js前端
    前端系列一、HTML5二、CSS3三、JavaScript四、jQuery五、BootStrap六、Element七、Ajax八、JSON九、VUE3第一章、基础一、vue简介1、学习阶段vue2基础vue-cli（vue的手脚架，专门做工程化开发）vue-router（实现前端路由的）vuex（vue存储数据的）element-ui（ui组件库）vue32、vue的特点采用组件化模式，提高代码复
  • 约伯记1章 雨过天晴_d45c
    （一）思考1.约伯住在什么地方？他为人怎样？他有几个儿女？家业怎样？1/3①乌斯地。②完全正直，敬畏神，远离恶事。③七个儿子，三个女儿。④他的家产有七千羊，三千骆驼，五百对牛，五百母驴，并有许多仆婢。这人在东方人中就为至大。2.他儿女的关系怎样？约伯怎样教导儿女？约伯常常怎样行？4/5①他的儿子按着日子，各在自己家里设摆筵宴，就打发人去请了他们的三个姐妹来，与他们一同吃喝。②筵宴的日子过了，约伯打
  • 前端性能优化-CSS性能优化 LYFlied css前端css性能优化面试
    文章目录一、内联首屏关键CSS二、异步加载CSS异步加载的几种方式1.js动态创建样式表link元素，并插入到DOM中。2.设置media属性3.设置rel属性4.rel="preload"三、文件压缩四、去除无用CSS五、有选择地使用选择器六、减少使用昂贵的属性七、优化重排与重绘1.减少重排2.避免不必要的重绘八、让元素及其内容尽可能独立于文档树的其余部分九、避免使用@import十、开启GPU
  • 《心灯》（三）读书笔记 23 ① 已未晓
    信必深信，行必力行。唯有行愿才能成就一切功德皈依了佛，就是佛的弟子、佛的代言人、佛的工具，你就代表佛了。以后在为人处世的时候一定要谨慎，时刻不要忘记自己是佛弟子，每一个言行举止都要考虑：我这样做像不像佛？符不符合佛的精神和要求？会不会有损佛的形象？有损佛教的形象？皈依还有一重意思，就是重新出生。从此不被财色名利所染，不迷失方向。皈依的时候，你们已经在佛前忏悔，作了保证。而师父就是你们的引领师，就是
  • 吕生荣：草根创业小白如何快速逆袭的三大核心 群学会
    1.心态心态这个东西我很多讲也不提，因为以前成功学学多了，对这个东西有一定反感，本质就是激励打鸡血层面的东西。但是这个东西，在生活上，在为人处世上又非常重要。佛家讲：种什么因得什么果。同样，我们人每天都在跟各样的人、事、物打交道，你怎么去面对他们，他们自然也会用同样的方式面对你。有人讲，「心里无事得自在，心里有事烦恼添，事事都从妄念起，妄心放下真心见」就是你心里不装事，就得自在。但是，我想说的是，
  • asp.net core 集成redis详解 战族狼魂 redisasp.netcoreasp.netredis后端
    ASP.NETCore集成Redis详解如下：目录一、Redis简介二、在ASP.NETCore中集成Redis三、Redis的高级用法四、注意事项一、Redis简介Redis是一个开源的内存数据结构存储系统，它可以用作数据库、缓存和消息代理。Redis内置了复制、Lua脚本、LRU驱动事件、事务和不同级别的磁盘持久化，并通过RedisSentinel和RedisCluster提供高可用性。二、在
  • 鸿蒙界面开发（八）：Grid网格布局&Badge角标组件 weightOneMillion 鸿蒙前端学习前端鸿蒙
    Badge角标组件在目标组件的外层包裹一层Badge角标组件支持位置：右上，左，右也可以使用绝对定位实现更灵活的角标位置。Badge({count:1,//角标数值，角标数值为0时不展示position:BadgePosition.RightTop,//角标位置，只有三个style:{//角标样式fontSize:14,badgeSize:20,badgeColor:'#fa2a2d'}}){Im
  • 如何有效提高自己的赚钱能力？ 莫定格
    今年看到最多的一句话，就是“人永远也赚不到认知以外的钱。靠运气赚的钱，迟早会因实力亏回去。”对于这句话，前半句有切身体会。因为比较小心，后半句庆幸还没应验。但确实，越来越能体会到认知对于提升赚钱能力的重要性。我曾因为认知不足错过了三个风口。2017年，知识付费刚兴起的时候，我做课程分销卖了十几份，赚了三百多块钱。那是我在互联网赚的第一笔钱。随意的两次推荐，就能转回课程几倍的收益，这笔钱到账的时候我
  • C++封装的意义 cijiancao C++笔记封装c++
    C++面向对象的三大特征：封装、继承、多态。C++认为任何事物都可以表示为对象，对象有属性和行为。1.封装的意义1.将属性和行为作为一个整体，用来表示生活中的事物示例：#includeusingnamespacestd;#include#definePI3.14classCircle{public:intm_r;doublecalculate(){return2*PI*m_r;}};intmain
  • 新像素的学员零基础可以学会吗？ 新像素
    大家好，我是新像素的陈老师，我先交代一下自己最近的工作：1、院校讲座，让更多人了解UI设计与新像素（非抽成合作），2、学员最终作品审核，就业指导与统计。看到了大家对新像素对招收门槛相对较高，也看到了网上一些网友的提问：“零基础去新像素，三个月能学会吗？”利益相关，所以今天就回答一下，新像素是在2016年3月从北京转移至郑州的，目的就是为了降低学员的学习成本。我们的讲师也是来自各大一线互联网公司，来
  • 《该如何过好每一天？》 成长俱乐部
    《该如何过好每一天？》2021年2月27日正月十六周六漯河市小雨5：07准备：该如何开启新的一天？1.今天的清单是什么？5：00——8：10：醒来、准备、起床、学习、洗刷、吃饭、学习、跑步。12：00——1：40：做饭、小憩、吃饭、洗刷。18：30——23：00：做饭、小憩、吃饭、发布作品、学习、洗刷、亲密关系、复盘、睡觉。2.该如何畅想未来？三月份计划？目标？5：27休息5：34起床学习1.系统
  • 【Mysql】通过Keepalived搭建mysql双主高可用集群 维运 数据库mysql数据库
    一、环境信息主机名ip操作系统mysql版本VIP（虚拟ip）hadoop01192.168.10.200centos7_x865.7192.168.10.253hadoop03192.168.10.202centos7_x865.7二、mysql集群搭建两台节点，如果未部署mysql服务，部署文档请看【Mysql】mysql三种安装方式（二进制、yum、docker）-CSDN博客三、配置文件修
  • 我的奋斗（七） 侯然
    （接前文）登记好，领了房间钥匙，美少妇服务员主动自我介绍：“我姓陈，欢迎三位帅哥正式入住本招待所，如有什么需要本小姐帮忙的请尽管开口，只要在本人能力范围，定当效劳！”曹罕一脸坏笑打量了美女一眼：“备不齐真有事会请教你呢，到时可别借口推托唷。”“不会不会，就冲三位大帅哥的面子也要帮的呀，何况你们还是省城来的贵客呢。”陈美女别有风韵地望了眼曹帅哥，细嫩的手指理了理被风扇吹零乱了的丝柔秀发，面带潮红，目
  • Elasticsearch 中，term 查询和 match 查询的区别 栗子~~ elasticsearchelasticsearch大数据搜索引擎
    文章目录前言Elasticsearch中，term查询和match查询的区别1.Term查询2.Match查询3.总结前言  如果您觉得有用的话，记得给博主点个赞，评论，收藏一键三连啊，写作不易啊^_^。  而且听说点赞的人每天的运气都不会太差，实在白嫖的话，那欢迎常来啊!!!Elasticsearch中，term查询和match查询的区别1.Term查询精确匹配：term查询用于精确匹配字段的内
  • 无题 顽石的青果花园
    老家春天还是很美的，可惜桥南边整个村子像样的老房子就这一座院子了。堂伯在老院子摘洋槐花，我让三哥拍了些照片给我。洋槐花能生吃，能打谷蕾，在春天的野菜里，地位跟榆钱，白蒿，蒲公英等同。野菜里，最好吃的，当然还是黑槐的叶子做的糊涂面条，即使不饿也能垫进去三大碗。奢侈点的是香芝麻叶，我可能就吃过那么一两次。要是忆苦思甜，建议吃杨树叶子配上玉米糠做的疙瘩。小清新系列，可以拿红薯叶子做咸汤，红薯梗水焯一下调
  • 教外篇（6）：C++ qrencode 实现二维码生成 余识- C/C++实战入门到精通c++开发语言windowsvisualstudioqrencode
    注意本专栏已在我的个人站点中完成更新升级，可点击这里直达。本专栏不再更新，不要购买！如有需要，请前往我的自建站点中购买，价格更实惠、内容更丰富、并且继续保持更新。已购买该专栏的同学，可点击这里查看后续调整方案。更多说明，可点击这里查看。文章目录注意前言一、qrencode库的基本使用二、BMP图片生成原理三、二维码生成四、放大图像、解决编码问题前言本文主要介绍如何使用C++来实现二维码的生成，使用
  • 南无羌佛《世法哲言》浅释（七十二） 博观察
    眾取之利，不可追之，纳之必失。如建筑故，眾皆造垒，房积滯之，购主稀之，屋无主之，三载见之，从业慎之。大家都一併而起爭夺的利益，千万不要在这个时候去盲目地跟著跑，如果见到大家都一哄而起抢著做的事，自己也跟著做，最后一定会失败的。比如目前大家都喜欢从事房地產开发，由於房地產公司太多，修建的高楼大厦亦甚多，结果造成房屋积压，购买者少之又少，以致放许多楼宇空空无主，无人购居，造成投资者大为失利。这条明言写
  • 王菲周迅《幻乐之城》完成世纪同框！而迅哥与窦靖童也关系匪浅？ 传媒观
    娱乐圈最不缺少八卦，三个女人一台戏，女人之间的八卦则是最多而且最复杂的，娱乐圈再大，不也是个圈吗？想必人物关系自然是错综复杂的。最近周迅和王菲一起同台参加一档综艺节目，可以说是活久见了，毕竟两个人渊源颇深，因为她们曾经都和李亚鹏有过联系，总是有点复杂的。可惜的是，虽然王菲和周迅都没能和李亚鹏走到最后。反而现在两人都有了不错的归宿，想来过去的恩恩怨怨只能归于尘土之中，在娱乐圈中总还是要见面的。这一次
  • 东北迎降雨利于旱情缓解 周末南方雨势再度加强 pong_c623
    一、东北内蒙古旱情发展，未来十天有两次降雨过程今年以来（1月1日至5月9日），东北地区（东北三省和内蒙古东部）降水量（27.6毫米）较常年同期偏少55%，为1961年以来最少，其中黑龙江东部、吉林和辽宁大部、内蒙古东部偏少50%～90%。受降水偏少影响，上述地区气象旱情发展，黑龙江南部、吉林西北部和东南部、辽宁大部、内蒙古东部部分地区土壤出现轻至重度缺墒。图片发自App未来十天，东北地区将有两次降
  • 六六谈中医 上下_求索
    一、人类【病】因（三类）1、与天不合：季节病夏至（阳转阴）、冬至（阴转阳）2、与地不合：运动损伤3、与人不合：癌症、焦虑、失眠、抑郁重病：情绪相关情绪对内脏影响，出国即愈癌：自己和自己没有讲和子宫癌（怨）乳腺癌（怒）：夫妻感情不和痛风（性格病）：信息来源广但需保密，低倾诉易得；方法：情绪控制优于饮食控制中风：高低压差胃病：焦虑引起（而非生理原因）银屑病：90%焦虑抑郁症：情绪病、打击、背叛、失亲；
  • 矩阵求逆（JAVA）利用伴随矩阵 qiuwanchi 利用伴随矩阵求逆矩阵
    package gaodai.matrix; import gaodai.determinant.DeterminantCalculation; import java.util.ArrayList; import java.util.List; import java.util.Scanner; /** * 矩阵求逆(利用伴随矩阵) * @author 邱万迟
  • 单例（Singleton）模式 aoyouzi 单例模式Singleton
    3.1           概述 如果要保证系统里一个类最多只能存在一个实例时，我们就需要单例模式。这种情况在我们应用中经常碰到，例如缓存池，数据库连接池，线程池，一些应用服务实例等。在多线程环境中，为了保证实例的唯一性其实并不简单，这章将和读者一起探讨如何实现单例模式。 3.2
  • [开源与自主研发]就算可以轻易获得外部技术支持,自己也必须研发 comsci 开源
          现在国内有大量的信息技术产品，都是通过盗版，免费下载，开源，附送等方式从国外的开发者那里获得的。。。。。。        虽然这种情况带来了国内信息产业的短暂繁荣，也促进了电子商务和互联网产业的快速发展，但是实际上，我们应该清醒的看到，这些产业的核心力量是被国外的
  • 页面有两个frame,怎样点击一个的链接改变另一个的内容 Array_06 UIXHTML
    <a src="地址"  targets="这里写你要操作的Frame的名字" />搜索 然后你点击连接以后你的新页面就会显示在你设置的Frame名字的框那里 targerts="",就是你要填写目标的显示页面位置 ===================== 例如： <frame src=&
  • Struts2实现单个/多个文件上传和下载 oloz 文件上传struts
    struts2单文件上传：     步骤01:jsp页面 <!--在进行文件上传时，表单提交方式一定要是post的方式，因为文件上传时二进制文件可能会很大，还有就是enctype属性，这个属性一定要写成multipart/form-data，不然就会以二进制文本上传到服务器端--> 　　<form action="fileUplo
  • 推荐10个在线logo设计网站 362217990 logo
    在线设计Logo网站。 1、http://flickr.nosv.org（这个太简单） 2、http://www.logomaker.com/?source=1.5770.1 3、http://www.simwebsol.com/ImageTool 4、http://www.logogenerator.com/logo.php?nal=1&tpl_catlist[]=2 5、ht
  • jsp上传文件 香水浓 jspfileupload
    1. jsp上传 Notice： 1. form表单 method 属性必须设置为 POST 方法 ，不能使用 GET 方法 2. form表单 enctype 属性需要设置为 multipart/form-data 3. form表单 action 属性需要设置为提交到后台处理文件上传的jsp文件地址或者servlet地址。例如 uploadFile.jsp 程序文件用来处理上传的文
  • 我的架构经验系列文章 - 前端架构 agevs JavaScriptWeb框架UIjQuer
    框架层面：近几年前端发展很快，前端之所以叫前端因为前端是已经可以独立成为一种职业了，js也不再是十年前的玩具了，以前富客户端RIA的应用可能会用flash/flex或是silverlight，现在可以使用js来完成大部分的功能，因此js作为一门前端的支撑语言也不仅仅是进行的简单的编码，越来越多框架性的东西出现了。越来越多的开发模式转变为后端只是吐json的数据源，而前端做所有UI的事情。MVCMV
  • android ksoap2 中把XML(DataSet) 当做参数传递 aijuans android
    我的android app中需要发送webservice ，于是我使用了 ksop2 进行发送，在测试过程中不是很顺利,不能正常工作.我的web service 请求格式如下     [html]  view plain copy   <Envelope xmlns="http://schemas.
  • 使用Spring进行统一日志管理 + 统一异常管理 baalwolf spring
    统一日志和异常管理配置好后，SSH项目中，代码以往散落的log.info() 和 try..catch..finally 再也不见踪影！ 统一日志异常实现类： [java]  view plain copy   package com.pilelot.web.util;      impor
  • Android SDK 国内镜像 BigBird2012 android sdk
    一、镜像地址： 1、东软信息学院的 Android SDK 镜像，比配置代理下载快多了。 配置地址， http://mirrors.neusoft.edu.cn/configurations.we#android 2、北京化工大学的： IPV4:ubuntu.buct.edu.cn  IPV4:ubuntu.buct.cn IPV6:ubuntu.buct6.edu.cn
  • HTML无害化和Sanitize模块 bijian1013 JavaScriptAngularJSLinkySanitize
    一.ng-bind-html、ng-bind-html-unsafe         AngularJS非常注重安全方面的问题，它会尽一切可能把大多数攻击手段最小化。其中一个攻击手段是向你的web页面里注入不安全的HTML，然后利用它触发跨站攻击或者注入攻击。         考虑这样一个例子，假设我们有一个变量存
  • [Maven学习笔记二]Maven命令 bit1129 maven
    mvn compile compile编译命令将src/main/java和src/main/resources中的代码和配置文件编译到target/classes中，不会对src/test/java中的测试类进行编译 MVN编译使用 maven-resources-plugin:2.6:resources maven-compiler-plugin:2.5.1:compile &nbs
  • 【Java命令二】jhat bit1129 Java命令
    jhat用于分析使用jmap dump的文件，，可以将堆中的对象以html的形式显示出来，包括对象的数量，大小等等，并支持对象查询语言。 jhat默认开启监听端口7000的HTTP服务，jhat是Java Heap Analysis Tool的缩写 1. 用法： [hadoop@hadoop bin]$ jhat -help Usage: jhat [-stack <bool&g
  • JBoss 5.1.0 GA:Error installing to Instantiated: name=AttachmentStore state=Desc ronin47
    进到类似目录 server/default/conf/bootstrap，打开文件 profile.xml找到： Xml代码<bean    name="AttachmentStore"  class="org.jboss.system.server.profileservice.repository.AbstractAtta
  • 写给初学者的6条网页设计安全配色指南 brotherlamp UIui自学ui视频ui教程ui资料
    网页设计中最基本的原则之一是，不管你花多长时间创造一个华丽的设计，其最终的角色都是这场秀中真正的明星——内容的衬托     我仍然清楚地记得我最早的一次美术课，那时我还是一个小小的、对凡事都充满渴望的孩子，我摆放出一大堆漂亮的彩色颜料。我仍然记得当我第一次看到原色与另一种颜色混合变成第二种颜色时的那种兴奋，并且我想，既然两种颜色能创造出一种全新的美丽色彩，那所有颜色
  • 有一个数组，每次从中间随机取一个，然后放回去，当所有的元素都被取过，返回总共的取的次数。写一个函数实现。复杂度是什么。 bylijinnan java算法面试
    import java.util.Random; import java.util.Set; import java.util.TreeSet; /** * http://weibo.com/1915548291/z7HtOF4sx * #面试题#有一个数组，每次从中间随机取一个，然后放回去，当所有的元素都被取过，返回总共的取的次数。 * 写一个函数实现。复杂度是什么
  • struts2获得request、session、application方式 chiangfai application
    1、与Servlet API解耦的访问方式。 a.Struts2对HttpServletRequest、HttpSession、ServletContext进行了封装，构造了三个Map对象来替代这三种对象要获取这三个Map对象，使用ActionContext类。 ----->   package pro.action; import java.util.Map; imp
  • 改变python的默认语言设置 chenchao051 python
    import sys sys.getdefaultencoding()  可以测试出默认语言，要改变的话，需要在python lib的site-packages文件夹下新建： sitecustomize.py， 这个文件比较特殊，会在python启动时来加载，所以就可以在里面写上： import sys sys.setdefaultencoding('utf-8') &n
  • mysql导入数据load data infile用法 daizj mysql导入数据
    我们常常导入数据！mysql有一个高效导入方法，那就是load data infile 下面来看案例说明 基本语法： load data  [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name [fields [terminated by't'] [OPTI
  • phpexcel导入excel表到数据库简单入门示例 dcj3sjt126com PHPExcel
    跟导出相对应的，同一个数据表，也是将phpexcel类放在class目录下，将Excel表格中的内容读取出来放到数据库中 <?php error_reporting(E_ALL); set_time_limit(0); ?> <html> <head> <meta http-equiv="Content-Type"
  • 22岁到72岁的男人对女人的要求 dcj3sjt126com
    22岁男人对女人的要求是：一，美丽，二，性感，三，有份具品味的职业，四，极有耐性，善解人意，五，该聪明的时候聪明，六，作小鸟依人状时尽量自然，七，怎样穿都好看，八，懂得适当地撒娇，九，虽作惊喜反应，但看起来自然，十，上了床就是个无条件荡妇。 32岁的男人对女人的要求，略作修定，是：一，入得厨房，进得睡房，二，不必服侍皇太后，三，不介意浪漫蜡烛配盒饭，四，听多过说，五，不再傻笑，六，懂得独
  • Spring和HIbernate对DDM设计的支持 e200702084 DAO设计模式springHibernate领域模型
    A：数据访问对象     DAO和资源库在领域驱动设计中都很重要。DAO是关系型数据库和应用之间的契约。它封装了Web应用中的数据库CRUD操作细节。另一方面，资源库是一个独立的抽象，它与DAO进行交互，并提供到领域模型的“业务接口”。    资源库使用领域的通用语言，处理所有必要的DAO，并使用领域理解的语言提供对领域模型的数据访问服务。
  • NoSql 数据库的特性比较 geeksun NoSQL
    Redis 是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。目前由VMware主持开发工作。   1. 数据模型 作为Key-value型数据库，Redis也提供了键（Key）和值（Value）的映射关系。除了常规的数值或字符串，Redis的键值还可以是以下形式之一： Lists （列表） Sets
  • 使用 Nginx Upload Module 实现上传文件功能 hongtoushizi nginx
    转载自： http://www.tuicool.com/wx/aUrAzm   普通网站在实现文件上传功能的时候，一般是使用Python，Java等后端程序实现，比较麻烦。Nginx有一个Upload模块，可以非常简单的实现文件上传功能。此模块的原理是先把用户上传的文件保存到临时文件，然后在交由后台页面处理，并且把文件的原名，上传后的名称，文件类型，文件大小set到页面。下
  • spring-boot-web-ui及thymeleaf基本使用 jishiweili springthymeleaf
    视图控制层代码demo如下：   @Controller @RequestMapping("/") public class MessageController { private final MessageRepository messageRepository; @Autowired public MessageController(Mes
  • 数据源架构模式之活动记录 home198979 PHP架构活动记录数据映射
    hello!架构 一、概念 活动记录（Active Record）：一个对象，它包装数据库表或视图中某一行，封装数据库访问，并在这些数据上增加了领域逻辑。 对象既有数据又有行为。活动记录使用直截了当的方法，把数据访问逻辑置于领域对象中。   二、实现简单活动记录 活动记录在php许多框架中都有应用，如cakephp。 <?php /** * 行数据入口类 *
  • Linux Shell脚本之自动修改IP pda158 linuxcentosDebian脚本
    作为一名 Linux SA，日常运维中很多地方都会用到脚本，而服务器的ip一般采用静态ip或者MAC绑定，当然后者比较操作起来相对繁琐，而前者我们可以设置主机名、ip信息、网关等配置。修改成特定的主机名在维护和管理方面也比较方便。如下脚本用途为：修改ip和主机名等相关信息，可以根据实际需求修改，举一反三！ #!/bin/sh #auto Change ip netmask ga
  • 开发环境搭建 独浮云 eclipsejdktomcat
           最近在开发过程中，经常出现MyEclipse内存溢出等错误，需要重启的情况，好麻烦。对于一般的JAVA+TOMCAT项目开发，其实没有必要使用重量级的MyEclipse，使用eclipse就足够了。尤其是开发机器硬件配置一般的人。         &n
  • 操作日期和时间的工具类 vipbooks 工具类
       大家好啊，好久没有来这里发文章了，今天来逛逛，分享一篇刚写不久的操作日期和时间的工具类，希望对大家有所帮助。 /* * @(#)DataFormatUtils.java 2010-10-10 * * Copyright 2010 BianJing,All rights reserved. */ package test; impor
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他