codecraft
codecraft

聊聊storm的ICommitterTridentSpout

序

本文主要研究一下storm的ICommitterTridentSpout

ICommitterTridentSpout

storm-core-1.2.2-sources.jar!/org/apache/storm/trident/spout/ICommitterTridentSpout.java

public interface ICommitterTridentSpout extends ITridentSpout {
    public interface Emitter extends ITridentSpout.Emitter {
        void commit(TransactionAttempt attempt);
    } 
    
    @Override
    public Emitter getEmitter(String txStateId, Map conf, TopologyContext context);    
}
  • ICommitterTridentSpout继承了ITridentSpout，主要是对getEmitter方法进行覆盖，返回扩展的Emitter，它继承ITridentSpout.Emitter ，多定义了一个commit接口

TridentTopologyBuilder.buildTopology

storm-core-1.2.2-sources.jar!/org/apache/storm/trident/topology/TridentTopologyBuilder.java

   public StormTopology buildTopology(Map masterCoordResources) {
        TopologyBuilder builder = new TopologyBuilder();
        Map batchIdsForSpouts = fleshOutStreamBatchIds(false);
        Map batchIdsForBolts = fleshOutStreamBatchIds(true);

        Map> batchesToCommitIds = new HashMap<>();
        Map> batchesToSpouts = new HashMap<>();
        
        for(String id: _spouts.keySet()) {
            TransactionalSpoutComponent c = _spouts.get(id);
            if(c.spout instanceof IRichSpout) {
                
                //TODO: wrap this to set the stream name
                builder.setSpout(id, (IRichSpout) c.spout, c.parallelism);
            } else {
                String batchGroup = c.batchGroupId;
                if(!batchesToCommitIds.containsKey(batchGroup)) {
                    batchesToCommitIds.put(batchGroup, new ArrayList());
                }
                batchesToCommitIds.get(batchGroup).add(c.commitStateId);

                if(!batchesToSpouts.containsKey(batchGroup)) {
                    batchesToSpouts.put(batchGroup, new ArrayList());
                }
                batchesToSpouts.get(batchGroup).add((ITridentSpout) c.spout);
                
                
                BoltDeclarer scd =
                      builder.setBolt(spoutCoordinator(id), new TridentSpoutCoordinator(c.commitStateId, (ITridentSpout) c.spout))
                        .globalGrouping(masterCoordinator(c.batchGroupId), MasterBatchCoordinator.BATCH_STREAM_ID)
                        .globalGrouping(masterCoordinator(c.batchGroupId), MasterBatchCoordinator.SUCCESS_STREAM_ID);
                
                for(Map m: c.componentConfs) {
                    scd.addConfigurations(m);
                }
                
                Map specs = new HashMap();
                specs.put(c.batchGroupId, new CoordSpec());
                BoltDeclarer bd = builder.setBolt(id,
                        new TridentBoltExecutor(
                          new TridentSpoutExecutor(
                            c.commitStateId,
                            c.streamName,
                            ((ITridentSpout) c.spout)),
                            batchIdsForSpouts,
                            specs),
                        c.parallelism);
                bd.allGrouping(spoutCoordinator(id), MasterBatchCoordinator.BATCH_STREAM_ID);
                bd.allGrouping(masterCoordinator(batchGroup), MasterBatchCoordinator.SUCCESS_STREAM_ID);
                if(c.spout instanceof ICommitterTridentSpout) {
                    bd.allGrouping(masterCoordinator(batchGroup), MasterBatchCoordinator.COMMIT_STREAM_ID);
                }
                for(Map m: c.componentConfs) {
                    bd.addConfigurations(m);
                }
            }
        }
        
        //......

        return builder.createTopology();
    }
  • TridentTopologyBuilder.buildTopology的时候，对用户的spout判断，如果是ICommitterTridentSpout类型的，则会配置allGrouping(masterCoordinator(batchGroup), MasterBatchCoordinator.COMMIT_STREAM_ID)

MasterBatchCoordinator

storm-core-1.2.2-sources.jar!/org/apache/storm/trident/topology/MasterBatchCoordinator.java

    @Override
    public void nextTuple() {
        sync();
    }

    private void sync() {
        // note that sometimes the tuples active may be less than max_spout_pending, e.g.
        // max_spout_pending = 3
        // tx 1, 2, 3 active, tx 2 is acked. there won't be a commit for tx 2 (because tx 1 isn't committed yet),
        // and there won't be a batch for tx 4 because there's max_spout_pending tx active
        TransactionStatus maybeCommit = _activeTx.get(_currTransaction);
        if(maybeCommit!=null && maybeCommit.status == AttemptStatus.PROCESSED) {
            maybeCommit.status = AttemptStatus.COMMITTING;
            _collector.emit(COMMIT_STREAM_ID, new Values(maybeCommit.attempt), maybeCommit.attempt);
            LOG.debug("Emitted on [stream = {}], [tx_status = {}], [{}]", COMMIT_STREAM_ID, maybeCommit, this);
        }
        
        if(_active) {
            if(_activeTx.size() < _maxTransactionActive) {
                Long curr = _currTransaction;
                for(int i=0; i<_maxTransactionActive; i++) {
                    if(!_activeTx.containsKey(curr) && isReady(curr)) {
                        // by using a monotonically increasing attempt id, downstream tasks
                        // can be memory efficient by clearing out state for old attempts
                        // as soon as they see a higher attempt id for a transaction
                        Integer attemptId = _attemptIds.get(curr);
                        if(attemptId==null) {
                            attemptId = 0;
                        } else {
                            attemptId++;
                        }
                        _attemptIds.put(curr, attemptId);
                        for(TransactionalState state: _states) {
                            state.setData(CURRENT_ATTEMPTS, _attemptIds);
                        }
                        
                        TransactionAttempt attempt = new TransactionAttempt(curr, attemptId);
                        final TransactionStatus newTransactionStatus = new TransactionStatus(attempt);
                        _activeTx.put(curr, newTransactionStatus);
                        _collector.emit(BATCH_STREAM_ID, new Values(attempt), attempt);
                        LOG.debug("Emitted on [stream = {}], [tx_attempt = {}], [tx_status = {}], [{}]", BATCH_STREAM_ID, attempt, newTransactionStatus, this);
                        _throttler.markEvent();
                    }
                    curr = nextTransactionId(curr);
                }
            }
        }
    }

    @Override
    public void ack(Object msgId) {
        TransactionAttempt tx = (TransactionAttempt) msgId;
        TransactionStatus status = _activeTx.get(tx.getTransactionId());
        LOG.debug("Ack. [tx_attempt = {}], [tx_status = {}], [{}]", tx, status, this);
        if(status!=null && tx.equals(status.attempt)) {
            if(status.status==AttemptStatus.PROCESSING) {
                status.status = AttemptStatus.PROCESSED;
                LOG.debug("Changed status. [tx_attempt = {}] [tx_status = {}]", tx, status);
            } else if(status.status==AttemptStatus.COMMITTING) {
                _activeTx.remove(tx.getTransactionId());
                _attemptIds.remove(tx.getTransactionId());
                _collector.emit(SUCCESS_STREAM_ID, new Values(tx));
                _currTransaction = nextTransactionId(tx.getTransactionId());
                for(TransactionalState state: _states) {
                    state.setData(CURRENT_TX, _currTransaction);                    
                }
                LOG.debug("Emitted on [stream = {}], [tx_attempt = {}], [tx_status = {}], [{}]", SUCCESS_STREAM_ID, tx, status, this);
            }
            sync();
        }
    }
  • MasterBatchCoordinator在收到ack的时候，如果status是AttemptStatus.PROCESSING状态，则更改status为AttemptStatus.PROCESSED；如果status是AttemptStatus.COMMITTING，则往SUCCESS_STREAM_ID发射tuple；之后调用sync方法
  • nextTuple方法也是调用sync方法，判断如果是AttemptStatus.PROCESSED状态，则更改status为AttemptStatus.COMMITTING，同时往COMMIT_STREAM_ID发射tuple
  • 可以看到这里状态由AttemptStatus.PROCESSING变为AttemptStatus.PROCESSED(nextTuple方法将AttemptStatus.PROCESSED变为AttemptStatus.COMMITTING，然后往COMMIT_STREAM_ID发射tuple)，再变为AttemptStatus.COMMITTING(ack的时候，如果是AttemptStatus.COMMITTING状态，则往SUCCESS_STREAM_ID发射tuple)

TridentSpoutExecutor

storm-core-1.2.2-sources.jar!/org/apache/storm/trident/spout/TridentSpoutExecutor.java

    public void execute(BatchInfo info, Tuple input) {
        // there won't be a BatchInfo for the success stream
        TransactionAttempt attempt = (TransactionAttempt) input.getValue(0);
        if(input.getSourceStreamId().equals(MasterBatchCoordinator.COMMIT_STREAM_ID)) {
            if(attempt.equals(_activeBatches.get(attempt.getTransactionId()))) {
                ((ICommitterTridentSpout.Emitter) _emitter).commit(attempt);
                _activeBatches.remove(attempt.getTransactionId());
            } else {
                 throw new FailedException("Received commit for different transaction attempt");
            }
        } else if(input.getSourceStreamId().equals(MasterBatchCoordinator.SUCCESS_STREAM_ID)) {
            // valid to delete before what's been committed since 
            // those batches will never be accessed again
            _activeBatches.headMap(attempt.getTransactionId()).clear();
            _emitter.success(attempt);
        } else {            
            _collector.setBatch(info.batchId);
            _emitter.emitBatch(attempt, input.getValue(1), _collector);
            _activeBatches.put(attempt.getTransactionId(), attempt);
        }
    }
  • TridentSpoutExecutor在execute的时候，判断如果是MasterBatchCoordinator.COMMIT_STREAM_ID的数据，而且TransactionAttempt的txid相等，则调用((ICommitterTridentSpout.Emitter) _emitter).commit(attempt)

TridentBoltExecutor

storm-2.0.0/storm-client/src/jvm/org/apache/storm/trident/topology/TridentBoltExecutor.java

    public void execute(Tuple tuple) {
        if (TupleUtils.isTick(tuple)) {
            long now = System.currentTimeMillis();
            if (now - _lastRotate > _messageTimeoutMs) {
                _batches.rotate();
                _lastRotate = now;
            }
            return;
        }
        String batchGroup = _batchGroupIds.get(tuple.getSourceGlobalStreamId());
        if (batchGroup == null) {
            // this is so we can do things like have simple DRPC that doesn't need to use batch processing
            _coordCollector.setCurrBatch(null);
            _bolt.execute(null, tuple);
            _collector.ack(tuple);
            return;
        }
        IBatchID id = (IBatchID) tuple.getValue(0);
        //get transaction id
        //if it already exists and attempt id is greater than the attempt there


        TrackedBatch tracked = (TrackedBatch) _batches.get(id.getId());
        //        if(_batches.size() > 10 && _context.getThisTaskIndex() == 0) {
        //            System.out.println("Received in " + _context.getThisComponentId() + " " + _context.getThisTaskIndex()
        //                    + " (" + _batches.size() + ")" +
        //                    "\ntuple: " + tuple +
        //                    "\nwith tracked " + tracked +
        //                    "\nwith id " + id +
        //                    "\nwith group " + batchGroup
        //                    + "\n");
        //
        //        }
        //System.out.println("Num tracked: " + _batches.size() + " " + _context.getThisComponentId() + " " + _context.getThisTaskIndex());

        // this code here ensures that only one attempt is ever tracked for a batch, so when
        // failures happen you don't get an explosion in memory usage in the tasks
        if (tracked != null) {
            if (id.getAttemptId() > tracked.attemptId) {
                _batches.remove(id.getId());
                tracked = null;
            } else if (id.getAttemptId() < tracked.attemptId) {
                // no reason to try to execute a previous attempt than we've already seen
                return;
            }
        }

        if (tracked == null) {
            tracked =
                new TrackedBatch(new BatchInfo(batchGroup, id, _bolt.initBatchState(batchGroup, id)), _coordConditions.get(batchGroup),
                                 id.getAttemptId());
            _batches.put(id.getId(), tracked);
        }
        _coordCollector.setCurrBatch(tracked);

        //System.out.println("TRACKED: " + tracked + " " + tuple);

        TupleType t = getTupleType(tuple, tracked);
        if (t == TupleType.COMMIT) {
            tracked.receivedCommit = true;
            checkFinish(tracked, tuple, t);
        } else if (t == TupleType.COORD) {
            int count = tuple.getInteger(1);
            tracked.reportedTasks++;
            tracked.expectedTupleCount += count;
            checkFinish(tracked, tuple, t);
        } else {
            tracked.receivedTuples++;
            boolean success = true;
            try {
                _bolt.execute(tracked.info, tuple);
                if (tracked.condition.expectedTaskReports == 0) {
                    success = finishBatch(tracked, tuple);
                }
            } catch (FailedException e) {
                failBatch(tracked, e);
            }
            if (success) {
                _collector.ack(tuple);
            } else {
                _collector.fail(tuple);
            }
        }
        _coordCollector.setCurrBatch(null);
    }
  • 这里再调用_bolt.execute(tracked.info, tuple)之后，会调用_collector.ack(tuple)完成ack

SpoutOutputCollector

storm-core-1.2.2-sources.jar!/org/apache/storm/spout/SpoutOutputCollector.java

    /**
     * Emits a new tuple to the specified output stream with the given message ID.
     * When Storm detects that this tuple has been fully processed, or has failed
     * to be fully processed, the spout will receive an ack or fail callback respectively
     * with the messageId as long as the messageId was not null. If the messageId was null,
     * Storm will not track the tuple and no callback will be received. 
     * Note that Storm's event logging functionality will only work if the messageId
     * is serializable via Kryo or the Serializable interface. The emitted values must be immutable.
     *
     * @return the list of task ids that this tuple was sent to
     */
    public List emit(String streamId, List tuple, Object messageId) {
        return _delegate.emit(streamId, tuple, messageId);
    } 
 
     
  
  • 这里调用了_delegate.emit的emit，这里的_delegate为SpoutOutputCollectorImpl
    •  
 
 
 
SpoutOutputCollectorImpl
 
 
storm-2.0.0/storm-client/src/jvm/org/apache/storm/executor/spout/SpoutOutputCollectorImpl.java
 
 
    public List emit(String streamId, List tuple, Object messageId) {
        try {
            return sendSpoutMsg(streamId, tuple, messageId, null);
        } catch (InterruptedException e) {
            LOG.warn("Spout thread interrupted during emit().");
            throw new RuntimeException(e);
        }
    }

    private List sendSpoutMsg(String stream, List values, Object messageId, Integer outTaskId) throws
        InterruptedException {
        emittedCount.increment();

        List outTasks;
        if (outTaskId != null) {
            outTasks = taskData.getOutgoingTasks(outTaskId, stream, values);
        } else {
            outTasks = taskData.getOutgoingTasks(stream, values);
        }

        final boolean needAck = (messageId != null) && hasAckers;

        final List ackSeq = needAck ? new ArrayList<>() : null;

        final long rootId = needAck ? MessageId.generateId(random) : 0;

        for (int i = 0; i < outTasks.size(); i++) { // perf critical path. don't use iterators.
            Integer t = outTasks.get(i);
            MessageId msgId;
            if (needAck) {
                long as = MessageId.generateId(random);
                msgId = MessageId.makeRootId(rootId, as);
                ackSeq.add(as);
            } else {
                msgId = MessageId.makeUnanchored();
            }

            final TupleImpl tuple =
                new TupleImpl(executor.getWorkerTopologyContext(), values, executor.getComponentId(), this.taskId, stream, msgId);
            AddressedTuple adrTuple = new AddressedTuple(t, tuple);
            executor.getExecutorTransfer().tryTransfer(adrTuple, executor.getPendingEmits());
        }
        if (isEventLoggers) {
            taskData.sendToEventLogger(executor, values, executor.getComponentId(), messageId, random, executor.getPendingEmits());
        }

        if (needAck) {
            boolean sample = executor.samplerCheck();
            TupleInfo info = new TupleInfo();
            info.setTaskId(this.taskId);
            info.setStream(stream);
            info.setMessageId(messageId);
            if (isDebug) {
                info.setValues(values);
            }
            if (sample) {
                info.setTimestamp(System.currentTimeMillis());
            }

            pending.put(rootId, info);
            List ackInitTuple = new Values(rootId, Utils.bitXorVals(ackSeq), this.taskId);
            taskData.sendUnanchored(Acker.ACKER_INIT_STREAM_ID, ackInitTuple, executor.getExecutorTransfer(), executor.getPendingEmits());
        } else if (messageId != null) {
            // Reusing TupleInfo object as we directly call executor.ackSpoutMsg() & are not sending msgs. perf critical
            if (isDebug) {
                if (spoutExecutorThdId != Thread.currentThread().getId()) {
                    throw new RuntimeException("Detected background thread emitting tuples for the spout. " +
                                               "Spout Output Collector should only emit from the main spout executor thread.");
                }
            }
            globalTupleInfo.clear();
            globalTupleInfo.setStream(stream);
            globalTupleInfo.setValues(values);
            globalTupleInfo.setMessageId(messageId);
            globalTupleInfo.setTimestamp(0);
            globalTupleInfo.setId("0:");
            Long timeDelta = 0L;
            executor.ackSpoutMsg(executor, taskData, timeDelta, globalTupleInfo);
        }
        return outTasks;
    } 
 
     
  
  • 这里neekAck的话，会调用taskData.sendUnanchored(Acker.ACKER_INIT_STREAM_ID, ackInitTuple, executor.getExecutorTransfer(), executor.getPendingEmits());
    •  
  
  • 注意这里的ackInitTuple为Values(rootId, Utils.bitXorVals(ackSeq), this.taskId)，第二个值对List ackSeq进行了Utils.bitXorVals运算
    •  
  
  • ackSeq在没有outTask的时候，是个空的list，它的Utils.bitXorVals操作为0
    •  
 
 
 
Utils
 
 
storm-2.0.0/storm-client/src/jvm/org/apache/storm/utils/Utils.java
 
 
    public static long bitXorVals(List coll) {
        long result = 0;
        for (Long val : coll) {
            result ^= val;
        }
        return result;
    }

    public static long bitXor(Long a, Long b) {
        return a ^ b;
    }
 
 
     
  
  • bitXor运算是storm的ack机制的核心运算
    •  
 
 
 
Acker
 
 
storm-2.0.0/storm-client/src/jvm/org/apache/storm/daemon/Acker.java
 
 
    public void execute(Tuple input) {
        if (TupleUtils.isTick(input)) {
            Map tmp = pending.rotate();
            LOG.debug("Number of timeout tuples:{}", tmp.size());
            return;
        }

        boolean resetTimeout = false;
        String streamId = input.getSourceStreamId();
        Object id = input.getValue(0);
        AckObject curr = pending.get(id);
        if (ACKER_INIT_STREAM_ID.equals(streamId)) {
            if (curr == null) {
                curr = new AckObject();
                pending.put(id, curr);
            }
            curr.updateAck(input.getLong(1));
            curr.spoutTask = input.getInteger(2);
        } else if (ACKER_ACK_STREAM_ID.equals(streamId)) {
            if (curr == null) {
                curr = new AckObject();
                pending.put(id, curr);
            }
            curr.updateAck(input.getLong(1));
        } else if (ACKER_FAIL_STREAM_ID.equals(streamId)) {
            // For the case that ack_fail message arrives before ack_init
            if (curr == null) {
                curr = new AckObject();
            }
            curr.failed = true;
            pending.put(id, curr);
        } else if (ACKER_RESET_TIMEOUT_STREAM_ID.equals(streamId)) {
            resetTimeout = true;
            if (curr != null) {
                pending.put(id, curr);
            } //else if it has not been added yet, there is no reason time it out later on
        } else if (Constants.SYSTEM_FLUSH_STREAM_ID.equals(streamId)) {
            collector.flush();
            return;
        } else {
            LOG.warn("Unknown source stream {} from task-{}", streamId, input.getSourceTask());
            return;
        }

        int task = curr.spoutTask;
        if (task >= 0 && (curr.val == 0 || curr.failed || resetTimeout)) {
            Values tuple = new Values(id, getTimeDeltaMillis(curr.startTime));
            if (curr.val == 0) {
                pending.remove(id);
                collector.emitDirect(task, ACKER_ACK_STREAM_ID, tuple);
            } else if (curr.failed) {
                pending.remove(id);
                collector.emitDirect(task, ACKER_FAIL_STREAM_ID, tuple);
            } else if (resetTimeout) {
                collector.emitDirect(task, ACKER_RESET_TIMEOUT_STREAM_ID, tuple);
            } else {
                throw new IllegalStateException("The checks are inconsistent we reach what should be unreachable code.");
            }
        }

        collector.ack(input);
    }

    private static class AckObject {
        public long val = 0L;
        public long startTime = Time.currentTimeMillis();
        public int spoutTask = -1;
        public boolean failed = false;

        // val xor value
        public void updateAck(Long value) {
            val = Utils.bitXor(val, value);
        }
    }
 
 
     
  
  • 当Acker收到ACKER_INIT_STREAM_ID时，如果当前AckObject为null，则创建一个AckObject，其val默认为0；之后调用curr.updateAck(input.getLong(1))，即根据tuple的第二个值来更新AckObject的val
    •  
  
  • SpoutOutputCollectorImpl发射过来的tuple为Values(rootId, Utils.bitXorVals(ackSeq), this.taskId)，其第二个值为Utils.bitXorVals(ackSeq)；askSeq为List，当没有outputTask的时候，其list为空，而Utils.bitXorVals值为0，这种情况下，curr.updateAck(0)返回0
    •  
  
  • Acker在execute的最后会判断，如果curr.val == 0则会触发collector.emitDirect(task, ACKER_ACK_STREAM_ID, tuple)
    •  
 
 
 
SpoutExecutor
 
 
storm-2.0.0/storm-client/src/jvm/org/apache/storm/executor/spout/SpoutExecutor.java
 
 
    public void tupleActionFn(int taskId, TupleImpl tuple) throws Exception {
        String streamId = tuple.getSourceStreamId();
        if (Constants.SYSTEM_FLUSH_STREAM_ID.equals(streamId)) {
            spoutOutputCollector.flush();
        } else if (streamId.equals(Constants.SYSTEM_TICK_STREAM_ID)) {
            pending.rotate();
        } else if (streamId.equals(Constants.METRICS_TICK_STREAM_ID)) {
            metricsTick(idToTask.get(taskId - idToTaskBase), tuple);
        } else if (streamId.equals(Constants.CREDENTIALS_CHANGED_STREAM_ID)) {
            Object spoutObj = idToTask.get(taskId - idToTaskBase).getTaskObject();
            if (spoutObj instanceof ICredentialsListener) {
                ((ICredentialsListener) spoutObj).setCredentials((Map) tuple.getValue(0));
            }
        } else if (streamId.equals(Acker.ACKER_RESET_TIMEOUT_STREAM_ID)) {
            Long id = (Long) tuple.getValue(0);
            TupleInfo pendingForId = pending.get(id);
            if (pendingForId != null) {
                pending.put(id, pendingForId);
            }
        } else {
            Long id = (Long) tuple.getValue(0);
            Long timeDeltaMs = (Long) tuple.getValue(1);
            TupleInfo tupleInfo = pending.remove(id);
            if (tupleInfo != null && tupleInfo.getMessageId() != null) {
                if (taskId != tupleInfo.getTaskId()) {
                    throw new RuntimeException("Fatal error, mismatched task ids: " + taskId + " " + tupleInfo.getTaskId());
                }
                Long timeDelta = null;
                if (hasAckers) {
                    long startTimeMs = tupleInfo.getTimestamp();
                    if (startTimeMs != 0) {
                        timeDelta = timeDeltaMs;
                    }
                }
                if (streamId.equals(Acker.ACKER_ACK_STREAM_ID)) {
                    ackSpoutMsg(this, idToTask.get(taskId - idToTaskBase), timeDelta, tupleInfo);
                } else if (streamId.equals(Acker.ACKER_FAIL_STREAM_ID)) {
                    failSpoutMsg(this, idToTask.get(taskId - idToTaskBase), timeDelta, tupleInfo, "FAIL-STREAM");
                }
            }
        }
    }

    public void ackSpoutMsg(SpoutExecutor executor, Task taskData, Long timeDelta, TupleInfo tupleInfo) {
        try {
            ISpout spout = (ISpout) taskData.getTaskObject();
            int taskId = taskData.getTaskId();
            if (executor.getIsDebug()) {
                LOG.info("SPOUT Acking message {} {}", tupleInfo.getId(), tupleInfo.getMessageId());
            }
            spout.ack(tupleInfo.getMessageId());
            if (!taskData.getUserContext().getHooks().isEmpty()) { // avoid allocating SpoutAckInfo obj if not necessary
                new SpoutAckInfo(tupleInfo.getMessageId(), taskId, timeDelta).applyOn(taskData.getUserContext());
            }
            if (hasAckers && timeDelta != null) {
                executor.getStats().spoutAckedTuple(tupleInfo.getStream(), timeDelta,
                                                    taskData.getTaskMetrics().getAcked(tupleInfo.getStream()));
            }
        } catch (Exception e) {
            throw Utils.wrapInRuntime(e);
        }
    }
 
 
     
  
  • SpoutExecutor在收到Acker.ACKER_ACK_STREAM_ID的时候，会调用ackSpoutMsg方法，该方法会回调原始spout的ack方法，即spout.ack(tupleInfo.getMessageId())
    •  
 
 
 
小结
 
 
     
  
  • MasterBatchCoordinator在第一次收到同一个msgId的ack时(第一次被调用)，status由开始的AttemptStatus.PROCESSING转变为AttemptStatus.PROCESSED，在之后的sync方法里头AttemptStatus.PROCESSED转变为AttemptStatus.COMMITTING，然后往MasterBatchCoordinator.COMMIT_STREAM_ID发射tuple
    •  
  
  • 当用户的spout是ICommitterTridentSpout时，TridentTopologyBuilder.buildTopology的时候，会配置allGrouping(masterCoordinator(batchGroup), MasterBatchCoordinator.COMMIT_STREAM_ID)；TridentSpoutExecutor会接收MasterBatchCoordinator.COMMIT_STREAM_ID的数据，然后调用((ICommitterTridentSpout.Emitter) _emitter).commit(attempt)方法；之后TridentBoltExecutor在TridentSpoutExecutor.execute执行完了之后会自动ack该tuple，然后调用MasterBatchCoordinator的ack方法(第二次被调用)，然后触发_collector.emit(SUCCESS_STREAM_ID, new Values(tx))
    •  
  
  • 当用户的spout不是ICommitterTridentSpout时，这个时候整个topology就没有component去接收MasterBatchCoordinator.COMMIT_STREAM_ID发射的tuple，即outgoingTasks为空，那么在SpoutOutputCollectorImpl在needAck的情况下，会给Acker.ACKER_INIT_STREAM_ID发射的tuple，其第二个值为Utils.bitXorVals(ackSeq)，ackSeq为空list(根据outgoingTasks来计算)，该值为0；那么在Acker接收到ACKER_INIT_STREAM_ID时，curr.updateAck(input.getLong(1))之后curr.val的值为0；这样Acker在execute的最后看到curr.val为0，又会给Acker.ACKER_ACK_STREAM_ID发射tuple，SpoutExecutor在收到Acker.ACKER_ACK_STREAM_ID的时候，会调用ackSpoutMsg方法，该方法会回调原始spout的ack方法，即spout.ack(tupleInfo.getMessageId())；即当一个streamId没有component消费的时候，会自动ack；这样对于spout不是ICommitterTridentSpout的情况，在往MasterBatchCoordinator.COMMIT_STREAM_ID发射tuple之后，会调用MasterBatchCoordinator的ack方法(第二次被调用)，然后触发_collector.emit(SUCCESS_STREAM_ID, new Values(tx))
    •  
 
 
 

   spout是否是ICommitterTridentSpout类型的区别在于不是ICommitterTridentSpout类型，它在往MasterBatchCoordinator.COMMIT_STREAM_ID发射tuple之后，Acker会自动ack，调用MasterBatchCoordinator的ack方法( 
  第二次被调用)；而ICommitterTridentSpout类型会先执行((ICommitterTridentSpout.Emitter) _emitter).commit(attempt)方法，然后由TridentBoltExecutor来ack，然后调用MasterBatchCoordinator的ack方法( 
  第二次被调用)；二者在成功的场景下最后都会往SUCCESS_STREAM_ID发送tuple 
 
 
 
doc
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(storm)

        

            

                
    
                    
  • html+css网页设计 旅游网站首页1个页面
                        html+css+js网页设计
htmlcss旅游
                        
    html+css网页设计旅游网站首页1个页面网页作品代码简单，可使用任意HTML辑软件（如：Dreamweaver、HBuilder、Vscode、Sublime、Webstorm、Text、Notepad++等任意html编辑软件进行运行及修改编辑等操作）。获取源码1，访问该网站https://download.csdn.net/download/qq_42431718/897527112，点击
    
                    
    • 
                    
  • webstorm报错TypeError: this.cliEngine is not a constructor
                        Blue_Color

                        
    点击Details在控制台会显示报错的位置TypeError:this.cliEngineisnotaconstructoratESLintPlugin.invokeESLint(/Applications/RubyMine.app/Contents/plugins/JavaScriptLanguage/languageService/eslint/bin/eslint-plugin.js:97:
    
                    
    • 
                    
  • [附源码]SSM计算机毕业设计游戏账号交易平台JAVA
                        计算机程序源码
java游戏mysql
                        
    项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
    
                    
    • 
                    
  • Java中的大数据处理框架对比分析
                        省赚客app开发者
java开发语言
                        
    Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
    
                    
    • 
                    
  • Python+Django毕业设计校园易购二手交易平台（程序+LW+部署）
                        Python、JAVA毕设程序源码
课程设计javamysql
                        
    项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
    
                    
    • 
                    
  • Hbase - kerberos认证异常
                        kikiki2

                        
    之前怎么认证都认证不上，问题找了好了，发现它的异常跟实际操作根本就对不上，死马当活马医，当时也是瞎改才好的，给大家伙记录记录。KrbException:ServernotfoundinKerberosdatabase(7)-LOOKING_UP_SERVER>>>KdcAccessibility:removestorm1.starsriver.cnatsun.security.krb5.KrbTg
    
                    
    • 
                    
  • WebStorm 配置 PlantUML
                        weijia_kmys
其他webstormideuml
                        
    1.安装PlantUML插件在WebStorm插件市场搜索PlantUMLIntegration并安装，重启WebStorm使插件生效。2.安装GraphvizPlantUML需要Graphviz来生成图形。使用Homebrew安装Graphviz：打开终端（Terminal）。确保你已经安装了Homebrew。如果没有，请先安装Homebrew，可以在Homebrew官网获取安装命令。在终端中输
    
                    
    • 
                    
  • ReactNative 常用开源组件
                        2401_84875852
程序员reactnative开源react.js
                        
    WebStormReactNative的代码模板插件,包括:1.组件名称2.Api名称3.所有StyleSheets属性4.组件属性https://github.com/virtoolswebplayer/ReactNative-LiveTemplateReact-native调用cordova插件https://github.com/axemclion/react-native-cordova-
    
                    
    • 
                    
  • phpstorm 2018激活教程，phpstorm破解版下载
                        八重樱勿忘

                        
    前言：本次phpstorm2018激活教程非常详细，所有细节指导软件是phpstorm10.0是因新版本破解还不稳定，大家放心这个版本不影响开发和使用。文件以及教程都打包在群文件里了。第一步：解压并打开文件，运行“PhpStorm-10.0.3.exe”点击Next进入下一步第二步：选择软件安装目录自定义选择安装根目录-->点击Next进入下一步注意！后面还需要找安装目录里的文件，所以记住安装到一
    
                    
    • 
                    
  • Java Kafka生产者实现
                        stormsha
Javawebjavakafkalinq
                        
    欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐：「stormsha的主页」，「stormsha的知识库」持续学习，不断总结，共同进步，为了踏实，做好当下事儿~专栏导航Python系列:Python面试题合集，剑指大厂Git系列:Git操作技巧GO系列:记录博主学习GO语言的笔记，该笔记专栏
    
                    
    • 
                    
  • Python 开心消消乐
                        stormsha
Python基础python开发语言游戏
                        
    文章目录效果图项目结构程序代码完整代码：https://gitcode.com/stormsha1/games/overview效果图项目结构程序代码run.pyimportsysimportpygamefrompygame.localsimportKEYDOWN,QUIT,K_q,K_ESCAPE,MOUSEBUTTONDOWNfromdissipate.levelimportManagerfr
    
                    
    • 
                    
  • 玩手机的弹指之间，记忆受到了损坏，这是如何发生的？
                        跨鹿

                        
    一：从拍照损伤效应说起为了验证拍照损伤效应（photo-taking-impairmenteffect）——即拍照不利于记忆形成，加州大学圣克鲁斯分校的学者JuliaS.Soares和BenjaminC.Storm进行了两组实验（篇幅有限，不详细介绍该实验）：实验一：42名被试与三个独立变量：观察，相机（手机相机）和Snapchat（色拉布，美国的一款“阅后即焚”照片分享应用）——在观察条件下，参
    
                    
    • 
                    
  • 【附源码】计算机毕业设计java智慧后勤系统设计与实现
                        计算机毕设程序设计
javamybatismysql
                        
    项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
    
                    
    • 
                    
  • Apache Storm：入门了解
                        布说在见
apachestorm大数据
                        
    前言Storm是一个开源的分布式实时计算系统，它能够处理无边界的数据流，类似于Hadoop对于批量数据处理的作用，但是Storm更侧重于实时数据流的处理。以下是关于Storm的一些关键特性及其应用场景的详细介绍：特性实时处理：Storm能够实时处理数据流，而不是像Hadoop那样需要先收集一批数据再进行处理。它可以持续不断地处理数据，这意味着一旦数据到达，就会立即被处理。简单易用：开发者可以用多种
    
                    
    • 
                    
  • 大数据秋招面经之spark系列
                        wq17629260466
大数据spark
                        
    文章目录前言spark高频面试题汇总1.spark介绍2.spark分组取TopN方案总结：方案2是最佳方案。3.repartition与coalesce4.spark的oom问题怎么产生的以及解决方案5.storm与flink,sparkstreaming之间的区别6.spark的几种部署方式：7.复习spark的yarn-cluster模式执行流程：8.spark的job提交流程：9.spar
    
                    
    • 
                    
  • PhpStorm中配置调试功能
                        hong161688
phpstormandroidide
                        
    在PhpStorm中配置调试功能是一个相对直接且强大的过程，它允许开发者在开发过程中高效地定位和解决代码问题。以下是一个详细的步骤指南，涵盖了从安装PhpStorm到配置调试环境的整个过程，以及如何在PhpStorm中使用调试功能。一、安装PhpStorm首先，确保你已经从JetBrains的官方网站下载了最新版本的PhpStorm。安装过程相对简单，只需按照安装向导的指示逐步进行即可。在安装过程
    
                    
    • 
                    
  • 新闻编辑室第1季第4集台词
                        kuailexuewaiyu

                        
    英文中文♪TrytokeepmyheadaboveitthebestIcan♪♪我要努力挺过这一关♪♪That'swhyhereIam♪♪所以我才在这里♪♪Justwaitingforthisstormtopassmeby♪♪等着暴风雨经过♪♪Andthat'sthesoundofsunshine♪♪聆听阳光的声音♪♪Comingdown♪♪从空中洒下♪♪Andthat'sthesoundofsu
    
                    
    • 
                    
  • web期末作业网页设计——我的家乡黑龙江（网页源码）
                        软件技术NINI
html+css+js旅游旅游htmlcss
                        
    一、‍网站题目旅游，当地特色，历史文化，特色小吃等网站的设计与制作。二、✍️网站描述‍静态网站的编写主要是用HTMLDIV+CSS等来完成页面的排版设计‍,常用的网页设计软件有Dreamweaver、EditPlus、HBuilderX、VScode、Webstorm、Animate等等，用的最多的还是DW，当然不同软件写出的前端Html5代码都是一致的，本网页适合修改成为各种类型的产品展示网页，
    
                    
    • 
                    
  • 使用命令行创建任意大小文件的方法
                        拽拽夏天~
测试技巧linux功能测试
                        
    使用命令行创建任意大小文件的方法作为一个测试工程师，在工作中可能需要创建任意大小的文件。下面介绍下如何使用命令行创建任意大小的文件：1、Linux-dd命令：Linux下的dd命令很是强大，可以这样使用dd命令来创建指定大小的文件：生成固定大小文件ddif=/dev/zeroof=/home/bluestorm/100M.imgbs=1Mcount=1024(生成一个100M的文件，文件名为100
    
                    
    • 
                    
  • phpstorm 插件等功能
                        胡萝卜的兔
laravelphpstormphpphpstormide
                        
    插件MaterialThemeUIUI主题插件ChinesePHPDocumentphp基本函数的中文文档PHPcomposer.jsonsupport在做php组件开发时，编辑composer.json文件时有对应的属性和值的自动完成功能BackgroundImagePlus背景图设置，安装之后，在打开View选项，就可以看到SetBackgroundImage选项了。.envfilessupp
    
                    
    • 
                    
  • phpstrom连接远程服务器
                        努力学习的笨小孩

                        
    PHP开发工具phpstorm通过sftp和FTP远程连接服务器创建编辑远程项目PhpStorm是一个编辑PHP代码的PHP开发工具神器，应该说是目前世界上编辑PHP代码的最好用的PHP开发工具IDE了吧，本地项目的创建相信一般人都会，不过有时候我们可能项目运行在远程服务器上，比如有一种情况：在windows下使用PhpStorm编码，代码放在linux服务器上运行。还有一种情况,代码使用版本控制
    
                    
    • 
                    
  • JAVA计算机毕业设计校园二手书交易系统（附源码、数据库）
                        卓杰计算机设计
java数据库开发语言
                        
    JAVA计算机毕业设计校园二手书交易系统（附源码、数据库）目运行环境项配置：Jdk1.8+Tomcat8.5+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：JAVA+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1
    
                    
    • 
                    
  • JAVA毕设项目校园二手商品交易系统（java+VUE+Mybatis+Maven+Mysql）
                        贤杰程序源码
mybatisjavavue.js
                        
    JAVA毕设项目校园二手商品交易系统（java+VUE+Mybatis+Maven+Mysql）项目运行环境配置：Jdk1.8+Tomcat8.5+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：JAVA+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需
    
                    
    • 
                    
  • html5 css3 JavaScript响应式中文静态网页模板js源代码
                        Yucool01
html5javascriptcss3
                        
    该批次模板具备如下功能：首页，二级页面，三级页面登录页面均有，页面齐全，功能齐全，js+css+html,前端HTML纯静态页面，无后台，可用dreamweaver,sublime,webstorm等工具修改；部分网页模板效果图：有需要的同学可以下载学习一下：https://download.csdn.net/download/Yucool01/22408278https://download.c
    
                    
    • 
                    
  • 【python】python指南（十四）：**操作符解包字典传参
                        LDG_AGI
Pythonpython开发语言人工智能机器学习图像处理深度学习计算机视觉
                        
    目录一、引言二、**操作符应用2.1**操作符介绍2.2**操作符案例三、总结一、引言对于算法工程师来说，语言从来都不是关键，关键是快速学习以及解决问题的能力。大学的时候参加ACM/ICPC一直使用的是C语言，实习的时候做一个算法策略后台用的是php，毕业后做策略算法开发，因为要用spark，所以写了scala，后来用基于storm开发实时策略，用的java。至于python，从日常用hive做数
    
                    
    • 
                    
  • 2018-10-31
                        马修斯

                        
    WebStormmac下如何安装WebStorm+破解1、下载软件最好的地址就是官网了下载地址选择好系统版本以后点击DOWNLOAD下载Webstorm2、安装双击下载好的安装包、将WebStromt拖入application文件夹，然后在Launchpad中找到并打开安装.png3、等待一段时间后，WebStorm将进行第一次运行，当出现如下页面的时候第一行选择Activate,第二行选择Act
    
                    
    • 
                    
  • [附源码]JAVA毕业设计基于web旅游网站的设计与实现（系统+LW）
                        晶涛计算机毕设
java前端旅游
                        
    [附源码]JAVA毕业设计基于web旅游网站的设计与实现（系统+LW）目运行环境项配置：Jdk1.8+Tomcat8.5+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：JAVA+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是ja
    
                    
    • 
                    
  • [附源码]java毕业设计基于web旅游网站的设计与实现
                        李会计算机程序设计
java前端旅游
                        
    项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
    
                    
    • 
                    
  • Module not found: Error: Can‘t resolve ‘sass-loader‘ in...
                        Coisini_甜柚か
web前端sassvue.jscss
                        
    "sass-loader"报错！！！Failedtocompile../src/main.jsModulenotfound:Error:Can'tresolve'sass-loader'in'E:\study_software\JetBrains\WebStorm2021\WebstormProjects\vue-element-admin-master'npminstallsass-loader
    
                    
    • 
                    
  • pycharm 打开大文件代码洞察功能不可用的解决方法
                        weixin_44482092
intellij-ideajavaintellijidea
                        
    2019-11-13阅读1.3K0今天在使用WebStorm打开一个6.58MB的文件时，编辑器提示文件超过最大限制，代码洞察功能不可用。编辑器很多功能不可用，包括标签折叠、自动补齐、标签自动匹配等。Thefilesize(6.58MB)exceedsconfiquredlimit(2.56MB).Codeinsightfeaturesarenotavailable.其实JetBrains软件有一
    
                    
    • 
                                
  • java的(PO,VO,TO,BO,DAO,POJO)
                                    Cb123456
VOTOBOPOJODAO
                                    
    转: 
http://www.cnblogs.com/yxnchinahlj/archive/2012/02/24/2366110.html 
  
------------------------------------------------------------------- 
 O/R Mapping 是 Object Relational Mapping（对象关系映
    
                                
    • 
                                
  • spring ioc原理（看完后大家可以自己写一个spring）
                                    aijuans
spring
                                    
             最近，买了本Spring入门书：spring In Action 。大致浏览了下感觉还不错。就是入门了点。Manning的书还是不错的，我虽然不像哪些只看Manning书的人那样专注于Manning,但怀着崇敬 的心情和激情通览了一遍。又一次接受了IOC 、DI、AOP等Spring核心概念。 先就IOC和DI谈一点我的看法。IO
    
                                
    • 
                                
  • MyEclipse 2014中Customize Persperctive设置无效的解决方法
                                    Kai_Ge
MyEclipse2014
                                    
    高高兴兴下载个MyEclipse2014，发现工具条上多了个手机开发的按钮，心生不爽就想弄掉他！
结果发现Customize Persperctive失效！！
有说更新下就好了，可是国内Myeclipse访问不了，何谈更新...
so~这里提供了更新后的一下jar包，给大家使用！ 
1、将9个jar复制到myeclipse安装目录\plugins中
2、删除和这9个jar同包名但是版本号较
    
                                
    • 
                                
  • SpringMvc上传
                                    120153216
springMVC
                                    
      
@RequestMapping(value = WebUrlConstant.UPLOADFILE)
	@ResponseBody
	public Map<String, Object> uploadFile(HttpServletRequest request,HttpServletResponse httpresponse) {
		try {
			// 
    
                                
    • 
                                
  • Javascript----HTML DOM 事件
                                    何必如此
JavaScripthtmlWeb
                                    
    HTML DOM 事件允许Javascript在HTML文档元素中注册不同事件处理程序。 
 
事件通常与函数结合使用，函数不会在事件发生前被执行！ 
 
 
注：DOM： 指明使用的 DOM 属性级别。 
 
1.鼠标事件 
属性               
    
                                
    • 
                                
  • 动态绑定和删除onclick事件
                                    357029540
JavaScriptjquery
                                    
    因为对JQUERY和JS的动态绑定事件的不熟悉，今天花了好久的时间才把动态绑定和删除onclick事件搞定!现在分享下我的过程。 
 
     在我的查询页面，我将我的onclick事件绑定到了tr标签上同时传入当前行(this值)参数，这样可以在点击行上的任意地方时可以选中checkbox，但是在我的某一列上也有一个onclick事件是用于下载附件的，当
    
                                
    • 
                                
  • HttpClient|HttpClient请求详解
                                    7454103
apache应用服务器网络协议网络应用Security
                                    
    HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。本文首先介绍 HTTPClient，然后根据作者实际工作经验给出了一些常见问题的解决方法。HTTP 协议可能是现在 Internet 上使用得最多、最重要的协议了，越来越多的 Java 应用程序需
    
                                
    • 
                                
  • 递归 逐层统计树形结构数据
                                    darkranger
数据结构
                                    
    将集合递归获取树形结构: 
 
 
/** 
 * 
 * 递归获取数据 
 * @param alist:所有分类 
 * @param subjname:对应统计的项目名称 
 * @param pk:对应项目主键 
 * @param reportList: 最后统计的结果集 
 * @param count:项目级别 
 */ 
 
 public void getReportVO(Arr
    
                                
    • 
                                
  • 访问WEB-INF下使用frameset标签页面出错的原因
                                    aijuans
struts2
                                    
    <frameset rows="61,*,24" cols="*" framespacing="0" frameborder="no" border="0">          
    
                                
    • 
                                
  • MAVEN常用命令
                                    avords

                                    
    Maven库： 
http://repo2.maven.org/maven2/ 
Maven依赖查询： 
http://mvnrepository.com/ 
Maven常用命令： 1. 创建Maven的普通java项目：    mvn archetype:create    -DgroupId=packageName 
    
                                
    • 
                                
  • PHP如果自带一个小型的web服务器就好了
                                    houxinyou
apache应用服务器WebPHP脚本
                                    
    最近单位用PHP做网站，感觉PHP挺好的，不过有一些地方不太习惯，比如，环境搭建。PHP本身就是一个网站后台脚本，但用PHP做程序时还要下载apache，配置起来也不太很方便，虽然有好多配置好的apache+php+mysq的环境，但用起来总是心里不太舒服，因为我要的只是一个开发环境，如果是真实的运行环境，下个apahe也无所谓，但只是一个开发环境，总有一种杀鸡用牛刀的感觉。如果php自己的程序中
    
                                
    • 
                                
  • NoSQL数据库之Redis数据库管理(list类型)
                                    bijian1013
redis数据库NoSQL
                                    
    3.list类型及操作 
        List是一个链表结构，主要功能是push、pop、获取一个范围的所有值等等，操作key理解为链表的名字。Redis的list类型其实就是一个每个子元素都是string类型的双向链表。我们可以通过push、pop操作从链表的头部或者尾部添加删除元素，这样list既可以作为栈，又可以作为队列。 
  &nbs
    
                                
    • 
                                
  • 谁在用Hadoop？
                                    bingyingao
hadoop数据挖掘公司应用场景
                                    
    Hadoop技术的应用已经十分广泛了，而我是最近才开始对它有所了解，它在大数据领域的出色表现也让我产生了兴趣。浏览了他的官网，其中有一个页面专门介绍目前世界上有哪些公司在用Hadoop，这些公司涵盖各行各业，不乏一些大公司如alibaba,ebay,amazon,google,facebook,adobe等，主要用于日志分析、数据挖掘、机器学习、构建索引、业务报表等场景,这更加激发了学习它的热情。
    
                                
    • 
                                
  • 【Spark七十六】Spark计算结果存到MySQL
                                    bit1129
mysql
                                    
    package spark.examples.db

import java.sql.{PreparedStatement, Connection, DriverManager}

import com.mysql.jdbc.Driver
import org.apache.spark.{SparkContext, SparkConf}

object SparkMySQLInteg
    
                                
    • 
                                
  • Scala: JVM上的函数编程
                                    bookjovi
scalaerlanghaskell
                                    
        说Scala是JVM上的函数编程一点也不为过，Scala把面向对象和函数型编程这两种主流编程范式结合了起来，对于熟悉各种编程范式的人而言Scala并没有带来太多革新的编程思想，scala主要的有点在于Java庞大的package优势，这样也就弥补了JVM平台上函数型编程的缺失，MS家.net上已经有了F#，JVM怎么能不跟上呢？ 
    对本人而言
    
                                
    • 
                                
  • jar打成exe
                                    bro_feng
java jar exe
                                    
    今天要把jar包打成exe，jsmooth和exe4j都用了。 
遇见几个问题。记录一下。 
两个软件都很好使，网上都有图片教程，都挺不错。 
 
首先肯定是要用自己的jre的，不然不能通用，其次别忘了把需要的lib放到classPath中。 
困扰我很久的一个问题是，我自己打包成功后，在一个同事的没有装jdk的电脑上运行，就是不行，报错jvm.dll为无效的windows映像，如截图 
最后发现
    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-策略模式-Strategy
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 




/*
策略模式定义了一系列的算法，并将每一个算法封装起来，而且使它们还可以相互替换。策略模式让算法独立于使用它的客户而独立变化

简单理解：
1、将不同的策略提炼出一个共同接口。这是容易的，因为不同的策略，只是算法不同，需要传递的参数
    
                                
    • 
                                
  • cmd命令值cvfM命令
                                    chenyu19891124
cmd
                                    
         cmd命令还真是强大啊。今天发现jar -cvfM aa.rar @aaalist 就这行命令可以根据aaalist取出相应的文件 
  例如： 
     在d：\workspace\prpall\test.java 有这样一个文件，现在想要将这个文件打成一个包。运行如下命令即可比如在d：\wor
    
                                
    • 
                                
  • OpenJWeb(1.8) Java Web应用快速开发平台
                                    comsci
java框架Web项目管理企业应用
                                    
      
  OpenJWeb(1.8) Java Web应用快速开发平台的作者是我们技术联盟的成员，他最近推出了新版本的快速应用开发平台  OpenJWeb(1.8)，我帮他做做宣传 
 
  OpenJWeb快速开发平台以快速开发为核心，整合先进的java 开源框架，本着自主开发+应用集成相结合的原则，旨在为政府、企事业单位、软件公司等平台用户提供一个架构透
    
                                
    • 
                                
  • Python 报错：IndentationError: unexpected indent
                                    daizj
pythontab空格缩进
                                    
        IndentationError: unexpected indent 是缩进的问题，也有可能是tab和空格混用啦 
 
    Python开发者有意让违反了缩进规则的程序不能通过编译，以此来强制程序员养成良好的编程习惯。并且在Python语言里，缩进而非花括号或者某种关键字，被用于表示语句块的开始和退出。增加缩进表示语句块的开
    
                                
    • 
                                
  • HttpClient 超时设置
                                    dongwei_6688
httpclient
                                    
    HttpClient中的超时设置包含两个部分： 
1. 建立连接超时，是指在httpclient客户端和服务器端建立连接过程中允许的最大等待时间 
2. 读取数据超时，是指在建立连接后，等待读取服务器端的响应数据时允许的最大等待时间 
  
在HttpClient 4.x中如下设置： 
  
  
HttpClient httpclient = new DefaultHttpC
    
                                
    • 
                                
  • 小鱼与波浪
                                    dcj3sjt126com

                                    
    一条小鱼游出水面看蓝天，偶然间遇到了波浪。　　小鱼便与波浪在海面上游戏，随着波浪上下起伏、汹涌前进。　　小鱼在波浪里兴奋得大叫：“你每天都过着这么刺激的生活吗？简直太棒了。”　　波浪说：“岂只每天过这样的生活，几乎每一刻都这么刺激！还有更刺激的，要有潮汐变化，或者狂风暴雨，那才是兴奋得心脏都会跳出来。”　　小鱼说：“真希望我也能变成一个波浪，每天随着风雨、潮汐流动，不知道有多么好！”　　很快，小鱼
    
                                
    • 
                                
  • Error Code: 1175 You are using safe update mode and you tried to update a table
                                    dcj3sjt126com
mysql
                                    
     
 快速高效用：SET SQL_SAFE_UPDATES = 0；下面的就不要看了！ 
 今日用MySQL Workbench进行数据库的管理更新时，执行一个更新的语句碰到以下错误提示： 
 Error Code: 1175 
 You are using safe update mode and you tried to update a table without a WHERE that 
    
                                
    • 
                                
  • 枚举类型详细介绍及方法定义
                                    gaomysion
enumjavaee
                                    
    转发 
http://developer.51cto.com/art/201107/275031.htm 
 
枚举其实就是一种类型，跟int, char 这种差不多，就是定义变量时限制输入的，你只能够赋enum里面规定的值。建议大家可以看看，这两篇文章，《java枚举类型入门》和《C++的中的结构体和枚举》，供大家参考。 
 
枚举类型是JDK5.0的新特征。Sun引进了一个全新的关键字enum
    
                                
    • 
                                
  • Merge Sorted Array
                                    hcx2013
array
                                    
    Given two sorted integer arrays nums1 and nums2, merge nums2 into nums1 as one sorted array. 
Note:You may assume that nums1 has enough space (size that is
    
                                
    • 
                                
  • Expression Language 3.0新特性
                                    jinnianshilongnian
el 3.0
                                    
    Expression Language 3.0表达式语言规范最终版从2013-4-29发布到现在已经非常久的时间了；目前如Tomcat 8、Jetty 9、GlasshFish 4已经支持EL 3.0。新特性包括：如字符串拼接操作符、赋值、分号操作符、对象方法调用、Lambda表达式、静态字段/方法调用、构造器调用、Java8集合操作。目前Glassfish 4/Jetty实现最好，对大多数新特性
    
                                
    • 
                                
  • 超越算法来看待个性化推荐
                                    liyonghui160com
超越算法来看待个性化推荐
                                    
      
       一提到个性化推荐，大家一般会想到协同过滤、文本相似等推荐算法，或是更高阶的模型推荐算法，百度的张栋说过，推荐40%取决于UI、30%取决于数据、20%取决于背景知识，虽然本人不是很认同这种比例，但推荐系统中，推荐算法起的作用起的作用是非常有限的。 
      就像任何
    
                                
    • 
                                
  • 写给Javascript初学者的小小建议
                                    pda158
JavaScript
                                    
    　　一般初学JavaScript的时候最头痛的就是浏览器兼容问题。在Firefox下面好好的代码放到IE就不能显示了，又或者是在IE能正常显示的代码在firefox又报错了。   　　如果你正初学JavaScript并有着一样的处境的话建议你：初学JavaScript的时候无视DOM和BOM的兼容性，将更多的时间花在 了解语言本身（ECMAScript）。只在特定浏览器编写代码（Chrome/Fi
    
                                
    • 
                                
  • Java 枚举
                                    ShihLei
javaenum枚举
                                    
    注：文章内容大量借鉴使用网上的资料，可惜没有记录参考地址，只能再传对作者说声抱歉并表示感谢！ 
  
一 基础  1）语法 
  
 
      枚举类型只能有私有构造器（这样做可以保证客户代码没有办法新建一个enum的实例） 
      枚举实例必须最先定义 
   2）特性   
 
     &nb
    
                                
    • 
                                
  • Java SE 6 HotSpot虚拟机的垃圾回收机制
                                    uuhorse
javaHotSpotGC垃圾回收VM
                                    
    官方资料，关于Java SE 6 HotSpot虚拟机的garbage Collection，非常全，英文。 
http://www.oracle.com/technetwork/java/javase/gc-tuning-6-140523.html 
  Java SE 6 HotSpot[tm] Virtual Machine Garbage Collection Tuning 
&
    
                                
    •