codecraft
codecraft

聊聊storm的ICommitterTridentSpout

序

本文主要研究一下storm的ICommitterTridentSpout

ICommitterTridentSpout

storm-core-1.2.2-sources.jar!/org/apache/storm/trident/spout/ICommitterTridentSpout.java

public interface ICommitterTridentSpout extends ITridentSpout {
    public interface Emitter extends ITridentSpout.Emitter {
        void commit(TransactionAttempt attempt);
    } 
    
    @Override
    public Emitter getEmitter(String txStateId, Map conf, TopologyContext context);    
}
  • ICommitterTridentSpout继承了ITridentSpout，主要是对getEmitter方法进行覆盖，返回扩展的Emitter，它继承ITridentSpout.Emitter ，多定义了一个commit接口

TridentTopologyBuilder.buildTopology

storm-core-1.2.2-sources.jar!/org/apache/storm/trident/topology/TridentTopologyBuilder.java

   public StormTopology buildTopology(Map masterCoordResources) {
        TopologyBuilder builder = new TopologyBuilder();
        Map batchIdsForSpouts = fleshOutStreamBatchIds(false);
        Map batchIdsForBolts = fleshOutStreamBatchIds(true);

        Map> batchesToCommitIds = new HashMap<>();
        Map> batchesToSpouts = new HashMap<>();
        
        for(String id: _spouts.keySet()) {
            TransactionalSpoutComponent c = _spouts.get(id);
            if(c.spout instanceof IRichSpout) {
                
                //TODO: wrap this to set the stream name
                builder.setSpout(id, (IRichSpout) c.spout, c.parallelism);
            } else {
                String batchGroup = c.batchGroupId;
                if(!batchesToCommitIds.containsKey(batchGroup)) {
                    batchesToCommitIds.put(batchGroup, new ArrayList());
                }
                batchesToCommitIds.get(batchGroup).add(c.commitStateId);

                if(!batchesToSpouts.containsKey(batchGroup)) {
                    batchesToSpouts.put(batchGroup, new ArrayList());
                }
                batchesToSpouts.get(batchGroup).add((ITridentSpout) c.spout);
                
                
                BoltDeclarer scd =
                      builder.setBolt(spoutCoordinator(id), new TridentSpoutCoordinator(c.commitStateId, (ITridentSpout) c.spout))
                        .globalGrouping(masterCoordinator(c.batchGroupId), MasterBatchCoordinator.BATCH_STREAM_ID)
                        .globalGrouping(masterCoordinator(c.batchGroupId), MasterBatchCoordinator.SUCCESS_STREAM_ID);
                
                for(Map m: c.componentConfs) {
                    scd.addConfigurations(m);
                }
                
                Map specs = new HashMap();
                specs.put(c.batchGroupId, new CoordSpec());
                BoltDeclarer bd = builder.setBolt(id,
                        new TridentBoltExecutor(
                          new TridentSpoutExecutor(
                            c.commitStateId,
                            c.streamName,
                            ((ITridentSpout) c.spout)),
                            batchIdsForSpouts,
                            specs),
                        c.parallelism);
                bd.allGrouping(spoutCoordinator(id), MasterBatchCoordinator.BATCH_STREAM_ID);
                bd.allGrouping(masterCoordinator(batchGroup), MasterBatchCoordinator.SUCCESS_STREAM_ID);
                if(c.spout instanceof ICommitterTridentSpout) {
                    bd.allGrouping(masterCoordinator(batchGroup), MasterBatchCoordinator.COMMIT_STREAM_ID);
                }
                for(Map m: c.componentConfs) {
                    bd.addConfigurations(m);
                }
            }
        }
        
        //......

        return builder.createTopology();
    }
  • TridentTopologyBuilder.buildTopology的时候，对用户的spout判断，如果是ICommitterTridentSpout类型的，则会配置allGrouping(masterCoordinator(batchGroup), MasterBatchCoordinator.COMMIT_STREAM_ID)

MasterBatchCoordinator

storm-core-1.2.2-sources.jar!/org/apache/storm/trident/topology/MasterBatchCoordinator.java

    @Override
    public void nextTuple() {
        sync();
    }

    private void sync() {
        // note that sometimes the tuples active may be less than max_spout_pending, e.g.
        // max_spout_pending = 3
        // tx 1, 2, 3 active, tx 2 is acked. there won't be a commit for tx 2 (because tx 1 isn't committed yet),
        // and there won't be a batch for tx 4 because there's max_spout_pending tx active
        TransactionStatus maybeCommit = _activeTx.get(_currTransaction);
        if(maybeCommit!=null && maybeCommit.status == AttemptStatus.PROCESSED) {
            maybeCommit.status = AttemptStatus.COMMITTING;
            _collector.emit(COMMIT_STREAM_ID, new Values(maybeCommit.attempt), maybeCommit.attempt);
            LOG.debug("Emitted on [stream = {}], [tx_status = {}], [{}]", COMMIT_STREAM_ID, maybeCommit, this);
        }
        
        if(_active) {
            if(_activeTx.size() < _maxTransactionActive) {
                Long curr = _currTransaction;
                for(int i=0; i<_maxTransactionActive; i++) {
                    if(!_activeTx.containsKey(curr) && isReady(curr)) {
                        // by using a monotonically increasing attempt id, downstream tasks
                        // can be memory efficient by clearing out state for old attempts
                        // as soon as they see a higher attempt id for a transaction
                        Integer attemptId = _attemptIds.get(curr);
                        if(attemptId==null) {
                            attemptId = 0;
                        } else {
                            attemptId++;
                        }
                        _attemptIds.put(curr, attemptId);
                        for(TransactionalState state: _states) {
                            state.setData(CURRENT_ATTEMPTS, _attemptIds);
                        }
                        
                        TransactionAttempt attempt = new TransactionAttempt(curr, attemptId);
                        final TransactionStatus newTransactionStatus = new TransactionStatus(attempt);
                        _activeTx.put(curr, newTransactionStatus);
                        _collector.emit(BATCH_STREAM_ID, new Values(attempt), attempt);
                        LOG.debug("Emitted on [stream = {}], [tx_attempt = {}], [tx_status = {}], [{}]", BATCH_STREAM_ID, attempt, newTransactionStatus, this);
                        _throttler.markEvent();
                    }
                    curr = nextTransactionId(curr);
                }
            }
        }
    }

    @Override
    public void ack(Object msgId) {
        TransactionAttempt tx = (TransactionAttempt) msgId;
        TransactionStatus status = _activeTx.get(tx.getTransactionId());
        LOG.debug("Ack. [tx_attempt = {}], [tx_status = {}], [{}]", tx, status, this);
        if(status!=null && tx.equals(status.attempt)) {
            if(status.status==AttemptStatus.PROCESSING) {
                status.status = AttemptStatus.PROCESSED;
                LOG.debug("Changed status. [tx_attempt = {}] [tx_status = {}]", tx, status);
            } else if(status.status==AttemptStatus.COMMITTING) {
                _activeTx.remove(tx.getTransactionId());
                _attemptIds.remove(tx.getTransactionId());
                _collector.emit(SUCCESS_STREAM_ID, new Values(tx));
                _currTransaction = nextTransactionId(tx.getTransactionId());
                for(TransactionalState state: _states) {
                    state.setData(CURRENT_TX, _currTransaction);                    
                }
                LOG.debug("Emitted on [stream = {}], [tx_attempt = {}], [tx_status = {}], [{}]", SUCCESS_STREAM_ID, tx, status, this);
            }
            sync();
        }
    }
  • MasterBatchCoordinator在收到ack的时候，如果status是AttemptStatus.PROCESSING状态，则更改status为AttemptStatus.PROCESSED；如果status是AttemptStatus.COMMITTING，则往SUCCESS_STREAM_ID发射tuple；之后调用sync方法
  • nextTuple方法也是调用sync方法，判断如果是AttemptStatus.PROCESSED状态，则更改status为AttemptStatus.COMMITTING，同时往COMMIT_STREAM_ID发射tuple
  • 可以看到这里状态由AttemptStatus.PROCESSING变为AttemptStatus.PROCESSED(nextTuple方法将AttemptStatus.PROCESSED变为AttemptStatus.COMMITTING，然后往COMMIT_STREAM_ID发射tuple)，再变为AttemptStatus.COMMITTING(ack的时候，如果是AttemptStatus.COMMITTING状态，则往SUCCESS_STREAM_ID发射tuple)

TridentSpoutExecutor

storm-core-1.2.2-sources.jar!/org/apache/storm/trident/spout/TridentSpoutExecutor.java

    public void execute(BatchInfo info, Tuple input) {
        // there won't be a BatchInfo for the success stream
        TransactionAttempt attempt = (TransactionAttempt) input.getValue(0);
        if(input.getSourceStreamId().equals(MasterBatchCoordinator.COMMIT_STREAM_ID)) {
            if(attempt.equals(_activeBatches.get(attempt.getTransactionId()))) {
                ((ICommitterTridentSpout.Emitter) _emitter).commit(attempt);
                _activeBatches.remove(attempt.getTransactionId());
            } else {
                 throw new FailedException("Received commit for different transaction attempt");
            }
        } else if(input.getSourceStreamId().equals(MasterBatchCoordinator.SUCCESS_STREAM_ID)) {
            // valid to delete before what's been committed since 
            // those batches will never be accessed again
            _activeBatches.headMap(attempt.getTransactionId()).clear();
            _emitter.success(attempt);
        } else {            
            _collector.setBatch(info.batchId);
            _emitter.emitBatch(attempt, input.getValue(1), _collector);
            _activeBatches.put(attempt.getTransactionId(), attempt);
        }
    }
  • TridentSpoutExecutor在execute的时候，判断如果是MasterBatchCoordinator.COMMIT_STREAM_ID的数据，而且TransactionAttempt的txid相等，则调用((ICommitterTridentSpout.Emitter) _emitter).commit(attempt)

TridentBoltExecutor

storm-2.0.0/storm-client/src/jvm/org/apache/storm/trident/topology/TridentBoltExecutor.java

    public void execute(Tuple tuple) {
        if (TupleUtils.isTick(tuple)) {
            long now = System.currentTimeMillis();
            if (now - _lastRotate > _messageTimeoutMs) {
                _batches.rotate();
                _lastRotate = now;
            }
            return;
        }
        String batchGroup = _batchGroupIds.get(tuple.getSourceGlobalStreamId());
        if (batchGroup == null) {
            // this is so we can do things like have simple DRPC that doesn't need to use batch processing
            _coordCollector.setCurrBatch(null);
            _bolt.execute(null, tuple);
            _collector.ack(tuple);
            return;
        }
        IBatchID id = (IBatchID) tuple.getValue(0);
        //get transaction id
        //if it already exists and attempt id is greater than the attempt there


        TrackedBatch tracked = (TrackedBatch) _batches.get(id.getId());
        //        if(_batches.size() > 10 && _context.getThisTaskIndex() == 0) {
        //            System.out.println("Received in " + _context.getThisComponentId() + " " + _context.getThisTaskIndex()
        //                    + " (" + _batches.size() + ")" +
        //                    "\ntuple: " + tuple +
        //                    "\nwith tracked " + tracked +
        //                    "\nwith id " + id +
        //                    "\nwith group " + batchGroup
        //                    + "\n");
        //
        //        }
        //System.out.println("Num tracked: " + _batches.size() + " " + _context.getThisComponentId() + " " + _context.getThisTaskIndex());

        // this code here ensures that only one attempt is ever tracked for a batch, so when
        // failures happen you don't get an explosion in memory usage in the tasks
        if (tracked != null) {
            if (id.getAttemptId() > tracked.attemptId) {
                _batches.remove(id.getId());
                tracked = null;
            } else if (id.getAttemptId() < tracked.attemptId) {
                // no reason to try to execute a previous attempt than we've already seen
                return;
            }
        }

        if (tracked == null) {
            tracked =
                new TrackedBatch(new BatchInfo(batchGroup, id, _bolt.initBatchState(batchGroup, id)), _coordConditions.get(batchGroup),
                                 id.getAttemptId());
            _batches.put(id.getId(), tracked);
        }
        _coordCollector.setCurrBatch(tracked);

        //System.out.println("TRACKED: " + tracked + " " + tuple);

        TupleType t = getTupleType(tuple, tracked);
        if (t == TupleType.COMMIT) {
            tracked.receivedCommit = true;
            checkFinish(tracked, tuple, t);
        } else if (t == TupleType.COORD) {
            int count = tuple.getInteger(1);
            tracked.reportedTasks++;
            tracked.expectedTupleCount += count;
            checkFinish(tracked, tuple, t);
        } else {
            tracked.receivedTuples++;
            boolean success = true;
            try {
                _bolt.execute(tracked.info, tuple);
                if (tracked.condition.expectedTaskReports == 0) {
                    success = finishBatch(tracked, tuple);
                }
            } catch (FailedException e) {
                failBatch(tracked, e);
            }
            if (success) {
                _collector.ack(tuple);
            } else {
                _collector.fail(tuple);
            }
        }
        _coordCollector.setCurrBatch(null);
    }
  • 这里再调用_bolt.execute(tracked.info, tuple)之后，会调用_collector.ack(tuple)完成ack

SpoutOutputCollector

storm-core-1.2.2-sources.jar!/org/apache/storm/spout/SpoutOutputCollector.java

    /**
     * Emits a new tuple to the specified output stream with the given message ID.
     * When Storm detects that this tuple has been fully processed, or has failed
     * to be fully processed, the spout will receive an ack or fail callback respectively
     * with the messageId as long as the messageId was not null. If the messageId was null,
     * Storm will not track the tuple and no callback will be received. 
     * Note that Storm's event logging functionality will only work if the messageId
     * is serializable via Kryo or the Serializable interface. The emitted values must be immutable.
     *
     * @return the list of task ids that this tuple was sent to
     */
    public List emit(String streamId, List tuple, Object messageId) {
        return _delegate.emit(streamId, tuple, messageId);
    } 
 
     
  
  • 这里调用了_delegate.emit的emit，这里的_delegate为SpoutOutputCollectorImpl
    •  
 
 
 
SpoutOutputCollectorImpl
 
 
storm-2.0.0/storm-client/src/jvm/org/apache/storm/executor/spout/SpoutOutputCollectorImpl.java
 
 
    public List emit(String streamId, List tuple, Object messageId) {
        try {
            return sendSpoutMsg(streamId, tuple, messageId, null);
        } catch (InterruptedException e) {
            LOG.warn("Spout thread interrupted during emit().");
            throw new RuntimeException(e);
        }
    }

    private List sendSpoutMsg(String stream, List values, Object messageId, Integer outTaskId) throws
        InterruptedException {
        emittedCount.increment();

        List outTasks;
        if (outTaskId != null) {
            outTasks = taskData.getOutgoingTasks(outTaskId, stream, values);
        } else {
            outTasks = taskData.getOutgoingTasks(stream, values);
        }

        final boolean needAck = (messageId != null) && hasAckers;

        final List ackSeq = needAck ? new ArrayList<>() : null;

        final long rootId = needAck ? MessageId.generateId(random) : 0;

        for (int i = 0; i < outTasks.size(); i++) { // perf critical path. don't use iterators.
            Integer t = outTasks.get(i);
            MessageId msgId;
            if (needAck) {
                long as = MessageId.generateId(random);
                msgId = MessageId.makeRootId(rootId, as);
                ackSeq.add(as);
            } else {
                msgId = MessageId.makeUnanchored();
            }

            final TupleImpl tuple =
                new TupleImpl(executor.getWorkerTopologyContext(), values, executor.getComponentId(), this.taskId, stream, msgId);
            AddressedTuple adrTuple = new AddressedTuple(t, tuple);
            executor.getExecutorTransfer().tryTransfer(adrTuple, executor.getPendingEmits());
        }
        if (isEventLoggers) {
            taskData.sendToEventLogger(executor, values, executor.getComponentId(), messageId, random, executor.getPendingEmits());
        }

        if (needAck) {
            boolean sample = executor.samplerCheck();
            TupleInfo info = new TupleInfo();
            info.setTaskId(this.taskId);
            info.setStream(stream);
            info.setMessageId(messageId);
            if (isDebug) {
                info.setValues(values);
            }
            if (sample) {
                info.setTimestamp(System.currentTimeMillis());
            }

            pending.put(rootId, info);
            List ackInitTuple = new Values(rootId, Utils.bitXorVals(ackSeq), this.taskId);
            taskData.sendUnanchored(Acker.ACKER_INIT_STREAM_ID, ackInitTuple, executor.getExecutorTransfer(), executor.getPendingEmits());
        } else if (messageId != null) {
            // Reusing TupleInfo object as we directly call executor.ackSpoutMsg() & are not sending msgs. perf critical
            if (isDebug) {
                if (spoutExecutorThdId != Thread.currentThread().getId()) {
                    throw new RuntimeException("Detected background thread emitting tuples for the spout. " +
                                               "Spout Output Collector should only emit from the main spout executor thread.");
                }
            }
            globalTupleInfo.clear();
            globalTupleInfo.setStream(stream);
            globalTupleInfo.setValues(values);
            globalTupleInfo.setMessageId(messageId);
            globalTupleInfo.setTimestamp(0);
            globalTupleInfo.setId("0:");
            Long timeDelta = 0L;
            executor.ackSpoutMsg(executor, taskData, timeDelta, globalTupleInfo);
        }
        return outTasks;
    } 
 
     
  
  • 这里neekAck的话，会调用taskData.sendUnanchored(Acker.ACKER_INIT_STREAM_ID, ackInitTuple, executor.getExecutorTransfer(), executor.getPendingEmits());
    •  
  
  • 注意这里的ackInitTuple为Values(rootId, Utils.bitXorVals(ackSeq), this.taskId)，第二个值对List ackSeq进行了Utils.bitXorVals运算
    •  
  
  • ackSeq在没有outTask的时候，是个空的list，它的Utils.bitXorVals操作为0
    •  
 
 
 
Utils
 
 
storm-2.0.0/storm-client/src/jvm/org/apache/storm/utils/Utils.java
 
 
    public static long bitXorVals(List coll) {
        long result = 0;
        for (Long val : coll) {
            result ^= val;
        }
        return result;
    }

    public static long bitXor(Long a, Long b) {
        return a ^ b;
    }
 
 
     
  
  • bitXor运算是storm的ack机制的核心运算
    •  
 
 
 
Acker
 
 
storm-2.0.0/storm-client/src/jvm/org/apache/storm/daemon/Acker.java
 
 
    public void execute(Tuple input) {
        if (TupleUtils.isTick(input)) {
            Map tmp = pending.rotate();
            LOG.debug("Number of timeout tuples:{}", tmp.size());
            return;
        }

        boolean resetTimeout = false;
        String streamId = input.getSourceStreamId();
        Object id = input.getValue(0);
        AckObject curr = pending.get(id);
        if (ACKER_INIT_STREAM_ID.equals(streamId)) {
            if (curr == null) {
                curr = new AckObject();
                pending.put(id, curr);
            }
            curr.updateAck(input.getLong(1));
            curr.spoutTask = input.getInteger(2);
        } else if (ACKER_ACK_STREAM_ID.equals(streamId)) {
            if (curr == null) {
                curr = new AckObject();
                pending.put(id, curr);
            }
            curr.updateAck(input.getLong(1));
        } else if (ACKER_FAIL_STREAM_ID.equals(streamId)) {
            // For the case that ack_fail message arrives before ack_init
            if (curr == null) {
                curr = new AckObject();
            }
            curr.failed = true;
            pending.put(id, curr);
        } else if (ACKER_RESET_TIMEOUT_STREAM_ID.equals(streamId)) {
            resetTimeout = true;
            if (curr != null) {
                pending.put(id, curr);
            } //else if it has not been added yet, there is no reason time it out later on
        } else if (Constants.SYSTEM_FLUSH_STREAM_ID.equals(streamId)) {
            collector.flush();
            return;
        } else {
            LOG.warn("Unknown source stream {} from task-{}", streamId, input.getSourceTask());
            return;
        }

        int task = curr.spoutTask;
        if (task >= 0 && (curr.val == 0 || curr.failed || resetTimeout)) {
            Values tuple = new Values(id, getTimeDeltaMillis(curr.startTime));
            if (curr.val == 0) {
                pending.remove(id);
                collector.emitDirect(task, ACKER_ACK_STREAM_ID, tuple);
            } else if (curr.failed) {
                pending.remove(id);
                collector.emitDirect(task, ACKER_FAIL_STREAM_ID, tuple);
            } else if (resetTimeout) {
                collector.emitDirect(task, ACKER_RESET_TIMEOUT_STREAM_ID, tuple);
            } else {
                throw new IllegalStateException("The checks are inconsistent we reach what should be unreachable code.");
            }
        }

        collector.ack(input);
    }

    private static class AckObject {
        public long val = 0L;
        public long startTime = Time.currentTimeMillis();
        public int spoutTask = -1;
        public boolean failed = false;

        // val xor value
        public void updateAck(Long value) {
            val = Utils.bitXor(val, value);
        }
    }
 
 
     
  
  • 当Acker收到ACKER_INIT_STREAM_ID时，如果当前AckObject为null，则创建一个AckObject，其val默认为0；之后调用curr.updateAck(input.getLong(1))，即根据tuple的第二个值来更新AckObject的val
    •  
  
  • SpoutOutputCollectorImpl发射过来的tuple为Values(rootId, Utils.bitXorVals(ackSeq), this.taskId)，其第二个值为Utils.bitXorVals(ackSeq)；askSeq为List，当没有outputTask的时候，其list为空，而Utils.bitXorVals值为0，这种情况下，curr.updateAck(0)返回0
    •  
  
  • Acker在execute的最后会判断，如果curr.val == 0则会触发collector.emitDirect(task, ACKER_ACK_STREAM_ID, tuple)
    •  
 
 
 
SpoutExecutor
 
 
storm-2.0.0/storm-client/src/jvm/org/apache/storm/executor/spout/SpoutExecutor.java
 
 
    public void tupleActionFn(int taskId, TupleImpl tuple) throws Exception {
        String streamId = tuple.getSourceStreamId();
        if (Constants.SYSTEM_FLUSH_STREAM_ID.equals(streamId)) {
            spoutOutputCollector.flush();
        } else if (streamId.equals(Constants.SYSTEM_TICK_STREAM_ID)) {
            pending.rotate();
        } else if (streamId.equals(Constants.METRICS_TICK_STREAM_ID)) {
            metricsTick(idToTask.get(taskId - idToTaskBase), tuple);
        } else if (streamId.equals(Constants.CREDENTIALS_CHANGED_STREAM_ID)) {
            Object spoutObj = idToTask.get(taskId - idToTaskBase).getTaskObject();
            if (spoutObj instanceof ICredentialsListener) {
                ((ICredentialsListener) spoutObj).setCredentials((Map) tuple.getValue(0));
            }
        } else if (streamId.equals(Acker.ACKER_RESET_TIMEOUT_STREAM_ID)) {
            Long id = (Long) tuple.getValue(0);
            TupleInfo pendingForId = pending.get(id);
            if (pendingForId != null) {
                pending.put(id, pendingForId);
            }
        } else {
            Long id = (Long) tuple.getValue(0);
            Long timeDeltaMs = (Long) tuple.getValue(1);
            TupleInfo tupleInfo = pending.remove(id);
            if (tupleInfo != null && tupleInfo.getMessageId() != null) {
                if (taskId != tupleInfo.getTaskId()) {
                    throw new RuntimeException("Fatal error, mismatched task ids: " + taskId + " " + tupleInfo.getTaskId());
                }
                Long timeDelta = null;
                if (hasAckers) {
                    long startTimeMs = tupleInfo.getTimestamp();
                    if (startTimeMs != 0) {
                        timeDelta = timeDeltaMs;
                    }
                }
                if (streamId.equals(Acker.ACKER_ACK_STREAM_ID)) {
                    ackSpoutMsg(this, idToTask.get(taskId - idToTaskBase), timeDelta, tupleInfo);
                } else if (streamId.equals(Acker.ACKER_FAIL_STREAM_ID)) {
                    failSpoutMsg(this, idToTask.get(taskId - idToTaskBase), timeDelta, tupleInfo, "FAIL-STREAM");
                }
            }
        }
    }

    public void ackSpoutMsg(SpoutExecutor executor, Task taskData, Long timeDelta, TupleInfo tupleInfo) {
        try {
            ISpout spout = (ISpout) taskData.getTaskObject();
            int taskId = taskData.getTaskId();
            if (executor.getIsDebug()) {
                LOG.info("SPOUT Acking message {} {}", tupleInfo.getId(), tupleInfo.getMessageId());
            }
            spout.ack(tupleInfo.getMessageId());
            if (!taskData.getUserContext().getHooks().isEmpty()) { // avoid allocating SpoutAckInfo obj if not necessary
                new SpoutAckInfo(tupleInfo.getMessageId(), taskId, timeDelta).applyOn(taskData.getUserContext());
            }
            if (hasAckers && timeDelta != null) {
                executor.getStats().spoutAckedTuple(tupleInfo.getStream(), timeDelta,
                                                    taskData.getTaskMetrics().getAcked(tupleInfo.getStream()));
            }
        } catch (Exception e) {
            throw Utils.wrapInRuntime(e);
        }
    }
 
 
     
  
  • SpoutExecutor在收到Acker.ACKER_ACK_STREAM_ID的时候，会调用ackSpoutMsg方法，该方法会回调原始spout的ack方法，即spout.ack(tupleInfo.getMessageId())
    •  
 
 
 
小结
 
 
     
  
  • MasterBatchCoordinator在第一次收到同一个msgId的ack时(第一次被调用)，status由开始的AttemptStatus.PROCESSING转变为AttemptStatus.PROCESSED，在之后的sync方法里头AttemptStatus.PROCESSED转变为AttemptStatus.COMMITTING，然后往MasterBatchCoordinator.COMMIT_STREAM_ID发射tuple
    •  
  
  • 当用户的spout是ICommitterTridentSpout时，TridentTopologyBuilder.buildTopology的时候，会配置allGrouping(masterCoordinator(batchGroup), MasterBatchCoordinator.COMMIT_STREAM_ID)；TridentSpoutExecutor会接收MasterBatchCoordinator.COMMIT_STREAM_ID的数据，然后调用((ICommitterTridentSpout.Emitter) _emitter).commit(attempt)方法；之后TridentBoltExecutor在TridentSpoutExecutor.execute执行完了之后会自动ack该tuple，然后调用MasterBatchCoordinator的ack方法(第二次被调用)，然后触发_collector.emit(SUCCESS_STREAM_ID, new Values(tx))
    •  
  
  • 当用户的spout不是ICommitterTridentSpout时，这个时候整个topology就没有component去接收MasterBatchCoordinator.COMMIT_STREAM_ID发射的tuple，即outgoingTasks为空，那么在SpoutOutputCollectorImpl在needAck的情况下，会给Acker.ACKER_INIT_STREAM_ID发射的tuple，其第二个值为Utils.bitXorVals(ackSeq)，ackSeq为空list(根据outgoingTasks来计算)，该值为0；那么在Acker接收到ACKER_INIT_STREAM_ID时，curr.updateAck(input.getLong(1))之后curr.val的值为0；这样Acker在execute的最后看到curr.val为0，又会给Acker.ACKER_ACK_STREAM_ID发射tuple，SpoutExecutor在收到Acker.ACKER_ACK_STREAM_ID的时候，会调用ackSpoutMsg方法，该方法会回调原始spout的ack方法，即spout.ack(tupleInfo.getMessageId())；即当一个streamId没有component消费的时候，会自动ack；这样对于spout不是ICommitterTridentSpout的情况，在往MasterBatchCoordinator.COMMIT_STREAM_ID发射tuple之后，会调用MasterBatchCoordinator的ack方法(第二次被调用)，然后触发_collector.emit(SUCCESS_STREAM_ID, new Values(tx))
    •  
 
 
 

   spout是否是ICommitterTridentSpout类型的区别在于不是ICommitterTridentSpout类型，它在往MasterBatchCoordinator.COMMIT_STREAM_ID发射tuple之后，Acker会自动ack，调用MasterBatchCoordinator的ack方法( 
  第二次被调用)；而ICommitterTridentSpout类型会先执行((ICommitterTridentSpout.Emitter) _emitter).commit(attempt)方法，然后由TridentBoltExecutor来ack，然后调用MasterBatchCoordinator的ack方法( 
  第二次被调用)；二者在成功的场景下最后都会往SUCCESS_STREAM_ID发送tuple 
 
 
 
doc
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(storm)

        

            

                
    
                    
  • html+css网页设计 旅游网站首页1个页面
                        html+css+js网页设计
htmlcss旅游
                        
    html+css网页设计旅游网站首页1个页面网页作品代码简单，可使用任意HTML辑软件（如：Dreamweaver、HBuilder、Vscode、Sublime、Webstorm、Text、Notepad++等任意html编辑软件进行运行及修改编辑等操作）。获取源码1，访问该网站https://download.csdn.net/download/qq_42431718/897527112，点击
    
                    
    • 
                    
  • webstorm报错TypeError: this.cliEngine is not a constructor
                        Blue_Color

                        
    点击Details在控制台会显示报错的位置TypeError:this.cliEngineisnotaconstructoratESLintPlugin.invokeESLint(/Applications/RubyMine.app/Contents/plugins/JavaScriptLanguage/languageService/eslint/bin/eslint-plugin.js:97:
    
                    
    • 
                    
  • [附源码]SSM计算机毕业设计游戏账号交易平台JAVA
                        计算机程序源码
java游戏mysql
                        
    项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
    
                    
    • 
                    
  • Java中的大数据处理框架对比分析
                        省赚客app开发者
java开发语言
                        
    Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
    
                    
    • 
                    
  • Python+Django毕业设计校园易购二手交易平台（程序+LW+部署）
                        Python、JAVA毕设程序源码
课程设计javamysql
                        
    项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
    
                    
    • 
                    
  • Hbase - kerberos认证异常
                        kikiki2

                        
    之前怎么认证都认证不上，问题找了好了，发现它的异常跟实际操作根本就对不上，死马当活马医，当时也是瞎改才好的，给大家伙记录记录。KrbException:ServernotfoundinKerberosdatabase(7)-LOOKING_UP_SERVER>>>KdcAccessibility:removestorm1.starsriver.cnatsun.security.krb5.KrbTg
    
                    
    • 
                    
  • WebStorm 配置 PlantUML
                        weijia_kmys
其他webstormideuml
                        
    1.安装PlantUML插件在WebStorm插件市场搜索PlantUMLIntegration并安装，重启WebStorm使插件生效。2.安装GraphvizPlantUML需要Graphviz来生成图形。使用Homebrew安装Graphviz：打开终端（Terminal）。确保你已经安装了Homebrew。如果没有，请先安装Homebrew，可以在Homebrew官网获取安装命令。在终端中输
    
                    
    • 
                    
  • ReactNative 常用开源组件
                        2401_84875852
程序员reactnative开源react.js
                        
    WebStormReactNative的代码模板插件,包括:1.组件名称2.Api名称3.所有StyleSheets属性4.组件属性https://github.com/virtoolswebplayer/ReactNative-LiveTemplateReact-native调用cordova插件https://github.com/axemclion/react-native-cordova-
    
                    
    • 
                    
  • phpstorm 2018激活教程，phpstorm破解版下载
                        八重樱勿忘

                        
    前言：本次phpstorm2018激活教程非常详细，所有细节指导软件是phpstorm10.0是因新版本破解还不稳定，大家放心这个版本不影响开发和使用。文件以及教程都打包在群文件里了。第一步：解压并打开文件，运行“PhpStorm-10.0.3.exe”点击Next进入下一步第二步：选择软件安装目录自定义选择安装根目录-->点击Next进入下一步注意！后面还需要找安装目录里的文件，所以记住安装到一
    
                    
    • 
                    
  • Java Kafka生产者实现
                        stormsha
Javawebjavakafkalinq
                        
    欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐：「stormsha的主页」，「stormsha的知识库」持续学习，不断总结，共同进步，为了踏实，做好当下事儿~专栏导航Python系列:Python面试题合集，剑指大厂Git系列:Git操作技巧GO系列:记录博主学习GO语言的笔记，该笔记专栏
    
                    
    • 
                    
  • Python 开心消消乐
                        stormsha
Python基础python开发语言游戏
                        
    文章目录效果图项目结构程序代码完整代码：https://gitcode.com/stormsha1/games/overview效果图项目结构程序代码run.pyimportsysimportpygamefrompygame.localsimportKEYDOWN,QUIT,K_q,K_ESCAPE,MOUSEBUTTONDOWNfromdissipate.levelimportManagerfr
    
                    
    • 
                    
  • 玩手机的弹指之间，记忆受到了损坏，这是如何发生的？
                        跨鹿

                        
    一：从拍照损伤效应说起为了验证拍照损伤效应（photo-taking-impairmenteffect）——即拍照不利于记忆形成，加州大学圣克鲁斯分校的学者JuliaS.Soares和BenjaminC.Storm进行了两组实验（篇幅有限，不详细介绍该实验）：实验一：42名被试与三个独立变量：观察，相机（手机相机）和Snapchat（色拉布，美国的一款“阅后即焚”照片分享应用）——在观察条件下，参
    
                    
    • 
                    
  • 【附源码】计算机毕业设计java智慧后勤系统设计与实现
                        计算机毕设程序设计
javamybatismysql
                        
    项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
    
                    
    • 
                    
  • Apache Storm：入门了解
                        布说在见
apachestorm大数据
                        
    前言Storm是一个开源的分布式实时计算系统，它能够处理无边界的数据流，类似于Hadoop对于批量数据处理的作用，但是Storm更侧重于实时数据流的处理。以下是关于Storm的一些关键特性及其应用场景的详细介绍：特性实时处理：Storm能够实时处理数据流，而不是像Hadoop那样需要先收集一批数据再进行处理。它可以持续不断地处理数据，这意味着一旦数据到达，就会立即被处理。简单易用：开发者可以用多种
    
                    
    • 
                    
  • 大数据秋招面经之spark系列
                        wq17629260466
大数据spark
                        
    文章目录前言spark高频面试题汇总1.spark介绍2.spark分组取TopN方案总结：方案2是最佳方案。3.repartition与coalesce4.spark的oom问题怎么产生的以及解决方案5.storm与flink,sparkstreaming之间的区别6.spark的几种部署方式：7.复习spark的yarn-cluster模式执行流程：8.spark的job提交流程：9.spar
    
                    
    • 
                    
  • PhpStorm中配置调试功能
                        hong161688
phpstormandroidide
                        
    在PhpStorm中配置调试功能是一个相对直接且强大的过程，它允许开发者在开发过程中高效地定位和解决代码问题。以下是一个详细的步骤指南，涵盖了从安装PhpStorm到配置调试环境的整个过程，以及如何在PhpStorm中使用调试功能。一、安装PhpStorm首先，确保你已经从JetBrains的官方网站下载了最新版本的PhpStorm。安装过程相对简单，只需按照安装向导的指示逐步进行即可。在安装过程
    
                    
    • 
                    
  • 新闻编辑室第1季第4集台词
                        kuailexuewaiyu

                        
    英文中文♪TrytokeepmyheadaboveitthebestIcan♪♪我要努力挺过这一关♪♪That'swhyhereIam♪♪所以我才在这里♪♪Justwaitingforthisstormtopassmeby♪♪等着暴风雨经过♪♪Andthat'sthesoundofsunshine♪♪聆听阳光的声音♪♪Comingdown♪♪从空中洒下♪♪Andthat'sthesoundofsu
    
                    
    • 
                    
  • web期末作业网页设计——我的家乡黑龙江（网页源码）
                        软件技术NINI
html+css+js旅游旅游htmlcss
                        
    一、‍网站题目旅游，当地特色，历史文化，特色小吃等网站的设计与制作。二、✍️网站描述‍静态网站的编写主要是用HTMLDIV+CSS等来完成页面的排版设计‍,常用的网页设计软件有Dreamweaver、EditPlus、HBuilderX、VScode、Webstorm、Animate等等，用的最多的还是DW，当然不同软件写出的前端Html5代码都是一致的，本网页适合修改成为各种类型的产品展示网页，
    
                    
    • 
                    
  • 使用命令行创建任意大小文件的方法
                        拽拽夏天~
测试技巧linux功能测试
                        
    使用命令行创建任意大小文件的方法作为一个测试工程师，在工作中可能需要创建任意大小的文件。下面介绍下如何使用命令行创建任意大小的文件：1、Linux-dd命令：Linux下的dd命令很是强大，可以这样使用dd命令来创建指定大小的文件：生成固定大小文件ddif=/dev/zeroof=/home/bluestorm/100M.imgbs=1Mcount=1024(生成一个100M的文件，文件名为100
    
                    
    • 
                    
  • phpstorm 插件等功能
                        胡萝卜的兔
laravelphpstormphpphpstormide
                        
    插件MaterialThemeUIUI主题插件ChinesePHPDocumentphp基本函数的中文文档PHPcomposer.jsonsupport在做php组件开发时，编辑composer.json文件时有对应的属性和值的自动完成功能BackgroundImagePlus背景图设置，安装之后，在打开View选项，就可以看到SetBackgroundImage选项了。.envfilessupp
    
                    
    • 
                    
  • phpstrom连接远程服务器
                        努力学习的笨小孩

                        
    PHP开发工具phpstorm通过sftp和FTP远程连接服务器创建编辑远程项目PhpStorm是一个编辑PHP代码的PHP开发工具神器，应该说是目前世界上编辑PHP代码的最好用的PHP开发工具IDE了吧，本地项目的创建相信一般人都会，不过有时候我们可能项目运行在远程服务器上，比如有一种情况：在windows下使用PhpStorm编码，代码放在linux服务器上运行。还有一种情况,代码使用版本控制
    
                    
    • 
                    
  • JAVA计算机毕业设计校园二手书交易系统（附源码、数据库）
                        卓杰计算机设计
java数据库开发语言
                        
    JAVA计算机毕业设计校园二手书交易系统（附源码、数据库）目运行环境项配置：Jdk1.8+Tomcat8.5+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：JAVA+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1
    
                    
    • 
                    
  • JAVA毕设项目校园二手商品交易系统（java+VUE+Mybatis+Maven+Mysql）
                        贤杰程序源码
mybatisjavavue.js
                        
    JAVA毕设项目校园二手商品交易系统（java+VUE+Mybatis+Maven+Mysql）项目运行环境配置：Jdk1.8+Tomcat8.5+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：JAVA+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需
    
                    
    • 
                    
  • html5 css3 JavaScript响应式中文静态网页模板js源代码
                        Yucool01
html5javascriptcss3
                        
    该批次模板具备如下功能：首页，二级页面，三级页面登录页面均有，页面齐全，功能齐全，js+css+html,前端HTML纯静态页面，无后台，可用dreamweaver,sublime,webstorm等工具修改；部分网页模板效果图：有需要的同学可以下载学习一下：https://download.csdn.net/download/Yucool01/22408278https://download.c
    
                    
    • 
                    
  • 【python】python指南（十四）：**操作符解包字典传参
                        LDG_AGI
Pythonpython开发语言人工智能机器学习图像处理深度学习计算机视觉
                        
    目录一、引言二、**操作符应用2.1**操作符介绍2.2**操作符案例三、总结一、引言对于算法工程师来说，语言从来都不是关键，关键是快速学习以及解决问题的能力。大学的时候参加ACM/ICPC一直使用的是C语言，实习的时候做一个算法策略后台用的是php，毕业后做策略算法开发，因为要用spark，所以写了scala，后来用基于storm开发实时策略，用的java。至于python，从日常用hive做数
    
                    
    • 
                    
  • 2018-10-31
                        马修斯

                        
    WebStormmac下如何安装WebStorm+破解1、下载软件最好的地址就是官网了下载地址选择好系统版本以后点击DOWNLOAD下载Webstorm2、安装双击下载好的安装包、将WebStromt拖入application文件夹，然后在Launchpad中找到并打开安装.png3、等待一段时间后，WebStorm将进行第一次运行，当出现如下页面的时候第一行选择Activate,第二行选择Act
    
                    
    • 
                    
  • [附源码]JAVA毕业设计基于web旅游网站的设计与实现（系统+LW）
                        晶涛计算机毕设
java前端旅游
                        
    [附源码]JAVA毕业设计基于web旅游网站的设计与实现（系统+LW）目运行环境项配置：Jdk1.8+Tomcat8.5+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：JAVA+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是ja
    
                    
    • 
                    
  • [附源码]java毕业设计基于web旅游网站的设计与实现
                        李会计算机程序设计
java前端旅游
                        
    项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
    
                    
    • 
                    
  • Module not found: Error: Can‘t resolve ‘sass-loader‘ in...
                        Coisini_甜柚か
web前端sassvue.jscss
                        
    "sass-loader"报错！！！Failedtocompile../src/main.jsModulenotfound:Error:Can'tresolve'sass-loader'in'E:\study_software\JetBrains\WebStorm2021\WebstormProjects\vue-element-admin-master'npminstallsass-loader
    
                    
    • 
                    
  • pycharm 打开大文件代码洞察功能不可用的解决方法
                        weixin_44482092
intellij-ideajavaintellijidea
                        
    2019-11-13阅读1.3K0今天在使用WebStorm打开一个6.58MB的文件时，编辑器提示文件超过最大限制，代码洞察功能不可用。编辑器很多功能不可用，包括标签折叠、自动补齐、标签自动匹配等。Thefilesize(6.58MB)exceedsconfiquredlimit(2.56MB).Codeinsightfeaturesarenotavailable.其实JetBrains软件有一
    
                    
    • 
                                
  • JVM StackMapTable 属性的作用及理解
                                    lijingyao8206
jvm字节码Class文件StackMapTable
                                    
      
      在Java 6版本之后JVM引入了栈图(Stack Map Table)概念。为了提高验证过程的效率，在字节码规范中添加了Stack Map Table属性，以下简称栈图，其方法的code属性中存储了局部变量和操作数的类型验证以及字节码的偏移量。也就是一个method需要且仅对应一个Stack Map Table。在Java 7版
    
                                
    • 
                                
  • 回调函数调用方法
                                    百合不是茶
java
                                    
    最近在看大神写的代码时,.发现其中使用了很多的回调 ,以前只是在学习的时候经常用到 ,现在写个笔记 记录一下 
  
代码很简单: 
    
      MainDemo  :调用方法  得到方法的返回结果 
   
     
    
                                
    • 
                                
  • [时间机器]制造时间机器需要一些材料
                                    comsci
制造
                                    
          根据我的计算和推测,要完全实现制造一台时间机器,需要某些我们这个世界不存在的物质 
    和材料... 
 
      甚至可以这样说,这种材料和物质,我们在反应堆中也无法获得...... 
 
     
    
                                
    • 
                                
  • 开口埋怨不如闭口做事
                                    邓集海
邓集海 做人 做事 工作
                                    
    “开口埋怨，不如闭口做事。”不是名人名言，而是一个普通父亲对儿子的训导。但是，因为这句训导，这位普通父亲却造就了一个名人儿子。这位普通父亲造就的名人儿子，叫张明正。 　　 　　张明正出身贫寒，读书时成绩差，常挨老师批评。高中毕业，张明正连普通大学的分数线都没上。高考成绩出来后，平时开口怨这怨那的张明正，不从自身找原因，而是不停地埋怨自己家庭条件不好、埋怨父母没有给他创造良好的学习环境。 　　 　　
    
                                
    • 
                                
  • jQuery插件开发全解析，类级别与对象级别开发
                                    IT独行者
jquery开发插件　函数
                                    
    jQuery插件的开发包括两种：   一种是类级别的插件开发，即给 
jQuery添加新的全局函数，相当于给 
jQuery类本身添加方法。 
jQuery的全局函数就是属于 
jQuery命名空间的函数，另一种是对象级别的插件开发，即给 
jQuery对象添加方法。下面就两种函数的开发做详细的说明。  
   
1 
、类级别的插件开发   类级别的插件开发最直接的理解就是给jQuer
    
                                
    • 
                                
  • Rome解析Rss
                                    413277409
Rome解析Rss
                                    
    import java.net.URL;  
import java.util.List;  
  
import org.junit.Test;  
  
import com.sun.syndication.feed.synd.SyndCategory;  
import com.sun.syndication.feed.synd.S
    
                                
    • 
                                
  • RSA加密解密
                                    无量
加密解密rsa
                                    
    RSA加密解密代码 
 
代码有待整理 
 
 
package com.tongbanjie.commons.util;


import java.security.Key;

import java.security.KeyFactory;

import java.security.KeyPair;

import java.security.KeyPairGenerat
    
                                
    • 
                                
  • linux 软件安装遇到的问题
                                    aichenglong
linux遇到的问题ftp
                                    
    1 ftp配置中遇到的问题 
   500 OOPS: cannot change directory 
  出现该问题的原因:是SELinux安装机制的问题.只要disable SELinux就可以了 
  修改方法:1 修改/etc/selinux/config 中SELINUX=disabled 
    2 source /etc
    
                                
    • 
                                
  • 面试心得
                                    alafqq
面试
                                    
    最近面试了好几家公司。记录下； 
支付宝，面试我的人胖胖的，看着人挺好的；博彦外包的职位，面试失败； 
阿里金融，面试官人也挺和善，只不过我让他吐血了。。。 
由于印象比较深，记录下； 
1，自我介绍 
2，说下八种基本类型；（算上string。楼主才答了3种，哈哈，string其实不是基本类型，是引用类型） 
3，什么是包装类，包装类的优点； 
4，平时看过什么书？NND，什么书都没看过。。照样
    
                                
    • 
                                
  • java的多态性探讨
                                    百合不是茶
java
                                    
    java的多态性是指main方法在调用属性的时候类可以对这一属性做出反应的情况 
//package 1;
class A{

    public void test(){
       System.out.println("A");
  }
}

class D extends A{

    public void test(){
       S
    
                                
    • 
                                
  • 网络编程基础篇之JavaScript-学习笔记
                                    bijian1013
JavaScript
                                    
    1.documentWrite 
<html>
<head>
    <script language="JavaScript">
         document.write("这是电脑网络学校");
         document.close();
    </script>
</h
    
                                
    • 
                                
  • 探索JUnit4扩展：深入Rule
                                    bijian1013
JUnitRule单元测试
                                    
            本文将进一步探究Rule的应用，展示如何使用Rule来替代@BeforeClass，@AfterClass，@Before和@After的功能。 
        在上一篇中提到，可以使用Rule替代现有的大部分Runner扩展，而且也不提倡对Runner中的withBefores()，withAfte
    
                                
    • 
                                
  • [CSS]CSS浮动十五条规则
                                    bit1129
css
                                    
    这些浮动规则，主要是参考CSS权威指南关于浮动规则的总结，然后添加一些简单的例子以验证和理解这些规则。 
  
1. 所有的页面元素都可以浮动 2. 一个元素浮动后，会成为块级元素，比如<span>,a, strong等都会变成块级元素 3.一个元素左浮动，会向最近的块级父元素的左上角移动，直到浮动元素的左外边界碰到块级父元素的左内边界；如果这个块级父元素已经有浮动元素停靠了
    
                                
    • 
                                
  • 【Kafka六】Kafka Producer和Consumer多Broker、多Partition场景
                                    bit1129
partition
                                    
    0.Kafka服务器配置 
3个broker 
1个topic，6个partition，副本因子是2 
2个consumer，每个consumer三个线程并发读取 
  1. Producer 
package kafka.examples.multibrokers.producers;

import java.util.Properties;
import java.util.
    
                                
    • 
                                
  • zabbix_agentd.conf配置文件详解
                                    ronin47
zabbix 配置文件
                                    
    Aliaskey的别名，例如 Alias=ttlsa.userid:vfs.file.regexp[/etc/passwd,^ttlsa:.:([0-9]+),,,,\1]， 或者ttlsa的用户ID。你可以使用key：vfs.file.regexp[/etc/passwd,^ttlsa:.: ([0-9]+),,,,\1]，也可以使用ttlsa.userid。备注: 别名不能重复，但是可以有多个
    
                                
    • 
                                
  • java--19.用矩阵求Fibonacci数列的第N项
                                    bylijinnan
fibonacci
                                    
    参考了网上的思路，写了个Java版的： 
 
 



public class Fibonacci {

	final  static int[] A={1,1,1,0};
	
	
	public static void main(String[] args) {
		int n=7;
		for(int i=0;i<=n;i++){
			int f=fibonac
    
                                
    • 
                                
  • Netty源码学习-LengthFieldBasedFrameDecoder
                                    bylijinnan
javanetty
                                    
    先看看LengthFieldBasedFrameDecoder的官方API 
 
http://docs.jboss.org/netty/3.1/api/org/jboss/netty/handler/codec/frame/LengthFieldBasedFrameDecoder.html 
 
API举例说明了LengthFieldBasedFrameDecoder的解析机制，如下： 
 
实
    
                                
    • 
                                
  • AES加密解密
                                    chicony
加密解密
                                    
    AES加解密算法，使用Base64做转码以及辅助加密： 
package com.wintv.common;

import javax.crypto.Cipher;
import javax.crypto.spec.IvParameterSpec;
import javax.crypto.spec.SecretKeySpec;

import sun.misc.BASE64Decod
    
                                
    • 
                                
  • 文件编码格式转换
                                    ctrain
编码格式
                                    
    
package com.test;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;

    
                                
    • 
                                
  • mysql 在linux客户端插入数据中文乱码
                                    daizj
mysql中文乱码
                                    
    1、查看系统客户端，数据库，连接层的编码 
 查看方法： http://daizj.iteye.com/blog/2174993 
进入mysql，通过如下命令查看数据库编码方式： mysql>  show variables like 'character_set_%'; +--------------------------+------
    
                                
    • 
                                
  • 好代码是廉价的代码
                                    dcj3sjt126com
程序员读书
                                    
      
长久以来我一直主张：好代码是廉价的代码。 
当我跟做开发的同事说出这话时，他们的第一反应是一种惊愕，然后是将近一个星期的嘲笑，把它当作一个笑话来讲。 当他们走近看我的表情、知道我是认真的时，才收敛一点。 
当最初的惊愕消退后，他们会用一些这样的话来反驳： “好代码不廉价，好代码是采用经过数十年计算机科学研究和积累得出的最佳实践设计模式和方法论建立起来的精心制作的程序代码。” 
我只
    
                                
    • 
                                
  • Android网络请求库——android-async-http
                                    dcj3sjt126com
android
                                    
    在iOS开发中有大名鼎鼎的ASIHttpRequest库，用来处理网络请求操作，今天要介绍的是一个在Android上同样强大的网络请求库android-async-http，目前非常火的应用Instagram和Pinterest的Android版就是用的这个网络请求库。这个网络请求库是基于Apache HttpClient库之上的一个异步网络请求处理库，网络处理均基于Android的非UI线程，通
    
                                
    • 
                                
  • ORACLE 复习笔记之SQL语句的优化
                                    eksliang
SQL优化Oracle sql语句优化SQL语句的优化
                                    
    转载请出自出处：http://eksliang.iteye.com/blog/2097999 
  SQL语句的优化总结如下 
  
sql语句的优化可以按照如下六个步骤进行： 
 
 合理使用索引 
 避免或者简化排序 
 消除对大表的扫描 
 避免复杂的通配符匹配 
 调整子查询的性能 
 EXISTS和IN运算符 
 
下面我就按照上面这六个步骤分别进行总结： 
    
                                
    • 
                                
  • 浅析：Android 嵌套滑动机制（NestedScrolling）
                                    gg163
android移动开发滑动机制嵌套
                                    
    谷歌在发布安卓 Lollipop版本之后，为了更好的用户体验，Google为Android的滑动机制提供了NestedScrolling特性 
NestedScrolling的特性可以体现在哪里呢？<!--[if !supportLineBreakNewLine]--><!--[endif]--> 
比如你使用了Toolbar，下面一个ScrollView，向上滚
    
                                
    • 
                                
  • 使用hovertree菜单作为后台导航
                                    hvt
JavaScriptjquery.nethovertreeasp.net
                                    
      
hovertree是一个jquery菜单插件，官方网址：http://keleyi.com/jq/hovertree/ ，可以登录该网址体验效果。 
0.1.3版本：http://keleyi.com/jq/hovertree/demo/demo.0.1.3.htm 
hovertree插件包含文件： 
http://keleyi.com/jq/hovertree/css
    
                                
    • 
                                
  • SVG 教程 （二）矩形
                                    天梯梦
svg
                                    
    SVG <rect>   SVG Shapes 
SVG有一些预定义的形状元素，可被开发者使用和操作： 
 
 矩形 <rect> 
 圆形 <circle> 
 椭圆 <ellipse> 
 线 <line> 
 折线 <polyline> 
 多边形 <polygon> 
 路径 <path> 
 
    
                                
    • 
                                
  • 一个简单的队列
                                    luyulong
java数据结构队列
                                    
    
public class MyQueue {
	private long[] arr;

	private int front;

	private int end;
	// 有效数据的大小
	private int elements;

	public MyQueue() {
		arr = new long[10];
		elements = 0;
		front 
    
                                
    • 
                                
  • 基础数据结构和算法九：Binary Search Tree
                                    sunwinner
Algorithm
                                    
      
A binary search tree (BST) is a binary tree where each node has a Comparable key (and an associated value) and satisfies the restriction that the key in any node is larger than the keys in all
    
                                
    • 
                                
  • 项目出现的一些问题和体会
                                    Steven-Walker
DAOWebservlet
                                    
         第一篇博客不知道要写点什么，就先来点近阶段的感悟吧。 
    这几天学了servlet和数据库等知识，就参照老方的视频写了一个简单的增删改查的，完成了最简单的一些功能，使用了三层架构。 
dao层完成的是对数据库具体的功能实现，service层调用了dao层的实现方法，具体对servlet提供支持。 
 &
    
                                
    • 
                                
  • 高手问答：Java老A带你全面提升Java单兵作战能力！
                                    ITeye管理员
java
                                    
    本期特邀《Java特种兵》作者：谢宇，CSDN论坛ID: xieyuooo 针对JAVA问题给予大家解答，欢迎网友积极提问，与专家一起讨论! 
 
 
作者简介： 
 
淘宝网资深Java工程师，CSDN超人气博主，人称“胖哥”。 
 
CSDN博客地址： 
http://blog.csdn.net/xieyuooo 
 
作者在进入大学前是一个不折不扣的计算机白痴，曾经被人笑话过不懂鼠标是什么，
    
                                
    •