Shawn999
Shawn999

storm kafka

1.1 KafkaSpout流程

  1. 建立zookeeper客户端，在zookeeper "borkers/topics/" + _topic + "/partitions" 路径下获取到partition列表
  2. 针对每个partition 到路径"borkers/topics/" + _topic + "/partitions"+"/" + partition_id + "/state"下面获取到leader partition 所在的broker id
  3. 到/brokers/ids/broker id 路径下获取broker的host 和 port 信息，并保存到Map中partition_id –-> learder broker
  4. 获取spout的任务个数和当前任务的index，然后再根据partition的个数来分配当前spout 所消费的partition列表
  5. 针对所消费的每个broker建立一个SimpleConsumer对象用来从kafka上获取数据，我们是从partition的leader读取数据，应该是连接leader所在的broker节点， 然后构建具体的SimpleConsumer对象
  6. 提交当前partition的消费信息到zookeeper上面保存（0.9以前的版本）

1.2 partition 的分配策略

  1. 在KafkaSpout中获取spout的task的个数，对应就是consumer的个数
  2. 在KafkaSpout中获取当前spout的 task index，注意，task index和task id是不同的，task id是当前spout在整个topology中的id，而task index是当前spout在组件中的id，取值范围为[0, spout_task_number-1]
  3. 获取所有的partiton与对应的leader partition所在broker的映射关系
  4. 获取当前spout消费的partition的列表，假设spout的并发度是3，当前spout的task index 是 1，总的partition的个数为5，那么当前spout消费的partition id为1,4

1.3 partition的更新策略

如果出现broker宕机，spout挂掉的情况，那么spout是要重新分配parition的，KafkaSpout并没有监听zookeeper上broker、partition和其他spout的状态，所以当有异常发生的时候KafkaSpout并不知道的，它采用了两种方法来更新partition的分配。

  1. 定时更新
    根据ZkHosts中的refreshFreqSecs字段来定时更新partition列表，我们可以通过修改配置来更改定时刷新的间隔。每一次调用kafkaspout的nextTuple方法时，都会首先调用ZkCoordinator的getMyManagedPartitions方法来获取当前spout消费的partition列表；getMyManagedPartitions方法中会判断是否已经到了该刷新的时间，如果到了就重新分配partition（默认60秒）
public List getMyManagedPartitions() {
        if (_lastRefreshTime == null || (System.currentTimeMillis() - _lastRefreshTime) > _refreshFreqMs) {
            refresh();
            _lastRefreshTime = System.currentTimeMillis();
        }
        return _cachedList;
    }
  1. 异常更新
    当调用kafkaspout的nextTuple方法出现异常时（除了UpdateOffsetException），强制更新当前spout的partition消费列表。

1.4 消费状态的维护

首先要分析一下当spout启动的时候是怎么获取初始offset的。在每个spout获取到消费的partition列表时，会针对每个partition来创建PartitionManager对象，下面看一下PartitionManager的初始化过程：

  1. 到连接池里注册partition leader所在的broker host，如果连接池里有该broker的连接，则直接返回该连接、如果连接池里没有，则建立broker的连接，并返回连接对象SimpleConsumer
Map _connections = new HashMap();
public SimpleConsumer register(Partition partition) {
    Broker broker = _reader.getCurrentBrokers().getBrokerFor(partition.partition);
    return register(broker, partition.partition);
}
  1. 获取zookeeper上offset的提交路径
private String committedPath() {
    return _spoutConfig.zkRoot + "/" + _spoutConfig.id + "/" + _partition.getId();
}
  1. 从提交路径上读取信息，提取记录的该partition的消费offset；如果zookeeper上没有该路径则表示当前topic没有被spout消费过

可以根据时间戳查询offset，细粒度为log segment，查询最新可能的offset在不大于这个时间戳下。segment size比较大的时候，offset会不准确。为了更精确，我们可以配置log segment的大小，基于时间(log.roll.ms) 代替基于大小 (log.segment.bytes).

  1. 从broker上获取当前partition的offset，默认为获取最新的offset，如果用户配置forceFromStart（KafkaConfig），则获取该partition最早的offset，也就是consume from beginning。
  • 情况1： 如果从zookeeper上没有获取topology和消费信息，则直接用从broker上获取到的offset
  • 情况2： 获取到的topology id 不一致 或者用户要求从新获取数据的时候，则从broker上获取offset。
  • 情况3： 使用zookeeper上保留的offset进行消费；
  • 如果zookeeper消费的offset已经过期，则直接消费新数据

PartitionManager 中的 _emittedToOffset用来保存当前消费的offset，在每一次获取到消息的时候都会更新这个值

offset的提交是周期性的，提交的周期可在SpoutConfig中的stateUpdateIntervalMs（2秒）中来配置。每次调用kafkaspout的nextTuple方法后都会判断是否需要提交offset；

如果需要提交则调用kafkaspout的commit方法，使用轮巡的方式提交每个partition的消费状况；具体的提交是委托PartitionManager来完成的

  1. 获取当前要提交的offset，如果pending Set剩余offset的话，就说明还有一些消息没有完成处理，则提交pending消息的第一个offset。
  2. 如果没有pending的消息，则提交当前消费的offset。
public void commit() {
    long lastCompletedOffset = lastCompletedOffset();
    if (_committedTo != lastCompletedOffset) {
        LOG.debug("Writing last completed offset (" + lastCompletedOffset + ") to ZK for " + _partition + " for topology: " + _topologyInstanceId);
        Map data = (Map) ImmutableMap.builder()
            .put("topology", ImmutableMap.of("id", _topologyInstanceId,
                "name", _stormConf.get(Config.TOPOLOGY_NAME)))
            .put("offset", lastCompletedOffset)
            .put("partition", _partition.partition)
            .put("broker", ImmutableMap.of("host", _partition.host.host,
                "port", _partition.host.port))
            .put("topic", _spoutConfig.topic).build();
        _state.writeJSON(committedPath(), data);

        _committedTo = lastCompletedOffset;
        LOG.debug("Wrote last completed offset (" + lastCompletedOffset + ") to ZK for " + _partition + " for topology: " + _topologyInstanceId);
    } else {
        LOG.debug("No new offset for " + _partition + " for topology: " + _topologyInstanceId);
    }
}

1.5 kafkaspout ack 和 fail的处理

  1. 当调用kafkaspout的nextTuple方法时，kafkaspout委托PartitionManager next方法来发送数据
 public EmitState next(SpoutOutputCollector collector) {
    if (_waitingToEmit.isEmpty()) {
            fill();
        }
        while (true) {
            MessageAndRealOffset toEmit = _waitingToEmit.pollFirst();
            if (toEmit == null) {
                return EmitState.NO_EMITTED;
            }
            Iterable> tups = KafkaUtils.generateTuples(_spoutConfig, toEmit.msg);
            if (tups != null) {
                for (List tup : tups) {
                    collector.emit(tup, new KafkaMessageId(_partition, toEmit.offset));
                }
                break;
            } else {
                ack(toEmit.offset);
            }
        }
        if (!_waitingToEmit.isEmpty()) {
            return EmitState.EMITTED_MORE_LEFT;
        } else {
            return EmitState.EMITTED_END;
        }
}


    

  1. 判断等待队列是否为空，如果为空则调用fill方法从broker上取数据进行填充
    2. 

  2. 对kafka的消息进行解码，KafkaUtils.generateTuples方法
    3. 

  3. 如果tuple不为null，则发送该tuple，messageID为new KafkaMessageId(_partition, toEmit.offset)，这样在ack 或者 fail的时候才能根据_partition找到相应的PartitionManager
    4. 

  4. 在PartitionManager会维护一个pending 列表，用来保存已经发送但是没有被成功处理的消息，一个failed列表，用来保存已经失败的消息
    5. 

  5. 当一个消息成功处理时会调用spout的ack方法，kafkaspout会根据message id中包含的partition id 来委托相应的PartitionManager来处理
    6. 

  6. PartitionManager 接收到ack消息后，会判断pending的最早的一条消息是否已经过质保，如果过质保，则清除队列中所有过保的消息，如果没有过保的消息，则在pending队列中移除当前消息
    7. 



public void ack(Long offset) {
        if (!_pending.isEmpty() && _pending.first() < offset - _spoutConfig.maxOffsetBehind) {
            // Too many things pending!
            _pending.headSet(offset - _spoutConfig.maxOffsetBehind).clear();
        }
        _pending.remove(offset);
        numberAcked++;
}



    

  1. 当一条消息处理失败时，会调用spout的fail方法，同样，kafkaspout会根据message id中包含的partition id 来委托相应的PartitionManager来处理
    2. 

  2. PartitionManager接收到fail消息，会判断失败的消息是否已经过保，如果过保则忽略掉，如果在保质期内，则加入failed列表，如果没有成功响应的消息，并且失败的消息个数已经超过保质期个数，则认为没有消息成功，系统有问题，丢异常(最大保存个数maxOffsetBehind)
    3. 



 public void fail(Long offset) {
        if (offset < _emittedToOffset - _spoutConfig.maxOffsetBehind) {
            LOG.info(
                    "Skipping failed tuple at offset=" + offset +
                            " because it's more than maxOffsetBehind=" + _spoutConfig.maxOffsetBehind +
                            " behind _emittedToOffset=" + _emittedToOffset
            );
        } else {
            LOG.debug("failing at offset=" + offset + " with _pending.size()=" + _pending.size() + " pending and _emittedToOffset=" + _emittedToOffset);
            failed.add(offset);
            numberFailed++;
            if (numberAcked == 0 && numberFailed > _spoutConfig.maxOffsetBehind) {
                throw new RuntimeException("Too many tuple failures");
            }
        }
}



    

  1. 对于failed的消息会进行重发
    2. 



private void fill() {
        long offset;
        final boolean had_failed = !failed.isEmpty();
        // Are there failed tuples? If so, fetch those first.
        if (had_failed) {
            offset = failed.first();
        } else {
            offset = _emittedToOffset;
        }
        ByteBufferMessageSet msgs = null;
        try {
            msgs = KafkaUtils.fetchMessages(_spoutConfig, _consumer, _partition, offset);
        } catch (UpdateOffsetException e) {
            _emittedToOffset = KafkaUtils.getOffset(_consumer, _spoutConfig.topic, _partition.partition, _spoutConfig);
            LOG.warn("Using new offset: {}", _emittedToOffset);
            // fetch failed, so don't update the metrics
            return;
        }
        if (msgs != null) {
            int numMessages = 0;
            for (MessageAndOffset msg : msgs) {
                final Long cur_offset = msg.offset();
                if (cur_offset < offset) {
                    // Skip any old offsets.
                    continue;
                }
                if (!had_failed || failed.contains(cur_offset)) {
                    numMessages += 1;
                    _pending.add(cur_offset);
                    _waitingToEmit.add(new MessageAndRealOffset(msg.message(), cur_offset));
                    _emittedToOffset = Math.max(msg.nextOffset(), _emittedToOffset);
                    if (had_failed) {
                        failed.remove(cur_offset);
                    }
                }
            }
        }
}

























你可能感兴趣的:(storm kafka)






    

  • Kafka 消息丢失如何处理？
架构文摘JGWZ
学习

    今天给大家分享一个在面试中经常遇到的问题：Kafka消息丢失该如何处理？这个问题啊，看似简单，其实里面藏着很多“套路”。来，咱们先讲一个面试的“真实”案例。面试官问：“Kafka消息丢失如何处理？”小明一听，反问：“你是怎么发现消息丢失了？”面试官顿时一愣，沉默了片刻后，可能有点不耐烦，说道：“这个你不用管，反正现在发现消息丢失了，你就说如何处理。”小明一头雾水：“问题是都不知道怎么丢的，处理起来
    

    • 

  • 【六】阿伟开始搭建Kafka学习环境
能源恒观
中间件学习kafkaspring

    阿伟开始搭建Kafka学习环境概述上一篇文章阿伟学习了Kafka的核心概念，并且把市面上流行的消息中间件特性进行了梳理和对比，方便大家在学习过程中进行对比学习，最后梳理了一些Kafka使用中经常遇到的Kafka难题以及解决思路，经过上一篇的学习我相信大家对Kafka有了初步的认识，本篇将继续学习Kafka。一、安装和配置学习一项技术首先要搭建一套服务，而Kafka的运行主要需要部署jdk、zook
    

    • 

  • Java面试题精选：消息队列(二)
芒果不是芒
Java面试题精选javakafka

    一、Kafka的特性1.消息持久化：消息存储在磁盘，所以消息不会丢失2.高吞吐量：可以轻松实现单机百万级别的并发3.扩展性：扩展性强，还是动态扩展4.多客户端支持：支持多种语言（Java、C、C++、GO、）5.KafkaStreams（一个天生的流处理）:在双十一或者销售大屏就会用到这种流处理。使用KafkaStreams可以快速的把销售额统计出来6.安全机制：Kafka进行生产或者消费的时候会
    

    • 

  • Kafka是如何保证数据的安全性、可靠性和分区的
喜欢猪猪
kafka分布式

    Kafka作为一个高性能、可扩展的分布式流处理平台，通过多种机制来确保数据的安全性、可靠性和分区的有效管理。以下是关于Kafka如何保证数据安全性、可靠性和分区的详细解析：一、数据安全性SSL/TLS加密：Kafka支持SSL/TLS协议，通过配置SSL证书和密钥来加密数据传输，确保数据在传输过程中不会被窃取或篡改。这一机制有效防止了中间人攻击，保护了数据的安全性。SASL认证：Kafka支持多种
    

    • 

  • html+css网页设计 旅游网站首页1个页面
html+css+js网页设计
htmlcss旅游

    html+css网页设计旅游网站首页1个页面网页作品代码简单，可使用任意HTML辑软件（如：Dreamweaver、HBuilder、Vscode、Sublime、Webstorm、Text、Notepad++等任意html编辑软件进行运行及修改编辑等操作）。获取源码1，访问该网站https://download.csdn.net/download/qq_42431718/897527112，点击
    

    • 

  • webstorm报错TypeError: this.cliEngine is not a constructor
Blue_Color

    点击Details在控制台会显示报错的位置TypeError:this.cliEngineisnotaconstructoratESLintPlugin.invokeESLint(/Applications/RubyMine.app/Contents/plugins/JavaScriptLanguage/languageService/eslint/bin/eslint-plugin.js:97:
    

    • 

  • Kafka详细解析与应用分析
芊言芊语
kafka分布式

    Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），由LinkedIn公司最初采用Scala语言开发，并基于ZooKeeper协调管理。如今，Kafka已经被Apache基金会纳入其项目体系，广泛应用于大数据实时处理领域。Kafka凭借其高吞吐量、持久化、分布式和可靠性的特点，成为构建实时流数据管道和流处理应用程序的重要工具。Kafka架构Kafka的架构主要由
    

    • 

  • Kafka 基础与架构理解
StaticKing
KAFKAkafka

    目录前言Kafka基础概念消息队列简介：Kafka与传统消息队列（如RabbitMQ、ActiveMQ）的对比Kafka的组件Kafka的工作原理：消息的生产、分发、消费流程Kafka系统架构Kafka的分布式架构设计Leader-Follower机制与数据复制Log-basedStorage和持久化Broker间通信协议Zookeeper在Kafka中的角色总结前言Kafka是一个分布式的消息系
    

    • 

  • 全面指南：用户行为从前端数据采集到实时处理的最佳实践
数字沉思
营销流量运营系统架构前端内容运营大数据

    引言在当今的数据驱动世界，实时数据采集和处理已经成为企业做出及时决策的重要手段。本文将详细介绍如何通过前端JavaScript代码采集用户行为数据、利用API和Kafka进行数据传输、通过Flink实时处理数据的完整流程。无论你是想提升产品体验还是做用户行为分析，这篇文章都将为你提供全面的解决方案。设计一个通用的ClickHouse表来存储用户事件时，需要考虑多种因素，包括事件类型、时间戳、用户信
    

    • 

  • Docker安装Kafka和Kafka-Manager
阿靖哦

    本文介绍如何通过Docker安装kafka与kafka界面管理界面一、拉取zookeeper由于kafka需要依赖于zookeeper，因此这里先运行zookeeper1、拉取镜像dockerpullwurstmeister/zookeeper2、启动dockerrun-d--namezookeeper-p2181:2181-eTZ="Asia/Shanghai"--restartalwayswu
    

    • 

  • 主流行架构
rainbowcheng
架构架构

    nexus，gitlab,svn,jenkins,sonar,docker，apollo，catteambition，axure，蓝湖，禅道,WCP；redis，kafka，es，zookeeper，dubbo，shardingjdbc，mysql，InfluxDB，Telegraf，Grafana，Nginx，xxl-job，Neo4j,NebulaGraph是一个高性能的,NOSQL图形数据库
    

    • 

  • [附源码]SSM计算机毕业设计游戏账号交易平台JAVA
计算机程序源码
java游戏mysql

    项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
    

    • 

  • 月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线
「已注销」
个人总结hadoop

    一、时间线梳理3月3日，寻找到同专业的就业伙伴3月5日，着手准备Java八股文，决定先走Java后端路线3月8月，申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka的视频，同时在准备实习的项目3月20日，退
    

    • 

  • 分布式消息队列Kafka
叶域
大数据分布式kafkascalaspark

    分布式消息队列Kafka简介：Kafka是一个分布式消息队列系统，用于处理实时数据流。消息按照主题（Topic）进行分类存储，发送消息的实体称为Producer，接收消息的实体称为Consumer。Kafka集群由多个Kafka实例（Server）组成，每个实例称为Broker。主要用途：广泛应用于构建实时数据管道和流应用程序，适用于需要高吞吐量和低延迟的数据处理场景依赖：Kafka集群和消费者依
    

    • 

  • Java中的大数据处理框架对比分析
省赚客app开发者
java开发语言

    Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
    

    • 

  • K8S学习之PV&&PVC
david161

    部署mysql之前我们需要先了解一个概念有状态服务。这是一种特殊的服务，简单的归纳下就是会产生需要持久化的数据，并且有很强的I/O需求，且重启需要依赖上次存储到磁盘的数据。如典型的mysql，kafka，zookeeper等等。在我们有比较优秀的商业存储的前提下，非常推荐使用有状态服务进行部署，计算和存储分离那是相当的爽的。在实际生产中如果没有这种存储，localPV也是不错的选择，当然local
    

    • 

  • Python+Django毕业设计校园易购二手交易平台（程序+LW+部署）
Python、JAVA毕设程序源码
课程设计javamysql

    项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：SSM+mybatis+Maven+Vue等等组成，B/S模式+Maven管理等等。环境需要1.运行环境：最好是javajdk1.8，我们在这个平台上运行的。其他版本理论上也可以。2.ID
    

    • 

  • Kafka系列之：kafka命令详细总结
快乐骑行^_^
日常分享专栏KafkaKafka系列kafka命令详细总结

    Kafka系列之：kafka命令详细总结一、添加和删除topic二、修改topic三、平衡领导者四、检查消费者位置五、管理消费者群体一、添加和删除topicbin/kafka-topics.sh--bootstrap-serverbroker_host:port--create--topicmy_topic_name\--partitions20--replication-factor3--con
    

    • 

  • 搭建Kafka+zookeeper集群调度
krb___
kafka分布式

    前言硬件环境172.18.0.5kafkazk1Kafka+zookeeperKafkaBroker集群172.18.0.6kafkazk2Kafka+zookeeperKafkaBroker集群172.18.0.7kafkazk3Kafka+zookeeperKafkaBroker集群软件环境zookeeper3.5.9资源调度、写作Kafka2.8.0消息通信中间件安装JDK1.8安装搭建zo
    

    • 

  • Hbase - kerberos认证异常
kikiki2

    之前怎么认证都认证不上，问题找了好了，发现它的异常跟实际操作根本就对不上，死马当活马医，当时也是瞎改才好的，给大家伙记录记录。KrbException:ServernotfoundinKerberosdatabase(7)-LOOKING_UP_SERVER>>>KdcAccessibility:removestorm1.starsriver.cnatsun.security.krb5.KrbTg
    

    • 

  • Kafka和Pulsar深入解析
jasen91
大数据开发kafka分布式

    Kafka多租户：单租户系统数据迁移：依赖MirrorMaker，需要额外维护。市场上也有ConfluentReplicator等供应商工具。分层存储：由供应商提供商业使用。组件依赖：KafkaRaft（KRaft）从Kafka2.8开始处于早期访问模式，允许Kafka在没有ZooKeeper的情况下工作。这对Kafka来说是一个显著的优势，因为它简化了Kafka的体系结构并降低了学习成本。云原生
    

    • 

  • Linux系统部署Kafka教学
情书学长
linux学习笔记kafka

    第一步：Zookeeper安装（准备工作）1、解压安装将安装包上传到/opt/software目录下，解压并修改名称tar-zxvfapache-zookeeper-3.5.7-bin.tar.gz-C/opt/module/mvapache-zookeeper-3.5.7-bin/zookeeper2、配置服务器编号1)在/opt/module/zookeeper-3.5.7/这个目录下创建zk
    

    • 

  • 数仓开发之DWD层完整使用 (第五章)
小坏讲微服务
数据仓库hadoopscalakafka

    数仓开发之DWD层完整使用一、流量域未精加工的事务事实表1、主要任务1）数据清洗（ETL）2）新老访客状态标记修复3）分流2、思路1）数据清洗（ETL）2）新老访客状态标记修复（1）前端埋点新老访客状态标记设置规则（2）新老访客状态标记修复思路3）利用侧输出流实现数据拆分（1）埋点日志结构分析（2）分流日志分类（3）分流思路3、图解4、代码1）在KafkaUtil工具类中补充getKafkaPro
    

    • 

  • Kafka 应用场景
zinuxer
kafka分布式

    数据流处理：Kafka支持实时数据流处理，能够在数据流动时进行处理和分析，确保应用程序与最新信息保持同步！日志聚合：可以将来自不同来源的日志集中和聚合，简化应用程序的调试和监控！消息队列：Kafka充当高性能的消息队列，确保不同系统组件之间可靠且可扩展的通信！网络活动追踪：Kafka可以追踪网络活动，改进用户体验和推动业务增长！数据复制：Kafka允许在多个集群之间实现无缝数据复制，确保高可用性和
    

    • 

  • Kafka的ack机制
香山上的麻雀

    ack=0/1/-1的不同情况：0：producer不等待broker的ack，broker一接收到还没有写入磁盘就已经返回，当broker故障时有可能丢失数据；1：producer等待broker的ack，partition的leader落盘成功后返回ack，如果在follower同步成功之前leader故障，那么将会丢失数据；-1：producer等待broker的ack，partition的
    

    • 

  • Kafka 实战 - Kafka分区和副本机制理解
用心去追梦
kafka分布式

    ApacheKafka的分区（Partition）和副本（Replica）机制是其核心架构和可靠性保证的关键组成部分。以下是对其理解的详细解释：分区（Partition）分区概念：在Kafka中，每个主题（Topic）可以被划分为多个分区。分区是一个有序的、不可变的消息序列。这意味着消息在分区中按生成顺序存储，每个消息都有一个唯一的偏移量（Offset）。目的：分区的主要目的是为了水平扩展和并行处
    

    • 

  • 编程常用命令总结
Yellow0523
LinuxBigData大数据

    编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令kafka命令Hibench命令MySQL命令3.Linux常用命令Git命令conda命令pip命令查看Linux系统的详细信息查看Linux系统架构(X86还是ARM，两种方法都可)端口号命令L
    

    • 

  • zookeeper+kafka消息队列部署
TBF610218
zookeeperkafka分布式

    消息队列的概念什么是消息队列消息是指在应用间传送的数据消息队列是一种应用间的通信方式解决方法，确保消息的可靠传递专门为消息做缓存的消息队列的特征存储将消息存储在某个类型的缓冲区中，指导目标进读取这些消息或者将其从消息队列中显示移除为止异步消息队列通过缓冲消息可以在应用程序当中公开一定程度的异步性，允许源进程发送消息并在队列当中累积消息，而且目标进程可以挑选消息并进行处理为什么需要消息队列解耦冗余扩
    

    • 

  • 分布式中间件-几个常用的消息中间件
问道飞鱼
分布式技术分布式中间件

    文章目录常见消息中间件1.RabbitMQ2.ApacheKafka3.RedisPub/Sub4.ActiveMQ5.AmazonSimpleNotificationService(SNS)和SimpleQueueService(SQS)6.RocketMQ差异总结消息协议1.AMQP(AdvancedMessageQueuingProtocol)2.STOMP(SimpleTextOrient
    

    • 

  • kafka php 教程,php 使用kafka
weixin_39713841
kafkaphp教程

    准备工作gitclonehttps://github.com/edenhill/librdkafka.git./configuremakesudomakeinstall$gitclonehttps://github.com/arnaud-lb/php-rdkafka.git#生成configure文件$/Users/shiyibo/LNMP/php/bin/phpize#编译安装$./config
    

    • 

  • Java实现的基于模板的网页结构化信息精准抽取组件：HtmlExtractor
yangshangchuan
信息抽取HtmlExtractor精准抽取信息采集

    HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件，本身并不包含爬虫功能，但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。
 
HtmlExtractor是为大规模分布式环境设计的，采用主从架构，主节点负责维护抽取规则，从节点向主节点请求抽取规则，当抽取规则发生变化，主节点主动通知从节点，从而能实现抽取规则变化之后的实时动态生效。
如
    

    • 

  • java编程思想 -- 多态
百合不是茶
java多态详解

    一: 向上转型和向下转型
面向对象中的转型只会发生在有继承关系的子类和父类中（接口的实现也包括在这里）。父类：人    子类：男人向上转型： Person p = new Man() ; //向上转型不需要强制类型转化向下转型： Man man =
    

    • 

  • [自动数据处理]稳扎稳打,逐步形成自有ADP系统体系
comsci
dp

    
      对于国内的IT行业来讲,虽然我们已经有了"两弹一星",在局部领域形成了自己独有的技术特征,并初步摆脱了国外的控制...但是前面的路还很长....
      首先是我们的自动数据处理系统还无法处理很多高级工程...中等规模的拓扑分析系统也没有完成,更加复杂的
    

    • 

  • storm 自定义 日志文件
商人shang
stormclusterlogback

    Storm中的日志级级别默认为INFO，并且，日志文件是根据worker号来进行区分的，这样，同一个log文件中的信息不一定是一个业务的，这样就会有以下两个需求出现：
1. 想要进行一些调试信息的输出
2. 调试信息或者业务日志信息想要输出到一些固定的文件中
 
不要怕，不要烦恼，其实Storm已经提供了这样的支持，可以通过自定义logback 下的 cluster.xml 来输
    

    • 

  • Extjs3 SpringMVC使用 @RequestBody 标签问题记录
21jhf

    springMVC使用 @RequestBody(required = false) UserVO userInfo
传递json对象数据，往往会出现http 415，400,500等错误，总结一下需要使用ajax提交json数据才行，ajax提交使用proxy，参数为jsonData，不能为params；另外，需要设置Content-type属性为json，代码如下：
（由于使用了父类aaa
    

    • 

  • 一些排错方法
文强chu
方法

    1、java.lang.IllegalStateException: Class invariant violation
at org.apache.log4j.LogManager.getLoggerRepository(LogManager.java:199)at org.apache.log4j.LogManager.getLogger(LogManager.java:228)
at o
    

    • 

  • Swing中文件恢复我觉得很难
小桔子
swing

           我那个草了！老大怎么回事，怎么做项目评估的？只会说相信你可以做的，试一下，有的是时间！
       用java开发一个图文处理工具，类似word，任意位置插入、拖动、删除图片以及文本等。文本框、流程图等，数据保存数据库，其余可保存pdf格式。ok,姐姐千辛万苦，
    

    • 

  • php 文件操作
aichenglong
PHP读取文件写入文件

    1 写入文件
@$fp=fopen("$DOCUMENT_ROOT/order.txt", "ab");
if(!$fp){
echo "open file error" ;
exit;
}
$outputstring="date:"." \t tire:".$tire."
    

    • 

  • MySQL的btree索引和hash索引的区别
AILIKES
数据结构mysql算法

    Hash 索引结构的特殊性，其 检索效率非常高，索引的检索可以一次定位，不像B-Tree 索引需要从根节点到枝节点，最后才能访问到页节点这样多次的IO访问，所以 Hash 索引的查询效率要远高于 B-Tree 索引。    
可能很多人又有疑问了，既然 Hash 索引的效率要比 B-Tree 高很多，为什么大家不都用 Hash 索引而还要使用 B-Tree 索引呢
    

    • 

  • JAVA的抽象--- 接口 --实现
百合不是茶

    抽象 接口 实现接口
 
//抽象 类 ,方法
 
//定义一个公共抽象的类 ,并在类中定义一个抽象的方法体
抽象的定义使用abstract
 
abstract class A 定义一个抽象类 例如：
//定义一个基类
public abstract class A{
 
 
//抽象类不能用来实例化，只能用来继承
//
    

    • 

  • JS变量作用域实例
bijian1013
作用域

    <script>
var scope='hello';
function a(){
console.log(scope); //undefined
var scope='world';
console.log(scope); //world
console.log(b); 
    

    • 

  • TDD实践（二）
bijian1013
javaTDD

    实践题目：分解质因数
Step1：
单元测试：
package com.bijian.study.factor.test;
import java.util.Arrays;
import junit.framework.Assert;
import org.junit.Before;
import org.junit.Test;
import com.bijian.
    

    • 

  • [MongoDB学习笔记一]MongoDB主从复制
bit1129
mongodb

    MongoDB称为分布式数据库，主要原因是1.基于副本集的数据备份， 2.基于切片的数据扩容。副本集解决数据的读写性能问题，切片解决了MongoDB的数据扩容问题。
  事实上，MongoDB提供了主从复制和副本复制两种备份方式，在MongoDB的主从复制和副本复制集群环境中，只有一台作为主服务器，另外一台或者多台服务器作为从服务器。 本文介绍MongoDB的主从复制模式，需要指明
    

    • 

  • 【HBase五】Java API操作HBase
bit1129
hbase

    import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.ha
    

    • 

  • python调用zabbix api接口实时展示数据
ronin47

    zabbix api接口来进行展示。经过思考之后，计划获取如下内容：     1、  获得认证密钥     2、  获取zabbix所有的主机组     3、  获取单个组下的所有主机     4、  获取某个主机下的所有监控项  
    

    • 

  • jsp取得绝对路径
byalias
绝对路径

    在JavaWeb开发中，常使用绝对路径的方式来引入JavaScript和CSS文件，这样可以避免因为目录变动导致引入文件找不到的情况，常用的做法如下：
一、使用${pageContext.request.contextPath}
　　代码” ${pageContext.request.contextPath}”的作用是取出部署的应用程序名，这样不管如何部署，所用路径都是正确的。

    

    • 

  • Java定时任务调度：用ExecutorService取代Timer
bylijinnan
java

    《Java并发编程实战》一书提到的用ExecutorService取代Java Timer有几个理由，我认为其中最重要的理由是：
如果TimerTask抛出未检查的异常，Timer将会产生无法预料的行为。Timer线程并不捕获异常，所以 TimerTask抛出的未检查的异常会终止timer线程。这种情况下，Timer也不会再重新恢复线程的执行了;它错误的认为整个Timer都被取消了。此时，已经被
    

    • 

  • SQL 优化原则
chicony
sql

    
一、问题的提出
　在应用系统开发初期，由于开发数据库数据比较少，对于查询SQL语句，复杂视图的的编写等体会不出SQL语句各种写法的性能优劣，但是如果将应用系统提交实际应用后，随着数据库中数据的增加，系统的响应速度就成为目前系统需要解决的最主要的问题之一。系统优化中一个很重要的方面就是SQL语句的优化。对于海量数据，劣质SQL语句和优质SQL语句之间的速度差别可以达到上百倍，可见对于一个系统
    

    • 

  • java 线程弹球小游戏
CrazyMizzz
java游戏

    最近java学到线程，于是做了一个线程弹球的小游戏，不过还没完善
这里是提纲
1.线程弹球游戏实现
1.实现界面需要使用哪些API类
JFrame
JPanel
JButton
FlowLayout
Graphics2D
Thread
Color
ActionListener
ActionEvent
MouseListener
Mouse
    

    • 

  • hadoop jps出现process information unavailable提示解决办法
daizj
hadoopjps

    hadoop jps出现process information unavailable提示解决办法  
jps时出现如下信息：
3019 -- process information unavailable3053 -- process information unavailable2985 -- process information unavailable2917 -- 
    

    • 

  • PHP图片水印缩放类实现
dcj3sjt126com
PHP

    
<?php
class Image{
private $path;
function __construct($path='./'){
$this->path=rtrim($path,'/').'/';
}
//水印函数，参数：背景图，水印图，位置，前缀,TMD透明度
public function water($b,$l,$pos
    

    • 

  • IOS控件学习：UILabel常用属性与用法
dcj3sjt126com
iosUILabel

    参考网站：
http://shijue.me/show_text/521c396a8ddf876566000007
http://www.tuicool.com/articles/zquENb
http://blog.csdn.net/a451493485/article/details/9454695
http://wiki.eoe.cn/page/iOS_pptl_artile_281
    

    • 

  • 完全手动建立maven骨架
eksliang
javaeclipseWeb

    建一个 JAVA 项目 ：
mvn archetype:create
-DgroupId=com.demo
-DartifactId=App
[-Dversion=0.0.1-SNAPSHOT]
[-Dpackaging=jar]
建一个 web 项目 ：
mvn archetype:create
-DgroupId=com.demo
-DartifactId=web-a
    

    • 

  • 配置清单
gengzg
配置

    1、修改grub启动的内核版本
vi /boot/grub/grub.conf
将default 0改为1
拷贝mt7601Usta.ko到/lib文件夹
拷贝RT2870STA.dat到 /etc/Wireless/RT2870STA/文件夹
拷贝wifiscan到bin文件夹，chmod 775 /bin/wifiscan
拷贝wifiget.sh到bin文件夹，chm
    

    • 

  • Windows端口被占用处理方法
huqiji
windows

    以下文章主要以80端口号为例，如果想知道其他的端口号也可以使用该方法..........................1、在windows下如何查看80端口占用情况?是被哪个进程占用?如何终止等.        这里主要是用到windows下的DOS工具,点击"开始"--"运行",输入&
    

    • 

  • 开源ckplayer 网页播放器， 跨平台(html5, mobile)，flv, f4v, mp4, rtmp协议. webm, ogg, m3u8 ！
天梯梦
mobile

    CKplayer，其全称为超酷flv播放器，它是一款用于网页上播放视频的软件，支持的格式有：http协议上的flv,f4v,mp4格式，同时支持rtmp视频流格 式播放，此播放器的特点在于用户可以自己定义播放器的风格，诸如播放/暂停按钮，静音按钮，全屏按钮都是以外部图片接口形式调用，用户根据自己的需要制作 出播放器风格所需要使用的各个按钮图片然后替换掉原始风格里相应的图片就可以制作出自己的风格了，
    

    • 

  • 简单工厂设计模式
hm4123660
java工厂设计模式简单工厂模式

           简单工厂模式（Simple Factory Pattern）属于类的创新型模式，又叫静态工厂方法模式。是通过专门定义一个类来负责创建其他类的实例，被创建的实例通常都具有共同的父类。简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。简单工厂模式是工厂模式家族中最简单实用的模式，可以理解为是不同工厂模式的一个特殊实现。 
    

    • 

  • maven笔记
zhb8015
maven

    跳过测试阶段：
mvn package -DskipTests
临时性跳过测试代码的编译：
mvn package -Dmaven.test.skip=true
 
maven.test.skip同时控制maven-compiler-plugin和maven-surefire-plugin两个插件的行为，即跳过编译，又跳过测试。
 
指定测试类
mvn test
    

    • 

  • 非mapreduce生成Hfile，然后导入hbase当中
Stark_Summer
maphbasereduceHfilepath实例

    最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，都没有达到理想的那种速度，然后就想到了这种方式，但是网上多是用mapreduce来实现入库，而现在的需求是实时入库，不生成文件了，所以就只能自己用代码实现了，但是网上查了很多资料都没有查到，最后在一个网友的指引下，看了源码，最后找到了生成Hfile
    

    • 

  • jsp web tomcat 编码问题
王新春
tomcatjsppageEncode

    今天配置jsp项目在tomcat上，windows上正常，而linux上显示乱码，最后定位原因为tomcat 的server.xml 文件的配置，添加 URIEncoding 属性：
<Connector port="8080" protocol="HTTP/1.1"
connectionTi
    

    •