do_young
do_young

分布式系统监控（五）- 日志分析

背景

前面一章节介绍了如何使用rocketmq来归集数据信息，下面将介绍如何使用storm从rocketmq中获取日志信息，并将消息转换为流信息进行统计分析。

storm简介

Storm集群和Hadoop集群表面上看很类似｡但是Hadoop上运行的是MapReduce jobs,而在Storm上运行的是拓扑(topology),这两者之间是非常不一样的｡一个关键的区别是: 一个MapReduce job最终会结束, 而一个topology永远会运行(除非你手动kill掉)｡
在Storm的集群里面有两种节点: 控制节点(master node)和工作节点(worker node)｡控制节点上面运行一个叫Nimbus后台程序,它的作用类似Hadoop里面的JobTracker｡Nimbus负责在集群里面分发代码,分配计算任务给机器,并且监控状态｡
每一个工作节点上面运行一个叫做Supervisor的节点｡Supervisor会监听分配给它那台机器的工作,根据需要启动/关闭工作进程worker｡每一个工作进程执行一个topology的一个子集;一个运行的topology由运行在很多机器上的很多工作进程worker组成。


分布式系统监控（五）- 日志分析_第1张图片
storm-run-map.png

Nimbus和Supervisor之间的所有协调工作都是通过Zookeeper集群完成｡另外,Nimbus进程和Supervisor进程都是快速失败(fail-fast)和无状态的｡所有的状态要么在zookeeper里面, 要么在本地磁盘上｡这也就意味着你可以用kill -9来杀死Nimbus和Supervisor进程, 然后再重启它们,就好像什么都没有发生过｡这个设计使得Storm异常的稳定｡

Topology

计算任务Topology是由不同的Spouts和Bolts,通过数据流(Stream)连接起来的图｡下面是一个Topology的结构示意图:


分布式系统监控（五）- 日志分析_第2张图片
storm-base.png

其中包含有：

Spout

Storm中的消息源,用于为Topology生产消息(数据),一般是从外部数据源(如Message Queue､RDBMS､NoSQL､Realtime Log)不间断地读取数据并发送给Topology消息(tuple元组)｡Spout可以是可靠的，也可以是不可靠的。如果这个tuple没有被Storm完全处理，可靠的消息源可以重新发射一个tuple，但是不可靠的消息源一旦发出一个tuple就不能重发了。（可靠性会在下面介绍）
Spout类里面最重要的方法是nextTuple｡要么发射一个新的tuple到topology里面或者简单的返回(如果已经没有新的tuple)｡要注意的是nextTuple方法不能阻塞,因为storm在同一个线程上面调用所有消息源spout的方法｡
另外两个比较重要的spout方法是ack和fail｡storm在检测到一个tuple被整个topology成功处理的时候调用ack,否则调用fail｡storm只对可靠的spout调用ack和fail｡

Bolt

Storm中的消息处理者,用于为Topology进行消息的处理,Bolt可以执行过滤, 聚合, 查询数据库等操作,而且可以一级一级的进行处理｡

storm安装及开发

将下载的包解压即可。

storm开发

开发环境搭建。

创建一个常规的java工程或maven工程就可以，并引入storm包的依赖。

        
            org.apache.storm
            storm-core
            ${storm.version}
            provided

spout开发

由于我们的日志归集组件使用的RocketMq,所以我们需要使用RocketMq开发spout类，在storm运行环境中运行RocketMq的消费端，获取指定主题的消息队列数据。由于storm发行发布的稳定版默认没有集成RocketMq组件，所以需要将RocketMq集成到storm中，使用RocketMq定义的spout来获取rocketmq的中消息信息。
由于storm最新开发的主干上已经集成了RocketMq,但中因为与1.2.2版本的核心接口不一致。所以需要将工程源码下载下来进行修改一下。
修改步骤为：
1.导入\external\storm-rocketmq工程
2.修改工程的pom.xml文件，将storm-core的依赖版本修改为1.2.2
3.修复编译异常，主是是将接口中Map修改为Map。
4.为了能在Spout中输出的Tuple中获取RocketMq的tags和keys属性信息，将org.apache.storm.rocketmq.RocketMqUtils.java进行了重构。

    /**
     * Generate Storm tuple values by Message and Scheme.
     * @param msg RocketMQ Message
     * @param scheme Scheme for deserializing
     * @return tuple values
     */
    public static List generateTuples(Message msg, Scheme scheme) {
        List tup;
        String rawKey = msg.getKeys();
        ByteBuffer body = ByteBuffer.wrap(msg.getBody());
        if (rawKey != null && scheme instanceof KeyValueScheme) {
            ByteBuffer key = ByteBuffer.wrap(rawKey.getBytes(StandardCharsets.UTF_8));
            tup = ((KeyValueScheme)scheme).deserializeKeyAndValue(key, body);
//ADD BEGIN
        } if (scheme instanceof MessageScheme) {
            tup = ((MessageScheme)scheme).deserializeValue(msg);
//ADD END
        }  else {
            tup = scheme.deserialize(body);
        }
        return tup;
    }
 
 
并添加一个接口MessageScheme：
 
 
package org.apache.storm.rocketmq.spout.scheme;

import java.util.List;

import org.apache.rocketmq.common.message.Message;
import org.apache.storm.spout.Scheme;

public interface MessageScheme extends Scheme {
    List deserializeValue(Message msg);
}
 
 
和一个实现类 DefaultMessageScheme：
 
 
package org.apache.storm.rocketmq.spout.scheme;

import java.nio.ByteBuffer;
import java.util.List;

import org.apache.rocketmq.common.message.Message;
import org.apache.storm.tuple.Fields;
import org.apache.storm.tuple.Values;

public class DefaultMessageScheme extends StringScheme implements MessageScheme {
    public static final String FIELD_TAGS = "Tags";
    public static final String FIELD_TEYS = "Keys";
    public static final String FIELD_BODY = "Body";
    public static final Fields DEFAULT_FIELDS = new Fields("Tags", "Keys", "Body");

    @Override
    public List deserializeValue(Message msg) {
        ByteBuffer body = ByteBuffer.wrap(msg.getBody());
        String bodyStr = deserializeString(body);
        return new Values(msg.getTags(), msg.getKeys(), bodyStr);
    }

    @Override
    public Fields getOutputFields() {
        return DEFAULT_FIELDS;
    }
}
 
 
最终将工程编译的jar包放在storm的lib目录下，并且在工程中引入该组件包。
 
 
        
                     
            com.going.saas
            going-storm-rocketmq
            0.0.1-SNAPSHOT
        
        
            com.alibaba.rocketmq
            rocketmq-client
            3.6.2.Final
        

 
 
到这一步就可以直接使用RocketMqSpout了，首先创建一个Properties类，设置创建RocketMq消息端所需要的参数。
 
 
        Properties properties = new Properties();
        properties.setProperty(SpoutConfig.NAME_SERVER_ADDR, "10.209.8.126:9876");
        properties.setProperty(SpoutConfig.CONSUMER_GROUP, "RESOURCE_INFOS_CONSUMER_GRP");
        properties.setProperty(SpoutConfig.CONSUMER_TOPIC, "RESOURCES_INFO_TOPIC");
        properties.setProperty(SpoutConfig.SCHEME,SpoutConfig.MESSAGE_SCHEME);

 
 
再根据参数创建RocketMqSpout对象即可。
 
 
new RocketMqSpout(properties)

 
 
Bolt开发
 
 
该例子中开发一个Bolt，处理从Spout中获取转为Tuple对象的消息信息。将信息存在Redis中。
 
 
import org.apache.storm.redis.bolt.AbstractRedisBolt;
import org.apache.storm.redis.common.config.JedisPoolConfig;
import org.apache.storm.rocketmq.spout.scheme.DefaultMessageScheme;
import org.apache.storm.topology.OutputFieldsDeclarer;
import org.apache.storm.tuple.Tuple;

import redis.clients.jedis.JedisCommands;

/**
 * 获取终端发来的资源利用信息， 将新获取的资源信息替换旧的资源信息。
 * 
 * @author Administrator
 *
 */
public class ResourcesInfoSplitBolt extends AbstractRedisBolt {

    private static final String REDIS_KEY_PREFIX = "RESOURCE_INFO_";
    
    public ResourcesInfoSplitBolt(JedisPoolConfig config) {
        super(config);
    }

    @Override
    public void declareOutputFields(OutputFieldsDeclarer declarer) {
    }

    @Override
    protected void process(Tuple tuple) {
        JedisCommands jedisCommands = null;
        try {
            String body = tuple.getStringByField(DefaultMessageScheme.FIELD_BODY);
            String tags = tuple.getStringByField(DefaultMessageScheme.FIELD_TAGS).trim();
            
            jedisCommands = getInstance();
            jedisCommands.lpush(REDIS_KEY_PREFIX+tags, body);

        } finally {
            if (jedisCommands != null) {
                returnInstance(jedisCommands);
            }
            this.collector.ack(tuple);
        }
    }

 
 
Topology开发
 
 
Spout和Bolt开发完成以后，就需要开发Topology将它们串连起来，具体示例代码如下：
 
 
import java.util.Properties;
import org.apache.storm.Config;
import org.apache.storm.LocalCluster;
import org.apache.storm.redis.common.config.JedisPoolConfig;
import org.apache.storm.rocketmq.SpoutConfig;
import org.apache.storm.rocketmq.spout.RocketMqSpout;
import org.apache.storm.topology.TopologyBuilder;
import com.going.storm.bolt.ResourcesInfoSplitBolt;

public class ResourceInfosTopology {

    public static void main(String[] args) throws InterruptedException {
        

        Properties properties = new Properties();
        properties.setProperty(SpoutConfig.NAME_SERVER_ADDR, "10.209.8.126:9876");
        properties.setProperty(SpoutConfig.CONSUMER_GROUP, "RESOURCE_INFOS_CONSUMER_GRP");
        properties.setProperty(SpoutConfig.CONSUMER_TOPIC, "RESOURCES_INFO_TOPIC");
        properties.setProperty(SpoutConfig.SCHEME,SpoutConfig.MESSAGE_SCHEME);
        // RocketMqSpout spout = new RocketMqSpout(properties);
        
        properties.setProperty("REDIS_HOST", "10.209.8.126");
        properties.setProperty("REDIS_PORT", "6379");

        // 定义拓扑
        TopologyBuilder builder = new TopologyBuilder();
        builder.setSpout("resouece-info-reader", new RocketMqSpout(properties));
        JedisPoolConfig poolConfig = new JedisPoolConfig.Builder()//
                .setHost(properties.getProperty("REDIS_HOST"))//
                .setPort(Integer.valueOf(properties.getProperty("REDIS_PORT")))//
                .build();
         builder.setBolt("word-normalizer", new  ResourcesInfoSplitBolt(poolConfig)).shuffleGrouping("resouece-info-reader");
         
        // builder.setBolt("word-counter", new WordCounter(),2).fieldsGrouping("word-normalizer", new Fields("word"));

        // 配置
        Config conf = new Config();
        // conf.put("wordsFile", args[0]);
        conf.setDebug(false);

        // 运行拓扑
        conf.put(Config.TOPOLOGY_MAX_SPOUT_PENDING, 1);
        LocalCluster cluster = new LocalCluster();
        cluster.submitTopology("Getting-Started-Resource-Infos-Topologie", conf, builder.createTopology());
        Thread.sleep(1000000000);
        cluster.shutdown();
    }

}

 
 
storm部署运行
 
 
工程开发完成以后就需要将工程进行部署运行。我这里以docker为例对开发的功能进行部署。
 这里基于storm官方的docker镜像进行部署。
 我们基于storm的1.2.2版本的镜像（与本地开发的storm版本保持 一致就好），将工程依赖的第三方包加入到镜像中storm组件的extlib目录下。
 
 
FROM storm:1.2.2

ADD  extlib/dubbo-2.5.8.jar  extlib/dubbo-2.5.8.jar 
ADD  extlib/fastjson-1.2.29.jar  extlib/fastjson-1.2.29.jar 
ADD  extlib/going-storm-rocketmq-0.0.1-SNAPSHOT.jar  extlib/going-storm-rocketmq-0.0.1-SNAPSHOT.jar 
ADD  extlib/guava-13.0.1.jar  extlib/guava-13.0.1.jar 
ADD  extlib/jackson-annotations-2.9.0.jar  extlib/jackson-annotations-2.9.0.jar 
ADD  extlib/jackson-core-2.9.4.jar  extlib/jackson-core-2.9.4.jar 
ADD  extlib/jackson-databind-2.9.4.jar  extlib/jackson-databind-2.9.4.jar 
ADD  extlib/javassist-3.20.0-GA.jar  extlib/javassist-3.20.0-GA.jar 
ADD  extlib/jedis-2.9.0.jar  extlib/jedis-2.9.0.jar 
ADD  extlib/netty-3.2.5.Final.jar  extlib/netty-3.2.5.Final.jar 
ADD  extlib/netty-all-4.0.42.Final.jar  extlib/netty-all-4.0.42.Final.jar 
ADD  extlib/rocketmq-client-3.6.2.Final.jar  extlib/rocketmq-client-3.6.2.Final.jar 
ADD  extlib/rocketmq-client-4.2.0.jar  extlib/rocketmq-client-4.2.0.jar 
ADD  extlib/rocketmq-common-4.2.0.jar  extlib/rocketmq-common-4.2.0.jar 
ADD  extlib/rocketmq-remoting-4.2.0.jar  extlib/rocketmq-remoting-4.2.0.jar 
ADD  extlib/storm-redis-1.2.2.jar extlib/storm-redis-1.2.2.jar


 
 
然后通过生成好的镜像ab/storm生成实例
 
 
docker run -d --name storm-resources -it -v ${LOCAL_PATH}/going-storm-0.0.1-SNAPSHOT.jar:/topology.jar ab/storm storm jar /topology.jar com.going.storm.topology.ResourceInfosTopology

 
 
到这一步日志统计功能即开发完成了，对应的分析功能也可以通过Bolt来完成。
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(分布式系统监控（五）- 日志分析)

        

            

                
    
                    
  • OC语言多界面传值五大方式
                        Magnetic_h
iosui学习objective-c开发语言
                        
    前言在完成暑假仿写项目时，遇到了许多需要用到多界面传值的地方，这篇博客来总结一下比较常用的五种多界面传值的方式。属性传值属性传值一般用前一个界面向后一个界面传值，简单地说就是通过访问后一个视图控制器的属性来为它赋值，通过这个属性来做到从前一个界面向后一个界面传值。首先在后一个界面中定义属性@interfaceBViewController:UIViewController@propertyNSSt
    
                    
    • 
                    
  • 《策划经理回忆录之二》
                        路基雅虎

                        
    话说三年变六年，飘了，飘了……眨眼，2013年5月，老吴回到了他的家乡——油城从新开启他的工作幻想症生涯。很庆幸，这是一家很有追求，同时敢于尝试的，且实力不容低调的新星房企——金源置业(前身泰源置业)更值得庆幸的是第一个盘就是油城十路的标杆之一:金源盛世。2013年5月，到2015年11月，两年的陪伴，迎来了一场大爆发。2000个筹，5万/筹，直接回笼1个亿！！！这……让我开始认真审视这座看似五线
    
                    
    • 
                    
  • 《人世间》
                        南询yi

                        
    今日分享十点推文，《人世间》有感苏格拉底说：“天地只有三尺，而人在五尺开外，所以人人都要懂得低头。”深以为然。懂得低头，不是认输。而是于人世间找寻温存的成熟，于困境中寻觅柳暗花明的智慧，于争执中展示屈伸自如的格局。正如仰头不是骄傲，是要看见自己的天空；低头也不是认输，而是要看清自己的路。成大事者，不仅要抬头挺胸，还得低头看路。懂得低头，进退有度，不是认输，而是竭尽全力过好这一生。宫崎骏说过：“所有
    
                    
    • 
                    
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理
                        STU学生网页设计
网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
                        
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
    
                    
    • 
                    
  • 东南林氏之九牧林候选父系
                        祖缘树TheYtree

                        
    渊源介绍东晋初年晋安林始祖林禄公入闽，传十世隋右丞林茂，由晋安迁居莆田北螺村。又五世而至林万宠，唐开元间任高平太守，生三子：韬、披、昌。韬公之孙攒，唐德宗立双阙以旌表其孝，时号"阙下林家"。昌公字茂吉，乃万宠公第三子，官兵部司马，配宋氏，生一子名萍。萍于唐贞元间明经及第，官沣洲司马(后追赠中宪大夫)。唐太和年间归隐后，迁居仙游游洋，世称“游洋林”；其后裔居游洋后迁移漳州漳浦路下，由路下林第四房平和
    
                    
    • 
                    
  • GitHub上克隆项目
                        bigbig猩猩
github
                        
    从GitHub上克隆项目是一个简单且直接的过程，它允许你将远程仓库中的项目复制到你的本地计算机上，以便进行进一步的开发、测试或学习。以下是一个详细的步骤指南，帮助你从GitHub上克隆项目。一、准备工作1.安装Git在克隆GitHub项目之前，你需要在你的计算机上安装Git工具。Git是一个开源的分布式版本控制系统，用于跟踪和管理代码变更。你可以从Git的官方网站（https://git-scm.
    
                    
    • 
                    
  • 春季养肝正当时
                        dxn悟

                        
    重温快乐2023年2月4日立春。春天来了，春暖花开，小鸟欢唱，那在这样的季节我们如何养肝呢？自然界的春季对应中医五行的木，人体五脏肝属木，“木曰曲直”，是以树干曲曲直直地向上、向外伸长舒展的生发姿态，来形容具有生长、升发、条达、舒畅等特征的食物及现象。根据中医天人相应的理念，肝五行属木，喜条达，主疏泄，与春天相应，所以春天最适合养肝。养肝首先要少生气，因为肝喜条达恶抑郁。人体五志肝为怒，生气发怒最
    
                    
    • 
                    
  • ARM中断处理过程
                        落汤老狗
嵌入式linux
                        
    一、前言本文主要以ARM体系结构下的中断处理为例，讲述整个中断处理过程中的硬件行为和软件动作。具体整个处理过程分成三个步骤来描述：1、第二章描述了中断处理的准备过程2、第三章描述了当发生中的时候，ARM硬件的行为3、第四章描述了ARM的中断进入过程4、第五章描述了ARM的中断退出过程本文涉及的代码来自3.14内核。另外，本文注意描述ARM指令集的内容，有些sourcecode为了简短一些，删除了T
    
                    
    • 
                    
  • 怎么做淘客赚钱(2022最新免费淘客盈利的方法)
                        高省_飞智666600

                        
    很多人都不知道什么是淘宝客，今天小编为大家解答一下吧。淘宝客，现在简称淘客，是时下比较流行的一个词语，特质为淘宝店推广商品获取提成的人，这些人没有自己的产品，只是在淘宝里面选择适合自己的产品，在自己比较熟悉的领域推广，把产品卖出去之后，会从淘宝店家那里获得百分之五到百分之五十左右的佣金。淘宝客付出的是什么呢？时间。你需要花时间去选适合自己推广的产品，需要花时间去选自己的推广方法，如果你打算自己做个
    
                    
    • 
                    
  • Python爬虫解析工具之xpath使用详解
                        eqa11
python爬虫开发语言
                        
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
    
                    
    • 
                    
  • 01-Git初识
                        Meereen
Gitgit
                        
    01-Git初识概念：一个免费开源，分布式的代码版本控制系统，帮助开发团队维护代码作用：记录代码内容。切换代码版本，多人开发时高效合并代码内容如何学：个人本机使用：Git基础命令和概念多人共享使用：团队开发同一个项目的代码版本管理Git配置用户信息配置：用户名和邮箱，应用在每次提交代码版本时表明自己的身份命令：查看git版本号git-v配置用户名gitconfig--globaluser.name
    
                    
    • 
                    
  • 【穿过丛林看见你】2015年在《诗歌报》读诗日记（一）
                        快快_ce70

                        
    写完《三月的领土》和《手握一把锄头，在翻动诗歌的春天》之后，安稳的睡了个好觉，这是从2013年的五月之后，第一次睡的如此安稳和香甜。其实这对于我来说，也没有什么特别的意义和变故，就像我现在的生活在人人忙着踏青、写生、拍照的春天。在我脚下，没有领土的完整，也没有加剧的破碎。我曾经和现在都是个辛勤的“蜂农”，在这样一个角色里，尽管有人盗走了我所有的蜜，但不妨碍我对甜蜜的不懈追求和喜爱。翻开最近的阅读笔
    
                    
    • 
                    
  • 《在战“疫”中成长致敬生活》观后感
                        梅子刘的刀

                        
    （作者：周晨）今天上午，我看了“我是接班人”网络大课堂《在战役中成长致敬生活》。有很多人拿出自己攒下的钱，默默地捐给了武汉，有几千块钱的、有几万块钱的，也有十几万块钱的。连小朋友也把自己的压岁钱捐给了武汉。有名环卫工人把自己五年的积蓄全部捐给了武汉。有名外卖小哥为医护人员买鞋子送吃的。还有已经治愈出院的新型肺炎病人捐了400毫升的血浆。还有位叫大树的叔叔，虽然他没有钱，但是他地里有蔬菜，捐了几大卡
    
                    
    • 
                    
  • 王东伟，中原焦点秦皇岛站第五期，每日分享第181天
                        Vivian_c8c7

                        
    《解码青春期》让孩子懂得承担责任，学会道歉。英国诗人亚历山大•蒲柏有句名言：凡人难免犯错宽恕方显神性。学会如何请求对方宽恕对于保持健康的关系至关重要。当青少年把事情搞砸的时候，他们需要从关心他们的成年人那里获得帮助。家长的目标是要培养一个能为自己的行为承担责任的青少年，培养一个敢于诚恳的承认错误，愿意真心悔改的青少年。青少年只关注自己如何委屈，而且会竭尽全力为自己的行为辩解。所以，家长得小心地拆除
    
                    
    • 
                    
  • 《Python数据分析实战终极指南》
                        xjt921122
python数据分析开发语言
                        
    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
    
                    
    • 
                    
  • ES聚合分析原理与代码实例讲解
                        光剑书架上的书
大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
                        
    ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
    
                    
    • 
                    
  • 不要偷走他人的声音
                        天天_27d6

                        
    朱会利焦点讲师班五期洛阳坚持分享第634天《来访者才是主角》2018.08.02今天的中级班课堂上，老师再一次给我们强调了咨询目标的建立过程中，作为咨询师一定要明白，我们只是在协助来访者解决他自身的问题，所以一切以来访者为主，他想解决的问题才是咨询的目标。所以如果在谈话的过程中，出现了我们感觉不是我们想要的答案的时候，我们不是再极力去引导来访者按照我们的思路走，而是觉察自己的预设并且进行调整，谨言
    
                    
    • 
                    
  • 上班的路
                        毛毛虫小姑娘

                        
    七点半起床，拉开窗帘，天公不作美今儿是个阴雨天，天灰蒙蒙的，毛毛雨细细密密洒落下来。脑海里的两个小人开始斗争了，一个说：“毛毛雨啦，穿着风衣打着伞穿行在雨中，是一道亮丽的风景，说不定能遇见帅哥呢！”一个说：“不要不要，走到公司衣服鞋子都潮呼呼的，趴在身上很不舒服，外面湿气这么重，对身体不好！”我思索片刻，慢吞吞为自己冲了杯五谷粉，悠哉悠哉喝完去坐班车了。
    
                    
    • 
                    
  • 《如不承诺天长地久，怎会相遇细水长流》文/苏暖人
                        北京大数据苏焕之

                        
    《如不承诺天长地久，怎会相遇细水长流》文/苏暖人原创——莫转载粘贴有人选择昙花一现，如大理的花海，有人选择细水长流，如雨夜的浪漫。都说，五分喜欢的人恨不得将他挂在嘴边，十分喜欢的人却只舍得放在心里边了，在爱情眼里，对方说的每一句话都在乎你的感受，TA的眼里也只有你，我想也是这样！说起我的爱情，我也喜欢过一个忧郁的女孩，她喜欢的男孩不喜欢她，于是我成了她倾诉的朋友＋备胎，一年来我们互相推荐伤感的歌曲
    
                    
    • 
                    
  • 继续《时光音乐会》
                        湘梅子

                        
    平安夜，与我无关。晚饭后陪孙子玩，直到他入睡。回家，看期待的周五《时光音乐会》。今天的庄主是郁可唯。出道十多年，竟然为影视唱了八十多首歌。她的歌声很温暖，有时还很空灵，声音处理很细腻，听起来很享受。原来《知否，知否》是她原唱，当时电视剧很火，歌我也学会了。我也喜欢她的《路过人间》歌友们谈笑风生，我这个观众也不时会心笑着。每次看完这个节目，总是意犹未尽。也只有这个节目，我先生有兴趣跟我一起看完，还总
    
                    
    • 
                    
  • 一文掌握python常用的list（列表）操作
                        程序员neil
pythonpython开发语言
                        
    目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
    
                    
    • 
                    
  • 《度五行》生活报报甲午62：不通痛苦，太通也痛苦，要健康快乐，需要通体舒畅。
                        YangduSam2021

                        
    220809壬寅戊申甲午，《度.生活五行》:天干土克水，水生木，木克土。地支寅申冲，寅午合。20220809，周二，兴大上海六班2512天，西交大2013上海班3212天，后TA15332天，度生活619天，今天拜访了一家有趣且当红产业的新创公司AK。AK一开始从事深海新能源储存与供电设备的研发生产制造，2年前开始做移动与家庭储能设备的研发生产制造。觉得有趣是因为这是笔者认知里用科技做降维打击的公
    
                    
    • 
                    
  • 生命如花
                        坦释空

                        
    每个人的心中都有一株妙莲花。这是禅家语。禅家总是站在理性的高处，以超越红尘的洒脱来参悟人生和自省生命。那么，凡俗中人呢？生如夏花之绚丽，死如秋叶之静美。这是诗人语。多少人在赞美：姑娘好像花一样！又有多少人在咏歌：花儿与少年。的确，人生如花。花一样的生命，理应自诞生之日起，就一瓣一瓣地绽放她的美丽与清香，使这个原本死寂荒凉的世界五彩缤纷，充满快乐。事实上，人类自诞生起，就一代一代地做着这方面的努力，
    
                    
    • 
                    
  • linux 发展史
                        种树的猴子
内核java操作系统linux大数据
                        
    linux发展史说明此前对linux认识模糊一知半解，近期通过学习将自己对于linux的发展总结一下方便大家日后的学习。那Linux是目前一款非常火热的开源操作系统，可是linux是什么时候出现的，又是因为什么样的原因被开发出来的呢。以下将对linux的发展历程进行详细的讲解。目录一、Linux发展背景二、UINIX的诞生三、UNIX的重要分支-BSD的诞生四、Minix的诞生五、GNU与Free
    
                    
    • 
                    
  • 随记│开学49日
                        Silence的小茶馆

                        
    开学四十九天哇，今天还是上了一上午课啦，然后有丢丢升温啦（嘿嘿少穿一件哇，不错不错）然后就是好像可以休息了哈（毕竟到周五了）结果周日还是得上课哇。下午还是就休息哈，想着说学习一会儿，但其实是没有想好究竟是要做啥的，所以就还是有在玩诶，主要也是睡了挺久哇（我的过，我的错）所以明天能改正嘛？然后看完综艺第二季啦，就找到第一季看看哇，很不错啦！但还是得学习啊，毕竟作为学生捏，学习还是最重要哒！恩，今天就
    
                    
    • 
                    
  • 晓盈的感恩日记第5天
                        fanny晓

                        
    2021年2月5日周五晴天今天是特别的一天，在家里参加完公司线上的职工大会，下午跑到妈妈家去户外劳作了。我感恩家公早上为我准备早餐，今天早读后回笼觉起晚了，又赶上开线上会议，爷爷帮我准备了早餐。我感恩儿子，早晨醒来发现我在早读，还愿意陪伴我早读，一直陪伴我半个小时。我感恩儿子和侄子，下午去户外劳作时来帮助我，一个帮我捡土豆，一个帮忙浇水，很难得的田园生活让孩子们体验到了，一直以来都想让孩子来体验，
    
                    
    • 
                    
  • 2020-8-19晨间日记：看过的电影
                        盐大虾

                        
    今天是周三起床：6点半就寝：11点天气：晴心情：正常纪念日：周三任务清单今日完成的任务，最重要的三件事：1.整理写过的文档2.电影《电灯泡》3.这就是街舞第三季第五期改进：早睡早起习惯养成：早睡早起，看书周目标·完成进度两篇文章学习·信息·阅读电影艺术发展史相关教材健康·饮食·锻炼吃了挺多零食，还喝了果粒橙，还是得少吃，多锻炼，不然会慢慢死掉的。人际·家人·朋友淡定交流，不放在心上。工作·思考专心
    
                    
    • 
                    
  • 2019考研 | 西交大软件工程
                        笔者阿蓉

                        
    本科背景：某北京211学校电子信息工程互联网开发工作两年录取结果：全日制软件工程学院分数：初试350+复试笔试80+面试85+总排名：100+从五月份开始脱产学习，我主要说一下专业课和复试还有我对非全的一些看法。【数学100+】张宇，张宇，张宇。跟着张宇学习，入门视频刷一遍，真题刷两遍，错题刷三遍。书刷N多遍。从视频开始学习，是最快的学习方法。5-7月份把主要是数学学好，8-9月份开始给自己每个周
    
                    
    • 
                    
  • Kafka是如何保证数据的安全性、可靠性和分区的
                        喜欢猪猪
kafka分布式
                        
    Kafka作为一个高性能、可扩展的分布式流处理平台，通过多种机制来确保数据的安全性、可靠性和分区的有效管理。以下是关于Kafka如何保证数据安全性、可靠性和分区的详细解析：一、数据安全性SSL/TLS加密：Kafka支持SSL/TLS协议，通过配置SSL证书和密钥来加密数据传输，确保数据在传输过程中不会被窃取或篡改。这一机制有效防止了中间人攻击，保护了数据的安全性。SASL认证：Kafka支持多种
    
                    
    • 
                    
  • 数幸福D10
                        3c807316efec

                        
    王多妈妈幸福能力提升计划依靠皇上托举皇上做一个五半三平的小女人一：感知到的幸福和快乐1：点赞皇上①下班前皇上问我晚上吃饭准备怎么弄，我们买点菜回家做饭吧皇上问我想吃什么，我说多可以，皇上很用心的准备晚饭，一回到家皇上先回家做饭，我说后备箱还有我的行李，皇上说等一下我再下来拿好吗？语气特别好，眼神多是商量的，皇上现在总是有意识的考虑我的感受②吃完饭我们准备一起接女儿放学，皇上说碗他洗，我想着一起收拾
    
                    
    • 
                                
  • PHP如何实现二维数组排序？
                                    IT独行者
二维数组PHP排序　
                                    
    二维数组在PHP开发中经常遇到，但是他的排序就不如一维数组那样用内置函数来的方便了，（一维数组排序可以参考本站另一篇文章【PHP中数组排序函数详解汇总】）。二维数组的排序需要我们自己写函数处理了，这里UncleToo给大家分享一个PHP二维数组排序的函数： 
代码： 
functionarray_sort($arr,$keys,$type='asc'){
$keysvalue= $new_arr
    
                                
    • 
                                
  • 【Hadoop十七】HDFS HA配置
                                    bit1129
hadoop
                                    
    基于Zookeeper的HDFS HA配置主要涉及两个文件,core-site和hdfs-site.xml。 
  
测试环境有三台 
hadoop.master 
hadoop.slave1 
hadoop.slave2 
  
hadoop.master包含的组件NameNode, JournalNode, Zookeeper，DFSZKFailoverController
    
                                
    • 
                                
  • 由wsdl生成的java vo类不适合做普通java vo
                                    darrenzhu
VOwsdlwebservicerpc
                                    
    开发java webservice项目时，如果我们通过SOAP协议来输入输出，我们会利用工具从wsdl文件生成webservice的client端类，但是这里面生成的java data model类却不适合做为项目中的普通java vo类来使用，当然有一中情况例外，如果这个自动生成的类里面的properties都是基本数据类型，就没问题，但是如果有集合类，就不行。原因如下： 
1)使用了集合如Li
    
                                
    • 
                                
  • JAVA海量数据处理之二（BitMap）
                                    周凡杨
java算法bitmapbitset数据
                                    
             路漫漫其修远兮，吾将上下而求索。想要更快，就要深入挖掘 JAVA 基础的数据结构，从来分析出所编写的 JAVA 代码为什么把内存耗尽，思考有什么办法可以节省内存呢？   啊哈！算法。这里采用了 BitMap 思想。  
   
首先来看一个实验：  
指定 VM 参数大小： -Xms256m -Xmx540m 
    
                                
    • 
                                
  • java类型与数据库类型
                                    g21121
java
                                    
    很多时候我们用hibernate的时候往往并不是十分关心数据库类型和java类型的对应关心，因为大多数hbm文件是自动生成的，但有些时候诸如：数据库设计、没有生成工具、使用原始JDBC、使用mybatis(ibatIS)等等情况，就会手动的去对应数据库与java的数据类型关心，当然比较简单的数据类型即使配置错了也会很快发现问题，但有些数据类型却并不是十分常见，这就给程序员带来了很多麻烦。 
&nb
    
                                
    • 
                                
  • Linux命令
                                    510888780
linux命令
                                    
    系统信息 
arch 显示机器的处理器架构(1) 
uname -m 显示机器的处理器架构(2) 
uname -r 显示正在使用的内核版本 
dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) 
hdparm -i /dev/hda 罗列一个磁盘的架构特性 
hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 
cat /proc/cpuinfo 显示C
    
                                
    • 
                                
  • java常用JVM参数
                                    墙头上一根草
javajvm参数
                                    
    -Xms：初始堆大小，默认为物理内存的1/64(<1GB)；默认(MinHeapFreeRatio参数可以调整)空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制 
-Xmx：最大堆大小，默认(MaxHeapFreeRatio参数可以调整)空余堆内存大于70%时，JVM会减少堆直到 -Xms的最小限制 
-Xmn：新生代的内存空间大小，注意：此处的大小是（eden+ 2
    
                                
    • 
                                
  • 我的spring学习笔记9-Spring使用工厂方法实例化Bean的注意点
                                    aijuans
Spring 3
                                    
    方法一：

    <bean id="musicBox" class="onlyfun.caterpillar.factory.MusicBoxFactory" 
    factory-method="createMusicBoxStatic"></bean>
    

    方法二：
   
    
                                
    • 
                                
  • mysql查询性能优化之二
                                    annan211
UNIONmysql查询优化索引优化
                                    
    

1 union的限制
  有时mysql无法将限制条件从外层下推到内层，这使得原本能够限制部分返回结果的条件无法应用到内层
  查询的优化上。
  如果希望union的各个子句能够根据limit只取部分结果集，或者希望能够先排好序在
  合并结果集的话，就需要在union的各个子句中分别使用这些子句。
  
  例如 想将两个子查询结果联合起来，然后再取前20条记录，那么mys
    
                                
    • 
                                
  • 数据的备份与恢复
                                    百合不是茶
oraclesql数据恢复数据备份
                                    
     数据的备份与恢复的方式有: 表,方案 ,数据库; 
  
  
数据的备份: 
导出到的常见命令; 
参数                        说明
USERID         确定执行导出实用程序的用户名和口令
BUFFER        确定导出数据时所使用的缓冲区大小，其大小用字节表示
FILE               指定导出的二进制文
    
                                
    • 
                                
  • 线程组
                                    bijian1013
java多线程threadjava多线程线程组
                                    
    有些程序包含了相当数量的线程。这时，如果按照线程的功能将他们分成不同的类别将很有用。 
       线程组可以用来同时对一组线程进行操作。 
       创建线程组：ThreadGroup g = new ThreadGroup(groupName); 
 &nbs
    
                                
    • 
                                
  • top命令找到占用CPU最高的java线程
                                    bijian1013
javalinuxtop
                                    
    上次分析系统中占用CPU高的问题，得到一些使用Java自身调试工具的经验，与大家分享。 (1)使用top命令找出占用cpu最高的JAVA进程PID:28174 (2)如下命令找出占用cpu最高的线程 
top -Hp 28174 -d 1 -n 1
32694 root      20   0 3249m 2.0g  11m S    2  6.4   3:31.12 java         
    
                                
    • 
                                
  • 【持久化框架MyBatis3四】MyBatis3一对一关联查询
                                    bit1129
Mybatis3
                                    
      
当两个实体具有1对1的对应关系时，可以使用One-To-One的进行映射关联查询 
  One-To-One示例数据 
以学生表Student和地址信息表为例，每个学生都有都有1个唯一的地址(现实中，这种对应关系是不合适的，因为人和地址是多对一的关系)，这里只是演示目的 
  
学生表 
  
CREATE TABLE STUDENTS 
(
  
    
                                
    • 
                                
  • C/C++图片或文件的读写
                                    bitcarter
写图片
                                    
    先看代码： 
 
 

/*strTmpResult是文件或图片字符串
 * filePath文件需要写入的地址或路径
 */
int writeFile(std::string &strTmpResult,std::string &filePath)
{
    int i,len = strTmpResult.length();
    	unsigned cha
    
                                
    • 
                                
  • nginx自定义指定加载配置
                                    ronin47

                                    
    进入 /usr/local/nginx/conf/include 目录，创建 nginx.node.conf 文件，在里面输入如下代码：  
upstream nodejs {
    server 127.0.0.1:3000;
    #server 127.0.0.1:3001;
    keepalive 64;
}

server {
    liste
    
                                
    • 
                                
  • java-71-数值的整数次方.实现函数double Power(double base, int exponent)，求base的exponent次方
                                    bylijinnan
double
                                    
    

public class Power {

	/**
	 *Q71-数值的整数次方
	 *实现函数double Power(double base, int exponent)，求base的exponent次方。不需要考虑溢出。
	 */
	private static boolean InvalidInput=false;
	public static void main(
    
                                
    • 
                                
  • Android四大组件的理解
                                    Cb123456
android四大组件的理解
                                    
     分享一下，今天在Android开发文档-开发者指南中看到的:          
         
          App components are the essential building blocks of an Android 
    
                                
    • 
                                
  • [宇宙与计算]涡旋场计算与拓扑分析
                                    comsci
计算
                                    
     
 
     怎么阐述我这个理论呢？ 。。。。。。。。。 
 
 
      首先： 宇宙是一个非线性的拓扑结构与涡旋轨道时空的统一体。。。。 
 
      我们要在宇宙中寻找到一个适合人类居住的行星，时间非常重要，早一个刻度和晚一个刻度，这颗行星的
    
                                
    • 
                                
  • 同一个Tomcat不同Web应用之间共享会话Session
                                    cwqcwqmax9
session
                                    
    实现两个WEB之间通过session 共享数据 
 
查看tomcat 关于 HTTP Connector 中有个emptySessionPath 其解释如下： 
 
If set to true, all paths for session cookies will be set to /. This can be useful for portlet specification impleme
    
                                
    • 
                                
  • springmvc Spring3 MVC，ajax，乱码
                                    dashuaifu
springjquerymvcAjax
                                    
      
 springmvc Spring3 MVC @ResponseBody返回，jquery ajax调用中文乱码问题解决       
Spring3.0 MVC @ResponseBody 的作用是把返回值直接写到HTTP response body里。具体实现AnnotationMethodHandlerAdapter类handleResponseBody方法，具体实
    
                                
    • 
                                
  • 搭建WAMP环境
                                    dcj3sjt126com
wamp
                                    
    这里先解释一下WAMP是什么意思。W:windows，A：Apache，M：MYSQL，P：PHP。也就是说本文说明的是在windows系统下搭建以apache做服务器、MYSQL为数据库的PHP开发环境。  
    工欲善其事，必须先利其器。因为笔者的系统是WinXP，所以下文指的系统均为此系统。笔者所使用的Apache版本为apache_2.2.11-
    
                                
    • 
                                
  • yii2 使用raw http request
                                    dcj3sjt126com
http
                                    
    Parses a raw HTTP request using yii\helpers\Json::decode() 
  
To enable parsing for JSON requests you can configure yii\web\Request::$parsers using this class: 
'request' =&g
    
                                
    • 
                                
  • Quartz-1.8.6 理论部分
                                    eksliang
quartz
                                    
    转载请出自出处：http://eksliang.iteye.com/blog/2207691 一.概述 
基于Quartz-1.8.6进行学习，因为Quartz2.0以后的API发生的非常大的变化，统一采用了build模式进行构建； 
什么是quartz? 
  
答：简单的说他是一个开源的java作业调度框架，为在 Java 应用程序中进行作业调度提供了简单却强大的机制。并且还能和Sp
    
                                
    • 
                                
  • 什么是POJO？
                                    gupeng_ie
javaPOJO框架Hibernate
                                    
    POJO--Plain Old Java Objects(简单的java对象) 
  
POJO是一个简单的、正规Java对象，它不包含业务逻辑处理或持久化逻辑等，也不是JavaBean、EntityBean等，不具有任何特殊角色和不继承或不实现任何其它Java框架的类或接口。 
  
POJO对象有时也被称为Data对象，大量应用于表现现实中的对象。如果项目中使用了Hiber
    
                                
    • 
                                
  • jQuery网站顶部定时折叠广告
                                    ini
JavaScripthtmljqueryWebcss
                                    
    效果体验：http://hovertree.com/texiao/jquery/4.htmHTML文件代码： 
<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>网页顶部定时收起广告jQuery特效 - HoverTree<
    
                                
    • 
                                
  • Spring boot内嵌的tomcat启动失败
                                    kane_xie
spring boot
                                    
    根据这篇guide创建了一个简单的spring boot应用，能运行且成功的访问。但移植到现有项目（基于hbase）中的时候，却报出以下错误： 
  
  
SEVERE: A child container failed during start
java.util.concurrent.ExecutionException: org.apache.catalina.Lif
    
                                
    • 
                                
  • leetcode: sort list
                                    michelle_0916
Algorithmlinked listsort
                                    
    Sort a linked list in O(n log n) time using constant space complexity. 
====analysis======= 
mergeSort for singly-linked list  
====code=======      /** 
 * Definition for sin
    
                                
    • 
                                
  • nginx的安装与配置,中途遇到问题的解决
                                    qifeifei
nginx
                                    
    我使用的是ubuntu13.04系统，在安装nginx的时候遇到如下几个问题，然后找思路解决的，nginx 的下载与安装 
  
wget http://nginx.org/download/nginx-1.0.11.tar.gz
tar zxvf nginx-1.0.11.tar.gz
./configure
make
make install 
  
安装的时候出现
    
                                
    • 
                                
  • 用枚举来处理java自定义异常
                                    tcrct
javaenumexception
                                    
    在系统开发过程中，总少不免要自己处理一些异常信息，然后将异常信息变成友好的提示返回到客户端的这样一个过程，之前都是new一个自定义的异常，当然这个所谓的自定义异常也是继承RuntimeException的，但这样往往会造成异常信息说明不一致的情况，所以就想到了用枚举来解决的办法。 
 
1，先创建一个接口，里面有两个方法，一个是getCode, 一个是getMessage 
 

public 
    
                                
    • 
                                
  • erlang supervisor分析
                                    wudixiaotie
erlang
                                    
    当我们给supervisor指定需要创建的子进程的时候，会指定M,F,A,如果是simple_one_for_one的策略的话，启动子进程的方式是supervisor:start_child(SupName, OtherArgs),这种方式可以根据调用者的需求传不同的参数给需要启动的子进程的方法。和最初的参数合并成一个数组，A ++ OtherArgs。那么这个时候就有个问题了，既然参数不一致，那
    
                                
    •