- 大数据平台组件日常运维操作说明(Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat)
love6a6
大数据java-zookeeper运维
Hadoop日常运维操作说明hdfs生产环境hadoop为30台服务器组成的集群,统一安装配置,版本号为2.7.7部署路径:/opt/hadoop启动用户:hadoop配置文件:/opt/hadoop/config/hdfs-site.xml/opt/hadoop/config/core-site.xmlhadoopy运行环境变量配置文件:hadoop-env.shjournalnode.envd
- Linux 安装 Apache Kafka
South_BJ
Apachelinuxapachekafka
一、安装下载kafka,下载地址,只是使用的话下载Binary版本就行。解压tar-xzfkafka_2.12-2.6.1.tgz-C/data/-C:指定解压目录需要安装并且启动Zookeeper进入Kafka目录,启动kafka,启动后日志参考下图cd/data/kafa/nohupbin/kafka-server-start.shconfig/server.properties>kafka.
- 【下云】旧笔记本实现私人服务器
xbhog
服务器运维
背景&缘由&想法背景:自己是做Java的,做互联网或者说学计算机的都知道,近几年大环境太差,人却越来越多,造成行业越来越卷;针对Java来说,被迫要学习多方面的知识,工作拧螺丝,面试造火箭已经很平常了。在Java方向上不得不学习微服务方向的知识来提升自己的竞争力,其中环境就是第一步。自己涉及的环境:JDK、Mysql、Redis、MQ(RocketMQ\Kafa)、Dubbo、xxl-job、分库
- ELK-Nginx+logstash-kafa-logstash-elasticsearch
zhao34yan1
ELKelasticsearchkafka
把Nginx的日志由logstash收集在写到kafa在由logstash抽出给elaticsearch一配置logstash写入kafka[root@linux-node3~]#cd/etc/logstash/[
[email protected]]#mvnginx.confnginx-kafka.confinput{file{path=>"/var/log/nginx/access.l
- kafka高吞吐量的原因
香港十大金曲
kafa吞吐量高的原因顺序读写kafka的消息是不断追加到文件中的,这个特性使kafka可以充分利用磁盘的顺序读写性能顺序读写不需要硬盘磁头的寻道时间,只需很少的扇区旋转时间,所以速度远快于随机读写零拷贝在Linuxkernel2.2之后出现了一种叫做"零拷贝(zero-copy)"系统调用机制,就是跳过“用户缓冲区”的拷贝,建立一个磁盘空间和内存的直接映射,数据不再复制到“用户态缓冲区”1732
- kafa简介及基本原理
卷不动的打工仔
中间件kafka分布式java
kafa简介及基本原理kafa简介概述kafka,ActiveMQ,RabbitMQ是当今最流行的分布式消息中间件,其中kafka在性能及吞吐量方面是三者中的佼佼者,不过最近查阅官网时,官方与它的定义为一个分布式流媒体平台。kafka最主要有以下几个方面作用:发布和订阅记录流,类似于消息队列或企业消息传递系统。以容错持久的方式存储记录流。处理记录发生的流kafka关键名词生产者和消费者(produ
- 通过flink 插入数据Stream_load 方式
wudl5566
Flinkflinkbigdata大数据
1.场景:通过模拟数据发送kafa—>flink接收到kakfa数据–>然后通过flink进行streamLoad插入数据到doris中;2.建表语句CREATETABLE`wudl_doris01`(`id`intNULLCOMMENT"",`name`varchar(200)NULLCOMMENT"",`address`stringNULLCOMMENT"",`city`varchar(200
- [实战-04] 监控kafka一分钟没数据就报警
笔生花
Flink实战经验flinkkafka大数据
场景,正常来说几秒钟就会有数据过来,为了监控上游数据接口是不是有问题,可通过监控kafa数据在指定时间内是否有数据产生,没有数据则进行告警。本代码是伪代码,读者可自行修改成自己想要的。逻辑分析技术应用借助状态ValueState和定时器,这要求必须是process方法,且必须是keyByStream.逻辑分析-第一条数据到来的时候,将当前processTime存储到状态中。并注册定时器后续数据到来
- kafka术语
带马界的神秘人
kafa是一个分布式消息引擎系统,它的主要功能是提供一套完备的消息发布和订阅解决方案。record消息。kafka中的主要对象topic主题消息的容器partition分区每个topic可以有n个分区,每个消息只能出现在一个分区中replication副本每个分区可以有n个副本leaderreplica领导者副本只有领导者副本对外提供服务followerreplica追随者副本追随者副本只提供数据
- 消息中间件RabbitMQ
孤影夜行
1、RabbitMQ简介1.1、消息队列中间件简介 消息队列中间中件是分布系统中重要的组件,主要解决应用耦合,异步消息,流量削峰等问题实现高性能,高可用,可伸缩和最终一致性。有ActiveMQ、RabbitMQ、Kafa、ZeroMQ、MetaMQ、RocketMQ。 实际应用中使用场景:异步处理,应用解耦,流量削峰,消息通讯。1.2、架构图及主要概念1.2.1、架构图1.2.2、主要概念
- kafka安装及使用
q495673918
消息队列kafkajava分布式
目录1.单机部署1.下载安装包2.启动zookeeper服务3.启动kafkabroker服务2.集群部署1.下载安装包2.修改zookeeper配置3.修改kafka配置4.在3台机器上启动zookepper5.在3台机器上启动kafka6.检查是否启动OK3.使用1.创建topic2.查看kafkatopic分区数3.显示所有topic4.写kafka数据5.读kafka数据4.kafa基本概
- Kafka分布式集群搭建
虎虎灰
kafka分布式java
一、Kafka分布式集群的搭建1、下载,解压Kafka文件tar-zxvf kafka_2.12-3.1.0.tgz2、配置kafka环境变量vim/etc/profile.d/my_env.sh使配置文件生效source/etc/prifile3、修改配置文件vim/opt/kafka/conf/server.properties:setnu#行号方便查看配置kafa服务器的编号,一个集群中该值
- 【一】初学Kafka并实战整合SpringCloudStream进行使用
小z♂
kafkakafkajava分布式
前面简单学习了通过rabbitMQ来实现消息队列的功能,本章初学一下Kafka,并实现消息发送方发送消息到多个主题(Topic),然后消费者服务进行订阅的demo。通过网络学习,发现通过SpringCloudStream来使用微服务的kafa比较简单,本章将通过使用SpringCloudStream的方式来使用Kafka,下面开始学习。本文为了简单操作,使用的windows版本,linux版本后续
- 测试开发岗面试系列——滴滴二面
小萌136
面试java职场和发展
1.自我介绍2.测试流程是什么样的?冒烟测试,开始测试(全链路测试),集成测试,验收测试,3.你们线下环境是怎么部署的?有codereview的阶段吗?Jenkins部署,持续集成,将分支写上4.偏客户端测试还是偏服务端测试5.服务端模块是怎么交互的?微服务是怎么交互的?6.有没有异步调用的?(mq,kafa)7.消息的幂等是怎么做的?8.线下服务端查问题是怎么查?看9.日志一般怎么看?tail-
- kafka高吞吐量的原因
香港十大金曲
kafa吞吐量高的原因顺序读写kafka的消息是不断追加到文件中的,这个特性使kafka可以充分利用磁盘的顺序读写性能顺序读写不需要硬盘磁头的寻道时间,只需很少的扇区旋转时间,所以速度远快于随机读写零拷贝在Linuxkernel2.2之后出现了一种叫做"零拷贝(zero-copy)"系统调用机制,就是跳过“用户缓冲区”的拷贝,建立一个磁盘空间和内存的直接映射,数据不再复制到“用户态缓冲区”1732
- Spring Boot Logging Level设置为off时的Bug
目录LoggingLevel设置为off时的Bug临时解决方法Springboot项目logginglevel配置LoggingLevel设置为off时的Bug阿里云的KAFA有一个特性就是会主动关闭空闲的链接,这样导致的问题就是客户端程序会不停的报如下的异常信息:java.io.IOException:远程主机强迫关闭了一个现有的连接。atsun.nio.ch.SocketDispatcher.
- Kafka问题补充
Zeroowt
大数据组件kafka分布式
文章目录为什么消费组是拉取数据,而不是Kafka自动推送?Kafka于Zookeeper的关系Kafka如何保证数据可靠性?复制机制broker配置如何保证生产者的可靠性?如何保证消费者的可靠性?物理存储分区分配文件管理Kafa的事务为什么消费组是拉取数据,而不是Kafka自动推送?consumer采用pull(拉)模式从broker中读取数据。push(推)模式很难适应消费速率不同的消费者,因为
- Kafka基本概念详解
金啊豆嘞
大数据开发kafka
Kafka是一款基于发布与订阅的消息系统。消息和批次(MessagesandBatches)Kafka的数据单元被称为消息,可以把消息看成是数据库里的一个“数据行”或者一条“记录”。消息由字节数组组成,所以对于Kafka来说,消息里的数据没有特别的格式或含义。消息可以有一个可选的元数据,就是键。键也是一个字节数组,与消息一样,对于Kafa来说也是没有特殊的含义。当消息以一种可控的方式写入不同的分区
- 曼哈顿34号街区,C HOUSE。
世界时装之苑
创意:ELLECREATIVE监制:JasmineHuang策划/编辑:Teresa撰文:Elly美术指导:Emily设计:Kafa插画:Eve-3L
- Kafka Consumer Reblance
shysh
kafkajav
Kafka常见的消费模式会以组进行组织,通常Kafa会将Topic的分区均匀的分配给同一个组下的不同实例,通常的策略有以下三种:Range:将单个Topic的所有分区按照顺序排列,然后把这些分区划分成固定大小的分区段并分配给每个consumer,默认策略Round:将订阅所有的Topic分区轮询分配给每个conumserSticky:规避数据倾斜,最大限度保证两次reblance间维持之前的分配方
- NetCore基于EasyNetQ的高级API使用RabbitMq
weixin_30725467
一、消息队列消息队列作为分布式系统中的重要组件,常用的有MSMQ,RabbitMq,Kafa,ActiveMQ,RocketMQ。至于各种消息队列的优缺点比较,在这里就不做扩展了,网上资源很多。更多内容可参考消息队列及常见消息队列介绍。我在这里选用的是RabbitMq。官网地址:http://www.rabbitmq.com安装和配置:Windows下RabbitMq安装及配置二、RabbitMq
- kafka入门(一)
蜗牛!!!
一、简介Kafka是一种高吞吐量的分布式发布订阅消息系统。相关术语:Toptic:kafka按照Toptic分类来维护消息,可以理解为一类消息放在一个Toptic里。Producer(生产者):我们将消息发布到Toptic中的进程称为生产者。Consumer(消费者):我们将订阅Toptic并且处理Toptic中消息的进程称为消费者。Broker:kafa以集群方式运行,集群中的每一台服务器称之为
- Linux环境Kafka安装配置
weixin_34320724
Linux环境Kafka安装配置1.认识Kafa(1)Kafa介绍开源消息系统官网:kafka.apache.org/用途:在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。ApacheKafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn公司开发,并于2011年初开源。2012年
- springboot利用redis作为消息队列mq使用
起风哥
redis
先吐个槽:经常看到有人对不同得消息队列做各种各样得评价以及所谓得性能测试,评估选型等等,岂不知脱离任何业务得技术评估都是瞎扯淡。(公司实际业务技术场景不提,满口胡说kafa怎么样,activemq怎么样,rabbitmq怎么样。rocketmq怎么样),试问目前有多少公司业务能够出现10w+并发吞吐量?所以我对架构得技术选型都会紧密结合相关业务具体分析。举个例子公司只有登入短信验证码发送得业务在那
- NetCore基于EasyNetQ的高级API使用RabbitMq
dotNET跨平台
一、消息队列消息队列作为分布式系统中的重要组件,常用的有MSMQ,RabbitMq,Kafa,ActiveMQ,RocketMQ。至于各种消息队列的优缺点比较,在这里就不做扩展了,网上资源很多。更多内容可参考消息队列及常见消息队列介绍。我在这里选用的是RabbitMq。官网地址:http://www.rabbitmq.com安装和配置:Windows下RabbitMq安装及配置二、RabbitMq
- 【区块链】 Hyperledger Fabric 使用 Kafka和zookeeper实现共识的原理
夏洛的克
区块链转载
HyperledgerFabric推荐Kafa用于生产环境。Kafa是一个分布式、具有水平伸缩能力、崩溃容错能力的日志系统。在HyperledgerFabric区块链中可以有多个Kafka节点,使用zookeeper进行同步管理。本文将介绍Kfaka的基本工作原理,以及在HyperledgerFabric中使用Kafka和zookeeper实现共识的原理,并通过一个实例剖析HyperledgerF
- kafka吞吐量高的原因
zhaohong_bo
学习笔记
kafa吞吐量高的原因1、顺序读写kafka的消息是不断追加到文件中的,这个特性使kafka可以充分利用磁盘的顺序读写性能顺序读写不需要硬盘磁头的寻道时间,只需很少的扇区旋转时间,所以速度远快于随机读写2、零拷贝在Linuxkernel2.2之后出现了一种叫做"零拷贝(zero-copy)"系统调用机制,就是跳过“用户缓冲区”的拷贝,建立一个磁盘空间和内存的直接映射,数据不再复制到“用户态缓冲区”
- Hyperledger Fabric Kafka共识原理解析
新缸中之脑
HyperledgerFabric
HyperledgerFabric推荐Kafa用于生产环境。Kafa是一个分布式、具有水平伸缩能力、崩溃容错能力的日志系统。在HyperledgerFabric区块链中可以有多个Kafka节点,使用zookeeper进行同步管理。本文将介绍Kfaka的基本工作原理,以及在HyperledgerFabric中使用Kafka和zookeeper实现共识的原理,并通过一个实例剖析HyperledgerF
- kafka和storm集群的环境安装
weixin_34067049
前言storm和kafka集群安装是没有必然联系的,我将这两个写在一起,是因为他们都是由zookeeper进行管理的,也都依赖于JDK的环境,为了不重复再写一遍配置,所以我将这两个写在一起。若只需一个,只需挑选自己选择的阅读即可。这两者的依赖如下:Storm集群:JDK1.8,Zookeeper3.4,Storm1.1.1;Kafa集群:JDK1.8,Zookeeper3.4,Kafka2.12;
- Flume自定义Source之MysqlSource
_a_0_
flume
场景描述:公司项目某一模块是数据源之间数据迁移,场景之一就是从Mysql中读取数据写入到其他的数据源,架构采用的的flume+kafa的形式,Kafka作为Channel,然后通过自定Source和Sink,将数据在不同的数据源之间迁移,而且效率还比较高,也不会丢数据;整理项目知识点的过程中打算写一下博客,结合一些机构的资料简单写一下自定义MysqlSource;主要考虑的几点:1、实时监控mys
- Java序列化进阶篇
g21121
java序列化
1.transient
类一旦实现了Serializable 接口即被声明为可序列化,然而某些情况下并不是所有的属性都需要序列化,想要人为的去阻止这些属性被序列化,就需要用到transient 关键字。
- escape()、encodeURI()、encodeURIComponent()区别详解
aigo
JavaScriptWeb
原文:http://blog.sina.com.cn/s/blog_4586764e0101khi0.html
JavaScript中有三个可以对字符串编码的函数,分别是: escape,encodeURI,encodeURIComponent,相应3个解码函数:,decodeURI,decodeURIComponent 。
下面简单介绍一下它们的区别
1 escape()函
- ArcgisEngine实现对地图的放大、缩小和平移
Cb123456
添加矢量数据对地图的放大、缩小和平移Engine
ArcgisEngine实现对地图的放大、缩小和平移:
个人觉得是平移,不过网上的都是漫游,通俗的说就是把一个地图对象从一边拉到另一边而已。就看人说话吧.
具体实现:
一、引入命名空间
using ESRI.ArcGIS.Geometry;
using ESRI.ArcGIS.Controls;
二、代码实现.
- Java集合框架概述
天子之骄
Java集合框架概述
集合框架
集合框架可以理解为一个容器,该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。
从本质上来说,Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。
简单介绍:
Collection接口是最基本的接口,它定义了List和Set,List又定义了LinkLi
- 旗正4.0页面跳转传值问题
何必如此
javajsp
跳转和成功提示
a) 成功字段非空forward
成功字段非空forward,不会弹出成功字段,为jsp转发,页面能超链接传值,传输变量时需要拼接。接拼接方式list.jsp?test="+strweightUnit+"或list.jsp?test="+weightUnit+&qu
- 全网唯一:移动互联网服务器端开发课程
cocos2d-x小菜
web开发移动开发移动端开发移动互联程序员
移动互联网时代来了! App市场爆发式增长为Web开发程序员带来新一轮机遇,近两年新增创业者,几乎全部选择了移动互联网项目!传统互联网企业中超过98%的门户网站已经或者正在从单一的网站入口转向PC、手机、Pad、智能电视等多端全平台兼容体系。据统计,AppStore中超过85%的App项目都选择了PHP作为后端程
- Log4J通用配置|注意问题 笔记
7454103
DAOapachetomcatlog4jWeb
关于日志的等级 那些去 百度就知道了!
这几天 要搭个新框架 配置了 日志 记下来 !做个备忘!
#这里定义能显示到的最低级别,若定义到INFO级别,则看不到DEBUG级别的信息了~!
log4j.rootLogger=INFO,allLog
# DAO层 log记录到dao.log 控制台 和 总日志文件
log4j.logger.DAO=INFO,dao,C
- SQLServer TCP/IP 连接失败问题 ---SQL Server Configuration Manager
darkranger
sqlcwindowsSQL ServerXP
当你安装完之后,连接数据库的时候可能会发现你的TCP/IP 没有启动..
发现需要启动客户端协议 : TCP/IP
需要打开 SQL Server Configuration Manager...
却发现无法打开 SQL Server Configuration Manager..??
解决方法: C:\WINDOWS\system32目录搜索framedyn.
- [置顶] 做有中国特色的程序员
aijuans
程序员
从出版业说起 网络作品排到靠前的,都不会太难看,一般人不爱看某部作品也是因为不喜欢这个类型,而此人也不会全不喜欢这些网络作品。究其原因,是因为网络作品都是让人先白看的,看的好了才出了头。而纸质作品就不一定了,排行榜靠前的,有好作品,也有垃圾。 许多大牛都是写了博客,后来出了书。这些书也都不次,可能有人让为不好,是因为技术书不像小说,小说在读故事,技术书是在学知识或温习知识,有些技术书读得可
- document.domain 跨域问题
avords
document
document.domain用来得到当前网页的域名。比如在地址栏里输入:javascript:alert(document.domain); //www.315ta.com我们也可以给document.domain属性赋值,不过是有限制的,你只能赋成当前的域名或者基础域名。比如:javascript:alert(document.domain = "315ta.com");
- 关于管理软件的一些思考
houxinyou
管理
工作好多看年了,一直在做管理软件,不知道是我最开始做的时候产生了一些惯性的思维,还是现在接触的管理软件水平有所下降.换过好多年公司,越来越感觉现在的管理软件做的越来越乱.
在我看来,管理软件不论是以前的结构化编程,还是现在的面向对象编程,不管是CS模式,还是BS模式.模块的划分是很重要的.当然,模块的划分有很多种方式.我只是以我自己的划分方式来说一下.
做为管理软件,就像现在讲究MVC这
- NoSQL数据库之Redis数据库管理(String类型和hash类型)
bijian1013
redis数据库NoSQL
一.Redis的数据类型
1.String类型及操作
String是最简单的类型,一个key对应一个value,string类型是二进制安全的。Redis的string可以包含任何数据,比如jpg图片或者序列化的对象。
Set方法:设置key对应的值为string类型的value
- Tomcat 一些技巧
征客丶
javatomcatdos
以下操作都是在windows 环境下
一、Tomcat 启动时配置 JAVA_HOME
在 tomcat 安装目录,bin 文件夹下的 catalina.bat 或 setclasspath.bat 中添加
set JAVA_HOME=JAVA 安装目录
set JRE_HOME=JAVA 安装目录/jre
即可;
二、查看Tomcat 版本
在 tomcat 安装目
- 【Spark七十二】Spark的日志配置
bit1129
spark
在测试Spark Streaming时,大量的日志显示到控制台,影响了Spark Streaming程序代码的输出结果的查看(代码中通过println将输出打印到控制台上),可以通过修改Spark的日志配置的方式,不让Spark Streaming把它的日志显示在console
在Spark的conf目录下,把log4j.properties.template修改为log4j.p
- Haskell版冒泡排序
bookjovi
冒泡排序haskell
面试的时候问的比较多的算法题要么是binary search,要么是冒泡排序,真的不想用写C写冒泡排序了,贴上个Haskell版的,思维简单,代码简单,下次谁要是再要我用C写冒泡排序,直接上个haskell版的,让他自己去理解吧。
sort [] = []
sort [x] = [x]
sort (x:x1:xs)
| x>x1 = x1:so
- java 路径 配置文件读取
bro_feng
java
这几天做一个项目,关于路径做如下笔记,有需要供参考。
取工程内的文件,一般都要用相对路径,这个自然不用多说。
在src统计目录建配置文件目录res,在res中放入配置文件。
读取文件使用方式:
1. MyTest.class.getResourceAsStream("/res/xx.properties")
2. properties.load(MyTest.
- 读《研磨设计模式》-代码笔记-简单工厂模式
bylijinnan
java设计模式
声明: 本文只为方便我个人查阅和理解,详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/
package design.pattern;
/*
* 个人理解:简单工厂模式就是IOC;
* 客户端要用到某一对象,本来是由客户创建的,现在改成由工厂创建,客户直接取就好了
*/
interface IProduct {
- SVN与JIRA的关联
chenyu19891124
SVN
SVN与JIRA的关联一直都没能装成功,今天凝聚心思花了一天时间整合好了。下面是自己整理的步骤:
一、搭建好SVN环境,尤其是要把SVN的服务注册成系统服务
二、装好JIRA,自己用是jira-4.3.4破解版
三、下载SVN与JIRA的插件并解压,然后拷贝插件包下lib包里的三个jar,放到Atlassian\JIRA 4.3.4\atlassian-jira\WEB-INF\lib下,再
- JWFDv0.96 最新设计思路
comsci
数据结构算法工作企业应用公告
随着工作流技术的发展,工作流产品的应用范围也不断的在扩展,开始进入了像金融行业(我已经看到国有四大商业银行的工作流产品招标公告了),实时生产控制和其它比较重要的工程领域,而
- vi 保存复制内容格式粘贴
daizj
vi粘贴复制保存原格式不变形
vi是linux中非常好用的文本编辑工具,功能强大无比,但对于复制带有缩进格式的内容时,粘贴的时候内容错位很严重,不会按照复制时的格式排版,vi能不能在粘贴时,按复制进的格式进行粘贴呢? 答案是肯定的,vi有一个很强大的命令可以实现此功能 。
在命令模式输入:set paste,则进入paste模式,这样再进行粘贴时
- shell脚本运行时报错误:/bin/bash^M: bad interpreter 的解决办法
dongwei_6688
shell脚本
出现原因:windows上写的脚本,直接拷贝到linux系统上运行由于格式不兼容导致
解决办法:
1. 比如文件名为myshell.sh,vim myshell.sh
2. 执行vim中的命令 : set ff?查看文件格式,如果显示fileformat=dos,证明文件格式有问题
3. 执行vim中的命令 :set fileformat=unix 将文件格式改过来就可以了,然后:w
- 高一上学期难记忆单词
dcj3sjt126com
wordenglish
honest 诚实的;正直的
argue 争论
classical 古典的
hammer 锤子
share 分享;共有
sorrow 悲哀;悲痛
adventure 冒险
error 错误;差错
closet 壁橱;储藏室
pronounce 发音;宣告
repeat 重做;重复
majority 大多数;大半
native 本国的,本地的,本国
- hibernate查询返回DTO对象,DTO封装了多个pojo对象的属性
frankco
POJOhibernate查询DTO
DTO-数据传输对象;pojo-最纯粹的java对象与数据库中的表一一对应。
简单讲:DTO起到业务数据的传递作用,pojo则与持久层数据库打交道。
有时候我们需要查询返回DTO对象,因为DTO
- Partition List
hcx2013
partition
Given a linked list and a value x, partition it such that all nodes less than x come before nodes greater than or equal to x.
You should preserve the original relative order of th
- Spring MVC测试框架详解——客户端测试
jinnianshilongnian
上一篇《Spring MVC测试框架详解——服务端测试》已经介绍了服务端测试,接下来再看看如果测试Rest客户端,对于客户端测试以前经常使用的方法是启动一个内嵌的jetty/tomcat容器,然后发送真实的请求到相应的控制器;这种方式的缺点就是速度慢;自Spring 3.2开始提供了对RestTemplate的模拟服务器测试方式,也就是说使用RestTemplate测试时无须启动服务器,而是模拟一
- 关于推荐个人观点
liyonghui160com
推荐系统关于推荐个人观点
回想起来,我也做推荐了3年多了,最近公司做了调整招聘了很多算法工程师,以为需要多么高大上的算法才能搭建起来的,从实践中走过来,我只想说【不是这样的】
第一次接触推荐系统是在四年前入职的时候,那时候,机器学习和大数据都是没有的概念,什么大数据处理开源软件根本不存在,我们用多台计算机web程序记录用户行为,用.net的w
- 不间断旋转的动画
pangyulei
动画
CABasicAnimation* rotationAnimation;
rotationAnimation = [CABasicAnimation animationWithKeyPath:@"transform.rotation.z"];
rotationAnimation.toValue = [NSNumber numberWithFloat: M
- 自定义annotation
sha1064616837
javaenumannotationreflect
对象有的属性在页面上可编辑,有的属性在页面只可读,以前都是我们在页面上写死的,时间一久有时候会混乱,此处通过自定义annotation在类属性中定义。越来越发现Java的Annotation真心很强大,可以帮我们省去很多代码,让代码看上去简洁。
下面这个例子 主要用到了
1.自定义annotation:@interface,以及几个配合着自定义注解使用的几个注解
2.简单的反射
3.枚举
- Spring 源码
up2pu
spring
1.Spring源代码
https://github.com/SpringSource/spring-framework/branches/3.2.x
注:兼容svn检出
2.运行脚本
import-into-eclipse.bat
注:需要设置JAVA_HOME为jdk 1.7
build.gradle
compileJava {
sourceCompatibilit
- 利用word分词来计算文本相似度
yangshangchuan
wordword分词文本相似度余弦相似度简单共有词
word分词提供了多种文本相似度计算方式:
方式一:余弦相似度,通过计算两个向量的夹角余弦值来评估他们的相似度
实现类:org.apdplat.word.analysis.CosineTextSimilarity
用法如下:
String text1 = "我爱购物";
String text2 = "我爱读书";
String text3 =