chaijowin

III 26 ELK

III26 ELK

ELK（elasticsearch、logstash、kibana）

Elastic Stack是原ELK Stack在5.0版本加入Beats套件后的新称呼

解决痛点：

开发人员不能登录线上server查看详细日志；

各个系统都有日志，日志数据分散难以查找；

日志数据量大，查询速度慢，或数据不够实时；

一个调用会涉及多个系统，难以在这些系统的日志中快速定位数据；

典型应用：

http://lucene.apache.org/

大多数电商的管理后台，搜索功能（搜订单、搜用户）都用lucene；

百科：

Lucene是apache软件基金会jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）；

Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎；

Lucene是一套用于全文检索和搜寻的开源程式库，由Apache软件基金会支持和提供，Lucene提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻，在Java开发环境里Lucene是一个成熟的免费开源工具，就其本身而言，Lucene是当前以及最近几年最受欢迎的免费Java信息检索程序库，人们经常提到信息检索程序库，虽然与搜索引擎有关，但不应该将信息检索程序库与搜索引擎相混淆；

https://www.elastic.co/

elasticsearch（distributed,restful search and analytics）；

kibana（visualize your data,navigate the stack）；

beats（collect,parse,and ship in a lightweight fashion）；

logstash（ingest,transform,enrich,and output）；

es-hadoop（quickly query and get insight into ro your big data）；

x-pack（security,alerting,monitoring,reporting,and graph in one pack）；

elastic cloud（spin up hosted elasticsearch,kibana,and x-pack）；

elastic cloud enterprise（manage a fleet of clusters on any infrastructure）；

Plugins for Elastic Stack 1.x — 2.x：

shield（安全，protect your dataacross the Elastic Stack）；

watcher（监控，get notifications about changes in your data）；

marvel（管理，keep a pulse on the health of your Elastic Stack）；

reporting（generate,schedule,and send reports of kibana visualizations）；

graph（explore meaningful relationships in your data）；

elasticsearch-1.7.0.tar.gz

logstash-1.5.3.tar.gz

kibana-4.1.1-linux-x64.tar.gz

日志收集系统：

scribe（facebook，C/C++）；

chukwa（apache/yahoo，java）；

kafka（linkedIn，scala）；

flume（cloudera，java）；

一、

ElasticSearch：

https://www.elastic.co/guide/en/elasticsearch/guide/current/index.html

Search in Depth（开发）

Administration,Monitoring,and Deployment（运维）

[root@test5 ~]# cat /sys/block/sda/queue/scheduler #（默认io scheduler是cfq，改为deadline或noop）

noop anticipatory deadline [cfq]

Elasticsearch是一个建立在全文搜索引擎ApacheLucene(TM)基础上的搜索引擎，可以说 Lucene是当今最先进，最高效的全功能开源搜索引擎框架；但是 Lucene 只是一个框架，要充分利用它的功能，你需要使用 JAVA，并且在你的程序中集成 Lucene，更糟的是，你需要做很多的学习了解，才能明白它是如何运行的，Lucene确实非常复杂；

Elasticsearch 使用 Lucene 作为内部引擎，但是在你使用它做全文搜索时，只需要使用统一开发好的API即可，而并不需要了解其背后复杂的Lucene的运行原理；当然Elasticsearch并不仅仅是Lucene那么简单，它不仅包括了全文搜索功能，还可以进行如下工作：分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索；实时分析的分布式搜索引擎，可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据；这么多的功能被集成到一台服务器上，你可以轻松地通过客户端或者任何你喜欢的程序语言与 ES 的 RESTful API 进行交流；

Elasticsearch 的上手是非常简单的，它附带了很多非常合理的默认值，这让初学者很好地避免一上手就要面对复杂的理论，它安装好了就可以使用了，用很小的学习成本就可以变得很有生产力；随着学习的深入，你还可以使用 Elasticsearch 更多高级的功能，整个引擎可以很灵活地进行配置，你可以根据自身需求来定制属于你自己的 Elasticsearch；

相关术语：节点、集群、文档、索引、分片、备份分片（副本）；

节点&集群（节点是elasticsearch运行的实例，集群是一组有着相同cluster.name的节点，它们协同工作，互相分享数据，提供了故障转移和扩展功能，另一个node也可以是一个cluster）；

文档（程序中的对象很少是单纯的键值与数值的列表，更多的时候它拥有一个复杂的结构，比如包含了日期、地理位置、对象、数组等，迟早你会把这些对象存储在数据库中，你会试图将这些丰富而又庞大的数据都放到一个由行与列组成的关系数据库中，然后你不得不根据每个字段的格式来调整数据，然后每次重建它你都要检索一遍数据，Elasticsearch是面向文档型数据库，这意味着它存储的是整个对象或者文档，它不但会存储它们，还会为他们建立索引，这样你就可以搜索他们了，你可以在 Elasticsearch 中索引、搜索、排序和过滤这些文档，不需要成行成列的数据，这将会是完全不同的一种面对数据的思考方式，这也是为什么Elasticsearch可以执行复杂的全文搜索的原因；Elasticsearch使用JSON(或称作JavaScript Object Notation)作为文档序列化的格式，JSON 已经被大多数语言支持，也成为NoSQL领域的一个标准格式，它简单、简洁、易于阅读，可把JSON想象成一个用户对象，在 Elasticsearch 中，将对象转换为 JSON 并作为索引要比在表结构中做相同的事情简单多了，几乎所有的语言都有将任意数据转换、结构化成JSON，或者将对象转换为JSON的模块，查看serialization 以及marshalling两个JSON模块，The official Elasticsearch clients也可以帮你自动结构化 JSON）；

索引（在Elasticsearch中，存储数据的行为就叫做索引(indexing)，但是在我们索引数据前，我们需要决定将数据存储在哪里，Elasticsearch里，文档属于一种类型(type)，各种各样的类型存在于一个索引中，你也可以通过类比传统的关系数据库得到一些大致的相似之处：

关系数据库数据库表table 行row 列(Columns)

Elasticsearch 索引类型文档字段(Fields)

一个Elasticsearch集群可以包含多个索引（数据库），也就是说其中包含了很多类型（table），这些类型中包含了很多的文档（row），然后每个文档中又包含了很多的字段（column））；

注：

在Elasticsearch中，索引这个词汇已经被赋予了太多意义：

索引作为名词（一个索引就类似于传统关系型数据库中的数据库，这里就是存储相关文档的的地方）；

索引作为动词（为一个文档创建索引是把一个文档存储到一个索引(名词)中的过程，这样它才能被检索，这个过程非常类似于SQL中的INSERT命令，如果已经存在文档，新的文档将会覆盖旧的文档）；

反向索引（在关系数据库中的某列添加一个索引，比如多路搜索树(B-Tree)索引，就可以加速数据的取回速度，Elasticsearch以及Lucene使用的是一个叫做反向索引(inverted index)的结构来实现相同的功能，通常，每个文档中的字段都被创建了索引（拥有一个反向索引），因此他们可以被搜索，如果一个字段缺失了反向索引的话，它将不能被搜索）；

与elasticsearch通信，取决于是否使用java：

java API（node client；transport client）：如果使用java，elasticsearch内置了两个client，可在代码中使用；node client以一个无数据node的身份加入了一个集群，换句话说，它自身没有任何数据，但是它知道什么数据在集群中的哪一个node上，它可将请求转发到正确的node上进行连接；更加轻量的传输客户端可被用来向远程集群发送请求，它并不加入集群本身，而是把请求转发到集群中的node；两个client都使用elasticsearch的传输协议，通过9300port与java客户端进行通信，集群中的各个node也是通过9300port进行通信，如果此port被禁止，那这些node将不能组成一个cluster；java的客户端的版本号必须要与elasticsearch node所用的版本号一样，否则它们之间可能无法识别）；

通过HTTP向RESTful API传送json，其它语言可通过9200port与elasticsearch的RESTful API进行通信，可使用curl命令与elasticsearch通信；

elasticsearch官方提供了很多种编程语言的客户端，也有和许多社区化软件的集成插件（javascript、.NET、php、perl、python、ruby）；

#curl -X '://:/?' -d ''

VERB（http方法，GET、PUT、POST、HEAD、DELETE）；

PROTOCOL（http or https，只有在elasticsearch前面有https代理的时候可用）；

HOST（elasticsearch集群中任何一个node的主机名，本地为localhost）；

PORT（elasticsearch http服务的端口，默认9200）；

QUERY_STRING（可选，查询请求参数，例：?pretty，可生成更加美观易读的json反馈增强可读性）；

BODY（json格式编码的请求主体）；

举例：

[root@test4 ~]# curl -X GET 'http://192.168.23.132:9200/_count?pretty' -d '

{

"query": {

"match_all": {}

}

{

"count" : 1,

"_shards" : {

"total" : 10,

"successful" : 10,

"failed" : 0

}

注（-I不能和-d同时使用，否则Warning: You can only select one HTTP request!；-I只读取http head，-d是用post提交表单）：

-I（--head，(HTTP/FTP/FILE) Fetch the HTTP-header only! HTTP-servers feature the command HEAD which this uses to get nothing but the header of a document. When used on a FTP or FILE file, curl displays the file size and last modification time only.）

-X （--request ，(HTTP) Specifies a custom request method to use when communicating with the HTTP server. The specified request will be used instead of the method otherwise used (which defaults to GET). Read the HTTP 1.1 specification for details and explanations. Common additional HTTP requests include PUT and DELETE, but related tech-nologies like WebDAV offers PROPFIND, COPY, MOVE and more. (FTP)Specifies a custom FTP command to use instead of LIST when doing file listswith FTP. If this option is used several times, the last one will be used.）

-d （--data ，(HTTP) Sends the specified data in a POST request to the HTTP server, in the same way that a browser does when a user has filled in an HTML form and presses the submit button. This will cause curl to pass the data to the server using the content-type application/x-www-form-urlencoded. Compare to -F/--form.）

elasticsearch安装前要有java环境

[root@test4 ~]# which java

/usr/bin/java

[root@test4 ~]# java -version

java version "1.5.0"

gij (GNU libgcj) version 4.4.7 20120313(Red Hat 4.4.7-17)

This is free software; see the source forcopying conditions. There is NO

warranty; not even for MERCHANTABILITY orFITNESS FOR A PARTICULAR PURPOSE.

[root@test4 ~]# rpm -qa | grep java

java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64

libvirt-java-0.4.9-1.el6.noarch

libvirt-java-devel-0.4.9-1.el6.noarch

java_cup-0.10k-5.el6.x86_64

[root@test4 ~]# rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64

[root@test4 ~]# tar xf jdk-8u111-linux-x64.gz -C /usr/local/

[root@test4 ~]# vim /etc/profile.d/java.sh

export JAVA_HOME=/usr/local/jdk1.8.0_111

export PATH=$PATH:$JAVA_HOME/bin

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[root@test4 ~]# . !$

. /etc/profile.d/java.sh

[root@test4 ~]# java -version

java version "1.8.0_111"

Java(TM) SE Runtime Environment (build1.8.0_111-b14)

Java HotSpot(TM) 64-Bit Server VM (build25.111-b14, mixed mode)

[root@test4 ~]# tar xf elasticsearch-1.7.0.tar.gz -C /usr/local/

[root@test4 ~]# ln -sv /usr/local/elasticsearch-1.7.0/ /usr/local/elasticsearch

`/usr/local/elasticsearch' ->`/usr/local/elasticsearch-1.7.0/'

[root@test4 ~]# ll /usr/local/elasticsearch/ #（config/{elasticsearch.yml,logging.yml}，bin/elasticsearch）

total 40

drwxr-xr-x. 2 root root 4096 Dec 15 23:18 bin

drwxr-xr-x. 2 root root 4096 Dec 15 23:18 config

drwxr-xr-x. 3 root root 4096 Dec 15 23:18 lib

-rw-rw-r--. 1 root root 11358 Mar 23 2015 LICENSE.txt

-rw-rw-r--. 1 root root 150 Jun 9 2015 NOTICE.txt

-rw-rw-r--. 1 root root 8700 Jun 9 2015 README.textile

[root@test4 ~]# vim /usr/local/elasticsearch/config/elasticsearch.yml

################################### Cluster###################################

cluster.name: elasticsearch #（LAN内的各node通过此名字标识在一个集群里，必须唯一，不能与其它集群名字相同）

#################################### Node#####################################

node.name: "test4"

node.master: true #（该node能否被选举为主node）

node.data: true #（该node能否存储数据）

#################################### Index####################################

index.number_of_shards: 5 #（分片）

index.number_of_replicas: 1 #（备份分片）

#################################### Paths####################################

path.conf: /usr/local/elasticsearch/conf/

path.data: /usr/local/elasticsearch/data/

path.work: /usr/local/elasticsearch/work/ #（临时文件）

path.logs: /usr/local/elasticsearch/logs/

path.plugins:/usr/local/elasticsearch/plugins/

################################### Memory####################################

bootstrap.mlockall: true #（锁内存，不用swap）

############################## Network AndHTTP ###############################

#network.bind_host: 192.168.0.1

#network.publish_host: 192.168.0.1

#network.host: 192.168.0.1 #（相当于network.bind_host和network.publish_host，该node与其它node交互）

#transport.tcp.port: 9300

#http.port: 9200

############################# RecoveryThrottling #############################

#indices.recovery.max_bytes_per_sec: 20mb #（设带宽）

##################################Discovery ##################################

#discovery.zen.ping.multicast.enabled:false #（多播（组播））

#discovery.zen.ping.unicast.hosts:["host1", "host2:port"] #（单播）

[root@test4 ~]#grep '^[a-z]' /usr/local/elasticsearch/config/elasticsearch.yml

cluster.name: elasticsearch

node.name: "test4"

node.master: true

node.data: true

index.number_of_shards: 5

index.number_of_replicas: 1

path.conf: /usr/local/elasticsearch/conf/

path.data: /usr/local/elasticsearch/data/

path.work: /usr/local/elasticsearch/work/

path.logs: /usr/local/elasticsearch/logs/

path.plugins:/usr/local/elasticsearch/plugins/

bootstrap.mlockall: true

[root@test4 ~]# mkdir /usr/local/elasticsearch/{conf,data,work,logs,plugins}

[root@test4 ~]# /usr/local/elasticsearch-1.7.0/bin/elasticsearch -d #（可加入参数，-Xms512m -Xmx512m）

log4j:WARN No appenders could be found forlogger (node).

log4j:WARN Please initialize the log4jsystem properly.

log4j:WARN Seehttp://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

[root@test4 ~]# netstat -tnulp | egrep '9200|9300'

tcp 0 0 :::9200 :::* LISTEN 7177/java

tcp 0 0 :::9300 :::* LISTEN 7177/java

[root@test4 ~]# jps -lvm

7177org.elasticsearch.bootstrap.Elasticsearch -Xms256m -Xmx1g -Djava.awt.headless=true -XX:+UseParNewGC -XX:+UseConcMarkSweepGC-XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly-XX:+HeapDumpOnOutOfMemoryError -XX:+DisableExplicitGC -Dfile.encoding=UTF-8-Delasticsearch -Des.path.home=/usr/local/elasticsearch-1.7.0

7261 sun.tools.jps.Jps -lvm-Denv.class.path=.:/usr/local/jdk1.8.0_111/lib/dt.jar:/usr/local/jdk1.8.0_111/lib/tools.jar-Dapplication.home=/usr/local/jdk1.8.0_111 -Xms8m

http://192.168.23.132:9200/

安装elasticsearch-servicewrapper：

elasticsearch-servicewrapper这是对elasticsearch执行命令的包装服务，安装之后，方便elasticsearch的启动，停止等操作；

[root@test4 ~]# kill -9 7177

[root@test4 ~]# jps

7281 Jps

[root@test4 ~]# git clone https://github.com/elastic/elasticsearch-servicewrapper.git

Initialized empty Git repository in/root/elasticsearch-servicewrapper/.git/

remote: Counting objects: 184, done.

remote: Total 184 (delta 0), reused 0(delta 0), pack-reused 184

Receiving objects: 100% (184/184), 4.32 MiB| 278 KiB/s, done.

Resolving deltas: 100% (70/70), done.

[root@test4 ~]# mv elasticsearch-servicewrapper/service/ /usr/local/elasticsearch/bin/

[root@test4 ~]# /usr/local/elasticsearch/bin/service/elasticsearch --help

Unexpected command: --help

Commands:

console Launch in the currentconsole.

start Start in thebackground as a daemon process.

stop Stop if running as adaemon or in another console.

restart Stop if running andthen start.

condrestart Restart only ifalready running.

status Query the currentstatus.

install Install to start automatically whensystem boots.

remove Uninstall.

dump Request a Java threaddump if running.

[root@test4 ~]# /usr/local/elasticsearch/bin/service/elasticsearch install #（install to startautomatically when system boots）

Detected RHEL or Fedora:

Installing the Elasticsearch daemon..

[root@test4 ~]# chkconfig --list elasticsearch

elasticsearch 0:off 1:off 2:on 3:on 4:on 5:on 6:off

[root@test4 ~]# vim /usr/local/elasticsearch/bin/service/elasticsearch.conf #（通过此文件修改java环境配置等运行的一些信息，默认1024根据服务器配置更改，经验证此处至少512否则应用不能启动）

set.default.ES_HEAP_SIZE=512

[root@test4 ~]# /etc/init.d/elasticsearch start

Starting Elasticsearch...

Waiting for Elasticsearch.......

running: PID:7658

[root@test4 ~]# service elasticsearch status

Elasticsearch is running: PID:7658,Wrapper:STARTED, Java:STARTED

[root@test4 ~]# tail /usr/local/elasticsearch/logs/service.log

STATUS | wrapper | 2016/12/16 00:55:23 | --> WrapperStarted as Daemon

STATUS | wrapper | 2016/12/16 00:55:23 | Java Service WrapperCommunity Edition 64-bit 3.5.14

[root@test4 ~]# curl http://192.168.23.132:9200 #（200为正常）

{

"status" : 200,

"name" : "test4",

"cluster_name" : "elasticsearch",

"version" : {

"number" : "1.7.0",

"build_hash" :"929b9739cae115e73c346cb5f9a6f24ba735a743",

"build_timestamp" : "2015-07-16T14:31:07Z",

"build_snapshot" : false,

"lucene_version" : "4.10.4"

"tagline" : "You Know, for Search"

}

安装插件marvel：

marvel付费的监控管理工具，可使用其中的sense实现与elasticsearch友好交互；

Marvel is a management and monitoring tool for Elasticsearch which is free for development use. It comes with an interactive console called Sense which makes it very easy to talk to Elasticsearch directly from your browser. Many of the code examples in this book include a ``View in Sense'' link. When clicked, it will open up a working example of the code in the Sense console. You do not have to install Marvel,but it will make this book much more interactive by allowing you to experiment with the code samples on your local Elasticsearch cluster.

注：

You probably don't want Marvel to monitor your local cluster, so you can disable data collection with this command:

#echo 'marvel.agent.enabled: false' >> ./config/elasticsearch.yml

[root@test4 ~]# /usr/local/elasticsearch/bin/plugin -i elasticsearch/marvel/latest

-> Installingelasticsearch/marvel/latest...

Tryinghttp://download.elasticsearch.org/elasticsearch/marvel/marvel-latest.zip...

Installed elasticsearch/marvel/latest into/usr/local/elasticsearch/plugins/marvel

http://192.168.23.132:9200/_plugin/marvel #（点继续试用）

Dashboard-->Sense-->Get to work-->clickto send request

POST /index-demo/test

{

"user" : "jowin",

"message" : "hello,world"

}

GET /index-demo/test/AVkaOa61M5l9MXX2iExN #（粘贴上一条执行结果中的"_id"）

GET/index-demo/test/AVkaOa61M5l9MXX2iExN/_source #（/_source只看文档内容）

GET /index-demo/test/_search?q=hello #（全文搜索）

elasticsearch集群：

test4（192.168.23.132）

test5（192.168.23.133）

在另一node（test5）上安装elasticsearch、安装elasticsearch-servicewrapper；

test4：

[root@test4 ~]# /usr/local/elasticsearch/bin/plugin -i mobz/elasticsearch-head #（安装集群插件elasticsearch-head，管理集群）

-> Installing mobz/elasticsearch-head...

Tryinghttps://github.com/mobz/elasticsearch-head/archive/master.zip...

Downloading..........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................DONE

Installed mobz/elasticsearch-head into/usr/local/elasticsearch/plugins/head

http://192.168.23.132:9200/_plugin/head/

注：

.marvel-kibana为默认索引，一个索引5个分片；

集群健康值（green所有node都正常；yellow所有主分片正常，副本分片有丢失；red主分片有丢失）；

[root@test4 ~]# curl-X GET 'http://192.168.23.132:9200/_cluster/health?pretty'

{

"cluster_name" : "elasticsearch",

"status" : "green",

"timed_out" : false,

"number_of_nodes" : 2,

"number_of_data_nodes" : 2,

"active_primary_shards" : 11,

"active_shards" : 22,

"relocating_shards" : 0,

"initializing_shards" : 0,

"unassigned_shards" : 0,

"delayed_unassigned_shards" : 0,

"number_of_pending_tasks" : 0,

"number_of_in_flight_fetch" : 0

}

二、

logstash

注：

https://www.elastic.co/guide/en/logstash/5.x/input-plugins.html #（input plugin：beats、file）

https://www.elastic.co/guide/en/logstash/5.x/output-plugins.html #（output plugins）

https://www.elastic.co/guide/en/logstash/5.x/filter-plugins.html #（filter plugins）

https://www.elastic.co/guide/en/logstash/5.x/codec-plugins.html #（codec plugins）

https://www.elastic.co/guide/en/logstash/5.x/configuration-file-structure.html

structure of a config file

----------------------file-start------------------------------

# This is a comment. You should usecomments to describe

# parts of your configuration.

input {

...

}

filter {

...

}

output {

...

}

------------------------file-end--------------------------------

value types：

array、lists、boolean、bytes、codec、hash、number、password、path、string、comments；

array（users => [ {id=> 1, name => bob}, {id => 2, name => jane} ]）；

lists（

path => [ "/var/log/messages","/var/log/*.log" ]

uris => [ "http://elastic.co","http://example.net" ]

）；

boolean（ssl_enable =>true）；

bytes（

my_bytes => "1113" # 1113 bytes

my_bytes => "10MiB" # 10485760 bytes

my_bytes => "100kib" # 102400bytes

my_bytes => "180 mb" #180000000 bytes

）；

codec（codec =>"json"）；

hash（

match => {

"field1" => "value1"

"field2" => "value2"

...

}

）；

number（port => 33）；

password（my_password =>"password"）；

uri（my_uri =>"http://foo:[email protected]"）；

path（my_path =>"/tmp/logstash"）；

string（

name => "Hello world"

name => 'It\'s a beautiful day'

）；

comments（

# this is a comment

input { # comments can appear at the end ofa line, too

#...

}

）；

安装logstash前要有java环境；

https://www.elastic.co/guide/en/logstash/current/installing-logstash.html#installing-logstash #（生产环境建议yum方式安装）

https://artifacts.elastic.co/downloads/logstash/logstash-5.1.1.rpm

https://download.elastic.co/logstash/logstash/packages/centos/logstash-1.5.3-1.noarch.rpm

二进制方式安装（logstash-1.5.3.tar.gz）：

[root@test4 ~]# tar xf logstash-1.5.3.tar.gz -C /usr/local/

[root@test4 ~]# cd /usr/local

[root@test4 local]# ln -sv logstash-1.5.3/ logstash

`logstash' -> `logstash-1.5.3/'

[root@test4 ~]# /usr/local/logstash/bin/logstash -e 'input { stdin{} } output { stdout {} }' #（标准输入，标准输出）

hello

Logstash startup completed

2016-12-27T00:55:58.155Z test4 hello

world

2016-12-27T00:56:07.105Z test4 world

^CSIGINT received. Shutting down thepipeline. {:level=>:warn}

^CSIGINT received. Terminatingimmediately.. {:level=>:fatal}

[root@test4 ~]# /usr/local/logstash/bin/logstash -e 'input { stdin{} } output { stdout { codec => rubydebug} }' #（rubydebug）

hello

Logstash startup completed

{

"message" => "hello",

"@version" => "1",

"@timestamp" => "2016-12-27T01:29:38.988Z",

"host" => "test4"

}

^CSIGINT received. Shutting down thepipeline. {:level=>:warn}

^CSIGINT received. Terminatingimmediately.. {:level=>:fatal}

[root@test4 ~]# /usr/local/logstash/bin/logstash -e 'input { stdin {} } output { elasticsearch { host =>"192.168.23.132" protocol => "http" } }' #（输出到elasticsearch）

hello world

'[DEPRECATED] use `require 'concurrent'`instead of `require 'concurrent_ruby'`

Logstash startup completed

http://192.168.23.132:9200/_plugin/head/

注：

粗黑框是主分片，其它是分片副本；

基本查询-->搜索（选logstash）-->点搜索 #（日志进了ES就可进行搜索）

[root@test5 ~]# /usr/local/elasticsearch/bin/plugin -i mobz/elasticsearch-head #（在192.168.23.133上安装管理集群插件）

二进制方式安装（logstash-1.5.3-1.noarch.rpm）：

[root@test4 ~]# rm -rf /usr/local/logstash*

[root@test4 ~]# rpm -ivh logstash-1.5.3-1.noarch.rpm

Preparing... ###########################################[100%]

1:logstash ########################################### [100%]

[root@test4 ~]# vim /etc/init.d/logstash

LS_USER=logstash

LS_GROUP=logstash

LS_HOME=/var/lib/logstash

LS_HEAP_SIZE="128m"

LS_LOG_DIR=/var/log/logstash

LS_LOG_FILE="${LS_LOG_DIR}/$name.log"

LS_CONF_DIR=/etc/logstash/conf.d

LS_OPEN_FILES=16384

LS_NICE=19

LS_OPTS=""

[root@test4 ~]# vim /etc/logstash/conf.d/logstash.conf

input {

file {

path => "/tmp/messages"

}

output {

file {

path =>"/tmp/%{+YYYY-MM-dd}-messages.gz"

gzip => true

}

[root@test4 ~]# /etc/init.d/logstash start

logstash started.

[root@test4 ~]# /etc/init.d/logstash status

logstash is running

[root@test4 ~]# cat /var/log/maillog >> /tmp/messages

[root@test4 ~]# cat /var/log/maillog>> /tmp/messages

[root@test4 ~]# ll /tmp

total 196

-rw-r--r--. 1 logstash logstash 5887 Dec 28 19:28 2016-12-29-messages.gz

drwxr-xr-x. 2 logstash logstash 4096 Dec 28 19:27 hsperfdata_logstash

drwxr-xr-x. 2 root root 4096 Dec 28 19:18 hsperfdata_root

drwxr-xr-x. 2 root root 4096 Dec 26 17:54 jna-3506402

-rw-r--r--. 1 root root 147340 Dec 28 19:28 messages

[root@test4 ~]# vim /etc/logstash/conf.d/logstash.conf

input {

file {

path =>"/tmp/messages"

}

output {

file {

path =>"/tmp/%{+YYYY-MM-dd}-messages.gz"

gzip => true

}

elasticsearch {

host =>"192.168.23.132"

protocol => "http"

index =>"system-messages-%{+YYYY.MM.dd}"

}

[root@test4 ~]# /etc/init.d/logstash restart

Killing logstash (pid 5921) with SIGTERM

Waiting logstash (pid 5921) to die...

logstash stopped.

logstash started.

[root@test4 ~]# cat /var/log/maillog>> /tmp/messages

http://192.168.23.132:9200/_plugin/head/

举例：

node1（test4，192.168.23.132，elasticsearch，logstash）

node2（test5，192.168.23.133，redis、elasticsearch，logstash）

前提：node1和node2是elasticsearch集群

datasource-->logstash-->redis-->logstash-->elasticsearch

（1）input(file)-->logstash-->output(redis)

（2）input(redis)-->logstash-->output(elasticsearch)

注：生产上一个业务用一个redis（0-15共16个库，默认0库），例如：db0给系统日志用，db1访问日志，db2错误日志，db3给mysql日志等

（1）

在test5（node2）上：

[root@test5 ~]# yum -y install redis

[root@test5 ~]# vim /etc/redis.conf

bind 192.168.23.133

[root@test5 ~]# /etc/init.d/redis start

Starting redis-server: [ OK ]

[root@test5 ~]# redis-cli -h 192.168.23.133 -p 6379

redis 192.168.23.133:6379> info

……

redis 192.168.23.133:6379> keys *

(empty list or set)

redis 192.168.23.133:6379> select 1

redis 192.168.23.133:6379[1]> keys *

(empty list or set)

在test4（node1）上：

[root@test4 ~]# vim /etc/logstash/conf.d/logstash.conf #（https://www.elastic.co/guide/en/logstash/current/plugins-inputs-redis.html）

input {

file {

path =>"/tmp/messages"

}

output {

redis {

data_type =>"list"

key =>"system-messages"

host =>"192.168.23.133"

port => "6379"

db => "1"

}

[root@test4 ~]# /etc/init.d/logstash restart

Killing logstash (pid 5986) with SIGTERM

Waiting logstash (pid 5986) to die...

logstash stopped.

logstash started.

[root@test4 ~]# cat /var/log/maillog>> /tmp/messages

在test5（node2）上查看：

redis 192.168.23.133:6379[1]> keys *

1) "system-messages"

redis 192.168.23.133:6379[1]> llen system-messages

(integer) 328

redis 192.168.23.133:6379[1]> lindex system-messages -1

"{\"message\":\"Dec 2819:06:17 test4 dhclient[4900]: bound to 192.168.23.132 -- renewal in 899seconds.\",\"@version\":\"1\",\"@timestamp\":\"2016-12-29T08:49:10.183Z\",\"host\":\"test4\",\"path\":\"/tmp/messages\"}"

（2）

在node2上安装logstash

[root@test5 ~]# java -version

java version "1.8.0_111"

Java(TM) SE Runtime Environment (build1.8.0_111-b14)

Java HotSpot(TM) 64-Bit Server VM (build25.111-b14, mixed mode)

[root@test5 ~]# rpm -ivh logstash-1.5.3-1.noarch.rpm

Preparing... ########################################### [100%]

1:logstash ########################################### [100%]

[root@test5 ~]# /etc/init.d/elasticsearchstatus

Elasticsearch is running: PID:4165,Wrapper:STARTED, Java:STARTED

[root@test5 ~]# vim /etc/init.d/logstash

LS_HEAP_SIZE="128m"

[root@test5 ~]# vim /etc/logstash/conf.d/logstash.conf

input {

redis {

data_type =>"list"

key =>"system-messages"

host =>"192.168.23.133"

port => "6379"

db => "1"

}

output {

elasticsearch {

host =>"192.168.23.133"

protocol => "http"

index =>"system-redis-messages-%{+YYYY.MM.dd}"

}

[root@test5 ~]# /etc/init.d/logstash start

logstash started.

在node1上导入数据：

[root@test4 ~]# cat /var/log/maillog>> /tmp/messages

在node2上查看redis中数据，已被elasticsearch拿走长度0：

redis 192.168.23.133:6379[1]> llen system-messages

(integer) 0

redis 192.168.23.133:6379[1]> llen system-messages

(integer) 0

redis 192.168.23.133:6379[1]> llen system-messages

(integer) 0

http://192.168.23.132:9200/_plugin/head/

注：

codec plugins：json

input-->decode-->filter-->encode-->output

decode、filter、encode #（codec）

系统日志syslog；

访问日志（codec => json），若json格式不完整，logstash将不会收集，意味着要丢日志，可在logstash日志中查看json解析失败，在线json解析，http://jsonlint.com/；

错误日志（codec =>multiline）；

注：

codec => multiline

pattern => ".*\t.*"

运行日志（codec => json）；

其它日志；

举例：

nginx记录日志用json

[root@test4 ~]# yum -y install nginx

[root@test4 ~]# cp /etc/nginx/nginx.conf.default /etc/nginx/nginx.conf

cp: overwrite `/etc/nginx/nginx.conf'? y

[root@test4 ~]# vim /etc/nginx/nginx.conf

……

http {

……

log_format logstash_json '{"@timestamp" : "$time_iso8601",'

'"host" :"$server_addr",'

'"client" :"$remote_addr",'

'"size" :$body_bytes_sent,'

'"responsetime" : $request_time,'

'"domain" :"$host",'

'"url" :"$uri",'

'"referer" :"$http_referer",'

'"agent" :"$http_user_agent",'

'"status" :"$status"}';

server {

listen 80;

server_name localhost;

……

access_log logs/access_json.log logstash_json;

……

}

……

}

[root@test4 ~]# mkdir /usr/share/nginx/logs

[root@test4 ~]# /etc/init.d/nginx configtest

nginx: the configuration file/etc/nginx/nginx.conf syntax is ok

nginx: configuration file/etc/nginx/nginx.conf test is successful

[root@test4 ~]# service nginx start

Starting nginx: [ OK ]

node1：

[root@test4 ~]# vim /etc/logstash/conf.d/logstash.conf

input {

file {

path => "/usr/share/nginx/logs/access_json.log"

codec => "json"

}

output {

redis {

data_type => "list"

key => "nginx-access-log"

host => "192.168.23.133"

port => "6379"

db => "2"

}

[root@test4 ~]# /etc/init.d/logstash restart

Killing logstash (pid 9034) with SIGTERM

Waiting logstash (pid 9034) to die...

logstash stopped.

logstash started.

node2：

[root@test5 ~]# vim /etc/logstash/conf.d/logstash.conf

input {

redis {

data_type =>"list"

key => "nginx-access-log"

host => "192.168.23.133"

port => "6379"

db => "2"

}

output {

elasticsearch {

host => "192.168.23.133"

protocol => "http"

index => "nginx-access-log-%{+YYYY.MM.dd}"

}

[root@test5 ~]# /etc/init.d/logstash restart

Killing logstash (pid 3718) with SIGTERM

Waiting logstash (pid 3718) to die...

logstash stopped.

logstash started.

node1：

[root@test4 ~]# ab -n 10000 -c 100 http://192.168.23.132:80/index.html

……

[root@test4 ~]# tail -5/usr/share/nginx/logs/access_json.log

{"@timestamp" :"2017-01-03T00:32:01-08:00","host" :"192.168.23.132","client" :"192.168.23.132","size" : 0,"responsetime" :0.000,"domain" : "192.168.23.132","url" :"/index.html","referer" : "-","agent" :"ApacheBench/2.3","status" : "200"}

{"@timestamp" : "2017-01-03T00:32:01-08:00","host": "192.168.23.132","client" :"192.168.23.132","size" : 0,"responsetime" :0.000,"domain" : "192.168.23.132","url" :"/index.html","referer" : "-","agent" :"ApacheBench/2.3","status" : "200"}

node2（已用yum方式安装redis）：

redis 192.168.23.133:6379[1]> select 2

redis 192.168.23.133:6379[2]> keys *

1) "nginx-access-log"

……

redis 192.168.23.133:6379[2]> keys * #（elasticsearch取完后为空）

(empty list or set)

http://192.168.23.132:9200/_plugin/head/

“数据浏览”中

三、

kibana，搜索elasticsearch中的数据，并可视化展现出来

kibanaV1（php）；kibanaV2（ruby）；kibanaV3（js）；kibanaV4（jruby-->nodejs）；

[root@test4 ~]# tar xf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/

[root@test4 ~]# cd /usr/local

[root@test4 local]# ln -sv kibana-4.1.1-linux-x64/ kibana

`kibana' -> `kibana-4.1.1-linux-x64/'

[root@test4 local]# vim /usr/local/kibana/config/kibana.yml

elasticsearch_url: "http://192.168.23.132:9200"

[root@test4 local]# kibana/bin/kibana #（5601port，没有报错再放到后台执行）

{"name":"Kibana","hostname":"test4","pid":9687,"level":30,"msg":"Noexisting kibana indexfound","time":"2017-01-03T09:00:42.763Z","v":0}

{"name":"Kibana","hostname":"test4","pid":9687,"level":30,"msg":"Listeningon0.0.0.0:5601","time":"2017-01-03T09:00:42.850Z","v":0}

[root@test4 local]# cd

[root@test4 ~]# nohup /usr/local/kibana/bin/kibana &

[1] 9710

[root@test4 ~]# nohup: ignoring input andappending output to `nohup.out'

[root@test4 ~]# netstat -tnulp | grep :5601

tcp 0 0 0.0.0.0:5601 0.0.0.0:* LISTEN 9710/node

http://192.168.23.132:5601

勾选index contains time-based events和use event times tocreate index names

index pattern interval选daily

index name or pattern中输入[nginx-access-log-]YYYY.MM.DD会自动匹配出elasticearch中的index，如图中绿框中内容

点refresh fields，选@timestamp

点Create

添加多个index，Settings-->Indices-->Add New，若要将某index作为默认，点绿色五角星

Settings-->Advanced，设置kibana各参数

discover:sampleSize，默认显示日志500行，且以倒序显示，最新的日志最先显示，为加快显示速度，可调整为50

Discover

右上角点Last 15 minutes，Quick、Relative相对、Absolute，点This month

左侧，Available Fields，依次点domain、agent、size、url，每个上都点add

在search框内输入status:200，看搜索框的右下角，12020 hits

在search框内输入status:404，看搜索框右下角，0 hits

[root@test4 ~]# ab -n 1000 -c 10 http://192.168.23.132/ni×××.html

redis 192.168.23.133:6379[2]> keys *

1) "nginx-access-log"

redis 192.168.23.133:6379[2]> keys *

1) "nginx-access-log"

redis 192.168.23.133:6379[2]> keys *

(empty list or set)

Available Fields中add进status

search框中输入，status:404

status:404 OR status:200，也可用AND、NOT、TO

status:[400 TO 499]

注：

status:200

status:404

status:200 OR status:404

status:[400 TO 499]

搜索框右侧第二个、第三个按钮分别为Save Search、Load Saved

Visualize：area chart, datatable, line chart, markdown widget, metric, pie chart, tile map, vertical barchart

if EXPRESSION {

……

} else if EXPRESSION {

……

} else {

……

}

举例：

input {

file {

type=> "apache"

path=> "/var/log/httpd/logs/access_log"

}

file {

type=> "php-error-log"

path=> "/var/log/php/php_errors.log"

}

output {

if [type] == "apache" {

redis{

host=> "192.168.23.133"

port=> "6379"

db=> "2"

data_type=> "list"

key=> "api-access-log-`HOSTNAME`"

}

if [type] == "php-error-log" {

redis{

host=> "192.168.23.133"

port=> "6379"

db=> "3"

data_type=> "list"

key=> "php-error-log"

}

if [type] == "api-run-log" {

redis{

host=> "192.168.23.133"

port=> "6379"

db=> "4"

data_type=> "list"

key=> "api-run-log"

}

注：json中不能有type字段，否则logstash不能收集到

你可能感兴趣的:(III【Service】)

关于提高复杂业务逻辑代码可读性的思考编程经验分享开发经验 java 数据库开发语言
目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
openssl+keepalived安装部署 _小亦_ 项目部署 keepalived openssl
文章目录OpenSSL安装下载地址编译安装修改系统配置版本Keepalived安装下载地址安装遇到问题安装完成配置文件keepalived运行检查运行状态查看系统日志修改服务service重新加载systemd检查配置文件语法错误OpenSSL安装下载地址考虑到后面设备可能没法连接到外网，所以采用安装包的方式进行部署，下载地址：https://www.openssl.org/source/old/
多线程之——ExecutorCompletionService 阿福德
在我们开发中，经常会遇到这种情况，我们起多个线程来执行，等所有的线程都执行完成后，我们需要得到个线程的执行结果来进行聚合处理。我在内部代码评审时，发现了不少这种情况。看很多同学都使用正确，但比较啰嗦，效率也不高。本文介绍一个简单处理这种情况的方法：直接上代码：publicclassExecutorCompletionServiceTest{@TestpublicvoidtestExecutorCo
ubuntu安装wordpress lissettecarlr
1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
华为云分布式缓存服务DCS 8月新特性发布华为云PaaS服务小智华为云分布式缓存
分布式缓存服务（DistributedCacheService，简称DCS）是华为云提供的一款兼容Redis的高速内存数据处理引擎，为您提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力，满足用户高并发及数据快速访问的业务诉求。此次为大家带来DCS8月的特性更新内容，一起来看看吧！
代码随想录Day 41|动态规划之买卖股票问题，leetcode题目121. 买卖股票的最佳时机、122. 买卖股票的最佳时机Ⅱ、123. 买卖股票的最佳时机Ⅲ LluckyYH 动态规划 leetcode 算法数据结构
提示：DDU，供自己复习使用。欢迎大家前来讨论~文章目录买卖股票的最佳时机相关题目题目一：121.买卖股票的最佳时机解题思路：题目二：122.买卖股票的最佳时机II解题思路：题目三：123.买卖股票的最佳时机III解题思路总结买卖股票的最佳时机相关题目题目一：121.买卖股票的最佳时机[[121.买卖股票的最佳时机](https://leetcode.cn/problems/combination
metaRTC/webRTC QOS 方案与实践 metaRTC metaRTC 解决方案 webrtc qos
概述质量服务(QOS/QualityofService)是指利用各种技术方案提高网络通信质量的技术，网络通信质量需要解决下面两个问题：网络问题：UDP/不稳定网络/弱网下的丢包/延时/乱序/抖动数据量问题：发送数据量超带宽负载和平滑发送拥塞控制是各种技术方案的数据基础，丢包恢复解决丢包问题，抗乱序抖动解决网络乱序抖动问题，流量控制解决平滑发送数据/数据超带宽负载/延时问题。拥塞控制(Congest
Istio pilot-discovery服务发现源码解析（1.13版本） xidianjiapei001 #Istio istio 云原生服务发现
Istiopilot-discovery服务发现介绍工作机制初始化初始化Config控制器初始化Service控制器controller初始化NamespaceServiceNodePodPilotDiscovery各组件启动流程DiscoveryServer接收Envoy的gRPC连接请求流程Config变化后向Envoy推送更新的流程总结参考介绍IstioPilot的代码分为Pilot-Dis
Ubuntu常用命令整理十里染林
ubuntu16.04server开启ssh:使用x-shell连接主机，发现22端口没有打开，开启ssh服务：安装openssh-serversudoapt-getinstallopenssh-server检查安装是否成功sudops-e|grepssh开启ssh服务sudoservicesshstartUbuntu开启/关闭防火墙:开启防火墙sudoufwenable关闭防火墙sudoufwd
关闭Windows自动更新的6种方法 Gemini1995 windows
在Windows操作系统中，可以使用多种方法来关闭自动更新。以下是其中一些常用的方法：使用设置应用：打开“设置”应用（Win+I），选择“更新和安全”。在左侧菜单中选择“Windows更新”。点击“更改活动时间”或“高级选项”。在“更新选项”下拉菜单中选择“通知我但不自动下载或安装”或“从不检查更新”。通过服务管理器：打开“服务”管理器，可以通过在运行对话框中输入services.msc来打开。找
【Kubernetes】常见面试题汇总（十一） summer.335 Kubernetes kubernetes 容器云原生
目录33.简述Kubernetes外部如何访问集群内的服务？34.简述Kubernetesingress？35.简述Kubernetes镜像的下载策略？33.简述Kubernetes外部如何访问集群内的服务？（1）对于Kubernetes，集群外的客户端默认情况，无法通过Pod的IP地址或者Service的虚拟IP地址：虚拟端口号进行访问。（2）通常可以通过以下方式进行访问Kubernetes集群
k8s中Service暴露的种类以及用法听说唐僧不吃肉 K8S kubernetes 容器云原生
一、说明在Kubernetes中，有几种不同的方式可以将服务（Service）暴露给外部流量。这些方式通过定义服务的spec.type字段来确定。二、详解1.ClusterIP定义：默认类型，服务只能在集群内部访问。作用：通过集群内部IP地址暴露服务。示例：spec:type:ClusterIPports:-port:80targetPo
SPI机制我们仍未知道那天所看见的猫的名
1、SPI机制：ServiceProviderInterface：服务提供发现机制，类型IOCJavaSPI实现：ServiceLoader定义接口A；实现接口A的实现类，B和C；在/META-INF/services/下创建文件，文件名为A类的全名称，内容为B和C的类全名调用：ServiceLoaderload=ServiceLoader.load(A.class);Interatori=loa
webstorm报错TypeError: this.cliEngine is not a constructor Blue_Color
点击Details在控制台会显示报错的位置TypeError:this.cliEngineisnotaconstructoratESLintPlugin.invokeESLint(/Applications/RubyMine.app/Contents/plugins/JavaScriptLanguage/languageService/eslint/bin/eslint-plugin.js:97:
linux挂载文件夹小码快撩 linux
1.使用NFS（NetworkFileSystem）NFS是一种分布式文件系统协议，允许一个系统将其文件系统的一部分共享给其他系统。检查是否安装NFSrpm-qa|grepnfs2.启动和启用NFS服务假设服务名称为nfs-server.service，你可以使用以下命令启动和启用它：sudosystemctlstartnfs-server.servicesudosystemctlenablenf
Spring @Async 深度解读：默认线程池执行器的配置与优化小码快撩 spring java 前端
在Spring中，@Async注解用于异步执行方法。默认情况下，@Async注解的任务是由一个线程池执行的。然而，这个默认的线程池是如何初始化的呢？本文将深入探讨这一过程，帮助你理解Spring异步任务背后的线程池执行器的初始化原理。1.@Async的基本使用首先，让我们快速回顾一下@Async的基本用法。@Async通常用于标注在需要异步执行的方法上，比如：@Servicepublicclass
Spring Security定义多个过滤器链（10）小黑屋说YYDS spring
在SpringSecurity中可以同时存在多个过滤器链，一个WebSecurityConfigurerAdapter的实例就可以配置一条过滤器链。我们来看如下一个案例：@ConfigurationpublicclassSecurityConfig{@BeanUserDetailsServiceus(){InMemoryUserDetailsManagerusers=newInMemoryUser
C# 自动化 TineAine C#代码片段自动化 c#自动化模拟操作
实现的方法可能很笨，但是确实很好用usingSystem;usingSystem.Collections.Generic;usingSystem.Linq;usingSystem.Runtime.InteropServices;usingSystem.Text;usingSystem.Threading;usingSystem.Threading.Tasks;/******************
MyBatis 查询数据库_mybatis查询某个库的所有表名(2) 2401_84181942 程序员 mybatis oracle tomcat
标签说明：***``标签**：需要指定namespace属性，表示命名空间，值为mapper接口的全限定名，包括全包名.类名。***``查询标签**：是用来执行数据库的查询操作的：`id`：是和Interface（接口）中定义的方法名称一样的，表示对接口的具体实现方法。`resultType`：是返回的数据类型，也就是开头我们定义的实体类。####2.4.4添加Service服务层实现代码如下：@
Spring Cloud: Hystrix请求队列线程不足 MeazZa
在SpringCloud中，Feign可以实现本地化的微服务API调用，Hystrix可以实现调用失败时的fallback处理。问题描述：在实际生产环境中使用时，我们遇到了这样一个错误："...,stacktrace:[com.netflix.hystrix.exception.HystrixRuntimeException:QueryNodeImpalaBdService#getQueryRes
Servlet容器的作用、HttpServlet的工作机制流程图烟雨国度 servlet 流程图 hive
HttpServletRequest解析过程是否GETPOST其他方法Servlet生命周期init-初始化Servletservice-处理请求destroy-销毁ServletgetMethod返回HTTP方法getRequestURI返回请求URIgetQueryString返回查询字符串getParameter返回特定参数值客户端发送HTTP请求服务器接收请求Web容器创建ServletR
车载以太网之SOME/IP IT_码农车载以太网车载以太网 SOME/IP
整体介绍SOME/IP(全称为：Scalableservice-OrientedMiddlewarEoverIP)，是运行在车载以太网协议栈基础之上的中间件，或者也可以称为应用层软件。发展历程AUTOSAR4.0-完成宝马SOME/IP消息的初步集成；AUTOSAR4.1-支持SOME/IP-SD及其发布/订阅功能；AUTOSAR4.2-添加transformer用于序列化以及其他相关优化；AUT
Android-悬浮窗功能的实现（附Java、KT实现源码）(1) egrhef 程序员 android java 开发语言
//获取服务的操作对象valbinder=serviceasFloatWinfowServices.MyBinderbinder.service}overridefunonServiceDisconnected(name:ComponentName){}}overridefunonActivityResult(requestCode:Int,resultCode:Int,data:Intent){
Camera2 CameraService 启动 yaoming168 Camera Framewrok android
文章目录frameworks/av/media/mediaserver/main_mediaserver.cppframeworks/av/media/mediaserver/Android.bpframeworks/native/include/binder/BinderService.hframeworks/av/services/camera/libcameraservice/CameraS
28.副属和弦西特西
概念副属和弦概念.png过程五级和弦——一级和弦III级——假装的家.png将Em（III级）当成假装的终止，按前面V-I的走向，可以在III级Em前，加入Em的V级（副属）副属和弦1.png没有副属和弦的谱例.png副属和弦谱例.png几个范例：副属和弦2.png副属和弦3.png正常版本.png副属和弦版本1（正常版本比较）.png副属和弦版本2（正常版本比较）.png
Springboot3 整合 Mybatis3 （前程似锦） mybatis java spring boot
Springboot3整合MybatisSpringboot3整合MybatisSpringboot3整合Mybatis一、导入依赖二、编写配置文件三、定义模型entity实体类四、在启动类上添加注解，表示mapper接口所在位置五、定义mapper接口六、定义mapper.xml映射文件七、service层八、测试一、导入依赖mybatis的必要依赖注意：使用springboot3的话要使用my
实现多级缓存的六种策略方法 Kixuan214 缓存 redis rabbitmq
保证多级缓存数据一致性是一个复杂的任务，尤其是在分布式和高并发环境中。以下是一些常见的方法和策略，可以帮助实现多级缓存的数据一致性1.缓存失效策略1.1主动失效在更新数据库时，主动使相关缓存失效。步骤：更新数据库删除或失效缓存publicclassCacheService{privateLocalCachelocalCache;privateRedisCacheredisCache;private
SpringBoot项目俺叫啥好嘞 spring系列 spring springboot
SpringBoot项目大概分为四层：（1）DAO层：包括XxxMapper.java(数据库访问接口类)，XxxMapper.xml(数据库链接实现)；（这个命名，有人喜欢用Dao命名，有人喜欢用Mapper，看个人习惯了吧）（2）Bean层：也叫model层，模型层，entity层，实体层，就是数据库表的映射实体类，存放POJO对象；（3）Service层：也叫服务层，业务层，包括XxxSer
java中的ide、sdk是什么,javaee\javase\javame区别极客Thomas ide java eclipse
ide：integrateddevelopmentenvironment集成开发环境简单的来说就是提供编译代码等一系列功能的开发环境比如：eclipsesdk：servicedevelopmentpack服务开发包简单来说就是一些封装的功能代码，做成了一个包，给我们可以直接调用比如jdk1.8jdkjavase（JavaPlatform，StandardEdition）标准版本，在电脑上运行jav
K8S - Volume - NFS 卷的简介和使用 nvd11 K8S kubernetes 容器云原生
在之前的文章里已经介绍了K8S中两个简单卷类型hostpath和emptydirk8s-Volume简介和HostPath的使用K8S-Emptydir-取代ELK使用fluentd构建loggingsaidcar但是这两种卷都有同1个限制，就是依赖于k8snodes的空间如果某个servicepod中需要的volumn空间很大，这时我们就需要考虑网络磁盘方案，其中NAS类型的Volume是常用且
LeetCode[Math] - #66 Plus One Cwind java LeetCode 题解 Algorithm Math
原题链接：#66 Plus One 要求：给定一个用数字数组表示的非负整数，如num1 = {1, 2, 3, 9}, num2 = {9, 9}等，给这个数加上1。注意： 1. 数字的较高位存在数组的头上，即num1表示数字1239 2. 每一位（数组中的每个元素）的取值范围为0~9 难度：简单分析：题目比较简单，只须从数组
JQuery中$.ajax()方法参数详解 AILIKES JavaScript jsonp jquery Ajax json
url: 要求为String类型的参数，（默认为当前页地址）发送请求的地址。 type: 要求为String类型的参数，请求方式（post或get）默认为get。注意其他http请求方法，例如put和 delete也可以使用，但仅部分浏览器支持。 timeout: 要求为Number类型的参数，设置请求超时时间（毫秒）。此设置将覆盖$.ajaxSetup()方法的全局
JConsole & JVisualVM远程监视Webphere服务器JVM Kai_Ge JVisualVM JConsole Webphere
JConsole是JDK里自带的一个工具，可以监测Java程序运行时所有对象的申请、释放等动作，将内存管理的所有信息进行统计、分析、可视化。我们可以根据这些信息判断程序是否有内存泄漏问题。　　使用JConsole工具来分析WAS的JVM问题，需要进行相关的配置。　　首先我们看WAS服务器端的配置. 　　1、登录was控制台https://10.4.119.18
自定义annotation 120153216 annotation
Java annotation 自定义注释@interface的用法一、什么是注释说起注释，得先提一提什么是元数据(metadata)。所谓元数据就是数据的数据。也就是说，元数据是描述数据的。就象数据表中的字段一样，每个字段描述了这个字段下的数据的含义。而J2SE5.0中提供的注释就是java源代码的元数据，也就是说注释是描述java源
CentOS 5/6.X 使用 EPEL YUM源 2002wmj centos
CentOS 6.X 安装使用EPEL YUM源1. 查看操作系统版本[root@node1 ~]# uname -a Linux node1.test.com 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux [root@node1 ~]#
在SQLSERVER中查找缺失和无用的索引SQL 357029540 SQL Server
--缺失的索引 SELECT avg_total_user_cost * avg_user_impact * ( user_scans + user_seeks ) AS PossibleImprovement , last_user_seek ,
Spring3 MVC 笔记（二） —json+rest优化 7454103 Spring3 MVC
接上次的 spring mvc 注解的一些详细信息！其实也是一些个人的学习笔记呵呵！
替换“\”的时候报错Unexpected internal error near index 1 \ ^ adminjun java “\替换”
发现还是有些东西没有刻子脑子里,,过段时间就没什么概念了,所以贴出来...以免再忘... 在拆分字符串时遇到通过 \ 来拆分，可是用所以想通过转义 \\ 来拆分的时候会报异常 public class Main { /*
POJ 1035 Spell checker(哈希表) aijuans 暴力求解--哈希表
/* 题意：输入字典，然后输入单词，判断字典中是否出现过该单词，或者是否进行删除、添加、替换操作，如果是，则输出对应的字典中的单词要求按照输入时候的排名输出题解：建立两个哈希表。一个存储字典和输入字典中单词的排名，一个进行最后输出的判重 */ #include <iostream> //#define using namespace std; const int HASH =
通过原型实现javascript Array的去重、最大值和最小值 ayaoxinchao JavaScript array prototype
用原型函数（prototype）可以定义一些很方便的自定义函数，实现各种自定义功能。本次主要是实现了Array的去重、获取最大值和最小值。实现代码如下： <script type="text/javascript"> Array.prototype.unique = function() { var a = {}; var le
UIWebView实现https双向认证请求 bewithme UIWebView https Objective-C
什么是HTTPS双向认证我已在先前的博文 ASIHTTPRequest实现https双向认证请求中有讲述，不理解的读者可以先复习一下。本文是用UIWebView来实现对需要客户端证书验证的服务请求，网上有些文章中有涉及到此内容，但都只言片语，没有讲完全，更没有完整的代码，让人困扰不已。但是此知
NoSQL数据库之Redis数据库管理(Redis高级应用之事务处理、持久化操作、pub_sub、虚拟内存) bijian1013 redis 数据库 NoSQL
3.事务处理 Redis对事务的支持目前不比较简单。Redis只能保证一个client发起的事务中的命令可以连续的执行，而中间不会插入其他client的命令。当一个client在一个连接中发出multi命令时，这个连接会进入一个事务上下文，该连接后续的命令不会立即执行，而是先放到一个队列中，当执行exec命令时，redis会顺序的执行队列中
各数据库分页sql备忘 bingyingao oracle sql 分页
ORACLE 下面这个效率很低 SELECT * FROM ( SELECT A.*, ROWNUM RN FROM (SELECT * FROM IPAY_RCD_FS_RETURN order by id desc) A ) WHERE RN <20; 下面这个效率很高 SELECT A.*, ROWNUM RN FROM (SELECT * FROM IPAY_RCD_
【Scala七】Scala核心一：函数 bit1129 scala
1. 如果函数体只有一行代码，则可以不用写{},比如 def print(x: Int) = println(x) 一行上的多条语句用分号隔开，则只有第一句属于方法体，例如 def printWithValue(x: Int) : String= println(x); "ABC" 上面的代码报错，因为，printWithValue的方法
了解GHC的factorial编译过程 bookjovi haskell
GHC相对其他主流语言的编译器或解释器还是比较复杂的，一部分原因是haskell本身的设计就不易于实现compiler，如lazy特性，static typed，类型推导等。关于GHC的内部实现有篇文章说的挺好，这里，文中在RTS一节中详细说了haskell的concurrent实现，里面提到了green thread，如果熟悉Go语言的话就会发现，ghc的concurrent实现和Go有点类
Java-Collections Framework学习与总结-LinkedHashMap BrokenDreams LinkedHashMap
前面总结了java.util.HashMap，了解了其内部由散列表实现，每个桶内是一个单向链表。那有没有双向链表的实现呢？双向链表的实现会具备什么特性呢？来看一下HashMap的一个子类——java.util.LinkedHashMap。
读《研磨设计模式》-代码笔记-抽象工厂模式-Abstract Factory bylijinnan abstract
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * Abstract Factory Pattern * 抽象工厂模式的目的是： * 通过在抽象工厂里面定义一组产品接口，方便地切换“产品簇” * 这些接口是相关或者相依赖的
压暗面部高光 cherishLC PS
方法一、压暗高光&重新着色当皮肤很油又使用闪光灯时，很容易在面部形成高光区域。下面讲一下我今天处理高光区域的心得：皮肤可以分为纹理和色彩两个属性。其中纹理主要由亮度通道（Lab模式的L通道）决定，色彩则由a、b通道确定。处理思路为在保持高光区域纹理的情况下，对高光区域着色。具体步骤为：降低高光区域的整体的亮度，再进行着色。如果想简化步骤，可以只进行着色（参看下面的步骤1
Java VisualVM监控远程JVM crabdave visualvm
Java VisualVM监控远程JVM JDK1.6开始自带的VisualVM就是不错的监控工具. 这个工具就在JAVA_HOME\bin\目录下的jvisualvm.exe, 双击这个文件就能看到界面通过JMX连接远程机器, 需要经过下面的配置: 1. 修改远程机器JDK配置文件 (我这里远程机器是linux).
Saiku去掉登录模块 daizj saiku 登录 olap BI
1、修改applicationContext-saiku-webapp.xml <security:intercept-url pattern="/rest/**" access="IS_AUTHENTICATED_ANONYMOUSLY" /> <security:intercept-url pattern=&qu
浅析 Flex中的Focus dsjt html Flex Flash
关键字：focus、 setFocus、 IFocusManager、KeyboardEvent 焦点、设置焦点、获得焦点、键盘事件一、无焦点的困扰——组件监听不到键盘事件原因：只有获得焦点的组件（确切说是InteractiveObject）才能监听到键盘事件的目标阶段；键盘事件（flash.events.KeyboardEvent）参与冒泡阶段，所以焦点组件的父项（以及它爸
Yii全局函数使用 dcj3sjt126com yii
由于YII致力于完美的整合第三方库，它并没有定义任何全局函数。yii中的每一个应用都需要全类别和对象范围。例如，Yii::app()->user;Yii::app()->params['name'];等等。我们可以自行设定全局函数，使得代码看起来更加简洁易用。(原文地址) 我们可以保存在globals.php在protected目录下。然后，在入口脚本index.php的，我们包括在
设计模式之单例模式二（解决无序写入的问题） come_for_dream 单例模式 volatile 乱序执行双重检验锁
在上篇文章中我们使用了双重检验锁的方式避免懒汉式单例模式下由于多线程造成的实例被多次创建的问题，但是因为由于JVM为了使得处理器内部的运算单元能充分利用，处理器可能会对输入代码进行乱序执行（Out Of Order Execute）优化，处理器会在计算之后将乱序执行的结果进行重组，保证该
程序员从初级到高级的蜕变 gcq511120594 框架工作 PHP android html5
软件开发是一个奇怪的行业，市场远远供不应求。这是一个已经存在多年的问题，而且随着时间的流逝，愈演愈烈。我们严重缺乏能够满足需求的人才。这个行业相当年轻。大多数软件项目是失败的。几乎所有的项目都会超出预算。我们解决问题的最佳指导方针可以归结为——“用一些通用方法去解决问题，当然这些方法常常不管用，于是，唯一能做的就是不断地尝试，逐个看看是否奏效”。现在我们把淫浸代码时间超过3年的开发人员称为
Reverse Linked List hcx2013 list
Reverse a singly linked list. /** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode(int x) { val = x; } * } */ p
Spring4.1新特性——数据库集成测试 jinnianshilongnian spring 4.1
目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
C# Ajax上传图片同时生成微缩图(附Demo) liyonghui160com
1.Ajax无刷新上传图片,详情请阅我的这篇文章。（jquery + c# ashx） 2.C#位图处理 System.Drawing。 3.最新demo支持IE7,IE8,Fir
Java list三种遍历方法性能比较 pda158 java
从c/c++语言转向java开发，学习java语言list遍历的三种方法，顺便测试各种遍历方法的性能，测试方法为在ArrayList中插入1千万条记录，然后遍历ArrayList，发现了一个奇怪的现象，测试代码例如以下： package com.hisense.tiger.list; import java.util.ArrayList; import java.util.Iterator;
300个涵盖IT各方面的免费资源（上）——商业与市场篇 shoothao seo 商业与市场 IT资源免费资源
A.网站模板+logo+服务器主机+发票生成 HTML5 UP:响应式的HTML5和CSS3网站模板。 Bootswatch:免费的Bootstrap主题。 Templated:收集了845个免费的CSS和HTML5网站模板。 Wordpress.org|Wordpress.com:可免费创建你的新网站。 Strikingly:关注领域中免费无限的移动优
localStorage、sessionStorage uule localStorage
W3School 例子 HTML5 提供了两种在客户端存储数据的新方法： localStorage - 没有时间限制的数据存储 sessionStorage - 针对一个 session 的数据存储之前，这些都是由 cookie 完成的。但是 cookie 不适合大量数据的存储，因为它们由每个对服务器的请求来传递，这使得 cookie 速度很慢而且效率也不