weixin_34049948
weixin_34049948

大数据搜索引擎之ElasticSearch安装篇(资源)

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

实验平台：操作系统：CentOS 7

软件链接（官网）：https://www.elastic.co/products

Elasticsearch介绍

 ELK由Elasticsearch、Logstash和Kibana三部分组件组成；他们都是开源免费的工具。简述如下：

    Elasticsearch是个开源分布式搜索引擎，特点网上一搜到处是：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等 。

    Logstash可以对你的日志进行收集、分析，并将其存储供以后使用（Cloudera的flume也差不多是这些功能）

    kibana 为 Logstash 和 ElasticSearch 提供的日志分析的 Web 界面，帮助汇总、分析和搜索重要数据日志

       Elasticsearch是一个实时分布式搜索和分析引擎。 它让你以前所未有的速度处理大数据增添可能性。它用于全文搜索、结构化搜索、分析以及将这三者混合使用。

     Elasticsearch常常被应用在数据中心的实时协议分析和安全威胁检测，如apache、nginx、操作系统、网络流量等日志的分析，快速定位攻击位置，威胁预警等。

      ElasticSearch 提供了一套基于restful风格的全文检索服务组件。前身是compass，直到2010被一家公司接管进行维护，开始商业化，并提供了ElasticSearch 一些相关的产品，包括大家比较熟悉的 kibana、logstash 以及 ElasticSearch 的一些组件，比如 安全组件shield 。当前最新的EElasticSearch 版本为 5.1.1 ，比较应用广泛的为2.X，直到 2016-12 推出了5.x 版本 ，将版本号调为 5.X 。这是为了和 kibana 和 logstash 等产品版本号进行统一 ElasticSearch 。

一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。

Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

Filebeat隶属于Beats。目前Beats包含四种工具：

    1. Packetbeat（搜集网络流量数据）
    2. Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
    3. Filebeat（搜集文件数据）
    4. Winlogbeat（搜集 Windows 事件日志数据）

官方文档：

Filebeat：

https://www.elastic.co/cn/products/beats/filebeat
https://www.elastic.co/guide/en/beats/filebeat/5.6/index.html

Logstash：
https://www.elastic.co/cn/products/logstash
https://www.elastic.co/guide/en/logstash/5.6/index.html

Kibana:

https://www.elastic.co/cn/products/kibana

https://www.elastic.co/guide/en/kibana/5.5/index.html

Elasticsearch：
https://www.elastic.co/cn/products/elasticsearch
https://www.elastic.co/guide/en/elasticsearch/reference/5.6/index.html

elasticsearch中文社区：
https://elasticsearch.cn/

一个完整的集中式日志系统，需要包含以下几个主要特点：

  • 收集－能够采集多种来源的日志数据
  • 传输－能够稳定的把日志数据传输到中央系统
  • 存储－如何存储日志数据
  • 分析－可以支持 UI 分析
  • 警告－能够提供错误报告，监控机制

ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。目前主流的一种日志系统。

    ELK是由kibana、logstash 以及 ElasticSearch 组成

   ElasticSearch 是一个开源分布式搜索引型、特点：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载，官网：https://www.elastic.co/。提供一个分布式日志存储+搜索引型；

    logstash 是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用，负责收集客户端服务器所有的日志（Nginx、内核、mysql、java日志、APP日志）；

         kibana也是一个完全开源的工具，他可以为Logstash 和ElasticSearch提供的日志分析友好的web界面，提供了一个开源WEB访问平台，供用户、管理员更加便捷操作，基于WEB方式更加的简单；

     Logstash 和ElasticSearch是使用Javay语言编写，而kibana使用node.js框架，在配置ELK环境要保证系统有JAVA JDk开发库

     ES集群组件介绍：集群(duster),节点(node), shard(primary, replica)

    集群有状态：green, red, yellow各自含义、监 听端口、建立通信机制、节点通信等

    Logstash四类API：检查集睬节点、索引等健康与否，以及获取其相应状态；管理 集群、节点、索引及元数据；执行CRUD操作；执行高级操作，例如 Paging, Filtering 等。

 

Elasticsearch 应用领域

          一、是搜索领域，相对于solr，真正的后起之秀，成为很多搜索系统的不二之选。

         二、是Json文档数据库，相对于MongoDB，读写性能更佳，而且支持更丰富的地理位置查询以及数字、文本的混合查询等。

        三、是时序数据分析处理，目前是日志处理、监控数据的存储、分析和可视化方面做得非常好，可以说是该领域的引领者了。

  1. ELK平台产生背景
  1. 运维日常工作，主要保证WEB网站、数据库服务器、应用服务器高效稳定的运行；
  2. 当WEB网站、数据库、应用服务器宕机或者异常，需要运维、开发去登录服务器后台查看日志；
  3. 当服务器数量很多，日志查看非常不方便，不可能给开发人员root权限，普通查看日志的权限；
  4. 开发想看WEB、JAVA、Nginx、MYSQL、Redis、内核日志，每台服务器创建开发账号，专门用于查看服务器日志；
  5. 引入日志管理服务器，将所有的服务器日志统一的集中管理；
  6. 通过服务器WEB日志，分析用户访问行为，购买商品行为，包括用户喜好；
  7. 构建企业级日志收集平台，ELK日志平台，Rsyslog等；
  1. ELK软件概念
  1. 京东、百度、淘宝、BAT、中小型互联网公司使用ELK平台；
  2. ELK开源免费的实时日志分布式平台，对其二次开发；
  3. 大型互联网公司都是基于ELK做二次开发，满足公司内部的需求；
  4. 个人、中小企业推荐使用原生的ELK平台，满足你的需求；
  5. ELK分布式日志收集、展示平台，是由三个软件组成；
  6. ElasticSearch，提供一个分布式日志存储+搜索引擎；
  7. Logstash，负责收集客户端服务器所有日志（Nginx、内核、MYSQL、JAVA日志、APP日志）；
  1. Kibana，提供了一个开源WEB访问平台，供用户、管理员更加便捷操作，基于WEB方式更加的简单；

 

ELK软件工作原理

大数据搜索引擎之ElasticSearch安装篇(资源)_第1张图片

 

ELK工作流程

（1）、通过   Logstash 收集客户端APP的日志数据，将所有的日志过滤出来，存入ElasticSearch搜索引型里，然后通过 kibanaGUI在WEB前端展示给用户，用户也可以加入redis通过队列

（2）、Logstash 包含Index和Agent(shipper),Agent负责客户端监控和过滤日志，而Index负责收集日志并将日志交给ElasticSearch，ElasticSearch将日志存储到本地，建立索引、提供搜索，kibana可以从ES集群中获取想要的日志信息

大数据搜索引擎之ElasticSearch安装篇(资源)_第2张图片

ELK架构图：

架构图一：

大数据搜索引擎之ElasticSearch安装篇(资源)_第3张图片

这是最简单的一种ELK架构方式。优点是搭建简单，易于上手。缺点是Logstash耗资源较大，运行占用CPU和内存高。另外没有消息队列缓存，存在数据丢失隐患。

此架构由Logstash分布于各个节点上搜集相关日志、数据，并经过分析、过滤后发送给远端服务器上的Elasticsearch进行存储。Elasticsearch将数据以分片的形式压缩存储并提供多种API供用户查询，操作。用户亦可以更直观的通过配置Kibana Web方便的对日志查询，并根据数据生成报表。

架构图二：

大数据搜索引擎之ElasticSearch安装篇(资源)_第4张图片

此种架构引入了消息队列机制，位于各个节点上的Logstash Agent先将数据/日志传递给Kafka（或者Redis），并将队列中消息或数据间接传递给Logstash，Logstash过滤、分析后将数据传递给Elasticsearch存储。最后由Kibana将日志和数据呈现给用户。因为引入了Kafka（或者Redis）,所以即使远端Logstash server因故障停止运行，数据将会先被存储下来，从而避免数据丢失。

架构图三：

大数据搜索引擎之ElasticSearch安装篇(资源)_第5张图片

此种架构将收集端logstash替换为beats，更灵活，消耗资源更少，扩展性更强。同时可配置Logstash 和Elasticsearch 集群用于支持大集群系统的运维日志数据监控和查询。

Filebeat工作原理：

Filebeat由两个主要组件组成：prospectors 和 harvesters。这两个组件协同工作将文件变动发送到指定的输出中。

大数据搜索引擎之ElasticSearch安装篇(资源)_第6张图片

Harvester（收割机）：负责读取单个文件内容。每个文件会启动一个Harvester，每个Harvester会逐行读取各个文件，并将文件内容发送到制定输出中。Harvester负责打开和关闭文件，意味在Harvester运行的时候，文件描述符处于打开状态，如果文件在收集中被重命名或者被删除，Filebeat会继续读取此文件。所以在Harvester关闭之前，磁盘不会被释放。默认情况filebeat会保持文件打开的状态，直到达到close_inactive（如果此选项开启，filebeat会在指定时间内将不再更新的文件句柄关闭，时间从harvester读取最后一行的时间开始计时。若文件句柄被关闭后，文件发生变化，则会启动一个新的harvester。关闭文件句柄的时间不取决于文件的修改时间，若此参数配置不当，则可能发生日志不实时的情况，由scan_frequency参数决定，默认10s。Harvester使用内部时间戳来记录文件最后被收集的时间。例如：设置5m，则在Harvester读取文件的最后一行之后，开始倒计时5分钟，若5分钟内文件无变化，则关闭文件句柄。默认5m）。

Prospector（勘测者）：负责管理Harvester并找到所有读取源。

1

2

3

4

filebeat.prospectors:

- input_type: log

  paths:

    - /apps/logs/*/info.log

Prospector会找到/apps/logs/*目录下的所有info.log文件，并为每个文件启动一个Harvester。Prospector会检查每个文件，看Harvester是否已经启动，是否需要启动，或者文件是否可以忽略。若Harvester关闭，只有在文件大小发生变化的时候Prospector才会执行检查。只能检测本地的文件。

Filebeat如何记录文件状态：

将文件状态记录在文件中（默认在/var/lib/filebeat/registry）。此状态可以记住Harvester收集文件的偏移量。若连接不上输出设备，如ES等，filebeat会记录发送前的最后一行，并再可以连接的时候继续发送。Filebeat在运行的时候，Prospector状态会被记录在内存中。Filebeat重启的时候，利用registry记录的状态来进行重建，用来还原到重启之前的状态。每个Prospector会为每个找到的文件记录一个状态，对于每个文件，Filebeat存储唯一标识符以检测文件是否先前被收集。

Filebeat如何保证事件至少被输出一次：

Filebeat之所以能保证事件至少被传递到配置的输出一次，没有数据丢失，是因为filebeat将每个事件的传递状态保存在文件中。在未得到输出方确认时，filebeat会尝试一直发送，直到得到回应。若filebeat在传输过程中被关闭，则不会再关闭之前确认所有时事件。任何在filebeat关闭之前为确认的时间，都会在filebeat重启之后重新发送。这可确保至少发送一次，但有可能会重复。可通过设置shutdown_timeout 参数来设置关闭之前的等待事件回应的时间（默认禁用）。

 

Logstash工作原理：

Logstash事件处理有三个阶段：inputs → filters → outputs。是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。

大数据搜索引擎之ElasticSearch安装篇(资源)_第7张图片

 

Input：输入数据到logstash。

一些常用的输入为：

file：从文件系统的文件中读取，类似于tial -f命令

syslog：在514端口上监听系统日志消息，并根据RFC3164标准进行解析

redis：从redis service中读取

beats：从filebeat中读取

Filters：数据中间处理，对数据进行操作。

一些常用的过滤器为：

grok：解析任意文本数据，Grok 是 Logstash 最重要的插件。它的主要作用就是将文本格式的字符串，转换成为具体的结构化的数据，配合正则表达式使用。内置120多个解析语法。

官方提供的grok表达式：https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns
grok在线调试：https://grokdebug.herokuapp.com/

mutate：对字段进行转换。例如对字段进行删除、替换、修改、重命名等。

drop：丢弃一部分events不进行处理。

clone：拷贝 event，这个过程中也可以添加或移除字段。

geoip：添加地理信息(为前台kibana图形化展示使用)

Outputs：outputs是logstash处理管道的最末端组件。一个event可以在处理过程中经过多重输出，但是一旦所有的outputs都执行结束，这个event也就完成生命周期。

一些常见的outputs为：

elasticsearch：可以高效的保存数据，并且能够方便和简单的进行查询。

file：将event数据保存到文件中。

graphite：将event数据发送到图形化组件中，一个很流行的开源存储图形化展示的组件。

Codecs：codecs 是基于数据流的过滤器，它可以作为input，output的一部分配置。Codecs可以帮助你轻松的分割发送过来已经被序列化的数据。

一些常见的codecs：

json：使用json格式对数据进行编码/解码。

multiline：将汇多个事件中数据汇总为一个单一的行。比如：java异常信息和堆栈信息。

更多介绍：http://www.cnblogs.com/aresxin/p/8035137.html

使用案例：

 

1.维基百科使用Elasticsearch提供全文搜索并高亮关键字，以及输入实时搜索(search-as-you-type)和搜索纠错(did-youmean)等搜索建议功能。

2.英国卫报使用Elasticsearch结合用户日志和社交网络数据提供给他们的编辑以实时的反馈，以便及时了解公众对新发表 的文章的回应。

3.StackOverflow结合全文搜索与地理位置查询，以及more-like-this功能来找到相关的问题和答案。

4.Github使用Elasticsearch检索1300亿行的代码。

Elasticsearch 集群架构

节点（Node）：物理概念，一个运行的Elasticearch实例，一般是一台机器上的一个进程。

索引（Index），逻辑概念，包括配置信息mapping和倒排正排数据文件，一个索引的数据文件可能会分布于一台机器，也有可能分布于多台机器。索引的另外一层意思是倒排索引文件。

分片（Shard）：为了支持更大量的数据，索引一般会按某个维度分成多个部分，每个部分就是一个分片，分片被节点(Node)管理。一个节点(Node)一般会管理多个分片，这些分片可能是属于同一份索引，也有可能属于不同索引，但是为了可靠性和可用性，同一个索引的分片尽量会分布在不同节点(Node)上。分片有两种，主分片和副本分片。

副本（Replica）：同一个分片(Shard)的备份数据，一个分片可能会有0个或多个副本，这些副本中的数据保证强一致或最终一致。

                                                  图形表示：

大数据搜索引擎之ElasticSearch安装篇(资源)_第8张图片

Index 1：蓝色部分，有3个shard，分别是P1，P2，P3，位于3个不同的Node中，这里没有Replica。

 

Index 2：绿色部分，有2个shard，分别是P1，P2，位于2个不同的Node中。并且每个shard有一个replica，分别是R1和R2。基于系统可用性的考虑，同一个shard的primary和replica不能位于同一个Node中。这里Shard1的P1和R1分别位于Node3和Node2中，如果某一刻Node2发生宕机，服务基本不会受影响，因为还有一个P1和R2都还是可用的。因为是主备架构，当主分片发生故障时，需要切换，这时候需要选举一个副本作为新主，这里除了会耗费一点点时间外，也会有丢失数据的风险。

Index流程

 

建索引（Index）的时候，一个Doc先是经过路由规则定位到主Shard，发送这个doc到主Shard上建索引，成功后再发送这个Doc到这个Shard的副本上建索引，等副本上建索引成功后才返回成功。

 

在这种架构中，索引数据全部位于Shard中，主Shard和副本Shard各存储一份。当某个副本Shard或者主Shard丢失（比如机器宕机，网络中断等）时，需要将丢失的Shard在其他Node中恢复回来，这时候就需要从其他副本（Replica）全量拷贝这个Shard的所有数据到新Node上构造新Shard。这个拷贝过程需要一段时间，这段时间内只能由剩余主副本来承载流量，在恢复完成之前，整个系统会处于一个比较危险的状态，直到failover结束。

 

这里就体现了副本（Replica）存在的一个理由，避免数据丢失，提高数据可靠性。副本（Replica）存在的另一个理由是读请求量很大的时候，一个Node无法承载所有流量，这个时候就需要一个副本来分流查询压力，目的就是扩展查询能力。

角色部署方式

 

接下来再看看角色分工的两种不同方式：

大数据搜索引擎之ElasticSearch安装篇(资源)_第9张图片

Elasticsearch支持上述两种方式：

 

混合部署（左图）：

 

1.默认方式。

 

2.不考虑MasterNode的情况下，还有两种Node，Data Node和Transport Node，这种部署模式下，这两种不同类型Node角色都位于同一个Node中，相当于一个Node具备两种功能：Data和Transport。

 

3.当有index或者query请求的时候，请求随机（自定义）发送给任何一个Node，这台Node中会持有一个全局的路由表，通过路由表选择合适的Node，将请求发送给这些Node，然后等所有请求都返回后，合并结果，然后返回给用户。一个Node分饰两种角色。

 

4.好处就是使用极其简单，易上手，对推广系统有很大价值。最简单的场景下只需要启动一个Node，就能完成所有的功能。

 

5.缺点就是多种类型的请求会相互影响，在大集群如果某一个Data Node出现热点，那么就会影响途经这个Data Node的所有其他跨Node请求。如果发生故障，故障影响面会变大很多。

 

6.Elasticsearch中每个Node都需要和其余的每一个Node都保持13个连接。这种情况下，每个Node都需要和其他所有Node保持连接，而一个系统的连接数是有上限的，这样连接数就会限制集群规模。

 

7.还有就是不能支持集群的热更新。

分层部署（右图）：

 

1.通过配置可以隔离开Node。

 

2.设置部分Node为Transport Node，专门用来做请求转发和结果合并。
其他Node可以设置为DataNode，专门用来处理数据。

 

3.缺点是上手复杂，需要提前设置好Transport的数量，且数量和Data Node、流量等相关，否则要么资源闲置，要么机器被打爆。

 

4.好处就是角色相互独立，不会相互影响，一般Transport Node的流量是平均分配的，很少出现单台机器的CPU或流量被打满的情况，而DataNode由于处理数据，很容易出现单机资源被占满，比如CPU，网络，磁盘等。独立开后，DataNode如果出了故障只是影响单节点的数据处理，不会影响其他节点的请求，影响限制在最小的范围内。

 

5.角色独立后，只需要Transport Node连接所有的DataNode，而DataNode则不需要和其他DataNode有连接。一个集群中DataNode的数量远大于Transport Node，这样集群的规模可以更大。另外，还可以通过分组，使Transport Node只连接固定分组的DataNode，这样Elasticsearch的连接数问题就彻底解决了。

 

6.可以支持热更新：先一台一台的升级DataNode，升级完成后再升级Transport Node，整个过程中，可以做到让用户无感知。

上面介绍了Elasticsearch的部署层架构，不同的部署方式适合不同场景，需要根据自己的需求选择适合的方式。

                                  Elasticsearch 数据层架构

数据存储

 

Elasticsearch的Index和meta，目前支持存储在本地文件系统中，同时支持niofs，mmap，simplefs，smb等不同加载方式，性能最好的是直接将索引LOCK进内存的MMap方式。默认，Elasticsearch会自动选择加载方式，另外可以自己在配置文件中配置。这里有几个细节，具体可以看官方文档。

 

索引和meta数据都存在本地，会带来一个问题：当某一台机器宕机或者磁盘损坏的时候，数据就丢失了。为了解决这个问题，可以使用Replica（副本）功能。

 

副本（Replica）

 

可以为每一个Index设置一个配置项：副本（Replicda）数，如果设置副本数为2，那么就会有3个Shard，其中一个是PrimaryShard，其余两个是ReplicaShard，这三个Shard会被Mater尽量调度到不同机器，甚至机架上，这三个Shard中的数据一样，提供同样的服务能力。

副本（Replica）的目的有三个：

 

  1. 保证服务可用性：当设置了多个Replica的时候，如果某一个Replica不可用的时候，那么请求流量可以继续发往其他Replica，服务可以很快恢复开始服务。

  2. 保证数据可靠性：如果只有一个Primary，没有Replica，那么当Primary的机器磁盘损坏的时候，那么这个Node中所有Shard的数据会丢失，只能reindex了。

  3. 提供更大的查询能力：当Shard提供的查询能力无法满足业务需求的时候， 可以继续加N个Replica，这样查询能力就能提高N倍，轻松增加系统的并发度。

 

问题

 

上面说了一些优势，这种架构同样在一些场景下会有些问题。

1.Elasticsearch采用的是基于本地文件系统，使用Replica保证数据可靠性的技术架构，这种架构一定程度上可以满足大部分需求和场景，但是也存在一些遗憾：

 

2.Replica带来成本浪费。为了保证数据可靠性，必须使用Replica，但是当一个Shard就能满足处理能力的时候，另一个Shard的计算能力就会浪费。

 

3.Replica带来写性能和吞吐的下降。每次Index或者update的时候，需要先更新Primary Shard，更新成功后再并行去更新Replica，再加上长尾，写入性能会有不少的下降。

 

4.当出现热点或者需要紧急扩容的时候动态增加Replica慢。新Shard的数据需要完全从其他Shard拷贝，拷贝时间较长。

 

5.上面介绍了Elasticsearch数据层的架构，以及副本策略带来的优势和不足，下面简单介绍了几种不同形式的分布式数据系统架构。

                                                   分布式系统

 

第一种：基于本地文件系统的分布式系统

                               大数据搜索引擎之ElasticSearch安装篇(资源)_第10张图片

 

图中是一个基于本地磁盘存储数据的分布式系统。Index一共有3个Shard，每个Shard除了Primary Shard外，还有一个Replica Shard。当Node 3机器宕机或磁盘损坏的时候，首先确认P3已经不可用，重新选举R3位Primary Shard，此Shard发生主备切换。然后重新找一台机器Node 7，在Node7 上重新启动P3的新Replica。由于数据都会存在本地磁盘，此时需要将Shard 3的数据从Node 6上拷贝到Node7上。如果有200G数据，千兆网络，拷贝完需要1600秒。如果没有replica，则这1600秒内这些Shard就不能服务。

 

为了保证可靠性，就需要冗余Shard，会导致更多的物理资源消耗。


这种思想的另外一种表现形式是使用双集群，集群级别做备份。

 

在这种架构中，如果你的数据是在其他存储系统中生成的，比如HDFS/HBase，那么你还需要一个数据传输系统，将准备好的数据分发到相应的机器上。

 

这种架构中为了保证可用性和可靠性，需要双集群或者Replica才能用于生产环境，优势和副作用在上面介绍Elasticsearch的时候已经介绍过了，这里就就不赘述了。

 

Elasticsearch使用的就是这种架构方式。

 

第二种：基于分布式文件系统的分布式系统（共享存储）

大数据搜索引擎之ElasticSearch安装篇(资源)_第11张图片

针对第一种架构中的问题，另一种思路是：存储和计算分离。

 

第一种思路的问题根源是数据量大，拷贝数据耗时多，那么有没有办法可以不拷贝数据？为了实现这个目的，一种思路是底层存储层使用共享存储，每个Shard只需要连接到一个分布式文件系统中的一个目录/文件即可，Shard中不含有数据，只含有计算部分。相当于每个Node中只负责计算部分，存储部分放在底层的另一个分布式文件系统中，比如HDFS。

 

上图中，Node 1 连接到第一个文件；Node 2连接到第二个文件；Node3连接到第三个文件。当Node 3机器宕机后，只需要在Node 4机器上新建一个空的Shard，然后构造一个新连接，连接到底层分布式文件系统的第三个文件即可，创建连接的速度是很快的，总耗时会非常短。

 

这种是一种典型的存储和计算分离的架构，优势有以下几个方面：

  1. 在这种架构下，资源可以更加弹性，当存储不够的时候只需要扩容存储系统的容量；当计算不够的时候，只需要扩容计算部分容量。

  2. 存储和计算是独立管理的，资源管理粒度更小，管理更加精细化，浪费更少，结果就是总体成本可以更低。

  3. 负载更加突出，抗热点能力更强。一般热点问题基本都出现在计算部分，对于存储和计算分离系统，计算部分由于没有绑定数据，可以实时的扩容、缩容和迁移，当出现热点的时候，可以第一时间将计算调度到新节点上。

 

这种架构同时也有一个不足：

 

访问分布式文件系统的性能可能不及访问本地文件系统。在上一代分布式文件系统中，这是一个比较明显的问题，但是目前使用了各种用户态协议栈后，这个差距已经越来越小了。

 

HBase使用的就是这种架构方式。

 

Solr也支持这种形式的架构。

 

 

需要三台机器：ES、kibana、logstash，分别在三台机器上面下载，

大数据搜索引擎之ElasticSearch安装篇(资源)_第12张图片

ES上面操作

[root@localhost ~]# tar xzf jdk-8u121-linux-x64.tar.gz

[root@localhost ~]# mkdir -p /usr/java/

[root@localhost ~]# mv jdk1.8.0_121/ /usr/java/

[root@localhost ~]# ll /usr/java/jdk1.8.0_121/

[root@localhost ~]# /usr/java/jdk1.8.0_121/bin/java -version             #查看安装版本，

bdf6cd00a96c05a9fd1d70c256cd0418ad8.jpg

[root@localhost ~]# du -sh jdk-8u121-linux-x64.tar.gz

[root@localhost ~]# du -sh  jdk-8u121-linux-x64

e6eee24a7aa5fd1fdd254686687567d46b7.jpg
 

 

上面的操作，在Logstash操作

在文件末尾，添加红色字

大数据搜索引擎之ElasticSearch安装篇(资源)_第13张图片

[root@localhost ~]# source /etc/profile

[root@localhost ~]# java -version

49b62ea60d568dfcb1d9bdf79529afe3425.jpg

 

ES上面操作

[root@localhost ~]# cd elk/

[root@localhost ~]# ls

[root@localhost ~]# tar -zxf elasticsearch-5.3.0.tar.ga

[root@localhost ~]#  rm -rf /usr/local/elasticsearch/

[root@localhost ~]# ls 

[root@localhost ~]# mv elasticsearch-5.3.0 /usr/local/elasticsearch

[root@localhost ~]# cd /usr/local/elasticsearch

[root@localhost ~]# ll

大数据搜索引擎之ElasticSearch安装篇(资源)_第14张图片

[root@localhost ~]#cd 

[root@localhost ~]# useradd elk -s 

[root@localhost ~]# chown -R elk.elk /usr/local/elasticsearch/

[root@localhost ~]# cd /usr/local/elasticsearch/

[root@localhost ~]# ls

[root@localhost ~]# su elk

[root@localhost ~]# pwd 

[root@localhost ~]# ls

[root@localhost ~]# cd bin/

[root@localhost ~]#ls

[root@localhost ~]# ./elasticsearch -d                     #启动

大数据搜索引擎之ElasticSearch安装篇(资源)_第15张图片

原因内存不足

解决办法：

[root@localhost ~]# cd ..

[root@localhost ~]# ls

[root@localhost ~]# cd config/

[root@localhost ~]# ls 

[root@localhost ~]# pwd 

[root@localhost ~]# vim jvm.options

4562b1380b66947bb28f0a82c460836466d.jpg

修改成一个G

[root@localhost ~]# /usr/local/elasticsearch/bin/elasticsearch/ -d             #启动

[root@localhost ~]# ps -ef | ggrep java                    #说明elk启动了

0e01dd9bdb9d27943e0c21e012d1fd2079f.jpg

[root@localhost ~]# tail -fn 10 logs/elasticsearch.log      显示两个端口，9200和9300

大数据搜索引擎之ElasticSearch安装篇(资源)_第16张图片

[root@localhost ~]# ps -ef | grep java

大数据搜索引擎之ElasticSearch安装篇(资源)_第17张图片

[root@localhost ~]# pkill -9  1336

[root@localhost ~]# ps -ef | grep java             #查看有没有杀掉

[root@localhost ~]# cd config/

[root@localhost ~]# vim elasticsearch.yml

搜索/bind，把192修改成四个零

大数据搜索引擎之ElasticSearch安装篇(资源)_第18张图片

[root@localhost ~]# /usr/local/elasticsearch/bin/elasticsearch/ -d             #启动

[root@localhost ~]#！tail                     #发现很多模块

fadea73f57892d584b0d26145bae50d02be.jpg

 

在kib上面操作

[root@localhost ~]# cd elk/

[root@localhost ~]# ls 

[root@localhost ~]# tar zxf kibana-5.3.0-linux-x86_64.tar.gz

[root@localhost ~]# ls

7672ec2e651e7bb7cc66dc7755072dd353d.jpg

[root@localhost ~]# rm -rf /usr/local/kibana/

[root@localhost ~]# mv libana-5.3.0-linux-x86_64 /usr/local/kibana

[root@localhost ~]# cd /usr/local/libana

[root@localhost ~]#ls

[root@localhost ~]# cd config/

[root@localhost ~]# vim kibana.yml

大数据搜索引擎之ElasticSearch安装篇(资源)_第19张图片

localhost修改成四个零

d426ce221ac35744039a97bcbd964169550.jpg

大数据搜索引擎之ElasticSearch安装篇(资源)_第20张图片

[root@localhost ~]# cd ..

[root@localhost ~]# cd bin/

[root@localhost ~]# ls

43b502db45c44231c13471f9fdf7388c6b2.jpg

[root@localhost ~]# nohup ./kibana &                #放到后台

[root@localhost ~]# tail -fn 100 nohup.out

 

在Logstash

[root@localhost ~]# cd elk/

[root@localhost ~]#ls

[root@localhost ~]# tar zxf logstash-5.3.0.tar.gz

[root@localhost ~]# rm -rf /usr/local/logstach/

[root@localhost ~]# mv logstash-5.3.0 /usr/local/logstatsh

[root@localhost ~]# cd /usr/local/logstash/

[root@localhost ~]# ls

[root@localhost ~]# ll

[root@localhost ~]# cd bin/

[root@localhost ~]# cd ..

[root@localhost ~]# ls

[root@localhost ~]# mkdir etc

[root@localhost ~]# cd etc/

[root@localhost ~]# ls

[root@localhost ~]# vim 1.conf           #在配置文件中，写一个收集日志，

input {

  stdin{ }

}

output {

 stdout {

codec => rubydebug {}

}

 elasticsearch {

 hosts => "192.168.1.161"}                          #IP是ES的

}

[root@localhost ~]# ll

[root@localhost ~]# ../bin/logstash -f 1.conf

 

在kibana上面操作

[root@localhost ~]# netstat -lntp | grep 5601

[root@localhost ~]# netstat -lntp | grep 5601 --color

在Logstash

[root@localhost ~]# ../bin/logstash -f 1.conf                #启动配置i文件

 

在浏览器里面输入lkibana的IP 192.168.1.162

大数据搜索引擎之ElasticSearch安装篇(资源)_第21张图片

 

在配置文件里面输入hellod world,然后回车，然后刷新页面

3122350e8f78c8750fe40250aa8b4dda476.jpg

大数据搜索引擎之ElasticSearch安装篇(资源)_第22张图片

 

在ES

[root@localhost ~]# tail -fn 100 /usr/local/elasticsearch/log/elasticsearch.log

[root@localhost ~]#cd elasticsearch-head/

[root@localhost ~]# netstat lnt | grep 9100

[root@localhost ~]# nohup./node_modules/grunt/bin/grunt server &

刷新页面，IP是ES的

大数据搜索引擎之ElasticSearch安装篇(资源)_第23张图片

[root@localhost ~]# netstat lnt | grep 9200

[root@localhost ~]#  /etc/init.d/iptables stop

[root@localhost ~]# sestatus

[root@localhost ~]# date

[root@localhost ~]# ntpdate cn.pool.ntp.org                #同步时间，如果时间都不相同，都执行这一条目命令

[root@localhost ~]# ps -ef | grep java

大数据搜索引擎之ElasticSearch安装篇(资源)_第24张图片

[root@localhost ~]# kill -9  1495

[root@localhost ~]# !ps

[root@localhost ~]# su -elk

[root@localhost ~]# /usr/local/elasticsearch/elasticsearch -d

[root@localhost ~]#                             #看日志

 

kib操作

[root@localhost ~]# ps -ef | grep node

[root@localhost ~]# kill -9 1138

d01ed6d5b05cf93154d0476ea520683f500.jpg

[root@localhost ~]# cd /ussr/local/kibana/bin/

[root@localhost ~]#ls

[root@localhost ~]# nohup ./kibana &

 

在Log

[root@localhost ~]# ../bin/logstash -f 1.conf

在浏览器刷新一下，如果连不上，说明有问题

 

[root@localhost ~]#

[root@localhost ~]#

[root@localhost ~]#

[root@localhost ~]#

[root@localhost ~]#

ELK安装

 

1

环境说明

 

操作系统：Centos 7

软件链接（官网）：https://www.elastic.co/products

 

2

安装步骤

 

创建账号

1.linux创建新用户

相关命令：adduser elkstack  、 passwd elkstack输入两次密码

 

2.为elkstack用户添加sudo权限

相关命令：visudo

大数据搜索引擎之ElasticSearch安装篇(资源)_第25张图片

3、安装jdk1.8

 

大数据搜索引擎之ElasticSearch安装篇(资源)_第26张图片

4、安装elasticsearch

 

0.以普通用户登陆

1.解压elasticseach

fc8a8e76b2edb89426d660aeff1c0be2cb5.jpg

2.解压文件移动到/opt目录下

bb41ea0e9d0579ef529f9c8251bc130950f.jpg

3.更改elasticsearch目录所有者为elkstack

945da62217a0b4f47d7b34723626d0ec5f8.jpg

 

5、安装elasticsearch-servicewrapper

 

下载地址: https://github.com/elastic/elasticsearch-servicewrapper

0.解压elasticsearch-servicewrapper

9e4bc71452b7761e0f40bfd2257360c0499.jpg

1.移动到elasticsearch/bin/ 目录下

e60087b4890631c03e5942427f4bfde8f0a.jpg

2.验证

a.启动elasticsearch

765dfb0beb12690c3c053b84d575ceb2885.jpg

b. 测试ElasticSearch服务是否正常，预期返回200的状态码：

大数据搜索引擎之ElasticSearch安装篇(资源)_第27张图片

 

6、安装Logstash

 

0.安装

ded9ce6314ac952b380e384c7c0e84d0d72.jpg

1.更改logstash所有权

104670ea17b95cc8341e53b95fff6cdb84f.jpg

2.简单测试Logstash服务是否正常，预期可以将输入内容以简单的日志形式打印在界面上：

/opt/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }' 

大数据搜索引擎之ElasticSearch安装篇(资源)_第28张图片

 

7、安装Kibana

 

0.安装

f52e0b708fdbf2c832eb1dfcd2e4fc785cd.jpg

 

1.更改logstash所有权

62e021cc0c23cb4c5ac4ea731d447dfa2d6.jpg

2.修改配置文件kibana/config/kibana.yml

elasticsearch.url: "http://localhost:9200"

大数据搜索引擎之ElasticSearch安装篇(资源)_第29张图片

server.host:"0.0.0.0"

大数据搜索引擎之ElasticSearch安装篇(资源)_第30张图片

3.运行

42c7cd5e796e76dbf332177ea1c9f1d5ddb.jpg

 

4.访问http://IP:5601，安装完成。

 

 

常见问题：

大数据搜索引擎之ElasticSearch安装篇(资源)_第31张图片

大数据搜索引擎之ElasticSearch安装篇(资源)_第32张图片

2、大数据搜索引擎之ElasticSearch安装篇(资源)_第33张图片

 

大数据搜索引擎之ElasticSearch安装篇(资源)_第34张图片

 

大数据搜索引擎之ElasticSearch安装篇(资源)_第35张图片

参考链接：https://mp.weixin.qq.com/s/gqxeNWjiVs2p0H9TCKWnEg

 

 

链接：

安装Elasticsearch及其遇到的坑 ： https://mp.weixin.qq.com/s/vyBkKe9BNut6ocrGsnde9A

Elasticsearch 权威指南（中文版）  ：http://www.voidcn.com/course/project/mluqbg

ELK日志分析系统简介       :   https://mp.weixin.qq.com/s/C0wldeFrHHQtLWJdgS0ryw

Elasticsearch 入门教程      :    https://mp.weixin.qq.com/s/c_kJwGTYY6yJlULVCAhTlw

如何解决centos下root运行Elasticsearch异常  ： https://www.jb51.net/os/RedHat/514009.html

ElasticSearch ——单台服务器部署多个节点：https://mp.weixin.qq.com/s/2wFT31RqGBRTIuVQy_wz3Q

用Elasticsearch构建电商搜索平台：https://mp.weixin.qq.com/s/QoLQXZqi4P0VC3C7Ea86tA

ELK系列：https://www.aliyun.com/jiaocheng/topic_23933_1.html

通过ELK快速搭建一个你可能需要的集中化日志平台l: https://mp.weixin.qq.com/s/kAwpekl-DGCIulWoLCedxw

10 分钟快速搭建 ELK 日志分析系统：http://mp.weixin.qq.com/s/CBSoBXmQbRsJZs2N5-qjyg

快速搭建企业级ELK日志分析系统：http://mp.weixin.qq.com/s/VBl45xLZq0l1_0bj7s-epQ

ELK日志分析集群部署笔记           :      http://blog.51cto.com/zlyang/1737622

Elasticsearch快速搭建食谱搜索系统 ： https://mp.weixin.qq.com/s/kB_BDQKE8rhQq1TmpKPbFA

Elasticsearch面试题 ： https://mp.weixin.qq.com/s/XEYsgYOcI7Wv0PZq4Sf-Hw

 

 

用Ansible部署ELK STACK：http://mp.weixin.qq.com/s/hnAv5lrAHR-IZesPeOvLGA

保护好你的Elasticsearch全文检索库 ： https://www.csharpkit.com/2017-11-29_58506.html

基于Elasticsearch搜索平台设计 : https://www.csharpkit.com/2017-10-15_51699.html

【通天塔之日志分析平台】壹 ELK 环境搭建 : https://wdxtub.com/2016/11/19/babel-log-analysis-platform-1/

【通天塔之日志分析平台】贰 Kafka 缓冲区 : https://wdxtub.com/2016/11/19/babel-log-analysis-platform-2/

【通天塔之日志分析平台】叁 监控、安全、报警与通知 : https://wdxtub.com/2016/11/19/babel-log-analysis-platform-3/

【通天塔之日志分析平台】肆 从单机到集群 : https://wdxtub.com/2016/11/19/babel-log-analysis-platform-4/

【通天塔之日志分析平台】伍 Logstash 技巧指南 : https://wdxtub.com/2016/11/19/babel-log-analysis-platform-5/

【通天塔之日志分析平台】陆 Elasticsearch 技巧指南 : https://wdxtub.com/2016/11/19/babel-log-analysis-platform-6/

【通天塔之日志分析平台】柒 Kibana 技巧指南 : https://wdxtub.com/2016/11/19/babel-log-analysis-platform-7/

【通天塔之日志分析平台】捌 实例：接入外部应用日志 : https://wdxtub.com/2016/11/19/babel-log-analysis-platform-8/

Elasticsearch 集群指南 : https://wdxtub.com/2016/09/28/elasticsearch-cluster-guide/

Logstash 连接 Kafka 指南 : https://wdxtub.com/2016/08/18/logstash-kafka-guide/

Rsyslog 连接 Kafka 指南 : https://wdxtub.com/2016/08/17/rsyslog-kafka-guide/

Kafka 指南 : https://wdxtub.com/2016/08/15/kafka-guide/

Rsyslog + Logstash 日志传输指南 : https://wdxtub.com/2016/08/12/rsyslog-logstash-guide/

ELK 指南 : https://wdxtub.com/2016/07/26/elk-guide/

大数据搜索引擎之ElasticSearch安装篇(资源)_第36张图片

Elasticsearch 的聚合查询及过滤 :  http://techlog.cn/article/list/10182851

kibana4 的安装、配置和使用 : http://techlog.cn/article/list/10182920


ELK在广告系统监控中的应用 及 Elasticsearch简介：https://mp.weixin.qq.com/s/i5DEmU7WKiQs-xa4COC6zQ

ELK日志分析系统简介：https://mp.weixin.qq.com/s/C0wldeFrHHQtLWJdgS0ryw


Elasticsearch 入门教程https://mp.weixin.qq.com/s/c_kJwGTYY6yJlULVCAhTlw

Elasticsearch基础教程（上）:https://mp.weixin.qq.com/s/WKR2kboG-rjOdmjuMw4AhA

Elasticsearch基础教程（下）：https://mp.weixin.qq.com/s/d88IXKd0L6VLwsGJK7cEfA

 

ELKstack 入门及使用 : http://techlog.cn/article/list/10182847

大数据搜索引擎之ElasticSearch安装篇(资源)_第37张图片

Elasticsearch专栏 : https://blog.csdn.net/column/details/elasticsearch-action.html

大数据搜索引擎之ElasticSearch安装篇(资源)_第38张图片

 

elasticsearch（一）---开始 : https://juejin.im/post/5b78e9606fb9a019d80a878f

elasticsearch(二)---基本数据操作 : https://juejin.im/post/5b79090d51882542f25a4de5

elasticsearch(三)---分布式集群 : https://juejin.im/post/5b7948c3e51d45388f7436b7

elasticsearch(四)---分布式文档存储 :  https://juejin.im/post/5b796ea7e51d4538e018d55d

elasticsearch(五)---分布式搜索 : https://juejin.im/post/5b7b8268e51d4538a01ea7b6

elasticsearch(六)---索引管理 ：https://juejin.im/post/5b7c10e7f265da436e74cadf

elasticsearch(七)---深入分片 ： https://juejin.im/post/5b7e2a2c51882543113d80cc

 

全文检索引擎

全文检索引擎（一）---准备入坑 :  https://juejin.im/post/5b768a12f265da28004ad632

全文检索引擎（二）---为何入坑 :   https://juejin.im/post/5b768e3b6fb9a009820daf1c

全文检索引擎（三）---原理剖析 : https://juejin.im/post/5b7692b9518825330d64dade

全文检索引擎（四）---solr初体验  :  https://juejin.im/post/5b77ac1a518825431079c3ee

全文检索引擎（五）---solr与mongodb同步 :  https://juejin.im/post/5b77befcf265da4320088ba7

全文检索引擎（六）---elasticsearch初体验 : https://juejin.im/post/5b780db96fb9a019b8699a49

全文检索引擎（七）---solr vs es  : https://juejin.im/post/5b783fd2f265da4328162eba

Elasticsearch 安装就这么简单  :  https://juejin.im/post/5ab4496e518825556d0e0713

Kibana 简单入门教程 ：https://mp.weixin.qq.com/s/eT1xrWDMmoqlZkEHqRcIuw
Logstash 简单入门教程 :   https://mp.weixin.qq.com/s/Xfa73phV1fhYyN1wO4CNtw

大而全面｜Logstash技术入门   :  https://mp.weixin.qq.com/s/CrmDAkmoHWaC1uKDML0sDw

 

kibana 加安全校验 :  https://mp.weixin.qq.com/s/FMB_c9rWvj7XsqXMQAzIYg

Service详解  :   https://mp.weixin.qq.com/s/eCaquPSYTnVUTaD1YGxPbQ

(阿里云)ELK日志分析系统简介 :   https://mp.weixin.qq.com/s/C0wldeFrHHQtLWJdgS0ryw

springboot 发送业务日志到elk :  https://mp.weixin.qq.com/s/1AS3PWFnS1g7qNSFlS5LrA

 

使用Kibana 分析Nginx 日志并在 Dashboard上展示 : https://www.cnblogs.com/hanyifeng/p/5860731.html

利用 ELK系统分析Nginx日志并对数据进行可视化展示   : https://www.cnblogs.com/hanyifeng/p/5857875.html

Centos7 之安装Logstash ELK stack 日志管理系统 :    https://www.cnblogs.com/hanyifeng/p/5509985.html

 

博森瑞  系列： 

Kafka的安装与配置    :   http://t.bosenrui.com/dev/da3be54fa6b1816486888aa73ab44b16.html

Kafka基本原理 :  https://mp.weixin.qq.com/s/ZnWeFphfFF1hdltoRKmwGQ

Flume安装使用实录   :    http://t.bosenrui.com/dev/a928ad4d34ce40f47763305859d46a6c.html

Sqoop安装与使用实录  :   http://t.bosenrui.com/dev/a02f31ccbed134ac6d13fec24b016f1e.html

Azkaban安装实录  :   http://t.bosenrui.com/dev/1c90859ca5a6af651ee7c3ae7166993d.html

 

亿级 Elasticsearch 性能优化荐　　　　　　：　http://blog.51cto.com/13527416/2132270

使用ElasticSearch踩过的坑  :   https://www.jianshu.com/p/fa31f38d241e

用ElasticSearch监控MySQL  :  https://www.jianshu.com/p/8d25f02535f0

阿里云 ElasticSearch （2134篇） 系列：  https://yq.aliyun.com/search?q=ElasticSearch

 

ElasticSearch ——结构化查询   :  https://www.jianshu.com/p/e4f3f94728b1

ElasticSearch ——单台服务器部署多个节点  :  https://www.jianshu.com/p/1ccc59dde56a

在 Python 中使用 Elasticsearch   :   https://www.jianshu.com/p/29dbcb4bfb0e

Elasticsearch + Kibana 集群环境搭建   ：  https://www.jianshu.com/p/1c8ba75b72c8

logstash mysql 准实时同步到 elasticsearch   ：  https://www.jianshu.com/p/62433b9c5c96

ElasticSearch + xpack 使用.md  ：  https://www.jianshu.com/p/0ab1741fd4bc

灵雀云到生产实践之ELK Stack    :  https://www.jianshu.com/p/9d83ad0cb65b

部署分布式ES-Kibana Server-Centos7　　　　：　　　　http://www.pangxie.space/docker/1104

Kubernetes双向TLS配置-Centos7　　　　　　　：　http://www.pangxie.space/docker/1164

搭建swarm集群(docker v1.12)-Centos7　　　　　　　　　：　http://www.pangxie.space/docker/1061

部署分布式kubernetes（v1.3.x）-Centos7　　　　：　　　　　　http://www.pangxie.space/docker/1055

搭建swarmkit集群-Centos7　　　　：　　　　　　http://www.pangxie.space/docker/971

部署ELK-centos7　　　　：　http://www.pangxie.space/docker/527

 

互联网亿级日志实时分析平台ELK    : https://mp.weixin.qq.com/s/BPUECpBGGIdOJ9CwprdS1g

ELKstack-Elasticsearch各类安装部署方法            :       http://blog.51cto.com/vekergu/1784370

ElKstack-解决nginx日志url链接包含中文logstash报错问题      :          http://blog.51cto.com/vekergu/1784562

ELKstack-logstash yum安装部署方法         :         http://blog.51cto.com/vekergu/1784718

ELKstack-kibana yum安装部署方法   :     http://blog.51cto.com/vekergu/1784719

ELKstack-logstash 使用技巧小计          :     http://blog.51cto.com/vekergu/1785279

ELKstack-基于java工程tomcat应用日志处理过程-01    :         http://blog.51cto.com/vekergu/1787449

ELKstack-基于java工程tomcat应用日志处理过程-02        :       http://blog.51cto.com/vekergu/1787459

 

ES报错Result window is too large问题处理 荐          :      http://blog.51cto.com/nolinux/1786656

ES使用脚本进行局部更新的排错记录 荐      :      http://blog.51cto.com/nolinux/1775232

Elasticsearch6.2、head插件、x-pack安全模块(security机制)安装            :  http://blog.51cto.com/ityunwei2017/2071014

ElasticSearch ——单台服务器部署多个节点    :  https://www.jianshu.com/p/1ccc59dde56a

ElasticSearch + xpack 使用.md         :   https://www.jianshu.com/p/0ab1741fd4bc

 

 

logstash mysql 准实时同步到 elasticsearch         :  https://www.jianshu.com/p/62433b9c5c96

Elasticsearch + Kibana 集群环境搭建   :           https://www.jianshu.com/p/1c8ba75b72c8

ELK安装文档及相关优化　　　　　　　　　：　http://blog.51cto.com/youerning/1726338

 

使用kibana和elasticsearch日志实时绘制图表 荐 :    http://blog.51cto.com/rfyiamcool/1421049

 

ElasticSearch      ：   https://www.cnblogs.com/atomicbomb/tag/ElasticSearch/

大数据搜索引擎之ElasticSearch安装篇(资源)_第39张图片

原  ElasticSearch分片不均匀，集群负载不均衡     : https://blog.csdn.net/qq_20545159/article/details/80549335

从零开始搭建ELK+GPE监控预警系统 荐  ： http://blog.51cto.com/itstyle/1983296

 

ELK之filebeat详解     :      https://www.ixdba.net/archives/2018/01/1111.htm

Elastic stack ——X-Pack安装 :       https://www.ixdba.net/archives/2017/11/822.htm

KAFKA 调优笔记  :          https://www.ixdba.net/archives/2017/11/803.htm

 

ElasticSearch 5学习(1)——安装Elasticsearch、Kibana和X-Pack : https://www.ixdba.net/archives/2017/11/818.htm

 

http://blog.51cto.com/xpleaf/category33.html

ElasticSearch笔记整理（一）：简介、REST与安装配置 : http://blog.51cto.com/xpleaf/2096306

ElasticSearch笔记整理（二）：CURL操作、ES插件、集群安装与核心概念  : http://blog.51cto.com/xpleaf/2096385

ElasticSearch笔记整理（三）：Java API使用与ES中文分词 : http://blog.51cto.com/xpleaf/2096854

ElasticSearch笔记整理（四）：ElasticSearch Rest与Settings、M    : http://blog.51cto.com/xpleaf/2096863

Elasticsearch：RestClient+SearchSourceBuilder使用案例 http://blog.51cto.com/xpleaf/2294268 : 

elasticsearch入门    : https://mp.weixin.qq.com/s/g1w_UU7yk7jQO5pduBY_ew

 

ELK环境部署+监控Nginx日志 : https://mp.weixin.qq.com/s/X4nG8ysjHS16lnxwlR3tAw

ELK构架图 ： https://www.processon.com/view/5cab6c95e4b031d02261289e

利用 ELK 搭建 Docker 容器化应用日志中心 :   https://mp.weixin.qq.com/s/4XI2BaThlcVR8_z4f9AbbA

你头疼的ELK难题，本文几乎都解决了 : https://mp.weixin.qq.com/s/7gYVC9TsuoV4LYPGwJ5UHQ

搜索是神器Elasticsearch入门介绍 : https://mp.weixin.qq.com/s/PlQRorBV03oqcnjWvE-uRg

ELK日志平台高级案例，360企业内部监控实战！！ : https://mp.weixin.qq.com/s/Sp7FvSrvp3aC3sUYsTmErA

 

 

 

 

 

转载于:https://my.oschina.net/u/3803405/blog/1827395

你可能感兴趣的:(大数据,运维,java)

  • Long类型前后端数据不一致 igotyback 前端
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
  • LocalDateTime 转 String igotyback java开发语言
    importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
  • Linux下QT开发的动态库界面弹出操作（SDL2） 13jjyao QT类qt开发语言sdl2linux
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理 STU学生网页设计 网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
  • 【华为OD机试真题2023B卷 JAVA&JS】We Are A Team 若博豆 java算法华为javascript
    华为OD2023（B卷）机试题库全覆盖，刷题指南点这里WeAreATeam时间限制：1秒|内存限制：32768K|语言限制：不限题目描述：总共有n个人在机房，每个人有一个标号（1<=标号<=n），他们分成了多个团队，需要你根据收到的m条消息判定指定的两个人是否在一个团队中，具体的：1、消息构成为：abc，整数a、b分别代
  • 关于城市旅游的HTML网页设计——(旅游风景云南 5页)HTML+CSS+JavaScript 二挡起步 web前端期末大作业javascripthtmlcss旅游风景
    ⛵源码获取文末联系✈Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业|游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作|HTML期末大学生网页设计作业，Web大学生网页HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScrip
  • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动 二挡起步 web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
    Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
  • node.js学习 小猿L node.jsnode.js学习vim
    node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • ES聚合分析原理与代码实例讲解 光剑书架上的书 大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
    ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
  • Java 重写(Override)与重载(Overload) 叨唧唧的
    Java重写(Override)与重载(Overload)重写(Override)重写是子类对父类的允许访问的方法的实现过程进行重新编写,返回值和形参都不能改变。即外壳不变，核心重写！重写的好处在于子类可以根据需要，定义特定于自己的行为。也就是说子类能够根据需要实现父类的方法。重写方法不能抛出新的检查异常或者比被重写方法申明更加宽泛的异常。例如：父类的一个方法申明了一个检查异常IOExceptio
  • 简单了解 JVM 记得开心一点啊 jvm
    目录♫什么是JVM♫JVM的运行流程♫JVM运行时数据区♪虚拟机栈♪本地方法栈♪堆♪程序计数器♪方法区/元数据区♫类加载的过程♫双亲委派模型♫垃圾回收机制♫什么是JVMJVM是JavaVirtualMachine的简称，意为Java虚拟机。虚拟机是指通过软件模拟的具有完整硬件功能的、运行在一个完全隔离的环境中的完整计算机系统（如：JVM、VMwave、VirtualBox）。JVM和其他两个虚拟机
  • 1分钟解决 -bash: mvn: command not found，在Centos 7中安装Maven Energet!c 开发语言
    1分钟解决-bash:mvn:commandnotfound，在Centos7中安装Maven检查Java环境1下载Maven2解压Maven3配置环境变量4验证安装5常见问题与注意事项6总结检查Java环境Maven依赖Java环境，请确保系统已经安装了Java并配置了环境变量。可以通过以下命令检查：java-version如果未安装，请先安装Java。1下载Maven从官网下载：前往Apach
  • Java企业面试题3 马龙强_ java
    1.break和continue的作用(智*图)break：用于完全退出一个循环（如for,while）或一个switch语句。当在循环体内遇到break语句时，程序会立即跳出当前循环体，继续执行循环之后的代码。continue：用于跳过当前循环体中剩余的部分，并开始下一次循环。如果是在for循环中使用continue，则会直接进行条件判断以决定是否执行下一轮循环。2.if分支语句和switch分
  • JVM、JRE和 JDK：理解Java开发的三大核心组件 Y雨何时停T Javajava
    Java是一门跨平台的编程语言，它的成功离不开背后强大的运行环境与开发工具的支持。在Java的生态中，JVM（Java虚拟机）、JRE（Java运行时环境）和JDK（Java开发工具包）是三个至关重要的核心组件。本文将探讨JVM、JDK和JRE的区别，帮助你更好地理解Java的运行机制。1.JVM：Java虚拟机（JavaVirtualMachine）什么是JVM？JVM，即Java虚拟机，是Ja
  • Java面试题精选：消息队列(二) 芒果不是芒 Java面试题精选javakafka
    一、Kafka的特性1.消息持久化：消息存储在磁盘，所以消息不会丢失2.高吞吐量：可以轻松实现单机百万级别的并发3.扩展性：扩展性强，还是动态扩展4.多客户端支持：支持多种语言（Java、C、C++、GO、）5.KafkaStreams（一个天生的流处理）:在双十一或者销售大屏就会用到这种流处理。使用KafkaStreams可以快速的把销售额统计出来6.安全机制：Kafka进行生产或者消费的时候会
  • 白骑士的Java教学基础篇 2.5 控制流语句 白骑士所长 Java教学java开发语言
    欢迎继续学习Java编程的基础篇！在前面的章节中，我们了解了Java的变量、数据类型和运算符。接下来，我们将探讨Java中的控制流语句。控制流语句用于控制程序的执行顺序，使我们能够根据特定条件执行不同的代码块，或重复执行某段代码。这是编写复杂程序的基础。通过学习这一节内容，你将掌握如何使用条件语句和循环语句来编写更加灵活和高效的代码。条件语句条件语句用于根据条件的真假来执行不同的代码块。if语句‘
  • python语法——三目运算符 HappyRocking pythonpython三目运算符
    在java中，有三目运算符，如：intc=(a>b)?a:b表示c取两者中的较大值。但是在python，不能直接这样使用，估计是因为冒号在python有分行的关键作用。那么在python中，如何实现类似功能呢？可以使用ifelse语句，也是一行可以完成，格式为：aifbelsec表示如果b为True，则表达式等于a，否则等于c。如：c=(aif(a>b)elseb)同样是完成了取最大值的功能。
  • ArrayList 源码解析 程序猿进阶 Java基础ArrayListListjava面试性能优化架构设计idea
    ArrayList是Java集合框架中的一个动态数组实现，提供了可变大小的数组功能。它继承自AbstractList并实现了List接口，是顺序容器，即元素存放的数据与放进去的顺序相同，允许放入null元素，底层通过数组实现。除该类未实现同步外，其余跟Vector大致相同。每个ArrayList都有一个容量capacity，表示底层数组的实际大小，容器内存储元素的个数不能多于当前容量。当向容器中添
  • Java爬虫框架（一）--架构设计 狼图腾-狼之传说 java框架java任务html解析器存储电子商务
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
  • Java：爬虫框架 dingcho Javajava爬虫
    一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
  • python怎么将png转为tif_png转tif weixin_39977276
    发国外的文章要求图片是tif，cmyk色彩空间的。大小尺寸还有要求。比如网上大神多，找到了一段代码，感谢！https://www.jianshu.com/p/ec2af4311f56https://github.com/KevinZc007/image2Tifimportjava.awt.image.BufferedImage;importjava.io.File;importjava.io.Fi
  • JavaScript 中，深拷贝（Deep Copy）和浅拷贝（Shallow Copy） 跳房子的前端 前端面试javascript开发语言ecmascript
    在JavaScript中，深拷贝（DeepCopy）和浅拷贝（ShallowCopy）是用于复制对象或数组的两种不同方法。了解它们的区别和应用场景对于避免潜在的bugs和高效地处理数据非常重要。以下是对深拷贝和浅拷贝的详细解释，包括它们的概念、用途、优缺点以及实现方式。1.浅拷贝（ShallowCopy）概念定义：浅拷贝是指创建一个新的对象或数组，其中包含了原对象或数组的基本数据类型的值和对引用数
  • JAVA·一个简单的登录窗口 MortalTom java开发语言学习
    文章目录概要整体架构流程技术名词解释技术细节资源概要JavaSwing是Java基础类库的一部分，主要用于开发图形用户界面（GUI）程序整体架构流程新建项目，导入sql.jar包（链接放在了文末），编译项目并运行技术名词解释一、特点丰富的组件提供了多种可视化组件，如按钮（JButton）、文本框（JTextField）、标签（JLabel）、下拉列表（JComboBox）等，可以满足不同的界面设计
  • WebMagic：强大的Java爬虫框架解析与实战 Aaron_945 Javajava爬虫开发语言
    文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
  • 博客网站制作教程 2401_85194651 javamaven
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
  • 00. 这里整理了最全的爬虫框架（Java + Python） 有一只柴犬 爬虫系列爬虫javapython
    目录1、前言2、什么是网络爬虫3、常见的爬虫框架3.1、java框架3.1.1、WebMagic3.1.2、Jsoup3.1.3、HttpClient3.1.4、Crawler4j3.1.5、HtmlUnit3.1.6、Selenium3.2、Python框架3.2.1、Scrapy3.2.2、BeautifulSoup+Requests3.2.3、Selenium3.2.4、PyQuery3.2
  • JAVA学习笔记之23种设计模式学习 victorfreedom Java技术设计模式androidjava常用设计模式
    博主最近买了《设计模式》这本书来学习，无奈这本书是以C++语言为基础进行说明，整个学习流程下来效率不是很高，虽然有的设计模式通俗易懂，但感觉还是没有充分的掌握了所有的设计模式。于是博主百度了一番，发现有大神写过了这方面的问题，于是博主迅速拿来学习。一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器
  • JavaScript `Map` 和 `WeakMap`详细解释 跳房子的前端 JavaScript原生方法javascript前端开发语言
    在JavaScript中，Map和WeakMap都是用于存储键值对的数据结构，但它们有一些关键的不同之处。MapMap是一种可以存储任意类型的键值对的集合。它保持了键值对的插入顺序，并且可以通过键快速查找对应的值。Map提供了一些非常有用的方法和属性来操作这些数据对：set(key,value):将一个键值对添加到Map中。如果键已经存在，则更新其对应的值。get(key):获取指定键的值。如果键
  • 免费的GPT可在线直接使用（一键收藏） kkai人工智能 gpt
    1、LuminAI（https://kk.zlrxjh.top）LuminAI标志着一款融合了星辰大数据模型与文脉深度模型的先进知识增强型语言处理系统，旨在自然语言处理（NLP）的技术开发领域发光发热。此系统展现了卓越的语义把握与内容生成能力，轻松驾驭多样化的自然语言处理任务。VisionAI在NLP界的应用领域广泛，能够胜任从机器翻译、文本概要撰写、情绪分析到问答等众多任务。通过对大量文本数据的
  • Js函数返回值 _wy_ jsreturn
    一、返回控制与函数结果，语法为：return 表达式;作用: 结束函数执行，返回调用函数，而且把表达式的值作为函数的结果 二、返回控制语法为：return;作用: 结束函数执行，返回调用函数，而且把undefined作为函数的结果 在大多数情况下,为事件处理函数返回false,可以防止默认的事件行为.例如,默认情况下点击一个<a>元素,页面会跳转到该元素href属性
  • MySQL 的 char 与 varchar bylijinnan mysql
    今天发现，create table 时，MySQL 4.1有时会把 char 自动转换成 varchar 测试举例： CREATE TABLE `varcharLessThan4` ( `lastName` varchar(3) ) ; mysql> desc varcharLessThan4; +----------+---------+------+-
  • Quartz——TriggerListener和JobListener eksliang TriggerListenerJobListenerquartz
    转载请出自出处：http://eksliang.iteye.com/blog/2208624 一.概述 listener是一个监听器对象，用于监听scheduler中发生的事件，然后执行相应的操作；你可能已经猜到了，TriggerListeners接受与trigger相关的事件，JobListeners接受与jobs相关的事件。   二.JobListener监听器  j
  • oracle层次查询 18289753290 oracle；层次查询；树查询
    .oracle层次查询(connect  by) oracle的emp表中包含了一列mgr指出谁是雇员的经理，由于经理也是雇员，所以经理的信息也存储在emp表中。这样emp表就是一个自引用表，表中的mgr列是一个自引用列，它指向emp表中的empno列，mgr表示一个员工的管理者， select   empno,mgr,ename,sal  from e
  • 通过反射把map中的属性赋值到实体类bean对象中 酷的飞上天空 javaee泛型类型转换
    使用过struts2后感觉最方便的就是这个框架能自动把表单的参数赋值到action里面的对象中 但现在主要使用Spring框架的MVC，虽然也有@ModelAttribute可以使用但是明显感觉不方便。 好吧，那就自己再造一个轮子吧。 原理都知道，就是利用反射进行字段的赋值，下面贴代码 主要类如下：   import java.lang.reflect.Field; imp
  • SAP HANA数据存储：传统硬盘的瓶颈问题 蓝儿唯美 HANA
    SAPHANA平台有各种各样的应用场景，这也意味着客户的实施方法有许多种选择，关键是如何挑选最适合他们需求的实施方案。 在 《Implementing SAP HANA》这本书中，介绍了SAP平台在现实场景中的运作原理，并给出了实施建议和成功案例供参考。本系列文章节选自《Implementing SAP HANA》，介绍了行存储和列存储的各自特点，以及SAP HANA的数据存储方式如何提升空间压
  • Java Socket 多线程实现文件传输 随便小屋 javasocket
            高级操作系统作业，让用Socket实现文件传输，有些代码也是在网上找的，写的不好，如果大家能用就用上。 客户端类：   package edu.logic.client; import java.io.BufferedInputStream; import java.io.Buffered
  • java初学者路径 aijuans java
    学习Java有没有什么捷径?要想学好Java，首先要知道Java的大致分类。自从Sun推出Java以来，就力图使之无所不包，所以Java发展到现在，按应用来分主要分为三大块：J2SE,J2ME和J2EE,这也就是Sun ONE(Open Net Environment)体系。J2SE就是Java2的标准版，主要用于桌面应用软件的编程；J2ME主要应用于嵌入是系统开发，如手机和PDA的编程；J2EE
  • APP推广 aoyouzi APP推广
    一，免费篇 1，APP推荐类网站自主推荐 最美应用、酷安网、DEMO8、木蚂蚁发现频道等,如果产品独特新颖，还能获取最美应用的评测推荐。PS：推荐简单。只要产品有趣好玩，用户会自主分享传播。例如足迹APP在最美应用推荐一次，几天用户暴增将服务器击垮。 2，各大应用商店首发合作 老实盯着排期，多给应用市场官方负责人献殷勤。 3，论坛贴吧推广 百度知道，百度贴吧，猫扑论坛，天涯社区，豆瓣（
  • JSP转发与重定向 百合不是茶 jspservletJava Webjsp转发
      在servlet和jsp中我们经常需要请求,这时就需要用到转发和重定向;   转发包括;forward和include     例子;forwrad转发;  将请求装法给reg.html页面   关键代码;    req.getRequestDispatcher("reg.html
  • web.xml之jsp-config bijian1013 javaweb.xmlservletjsp-config
    1.作用：主要用于设定JSP页面的相关配置。 2.常见定义： <jsp-config> <taglib> <taglib-uri>URI(定义TLD文件的URI,JSP页面的tablib命令可以经由此URI获取到TLD文件)</tablib-uri> <taglib-location> TLD文件所在的位置
  • JSF2.2 ViewScoped Using CDI sunjing CDIJSF 2.2ViewScoped
    JSF 2.0 introduced annotation @ViewScoped; A bean annotated with this scope maintained its state as long as the user stays on the same view(reloads or navigation - no intervening views). One problem w
  • 【分布式数据一致性二】Zookeeper数据读写一致性 bit1129 zookeeper
    很多文档说Zookeeper是强一致性保证，事实不然。关于一致性模型请参考http://bit1129.iteye.com/blog/2155336    Zookeeper的数据同步协议 Zookeeper采用称为Quorum Based Protocol的数据同步协议。假如Zookeeper集群有N台Zookeeper服务器(N通常取奇数，3台能够满足数据可靠性同时
  • Java开发笔记 白糖_ java开发
    1、Map<key,value>的remove方法只能识别相同类型的key值   Map<Integer,String> map = new HashMap<Integer,String>(); map.put(1,"a"); map.put(2,"b"); map.put(3,"c"
  • 图片黑色阴影 bozch 图片
     .event{ padding:0;    width:460px;    min-width: 460px;    border:0px solid #e4e4e4;    height: 350px;    min-heig
  • 编程之美-饮料供货-动态规划 bylijinnan 动态规划
    import java.util.Arrays; import java.util.Random; public class BeverageSupply { /** * 编程之美 饮料供货 * 设Opt（V’，i）表示从i到n-1种饮料中，总容量为V’的方案中，满意度之和的最大值。 * 那么递归式就应该是：Opt（V’，i）=max{ k * Hi+Op
  • ajax大参数（大数据）提交性能分析 chenbowen00 WebAjax框架浏览器prototype
    近期在项目中发现如下一个问题 项目中有个提交现场事件的功能，该功能主要是在web客户端保存现场数据（主要有截屏，终端日志等信息）然后提交到服务器上方便我们分析定位问题。客户在使用该功能的过程中反应点击提交后反应很慢，大概要等10到20秒的时间浏览器才能操作，期间页面不响应事件。 根据客户描述分析了下的代码流程，很简单，主要通过OCX控件截屏，在将前端的日志等文件使用OCX控件打包，在将之转换为
  • [宇宙与天文]在太空采矿,在太空建造 comsci
         我们在太空进行工业活动...但是不太可能把太空工业产品又运回到地面上进行加工,而一般是在哪里开采,就在哪里加工,太空的微重力环境,可能会使我们的工业产品的制造尺度非常巨大....      地球上制造的最大工业机器是超级油轮和航空母舰,再大些就会遇到困难了,但是在空间船坞中,制造的最大工业机器,可能就没
  • ORACLE中CONSTRAINT的四对属性 daizj oracleCONSTRAINT
    ORACLE中CONSTRAINT的四对属性 summary:在data migrate时,某些表的约束总是困扰着我们,让我们的migratet举步维艰,如何利用约束本身的属性来处理这些问题呢?本文详细介绍了约束的四对属性: Deferrable/not deferrable, Deferred/immediate, enalbe/disable, validate/novalidate,以及如
  • Gradle入门教程 dengkane gradle
    一、寻找gradle的历程 一开始的时候，我们只有一个工程，所有要用到的jar包都放到工程目录下面，时间长了，工程越来越大，使用到的jar包也越来越多，难以理解jar之间的依赖关系。再后来我们把旧的工程拆分到不同的工程里，靠ide来管理工程之间的依赖关系，各工程下的jar包依赖是杂乱的。一段时间后，我们发现用ide来管理项程很不方便，比如不方便脱离ide自动构建，于是我们写自己的ant脚本。再后
  • C语言简单循环示例 dcj3sjt126com c
    # include <stdio.h> int main(void) { int i; int count = 0; int sum = 0; float avg; for (i=1; i<=100; i++) { if (i%2==0) { count++; sum += i; } } avg
  • presentModalViewController 的动画效果 dcj3sjt126com controller
    系统自带(四种效果)： presentModalViewController模态的动画效果设置：     [cpp]  view plain copy   UIViewController *detailViewController = [[UIViewController al
  • java 二分查找 shuizhaosi888 二分查找java二分查找
    需求：在排好顺序的一串数字中，找到数字T   一般解法：从左到右扫描数据，其运行花费线性时间O(N)。然而这个算法并没有用到该表已经排序的事实。 /** * * @param array * 顺序数组 * @param t * 要查找对象 * @return */ public stati
  • Spring Security（07）——缓存UserDetails 234390216 ehcache缓存Spring Security
           Spring Security提供了一个实现了可以缓存UserDetails的UserDetailsService实现类，CachingUserDetailsService。该类的构造接收一个用于真正加载UserDetails的UserDetailsService实现类。当需要加载UserDetails时，其首先会从缓存中获取，如果缓存中没
  • Dozer 深层次复制 jayluns VOmavenpo
    最近在做项目上遇到了一些小问题，因为架构在做设计的时候web前段展示用到了vo层，而在后台进行与数据库层操作的时候用到的是Po层。这样在业务层返回vo到控制层，每一次都需要从po-->转化到vo层，用到BeanUtils.copyProperties(source, target)只能复制简单的属性，因为实体类都配置了hibernate那些关联关系，所以它满足不了现在的需求，但后发现还有个很
  • CSS规范整理（摘自懒人图库） a409435341 htmlUIcss浏览器
       刚没事闲着在网上瞎逛，找了一篇CSS规范整理，粗略看了一下后还蛮有一定的道理，并自问是否有这样的规范，这也是初入前端开发的人一个很好的规范吧。 一、文件规范 1、文件均归档至约定的目录中。 具体要求通过豆瓣的CSS规范进行讲解： 所有的CSS分为两大类：通用类和业务类。通用的CSS文件，放在如下目录中： 基本样式库 /css/core
  • C++动态链接库创建与使用 你不认识的休道人 C++dll
    一、创建动态链接库 1.新建工程test中选择”MFC [dll]”dll类型选择第二项"Regular DLL With MFC shared linked"，完成 2.在test.h中添加 extern “C” 返回类型 _declspec(dllexport)函数名(参数列表); 3.在test.cpp中最后写 extern “C” 返回类型 _decls
  • Android代码混淆之ProGuard rensanning ProGuard
    Android应用的Java代码，通过反编译apk文件（dex2jar、apktool）很容易得到源代码，所以在release版本的apk中一定要混淆一下一些关键的Java源码。 ProGuard是一个开源的Java代码混淆器（obfuscation）。ADT r8开始它被默认集成到了Android SDK中。 官网： http://proguard.sourceforge.net/
  • 程序员在编程中遇到的奇葩弱智问题 tomcat_oracle jquery编程ide
    　　现在收集一下：       　　排名不分先后，按照发言顺序来的。   1、Jquery插件一个通用函数一直报错，尤其是很明显是存在的函数，很有可能就是你没有引入jquery。。。或者版本不对 2、调试半天没变化：不在同一个文件中调试。这个很可怕，我们很多时候会备份好几个项目，改完发现改错了。有个群友说的好：   在汤匙
  • 解决maven-dependency-plugin (goals "copy-dependencies","unpack") is not supported xp9802 dependency
    解决办法：在plugins之前添加如下pluginManagement，二者前后顺序如下：   [html]  view plain copy   <build>           <pluginManagement
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他