项目中有需要使用到elasticsearch工具,在网上百度了很多,终于历尽几天才将环境搭建好(本人小白,从0开始,所以请见谅)
1.首先在安装node.js时,碰到困难。
在集成grunt插件前,要先安装npm,但是由于实验室网路原因,一直未能连接到npm国外网站,然后照着网上百度的使用淘宝镜像。
方法有如下:(此方法前提是将npm配置好,在全局变量中加入后,在以后的使用中更方便)
npm config set registry https://registry.npm.taobao.org
可以查看是否配置成功:
npm config get registry
如果返回来了 https://registry.npm.taobao.org,则说明配置成功。
一开始在安装时,看见有说不要安装太新的版本,因为不完善,所以特地找了node.js的旧版本,5.X。在安装grunt时无论怎么改npm的镜像都无法成功,改完之后还是无法连接到下载地址,最后尝试安装了最新的稳定版本,结果一下就ok了。
2.在给elasticsearch安装好head插件后,困难又出现在了如何将MYSQL数据库中的表通过mysql-connector-java-5.1.44-bin.jar与logstash导入到elasticsearch中。具体方法如下:(logstash的安装这里不重复,可以自行百度,我下的是5.2.0版的,百度的5.x版本以后的可以不用再下载mysql-connector-java-5.1.44-bin.jar,但是我在logstash安装包里面没有找到该jar包,所以自己下载了)
首先,在logstash\bin 目录下创建一个文件夹 logstash_trestle,在该文件夹下创建两个文件,一个是mysql.conf和search.sql,再将下载的mysql-connector-java-5.1.44-bin.jar放到该文件夹下;
mysql.conf中内容如下:
input {
stdin {
}
jdbc {
jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/lockdb"
jdbc_user => "root"
jdbc_password => "123456"
jdbc_driver_library => "D:\software\logstash5.2.0\logstash-5.2.0\bin\logstash_jdbc_test/mysql-connector-java-5.1.44-bin.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
statement_filepath => "D:\software\logstash5.2.0\logstash-5.2.0\bin\logstash_jdbc_test/lock.sql"
schedule => "* * * * *"
type => "content"
}
}
filter {
json {
source => "message"
remove_field => ["message"]
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
index => "cmscontent"
document_id => "%{rent_id}"
}
stdout {
codec => json_lines
}
}
其中需要自己修改的就是
jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/lockdb"
jdbc_user => "root"
jdbc_password => "123456"
lockdb是MYSQL中要导入的数据库名字,下面依次是你数据库的名字和密码
jdbc_driver_library => "D:\software\logstash5.2.0\logstash-5.2.0\bin\logstash_jdbc_test/mysql-connector-java-5.1.44-bin.jar"
statement_filepath => "D:\software\logstash5.2.0\logstash-5.2.0\bin\logstash_jdbc_test/search.sql"
分别是你下载jar包的地址和刚在上面新建的.sql文件地址;
elasticsearch {
hosts => ["localhost:9200"]
index => "cmscontent"
document_id => "%{rent_id}"
}
第一行是ES节点地址,此处我写的自己主机;
第二行是索引名
第三行是我在导入时遇到的问题 ,一开始没有弄得document_id的意思,就直接跟着百度粘贴,没有修改。在ES中每条记录都有自己的id号,id号是惟一的,如果再插入相同的id,后面值会替换前面的值,所以一开始我导入后看着cmd中有导入每条记录的信息,但是在es中只能看到最后一条。修改方法是将{}里面的值改为自己表里面的不重复的键,如主键;
而search.sql里面的内容就写你要导入表的查询语句:
{
select * from 表名
}
最后在logstash\bin位置下执行cmd命令
logstash -f ./logstash_trestle/mysql.conf
再次导入,ok,所有记录都有了。
下面继续学习如何导入多张表。
第一次写,有点乱,就当给自己记录啦。
你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。
我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:
撤销:Ctrl/Command + Z
重做:Ctrl/Command + Y
加粗:Ctrl/Command + B
斜体:Ctrl/Command + I
标题:Ctrl/Command + Shift + H
无序列表:Ctrl/Command + Shift + U
有序列表:Ctrl/Command + Shift + O
检查列表:Ctrl/Command + Shift + C
插入代码:Ctrl/Command + Shift + K
插入链接:Ctrl/Command + Shift + L
插入图片:Ctrl/Command + Shift + G
直接输入1次#,并按下space后,将生成1级标题。
输入2次#,并按下space后,将生成2级标题。
以此类推,我们支持6级标题。有助于使用TOC
语法后生成一个完美的目录。
强调文本 强调文本
加粗文本 加粗文本
标记文本
删除文本
引用文本
H2O is是液体。
210 运算结果是 1024.
链接: link.
当然,我们为了让用户更加便捷,我们增加了图片拖拽功能。
去博客设置页面,选择一款你喜欢的代码片高亮样式,下面展示同样高亮的 代码片
.
// An highlighted block
var foo = 'bar';
一个简单的表格是这么创建的:
项目 | Value |
---|---|
电脑 | $1600 |
手机 | $12 |
导管 | $1 |
使用:---------:
居中
使用:----------
居左
使用----------:
居右
第一列 | 第二列 | 第三列 |
---|---|---|
第一列文本居中 | 第二列文本居右 | 第三列文本居左 |
SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如:
TYPE | ASCII | HTML |
---|---|---|
Single backticks | 'Isn't this fun?' |
‘Isn’t this fun?’ |
Quotes | "Isn't this fun?" |
“Isn’t this fun?” |
Dashes | -- is en-dash, --- is em-dash |
– is en-dash, — is em-dash |
一个具有注脚的文本。2
Markdown将文本转换为 HTML。
您可以使用渲染LaTeX数学表达式 KaTeX:
Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分
Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞tz−1e−tdt.
你可以找到更多关于的信息 LaTeX 数学表达式here.
可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图::
这将产生一个流程图。:
我们依旧会支持flowchart的流程图:
如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ,生成一个.md文件或者.html文件进行本地保存。
如果你想加载一篇你写过的.md文件或者.html文件,在上方工具栏可以选择导入功能进行对应扩展名的文件导入,
继续你的创作。
mermaid语法说明 ↩︎
注脚的解释 ↩︎