linux环境安装kafka和es

一、安装es
选择自己需要的版本，解压缩到指定目录，es下载参考连接1，这里我选的是7.15.1
1、修改配置文件
config目录编辑elssticsearch.yml

image.png

image.png

修改上述5项，注意：后是一个空格，否则写错会报：Exception in thread "main" SettingsException[Failed to load settings from [elasticsearch.yml]]; nested: ElasticsearchParseException[malformed, expected settings to start with 'object', instead was [VALUE_STRING]];

config目录编辑jvm.option，添加

image.png

否则启动可能会报内存不足的错。

bin目录修改初始化java走的版本，es需要java11的环境，我这里本地java是1.8，所以选择运行es自带的java环境

es自带java所在目录.png

修改bin下elasticsearch.env文件

image.png

只需要注释掉判断分支检测本地java这块即可，否则会报错：future versions of Elasticsearch will require Java 11

2、添加账号
先将es文件夹下的所有目录的所有权限迭代给esuser用户

useradd elastic
chown -R elastic:elastic /usr/local/elasticsearch-7.15.1

修改 vi /etc/security/limits.conf 添加

elastic hard nofile 65536
elastic soft nofile 65536

修改/etc/sysctl.conf

vm.max_map_count=655360

执行
sysctl -p

3、启动es
切换到新建的账户 su elastic
执行

./bin/elasticsearch---前天启动
./bin/elasticsearch -d ---------后台启动

访问前端地址: ip:9200查看是否启动成功

image.png

3、安装es可视化界面
ES的可视化插件有两种，一种是Elasticsearch-Head插件（推荐使用），另一种是ES的官方插件 Kibana（跟版本有关联，配置变更后因为不明原因闪退）
安装步骤参考：
1、Elasticsearch-Head包下载地址
下载后解压包
在谷歌浏览器里面输入：
chrome://extensions/
选择解压后路径即可

image.png

之后就可以在插件图标里选择即可

image.png

---

二、部署kafka
需要将zookeeper和kafka解压缩到机器
这里zk用的是3.6.2版本，kafka用的是2.13-3.2.0版本
1、部署zookeeper
config目录下执行

mv zoo_sample.cfg zoo.cfg

image.png

启动 zk

syatemctl start zookeeper

2、启动kafka
修改kafka配置文件server.properties,添加本机地址外部可访问

image.png

启动kafka，bin目录下

#前台启动
./kafka-server-start.sh -daemon  ../config/server.properties
#后台启动
nohup  ./kafka-server-start.sh ../config/server.properties &

3、创建topic

./kafka-topics.sh --create --bootstrap-server ip:9092 --replication-factor 1 --partitions 2 --topic test_info
#验证topic是否创建成功
./kafka-topics.sh --bootstrap-server ip:9092 --list
#开两个窗口验证下消费情况
./kafka-console-consumer.sh --bootstrap-server ip:9092  --topic test_info
./kafka-console-producer.sh --bootstrap-server ip:9092  --topic test_info test

---

参考：
1、es国内下载源
2、es部署步骤参考
3、es安装常见问题
4、搭建kafka
5、搭建zk