Docker安装flink及如何避坑
flink作为第三代大数据处理方案,早已成为业内的共识,并且发展迅猛(即将发布的新特性可以查看《Flink1.14新特性抢鲜看~》),而打开这扇大门的第一步是搭建flink的环境,以便我们后续测试和项目实践。
无处不在的大数据
大数据早已不是什么新鲜事物,比如在国内一线互联网大厂早有应用。比如,我们熟知淘宝的双十一大屏数据,头条的个个性化推荐等应用。
但是,在很多二三线城市,中小型公司基本上没有处理大数据的能力。
自从提出大数据之后,软件行业产生了一些新兴的岗位,如算法工程师,大数据工程师。
大数据工程师可以从事对大量数据的采集、清洗、分析、治理、挖掘，并对这些数据加以利用、管理、维护和服务的相关技术工作。(百度百科)
大数据工程师更加偏向于算法和抽象数据的分析和处理。传统的软件工程师更加偏向于业务代码的实现。
物以稀为贵,大数据的工程师的价位不菲,几乎是传统工程师2~3倍。再加上大数据的门槛,比如要学习python,要学习很多数学公式,让很多传统软件工程师望而生畏。
笔者接触大数据也是基于一个工作上的契机。因为公司业务的需要,公司高层希望建立APP用户画像,并能有针对性的为顾客做一些智能化商品或者内容推荐。
因为部门研发人员基本上都是从事业务代码编写,对大数据这一套并没有实践经验。通过,一番学习打卡,再加上和阿里，亚马逊等技术大神多次交流,集合整个团队智慧,总算搭建了一套可以跑起来的推荐系统。
在这个过程中,其实涉及的语言和中间件很多,比如Java,python,embedding（特征抽取）,tensorflow框架,离线和在线计算等。数据处理引擎涉及到Spark,flink等。
安装flink
Notes: 安装flink需要一些环境准备,前期准备可以参考相关文章《环境准备》、《安装Docker》等文章,这里不再赘述。
(1) 拉取flink镜像
Note: 这里可以根据实际情况指定安装的版本
docker pull flink:1.10.0-scala_2.12
(2) 编写docker-compose.yml
Note:flink使用8081等端口，要事先保证8081端口未被占用。
在opt下创建flink 目录
mkdir /opt/flink -p
编写docker-compose.yml,放在/opt/flink下面
Note: 会使用8081等端口，要事先保证8081端口未被占用。
version: "2.1"
services:
jobmanager:
image: ${FLINK_DOCKER_IMAGE_NAME:-flink}
expose:
- "6123"
ports:
- "8081:8081"
command: jobmanager
environment:
- JOB_MANAGER_RPC_ADDRESS=jobmanager
taskmanager:
image: ${FLINK_DOCKER_IMAGE_NAME:-flink}
expose:
- "6121"
- "6122"
depends_on:
- jobmanager
command: taskmanager
links:
- "jobmanager:jobmanager"
environment:
- JOB_MANAGER_RPC_ADDRESS=jobmanager
(3) 生成启动
进入/opt/flink,依次执行以下命令
cd /opt/flink/
docker-compose build
docker-compose up -d --force-recreate
docker-compose down
docker-compose restart
(4) 查看安装效果
浏览器上查看页面dashboard
在浏览器输入地址:http://X.X.0.101:8081
Note: 以自己安装flink的IP地址来访问
大告成功。
常见坑及解决方案
尽管官方文档提供了标准安装文档,但是有时候在实际场景中,手气可能比较差,会遭遇各种坑。
这里将笔者在安装中遇到问题整理一下,希望给新手一些参考。
问题1
如果执行docker-compose 命令报错：
-bash: docker-compose: command not found
(1) 先检查pip是否已经安装：
pip -V
如果出现提示
bash: pip: command not found
安装pip
yum -y install epel-release
yum -y install python-pip
#升级
pip install --upgrade pi
安装Docker-Compose
pip install docker-compose
查看是否安装成功
docker-compose -version
返回版本号
docker-compose version 1.29.2, build unknown
问题2
如果出现如下
You are using pip version xxx； however, version xxx is available
这种字样,说明是pip版本过低,需要升级
可以尝试执行
python -m pip install --upgrade pip -i https://pypi.douban.com/simple
如果失败。有可能是因为本机安装的python版本过低。比如,本机可能是python2,实际上需要python3.
执行下面命令
python -V
Python 2.7.5
再次执行命令
python3 -V
Python 3.6.8
修改yum相关文件
vi /usr/bin/yum
修改首行
!/usr/bin/python 为 #!/usr/bin/python2
再次输入
python -V
Python 3.6.8
然后再次执行pip升级
python -m pip install --upgrade pip -i https://pypi.douban.com/simple