语音识别 之 阿里云nvidia-docker

者绝对是个大坑。

如图，NVIDIA Docker 整体工作架构包含几部分：

• 硬件，服务器上安装了英伟达 GPU
• 宿主机，安装了操作系统和 Cuda Driver，以及 Docker 引擎
• 容器，包含容器 OS 用户空间，Cuda Toolkit，以及用户应用程序

最重要的是，宿主机上需要安装 cuda driver，容器内需要安装 cuda toolkit。容器内无需安装 cuda driver。

NVIDIA 提供了一些官方镜像，其中已经安装好了 cuda toolkit，但还是需要在宿主机安装 cuda driver。

个人理解：

• 驱动的版本一定要能满足Cuda Toolkit，否则带不动
• 宿主机上需要安装cuda驱动和nvidia-docker引擎，可以不安装cuda Toolkit
• 升级驱动时，直接安装新驱动就行，覆盖旧的驱动
• nvidia-smi和nvcc -V可以使用，但是torch.cuda.is_available()=False，这种情况可能是因为驱动版本较低

可以看到的确是进行端口映射了，应该是start.sh的问题
各个容器之间应该是互不相关的，但是它们的端口统统不能用说明是同一个问题，只检查animus的问题就可以解决问题。

首先呢，都是java问题。

用的apache服务器。apache基金会的大部分项目都是使用java语言开发。

问题呢，是

java.net.UnknownHostException: nls-cloud-admin-inner.alibaba.net

尝试了一下，根本打不开。那么这个代码是在哪里的呢？

mashape是java的开源网关。应该是配置的问题。

application.log也是一样的问题。

但是里面却又是nginx的配置文件。。。

但是它里面的server真的是taobao.com。。。

改容器是没用的，容器用完就删掉了。只有改service里的conf，里面有所有的conf。

并没有！真操蛋，但是外面的log都是一样的。

对，都是一样的。

那么这个问题究竟是什么意思呢？

nls-cloud-admin-inner是不是内部原理呢？看看内部原理。

感觉是开着的啊~

直接请求返回401错误，必须附带上用户信息。。。不知道是咋回事。。

直接请求只返回空白界面。

直接curl机器网址是根本不行的。

貌似发现容器没有IP地址。。。

那么很有可能用的是主机相同的ip，而打不开仅仅是因为防火墙的原因。

好像还真有这个防火墙，，，fire-wall-cmd这个东西。。。

firewall-cmd --add-port 75011/tcp --permanent

打开了卧槽。

nmap一下。。。

仍然还是没有发现，重启docker尝试一下。

查看开放端口

netstat -anp | grep 7501

发现已经被java tcp占用了啊？

关闭docker在重复一次。

果然关闭了卧槽，再重启一下试试。

TIME_WAIT是TCP三次握手什么的。

但令人自闭的是，nmap就是扫描到那几个端口啊？

现在仍然是关闭的，那么应该就是防火墙的原因了。。。毕竟里面是可以看到的。

查看防火墙开放端口：firewall-cmd --zone=public --list-ports

只开放了我这一个，我是不是做了什么不得了的事情啊？

端口开放了这么多，但是外面可见端口就这几个：

如果nmap详细扫描的话，nmap -sS -p 1-65535 125.77.202.194

-sS    TCP SYN扫描    nmap -sS 192.168.1.254   

详细搜出现这些。。。大多数都是无效的tcp访问。

关闭防火墙试试。。。。

systemctl stop firewalld.service

还是关闭的。。。

是没有指定外网的什么吗？

iptables -I INPUT -p tcp --dport 3306 -j ACCEPT

即便暴露了，也是看不见外网地址的。

网络连接是有2方参与，自己就是“内部地址”，别人就是“外部地址”，就这么简洁。

再举个例子，你用浏览器打开百度网站时，自己的 IP 地址就是内部地址了，也叫“本地地址”，百度服务器的IP就是外部地址，也就“远程地址”。

防火墙的确也没开着啊？

那唯一可能就是这个服务器是一个集群，是要端口转发的。

唉，算了，反正证明了7501的确是那个java程序(关闭就会丢失)，关键就是在于透不出去而已。

开启防火墙吧

systemctl start firewalld.service

netstat -anp | grep 7501

最后发现是云的安全组没有开，这是一个集群，每台电脑都有自己的防火墙，整个云还有安全组。

端口映射命令(80>8080)：
iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-port 8080
重启后会失效。
保存命令：
service iptables save
centos7没有该命令：

service iptables save

解决方法：
1.先执行如下命令：

systemctl stop firewalld
systemctl mask firewalld

• 1
• 2

2.安装iptables services

yum install iptables-services

• 1

3.设置开机启动

systemctl enable iptables

• 1

4.重启iptables service

systemctl restart iptables

• 1

5.执行保存配置命令

service iptables save

至此成功实现

又出现大问题了，就是那个网址识别不出来。。。

java.net.UnknownHostException: nls-cloud-admin-inner.alibaba.net: Name or service not known

应该是这个端口没有打开。

还有很多重要的服务没有被授权。。。

授权批下来了。

有一个大问题哦，还是有两个没解决，解决了一个。。。

发现问题了：

04:45:35.422 DEBUG [pool-4-thread-1] [    c.a.n.c.s.s.asr.lm.AsrLmModelWatcher] [                                ] Skip scan training models
04:50:25.399  INFO [pool-4-thread-1] [     c.a.n.c.s.l.ApesResourceLimiterImpl] [                                ] License check passed
04:50:35.399  INFO [pool-4-thread-1] [c.a.nls.cloud.balance.VipSrvBalancerImpl] [                                ] Vpc not enabled!
服务已经通过了，但是vpc不能使用之类的。

现在改了时间，是相当的难啊。。。只能等到明天再说。。。

更新新的激活码时，是否需要重启apes，是否需要重启各个服务？
如果是有效期变更，则⽆需重启，其他的授权项变更需要重启对应服务，apes本身不需要重启

也就是说，对应服务需要重启。。。专有网络未启用之类的，但是为什么成功了一个？

如果误操作重启了apes，是否需要重启各个服务？
不需要

理论上，重启没有问题。

选择任意⼀个节点执⾏下述所有操作，请勿中途换节点执⾏操作, 在未激活之前不允许重启进程，否则序列
号将⾃动变更。激活后可以进行重启，试一试。反正现在肯定激活好了。

查看授权信息

bin/apes.sh ctx

com.alibaba.nls.cloud.storage.StorageException: Failed to access mongodb!

从asr哪里出现的，这log真恶心。

为什么连不上数据库呢？
05:30:00.003  INFO [pool-4-thread-1] [c.a.nls.cloud.slp.service.StorageCleaner] [                                ] Stop scan, list is empty
05:30:35.524  INFO [pool-4-thread-1] [     c.a.n.c.s.l.ApesResourceLimiterImpl] [                                ] License check passed
05:30:45.524  INFO [pool-4-thread-1] [c.a.nls.cloud.balance.VipSrvBalancerImpl] [                                ] Vpc not enabled!
05:35:35.524  INFO [pool-4-thread-1] [     c.a.n.c.s.l.ApesResourceLimiterImpl] [                                ] License check passed
05:35:45.524  INFO [pool-4-thread-1] [c.a.nls.cloud.balance.VipSrvBalancerImpl] [                                ] Vpc not enabled!
05:35:45.526  INFO [pool-4-thread-1] [    c.a.n.c.s.s.asr.lm.AsrLmModelWatcher] [                                ] Try occupy redis key: nls.cloud.slp.lock.scan-lm
05:35:45.528 DEBUG [pool-4-thread-1] [    c.a.n.c.s.s.asr.lm.AsrLmModelWatcher] [                                ] Skip scan training models
这里是slp的，也是数据库的问题，emmmmm。

出现的问题

 Cannot get Jedis connection; nested exception is redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool

slp的，是数据库的问题。

[2020-09-04 05:21:58.938] [ERROR] [474,build/release64/alisr/util/apes/apes_check.cpp -- IsInitCheckSuccess():40] [License not passed, failed to login to license server: apes: connect server[127.0.0.1] failed.code:-1 resp:request apes(curl) failed. Couldn't connect to server ]

asr的，仍然是授权的原因，怎么会这样啊？但与之前的稍有差别：

[2020-09-02 22:03:49.521] [ERROR] [384,build/release64/alisr/server/alisr_server.cpp -- Init():167] [License not passed!]
[2020-09-02 22:03:52.141] [ERROR] [401,build/release64/alisr/util/apes/apes_check.cpp -- IsInitCheckSuccess():40] [License not passed, failed to login to license server: apes: access violation (invalid request)[inactivated (未授权或者机器硬件有变更)]
]

现在是resp:request apes(curl) failed. Couldn't connect to server

org.mongodb.driver.cluster] [                                ] No server chosen by ReadPreferenceServerSelector{

仍然是asr的，emmmm，数据库的问题吧。

Try occupy redis key: nls.cloud.slp.lock.scan-lm

学一学redis吧。

数据库做不了是不是因为端口被占用的原因啊。。。

现在发现redis根本就没开着。。。

甚至都没有安装。。。但是docker应该不用安装啊？

实际上，数据库都是在其他容器内的。但是现在数据库的确都开启着。

redis的好多啊。。。

应该是redis数据库的原因，停掉试试。

但是现在发现这个端口并没有被占用，看看其他端口呢？

都没有被占用，那就奇怪了。。。

现在突然slp也好了，真是可喜可贺啊！！！虽然自己什么都没有做只是重启了一遍。

另外两个端口也没有任何问题啊？

现在就差一个asr了，好淦啊。

情况跟我预期的相反，里面的能用了，但是工程创建不起来？为什么？查一查。并没有出现500错误，真是淦了。

看看asr的log

accsee里什么都没有，custom-task里面也什么都没有，requeset里面也是什么都没有。。。

alis里面

[2020-09-04 05:21:58.938] [ERROR] [474,build/release64/alisr/server/alisr_server.cpp -- Init():166] [License not passed!]
[2020-09-04 05:21:58.938] [WARN] [474,build/release64/alisr/server/sr_server.cpp -- Stop():103] [SrServer is already stopped!]
[2020-09-04 22:19:51.388] [INFO] [285,build/release64/alisr/util/apes/apes_check.cpp -- IsInitCheckSuccess():55] [Got max connections from apes: 10]
[2020-09-04 22:19:51.517] [INFO] [285,build/release64/alisr/server/alisr_server.cpp -- Init():164] [License passed (type=server)!]

最后成功通过了，话说这个alis到底是什么啊？是ali-server吗？

而且现在时间全乱了。。。。

并没有发现什么有价值的。。。

欸？现在好像全部成功了。。。demo以下试试看。

团队能新建成功。。。

但应用新建不成功。。。

服务器没问题，api没问题，有问题的应该只是内部了，毕竟就这一个api有问题，看看容器内部如何。

nls-cloud-admin-inner.alibaba.net，是内部网址解析错误

http://125.77.202.194:7501/api/animus/nls/app/add?

这个docker真好用，我也在我的服务器上这么干，当然，编写一个脚本，那真的是太爽了，全自动执行。

它这个api是放在哪里的呢？例如python的服务器，它的api在setting里，非常核心。

你说这个网页是一个端口呢？还是一个ip呢？我觉得是ip。。。

23:30:55.690 DEBUG [pool-4-thread-1] [ c.a.n.c.s.s.asr.lm.AsrLmModelWatcher] [ ] Skip scan training models
23:35:45.674 INFO [pool-4-thread-1] [ c.a.n.c.s.l.ApesResourceLimiterImpl] [ ] License check passed
23:35:55.674 INFO [pool-4-thread-1] [c.a.nls.cloud.balance.VipSrvBalancerImpl] [ ] Vpc not enabled!
23:40:45.675 INFO [pool-4-thread-1] [ c.a.n.c.s.l.ApesResourceLimiterImpl] [ ] License check passed
23:40:55.674 INFO [pool-4-thread-1] [c.a.nls.cloud.balance.VipSrvBalancerImpl] [ ] Vpc not enabled!
23:40:55.690 INFO [pool-4-thread-1] [ c.a.n.c.s.s.asr.lm.AsrLmModelWatcher] [ ] Try occupy redis key: nls.cloud.s
lp.lock.scan-lm

现在全部解决了，只剩下一个域名解析不正确，既然是一个域名，那么就不可能应该是有端口的，域名联系端口？不能坑。

nls-cloud-admin-inner.alibaba.net

现在人家也不让你重启网络，那么怎么刷新hosts呢？

现在没有任何问题，全绿了。就是这个域名是老大难。

hosts不会立即生效，但是它肯定过几个小时就会生效。

等等，要开8701端口！

http://125.77.202.194:7501/api/animus/nls/app/add?

{"resultCode":1,"resultMessage":"java.net.UnknownHostException: nls-cloud-admin-inner.alibaba.net","data":null}

post也不知道post了什么，但是应该不是前端的问题，是后端的问题 。

我从哪里找到这条语句呢？它既然发送到7501端口，说明api就在那里，看看吧，

但

nls-cloud-admin

这个容器没有安装，是不是这个的问题？

这个网页用的大概就是nginx。log又好像apache。它可能是nginx做前端，apache做后端这样。

既然是apache报错的，那么就可能是apache找不到这个 网址，也就是apache的网页脚本出问题了，后台应该是java做的。

而java会被打包成一个war包，这是Java web的特色。。。

看来docker容器会复制本计算机上的环境，至少它会复制hosts，这里就发现并没有添加上这个dns，如果重启一次应该可以解决问题，但是我不想冒这个险。

哈哈，看来添加上就能直接解析了。删除或修改也是立即触发的。。

但是现在请求返回异常，说明不是本地。。。

删掉又出现原来的情况，如果不是本地，那会是什么呢？

反正问题就是在这里了。

抛出的错误为

java.lang.NullPointerException: null

at com.alibaba.nls.animus.meta.RestUtils.checkResult(RestUtils.java:93)
at com.alibaba.nls.animus.meta.RestUtils.checkResultToMap(RestUtils.java:41)
at com.alibaba.nls.animus.meta.service.NlsMetaService.create(NlsMetaService.java:89)

怎么回事呢？

2020-09-05 06:28:01.663 INFO [nls-cloud-unify-post] [pool-3-thread-1] [] [c.a.n.c.balance.VipSrvBalancerImpl] [] [] [] Vpc not enabled!

难道真的是少开了一个容器？

基于vpc not enable，我猜测少开了一个容器。

[INFO] [nls-cloud-admin] 容器未发现, 默许为用户选装, 自动忽略

应该是这个容器。。。

这个应用有什么用啊？貌似没什么用啊？？？

现在asr又不行了卧槽，唉。就这一个不行，是不是一直重启的问题啊？还是别的什么？

应该是花时间的，花半个小时，解决问题这样。

只要等上半小时就好。

必须创建应用！！！但是现在根本没办法创建应用。。。

绝对slp出现问题了。

只能放在animus上，放到slp上都不可以，它们都复制了宿主的hosts文件。

你注意的是，nls-cloud-admin-inner是否是一个容器呢？

我怀疑是少一个容器。

我怀疑是少这个容器。

现在用命令行来做怎么样呢？

基础模型训练完了，现在导入出错

当然了，先导进去：

curl -X POST --header 'Content-Type: multipart/form-data' \
--header 'Accept: application/json' \
--header 'X-NLS-Token: default' \
-F "path=slp/tmp/test-data-am.zip" \
-F "file=@/data1/ali/data/demo-data-8k-plain.zip" \
'http://nls-slp.aliyun.test:8701/api/v3/files/upload'

现在创建一个数据集：

curl -X POST \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
-d '{
"id": "test-data",
"name": "测试数据",
"description": "这是一个测试数据",
"url": "slp/tmp/test-data-am.zip",
"sample_rate": 8000,
"format_type": "PLAIN"
}' 'http://nls-slp.aliyun.test:8701/api/v2/asr/am/data'

采样率是多少呢？采样率就是8k。

接下来就是运算了

curl -X GET \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
'http://nls-slp.aliyun.test:8701/api/v2/asr/am/data/test-data'

接下来进行数据处理

curl -X POST \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
'http://nls-slp.aliyun.test:8701/api/v2/asr/am/operations/process-data?data_id=test-data&base_id=common'

接下来是查看数据集状态：

curl -X GET \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
'http://nls-slp.aliyun.test:8701/api/v2/asr/am/data/test-data'

倒是训练好了。。。

创建定制模型：

curl -X POST \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
-d '{
"id": "test-model",
"name": "测试模型",
"description": "这是一个测试模型",
"base_id": "common"
}' 'http://nls-slp.aliyun.test:8701/api/v2/asr/am/models'

绑定数据集：

curl -X POST \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
'http://nls-slp.aliyun.test:8701/api/v2/asr/am/operations/add-data-to-model?data_id=test-data&model_id=test-model'

训练模型：

curl -X POST \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
'http://nls-slp.aliyun.test:8701/api/v2/asr/am/operations/train-model?model_id=test-model'

我擦开始训练了。

查看进度：

curl -X GET \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
'http://nls-slp.aliyun.test:8701/api/v2/asr/am/models/test-model'

声学训练需要至少0.8小时的数据，否则训练会报错。

现在是真正的模型了，先导入数据：

curl -X POST --header 'Content-Type: multipart/form-data' \
--header 'Accept: application/json' \
--header 'X-NLS-Token: default' \
-F "path=slp/tmp/sjt-data.zip" \
-F "file=@/data1/ali/data/sjt-data.zip" \
'http://nls-slp.aliyun.test:8701/api/v3/files/upload'

对，就叫minnanyu-data，就是这个数据集。

curl -X POST \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
-d '{
"id": "sjt-data",
"name": "闽南语数据堂数据",
"description": "这是一个闽南语数据堂数据",
"url": "slp/tmp/sjt-data.zip",
"sample_rate": 16000,
"format_type": "PLAIN"
}' 'http://nls-slp.aliyun.test:8701/api/v2/asr/am/data'

创建很容易啊。。。不，它只是立即返回而已，查看如下

curl -X GET \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
'http://nls-slp.aliyun.test:8701/api/v2/asr/am/data/sjt-data'

可别出错啊。。。

还是出错了。。。

行了！

定制模型

curl -X POST \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
-d '{
"id": "sjt-model",
"name": "数据堂闽南语模型",
"description": "这是数据堂闽南语模型",
"base_id": "common16k"
}' 'http://nls-slp.aliyun.test:8701/api/v2/asr/am/models'

绑定数据集：

curl -X POST \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
'http://nls-slp.aliyun.test:8701/api/v2/asr/am/operations/add-data-to-model?data_id=sjt-data&model_id=sjt-model'

绑定不了，要基础模型是16k的，这里只是8k的。

看看能不能配置自己的基础模型：

curl -X POST \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
-d '{
"id": "common16k",
"name":"通用模型16k",
"description":"通用领域模型16k",
"sample_rate": 16000,
"resource_path": "slp/v2/asr/am/inputs/common-resource.zip",
"init_model_path": "slp/v2/asr/am/inputs/common-am.net",
"init_model_trans_path": "slp/v2/asr/am/inputs/common-am.mvn"
}' 'http://nls-slp.aliyun.test:8701/api/v2/asr/am/bases'

行了，重新创建模型：

curl -X POST \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
-d '{
"id": "sjt-model",
"name": "数据堂闽南语模型",
"description": "这是数据堂闽南语模型",
"base_id": "common16k"
}' 'http://nls-slp.aliyun.test:8701/api/v2/asr/am/models'

绑定数据：

curl -X POST \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
'http://nls-slp.aliyun.test:8701/api/v2/asr/am/operations/add-data-to-model?data_id=sjt-data&model_id=sjt16kk-model'

训练！

curl -X POST \
--header 'Content-Type: application/json' \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
'http://nls-slp.aliyun.test:8701/api/v2/asr/am/operations/train-model?model_id=sjt16kk-model'

查看：

curl -X GET \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
'http://nls-slp.aliyun.test:8701/api/v2/asr/am/models/sjt16kk-model'

期望不要再有什么错误了。

最后仍然还是错了，删删模型与数据吧。

列举数据集：

curl -X GET \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
'http://nls-slp.aliyun.test:8701/api/v2/asr/lm/data'

一个数据也没有？

删除数据：

curl -X DELETE \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
'http://nls-slp.aliyun.test:8701/api/v2/asr/am/data/xxx'

列举模型：

curl -X GET \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
'http://nls-slp.aliyun.test:8701/api/v2/asr/lm/models'

只有一个demo模型。。。我不是创建了好多吗？

应该是一旦出错就删掉吧。。。

但是早已经存在了啊？都是存在的。。。那就都删掉。

curl -X DELETE \
--header 'Accept: application/json' \
--header 'X-NLS-User: default' \
--header 'X-NLS-Token: default' \
'http://nls-slp.aliyun.test:8701/api/v2/asr/lm/models/sjt-model'

找不到，，，可笑。写一个脚本吧。

这是语言模型的。。。

现在数据叫sjt-data，模型叫sjt-model，继承自common16k，就这样。