Jitsi视频会议部署(四):视频会议中实时语音转字幕

依赖于谷歌云的服务,将会议语音传给谷歌的 Google Cloud speech-to-text API,然后得到识别的文字,而且如果你说话停顿很小,可以自动修正上下文中的识别错误。文字会自动在屏幕上弹出来,同时在文字聊天窗口当中,每句话都会按时间自动增加文字段。

很强大的功能,谷歌基本上能识别所有国家语音,甚至一些方言,还有美式英语和英式英语等。我在YouTube上面看到印度三哥的演示,实时印度语的字幕。按照官方的说法,实时翻译成什么语言文字,取决于你的浏览器的locale设定。但是我折腾很久,也只有英文的,不知道是哪里的问题,github上面提问过,可惜官方直接忽视我的问题了。

 因为我的谷歌云支付账号到期了,以前是申请了一年的赠送账户来测试的。目前只能根据之前记录的笔记来整理步骤。

Jitsi视频会议部署(四):视频会议中实时语音转字幕_第1张图片

一切以官网为标准:  https://github.com/jitsi/jigasi

1,上文中说了Jigasi的安装,修改Jigasi的配置sip-communicator.propertie

org.jitsi.jigasi.ENABLE_TRANSCRIPTION=true   (容许实时翻译)

org.jitsi.jigasi.ENABLE_SIP=true   (容许打电话)

2,在ubuntu下面安装谷歌SDK 

前提条件:你有谷歌云账号,你建了项目,你为你的项目绑定支付账户,你的项目开启了语音识别服务(我之前另外一篇文章,Freeswitch+unimrcp,也是用的这个服务)

export CLOUD_SDK_REPO="cloud-sdk-$(lsb_release -c -s)"
echo "deb http://packages.cloud.google.com/apt $CLOUD_SDK_REPO main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
sudo apt-get update && sudo apt-get install google-cloud-sdk google-cloud-sdk-app-engine-java
gcloud init
gcloud auth application-default login

(下面安装过程删除了一些敏感数据)

root@test01:/etc/jitsi# gcloud init
Welcome! This command will take you through the configuration of gcloud.

Your current configuration has been set to: [default]

You can skip diagnostics next time by using the following flag:
  gcloud init --skip-diagnostics

Network diagnostic detects and fixes local network connection issues.
Checking network connection...done.                                                                                        
Reachability Check passed.
Network diagnostic passed (1/1 checks passed).

You must log in to continue. Would you like to log in (Y/n)?  y

Go to the following link in your browser:

    https://accounts.google.com/o/oauth2/auth?redirect_urig???????????????????%3Aoaapis.com%2Fauth%2Fappengine.admin+https%3A%2Fte+https%3A%2F%2Fwww.googleapis.com%2Fauth%2Faccounts.reauth&access_type=offline


Enter verification code: 4/IAHgRqkCLxQkadfhskajdfhskajdfhksad44owqAZaMFwy9HszKxgzaEEQ
You are logged in as: [[email protected]].

Pick cloud project to use: 
 [1] e-centaur-232307
 [2] vibrant-chain-234506
 [3] Create a new project
Please enter numeric choice or text value (must exactly match list 
item):  2

Your current project has been set to: [vibrant-chain-234506].

Not setting default zone/region (this feature makes it easier to use
[gcloud compute] by setting an appropriate default value for the
--zone and --region flag).
See https://cloud.google.com/compute/docs/gcloud-compute section on how to set
default compute region and zone manually. If you would like [gcloud init] to be
able to do this for you the next time you run it, make sure the
Compute Engine API is enabled for your project on the
https://console.developers.google.com/apis page.

Created a default .boto configuration file at [/root/.boto]. See this file and
[https://cloud.google.com/storage/docs/gsutil/commands/config] for more
information about configuring Google Cloud Storage.
Your Google Cloud SDK is configured and ready to use!

* Commands that require authentication will use [email protected] by default
* Commands will reference project `vibrant-chain-234506` by default
Run `gcloud help config` to learn how to change individual settings

This gcloud configuration is called [default]. You can create additional configurations if you work with multiple accounts and/or projects.
Run `gcloud topic configurations` to learn more.

Some things to try next:

* Run `gcloud --help` to see the Cloud Platform services you can interact with. And run `gcloud help COMMAND` to get help on any gcloud command.
* Run `gcloud topic --help` to learn about advanced features of the SDK like arg files and output formatting
root@DN2NVC01:/etc/jitsi# gcloud auth application-default login
Go to the following link in your browser:

    https://accounts.google.com/o/oauth2/auth?redirect_uri=urn%3Agoogleapis.com%2Fauth%2Fcloud-platform&access_type=offline


Enter verification code: 4/IAFUIdzs5_2w8_tasdfasdfsadfasdOIzTIcFz0Zvi98ezMBo

Credentials saved to file: [/root/.config/gcloud/application_default_credentials.json]

These credentials will be used by any library that requests
Application Default Credentials.

To generate an access token for other uses, run:
  gcloud auth application-default print-access-token
root@test01:/etc/jitsi# 

3,注意上面,我们最后实际拿到了一个json的密匙文件,保存在

Credentials saved to file: [/root/.config/gcloud/application_default_credentials.json]

在Jigasi配置文件中   /etc/jitsi/jigasi/config  增加

GOOGLE_APPLICATION_CREDENTIALS=/root/.config/gcloud/application_default_credentials.json

然后Jigasi就可以通过密匙链接谷歌云服务了。

===================================================================================

第2,3步当中我的秘钥只用了半年就失效了,找了很多原因,应该是谷歌云加强了认证,就是在你的秘钥当中必须包含私钥,也就是说你必须在谷歌云上自己手动去生成一个秘钥,具体步骤看这里

https://cloud.google.com/dialogflow/docs/quick/setup#authentication-and-access-control

之前ubuntu本地生成的秘钥文件不能用(结构类似下面)

vim /root/.config/gcloud/application_default_credentials.json
{
“client_id”: “
764086051850-6qr4pXXXXXpt8ejuXXXX1hur.apps.googleusercontent.com”,
“client_secret”: “d-FL95Q1XXXXXXXXpd7hHD0Ty”,
“refresh_token”: “1/H8cj_vxNXXXXXXXXXRe8K6xCACJKpcb5pGna2c”,
“type”: “authorized_user”
}

所以从谷歌云拿到的秘钥请直接替换原来的秘钥文件就可以了。

=========================================================================================

4,检查  /etc/jitsi/meet/domain-config.js 容许启用实时翻译

                     transcribingEnabled: true,

     检查  /usr/share/jitsi-meet/interface_config.js

                      DISABLE_TRANSCRIPTION_SUBTITLES: false,

    修改/etc/jitsi/jigasi/sip-communicator.properties:

# send formats  (实时字幕是json,聊天框显示是txt)
org.jitsi.jigasi.transcription.SEND_JSON=true
org.jitsi.jigasi.transcription.SEND_TXT=true
# delivering final transcript (语音识别的文字保存位置,并且可以用网页来打开全部字幕内容)
org.jitsi.jigasi.transcription.DIRECTORY=/etc/jitsi/jigasi/transcripts
org.jitsi.jigasi.transcription.BASE_URL=https://domain.com.cn/transcripts
org.jitsi.jigasi.transcription.jetty.port=-1
org.jitsi.jigasi.transcription.ADVERTISE_URL=true

5,重启下服务器,再进入会议应该可以看到左下角看到一个CC的图标。

点击CC按钮,自动会有一个名字叫“transcribe”的用户加入会议,然后你说话,屏幕上就有字幕了,聊天窗口也会出现文字内容了。

如果你点了CC按钮没反应,大概哪儿没有配置好,点击右下角的"+"符号,有个邀请人窗口,输入“jitsi_meet_transcribe”,确定。然后transcribe就进来了,有时候翻译官进来了,会自动掉线退出,你重新再邀请一次就好了。

当然可以试下另外一种命令的方式启动实施翻译。

因为你用的chrome,然后打开chrome的调试窗口,在调试窗口输入 APP.conference._room.dial("jitsi_meet_transcribe"),这个的效果和上面点+的效果是一样的。

 

基本上这个功能就是这样配置了,相比其他很多会议系统,这个功能有点“厉害”,应该还是说谷歌厉害。

附带语种列表

Afrikaans (Suid-Afrika)    af-ZA    南非荷兰语(南非)
አማርኛ (ኢትዮጵያ)    am-ET    阿姆哈拉语(埃塞俄比亚)
Հայ (Հայաստան)    hy-AM    亚美尼亚语(亚美尼亚)
Azərbaycan (Azərbaycan)    az-AZ    阿塞拜疆语(阿塞拜疆)
Bahasa Indonesia (Indonesia)    id-ID    印度尼西亚语(印度尼西亚)
Bahasa Melayu (Malaysia)    ms-MY    马来语(马来西亚)
বাংলা (বাংলাদেশ)    bn-BD    孟加拉语(孟加拉)
বাংলা (ভারত)    bn-IN    孟加拉语(印度)
Català (Espanya)    ca-ES    加泰罗尼亚语(西班牙)
Čeština (Česká republika)    cs-CZ    捷克语(捷克共和国)
Dansk (Danmark)    da-DK    丹麦语(丹麦)
Deutsch (Deutschland)    de-DE    德语(德国)
English (Australia)    en-AU    英语(澳大利亚)
English (Canada)    en-CA    英语(加拿大)
English (Ghana)    en-GH    英语(加纳)
English (Great Britain)    en-GB    英语(英国)
English (India)    en-IN    英语(印度)
English (Ireland)    en-IE    英语(爱尔兰)
English (Kenya)    en-KE    英语(肯尼亚)
English (New Zealand)    en-NZ    英语(新西兰)
English (Nigeria)    en-NG    英语(尼日利亚)
English (Philippines)    en-PH    英语(菲律宾)
English (Singapore)    en-SG    英语(新加坡)
English (South Africa)    en-ZA    英语(南非)
English (Tanzania)    en-TZ    英语(坦桑尼亚)
English (United States)    en-US    英语(美国)
Español (Argentina)    es-AR    西班牙语(阿根廷)
Español (Bolivia)    es-BO    西班牙语(玻利维亚)
Español (Chile)    es-CL    西班牙语(智利)
Español (Colombia)    es-CO    西班牙语(哥伦比亚)
Español (Costa Rica)    es-CR    西班牙语(哥斯达黎加)
Español (Ecuador)    es-EC    西班牙语(厄瓜多尔)
Español (El Salvador)    es-SV    西班牙语(萨尔瓦多)
Español (España)    es-ES    西班牙语(西班牙)
Español (Estados Unidos)    es-US    西班牙语(美国)
Español (Guatemala)    es-GT    西班牙语(危地马拉)
Español (Honduras)    es-HN    西班牙语(洪都拉斯)
Español (México)    es-MX    西班牙语(墨西哥)
Español (Nicaragua)    es-NI    西班牙语(尼加拉瓜)
Español (Panamá)    es-PA    西班牙语(巴拿马)
Español (Paraguay)    es-PY    西班牙语(巴拉圭)
Español (Perú)    es-PE    西班牙语(秘鲁)
Español (Puerto Rico)    es-PR    西班牙语(波多黎各)
Español (República Dominicana)    es-DO    西班牙语(多米尼加共和国)
Español (Uruguay)    es-UY    西班牙语(乌拉圭)
Español (Venezuela)    es-VE    西班牙语(委内瑞拉)
Euskara (Espainia)    eu-ES    巴斯克语(西班牙)
Filipino (Pilipinas)    fil-PH    菲律宾语(菲律宾)
Français (Canada)    fr-CA    法语(加拿大)
Français (France)    fr-FR    法语(法国)
Galego (España)    gl-ES    加利西亚语(西班牙)
ქართული (საქართველო)    ka-GE    格鲁吉亚语(格鲁吉亚)
ગુજરાતી (ભારત)    gu-IN    古吉拉特语(印度)
Hrvatski (Hrvatska)    hr-HR    克罗地亚语(克罗地亚)
IsiZulu (Ningizimu Afrika)    zu-ZA    祖鲁语(南非)
Íslenska (Ísland)    is-IS    冰岛语(冰岛)
Italiano (Italia)    it-IT    意大利语(意大利)
Jawa (Indonesia)    jv-ID    爪哇语(印度尼西亚)
ಕನ್ನಡ (ಭಾರತ)    kn-IN    卡纳达语(印度)
ភាសាខ្មែរ (កម្ពុជា)    km-KH    高棉语(柬埔寨)
ລາວ (ລາວ)    lo-LA    老挝语(老挝)
Latviešu (latviešu)    lv-LV    拉脱维亚语(拉脱维亚)
Lietuvių (Lietuva)    lt-LT    立陶宛语(立陶宛)
Magyar (Magyarország)    hu-HU    匈牙利语(匈牙利)
മലയാളം (ഇന്ത്യ)    ml-IN    马拉雅拉姆语(印度)
मराठी (भारत)    mr-IN    马拉地语(印度)
Nederlands (Nederland)    nl-NL    荷兰语(荷兰)
नेपाली (नेपाल)    ne-NP    尼泊尔语(尼泊尔)
Norsk bokmål (Norge)    nb-NO    博克马尔挪威语(挪威)
Polski (Polska)    pl-PL    波兰语(波兰)
Português (Brasil)    pt-BR    葡萄牙语(巴西)
Português (Portugal)    pt-PT    葡萄牙语(葡萄牙)
Română (România)    ro-RO    罗马尼亚语(罗马尼亚)
සිංහල (ශ්රී ලංකාව)    si-LK    僧伽罗语(斯里兰卡)
Slovenčina (Slovensko)    sk-SK    斯洛伐克语(斯洛伐克)
Slovenščina (Slovenija)    sl-SI    斯洛文尼亚语(斯洛文尼亚)
Urang (Indonesia)    su-ID    巽他语(印度尼西亚)
Swahili (Tanzania)    sw-TZ    斯瓦希里语(坦桑尼亚)
Swahili (Kenya)    sw-KE    斯瓦希里语(肯尼亚)
Suomi (Suomi)    fi-FI    芬兰语(芬兰)
Svenska (Sverige)    sv-SE    瑞典语(瑞典)
தமிழ் (இந்தியா)    ta-IN    泰米尔语(印度)
தமிழ் (சிங்கப்பூர்)    ta-SG    泰米尔语(新加坡)
தமிழ் (இலங்கை)    ta-LK    泰米尔语(斯里兰卡)
தமிழ் (மலேசியா)    ta-MY    泰米尔语(马来西亚)
తెలుగు (భారతదేశం)    te-IN    泰卢固语(印度)
Tiếng Việt (Việt Nam)    vi-VN    越南语(越南)
Türkçe (Türkiye)    tr-TR    土耳其语(土耳其
اردو (پاکستان)    ur-PK    乌尔都语(巴基斯坦)
اردو (بھارت)    ur-IN    乌尔都语(印度)
Ελληνικά (Ελλάδα)    el-GR    希腊语(希腊)
Български (България)    bg-BG    保加利亚语(保加利亚)
Русский (Россия)    ru-RU    俄语(俄罗斯)
Српски (Србија)    sr-RS    塞尔维亚语(塞尔维亚)
Українська (Україна)    uk-UA    乌克兰语(乌克兰)
עברית (ישראל)    he-IL    希伯来语(以色列)
العربية (إسرائيل)    ar-IL    阿拉伯语(以色列)
العربية (الأردن)    ar-JO    阿拉伯语(约旦)
العربية (الإمارات)    ar-AE    阿拉伯语(阿拉伯联合酋长国)
العربية (البحرين)    ar-BH    阿拉伯语(巴林)
العربية (الجزائر)    ar-DZ    阿拉伯语(阿尔及利亚)
العربية (السعودية)    ar-SA    阿拉伯语(沙特阿拉伯)
العربية (العراق)    ar-IQ    阿拉伯语(伊拉克)
العربية (الكويت)    ar-KW    阿拉伯语(科威特)
العربية (المغرب)    ar-MA    阿拉伯语(摩洛哥)
العربية (تونس)    ar-TN    阿拉伯语(突尼斯)
العربية (عُمان)    ar-OM    阿拉伯语(阿曼)
العربية (فلسطين)    ar-PS    阿拉伯语(巴勒斯坦国)
العربية (قطر)    ar-QA    阿拉伯语(卡塔尔)
العربية (لبنان)    ar-LB    阿拉伯语(黎巴嫩)
العربية (مصر)    ar-EG    阿拉伯语(埃及)
فارسی (ایران)    fa-IR    波斯语(伊朗)
हिन्दी (भारत)    hi-IN    印地语(印度)
ไทย (ประเทศไทย)    th-TH    泰语(泰国)
한국어 (대한민국)    ko-KR    韩语(韩国)
國語 (台灣)    zh-TW    中文、普通话(台湾繁体)
廣東話 (香港)    yue-Hant-HK    中文、粤语(香港繁体)
日本語(日本)    ja-JP    日语(日本)
普通話 (香港)    zh-HK    中文、普通话(香港简体)
普通话 (中国大陆)    zh    中文、普通话(中国简体)

你可能感兴趣的:(Jitsi,google,语音识别,github,ubuntu,自然语言处理)