借助推荐算法实现英-中单词互译

最近爬取了一些国外的图片，由于标签都是英文，对文本检索不友好，所以就搞了这个单词翻译工具；很多推荐算法在计算物品与物品相似距离时经常用到同现矩阵，那么举一反三 该算法是否同样可以应用在求解中英单词相似距离上呢？

算法背景

同现矩阵计算公式

• 通过案例说明
  N(i)与N(j)分别表示喜欢 i 物品的人数与喜欢 j 物品的人数，上述公式大致意思是求解喜欢物品 i 的人中又同时喜欢物品 j 的占比是多少，比值越大越能说明两个物品的关联度高，那么当其它用户去购买物品 i 时将在很大程度上喜欢物品 j ；不过需要注意的时如果物品 j 是一个热门物品，那么很多人都会喜欢物品 j，极端情况下所有喜欢物品 i 的用户都喜欢物品 j , 那么计算出的物品 i 与物品 j 就是高度相似的，为了避免热门物品的影响，在分母上对热门物品进行了惩罚，当N(j)很大时，相识度就会很低。

另外该方式还有另一个优势，那就是在计算相似度时不需要额外收集评分数据

基于python实现

• 数据处理

import re
# import jieba
import unicodedata
from LAC import LAC 
lac = LAC(mode='seg')

def unicode_to_ascii(s):
    return ''.join(c for c in unicodedata.normalize('NFD', s)
                   if unicodedata.category(c) != 'Mn')


def preprocess_eng(w):
    w = unicode_to_ascii(w.lower().strip())

    # creating a space between a word and the punctuation following it
    # eg: "he is a boy." => "he is a boy ."
    # Reference:- https://stackoverflow.com/questions/3645931/
    # python-padding-punctuation-with-white-spaces-keeping-punctuation
#     w = re.sub(r"([?.!,])", r" \1 ", w)
    w = re.sub(r"([?.!,])", r" ", w)
    # replace several spaces with one space
    w = re.sub(r'[" "]+', " ", w)

    # replacing everything with space except (a-z, A-Z, ".", "?", "!", ",")
    w = re.sub(r"[^a-zA-Z?.!,]+", " ", w)
    w = w.rstrip().strip()

    # adding a start and an end token to the sentence
    # so that the model know when to start and stop predicting.
#     w = ' ' + w + ' '
    return w.split(' ')


def preprocess_chinese(w):
    w = unicode_to_ascii(w.lower().strip())
    w = re.sub(r'[" "]+', "", w)
    w = w.rstrip().strip()
#     w = " ".join(list(w))  # add the space between words
#     w = ' ' + w + ' '
    return list(lac.run(w))


input_texts = open('D:/Download/英中机器文本翻译/ai_challenger_translation_train_20170904/translation_train_data_20170904/train.en', 'r', encoding='UTF-8').read().splitlines()
target_texts = open('D:/Download/英中机器文本翻译/ai_challenger_translation_train_20170904/translation_train_data_20170904/train.zh', 'r', encoding='UTF-8').read().splitlines()
 
input_texts_d = []
target_texts_d = []
i = 1
for it, tt in zip(input_texts, target_texts):
        input_texts_d.append(preprocess_eng(it))
        target_texts_d.append(preprocess_chinese(tt))

• 计算相似性

mydic = {}
kvdic = {}
for it_ks, tt_ks in zip(input_texts_d, target_texts_d):
    for en_k in it_ks:
        en_v = {}
        if en_k in mydic:
            en_v = mydic.get(en_k)
        for zh_k in tt_ks:
            if zh_k in en_v:
                en_v[zh_k] += 1
            else:
                en_v[zh_k] = 1
        mydic[en_k] = en_v
        
        if en_k in kvdic:
            kvdic[en_k] += 1
        else:
            kvdic[en_k] = 1 
            
    for zh_k in tt_ks:
        if zh_k in kvdic:
            kvdic[zh_k] += 1
        else:
            kvdic[zh_k] = 1 
res = {}
for k, v in mydic.items():
    zh_dic = {}
    for zh, cn in v.items():
        zh_dic[zh] = round(cn/(kvdic[zh]*kvdic[k])**0.5, 5)
    res[k] = sorted(zh_dic.items(), key= lambda kv: kv[1], reverse=True)[:5]

效果展示

写在最后
现实生活中对一件物品或商品进行描述时往往会有很多词汇和短语，如 “红薯” 和 “地瓜” ；大家可以尝试使用上面算法来挖掘内容中的同义词...