ngram

【实战】使用 Python 分析 14 亿条数据

billion-rows-with-python.md英文/SteveStagg，翻译/RydenSun，编辑/昱良juejin.im/post/5aceae206fb9a028d2084feaGoogleNgramviewer
机器学习算法与Python学习-公众号·2019-09-05 11:00

ngram特征统计

flag）统计bigram（sort）统计importrefromjiebaimportcutfromcollectionsimportCounterstopwords={'的','是','啊'}defngram
基基伟·2019-08-18 11:55

mysql 中文全文搜索,mysql自带的中文检索

从MySQL5.7.6开始，MySQL内置了ngram全文解析器，用来支持中文、日文、韩文分词。本文使用的MySQL版本是5.7.22，InnoDB数据库引擎。
或非与·2019-08-08 00:53

MySQL全文索引实现简单版搜索引擎实例代码

fulltextindextype）全文索引的基于关键词的，如何区分不同的关键词了，就要用到分词（stopword）英文单词用空格，逗号进行分词；中文分词不方便（一个句子不知道怎样区分不同的关键词）内置分词解析器ngram
Jia-Xin·2019-07-09 16:33

MySQL 全文索引实现简单版搜索引擎

目录前言使用三种类型的全文搜索方式相关参数测试innodb引擎使用全文索引准备使用默认方式创建全文索引使用ngram分词解析器创建全文索引结论前言只有Innodb和myisam存储引擎能用全文索引（innodb
Jia-Xin·2019-07-08 20:00

MySQL innodb 全文索引使用

1、mysql5.7全文索引以下几个参数(配置文件/etc/my.cnf)#控制innodb全文检索分词的最小长度，如果设置为2那么一个汉字和一个字母将不能搜到ngram_token_size=1#存储在
c6iz·2019-07-08 16:59

NLP之滑动窗口函数

importredefcompute_ngrams(word):#BOW,EOW=('')#UsedbyFastTexttoattachtoallwordsasprefixandsuffixpattern
不二郭·2019-07-05 22:30

fastText参数的含义

train_unsupervised(input,model='skipgram',lr=0.05,               dim=100,ws=5,epoch=5,minCount=5,               wordNgrams
princemrgao·2019-07-04 11:38

【手撕 - 自然语言处理】手撕 FastText 源码（02）基于字母的 Ngram 实现

作者：LogM本文原载于https://segmentfault.com/u/logm/articles，不允许转载~1.源码来源FastText源码：https://github.com/facebookresearch/fastText本文对应的源码版本：CommitsonJun272019,979d8a9ac99c731d653843890c2364ade0f7d9d3FastText论文：
LogM·2019-06-30 00:00

tensorflow实现lstm的demo

lstm实现困惑度困惑度是什么具体实现数据准备vocabWord2idbatch_data模型的配置困惑度是什么通常在永ngram语言模型的时候，通常用困惑度来描述这个query的通顺程序，ngram是一个统计概率模型
AmazingZXY·2019-06-24 23:25

公告丨Dex.top(大力士)上线Opengram (GRAM)

尊敬的用户：Dex.top即将开放Opengram(GRAM)的充提业务，并开放GRAM/ETH交易对，具体时间如下：1.开放充提时间：5月8日16：00（GMT+8）；2.开放交易时间：5月10日16
Dextop·2019-06-21 20:40

公告丨Dex.top(大力士)上线Opengram (GRAM)

尊敬的用户：Dex.top即将开放Opengram(GRAM)的充提业务，并开放GRAM/ETH交易对，具体时间如下：1.开放充提时间：5月8日16：00（GMT+8）；2.开放交易时间：5月10日16
Dextop·2019-06-21 20:40

pikachu漏洞靶机之暴力破解漏洞

Batteringram选项，他能够把我们所选的所有变量，同时进行破解。（具有一致性），把所有变量进行全部替换。Pitchfork这个选项，他会对我们所选择的所有变量都给一
暮秋初九·2019-06-01 11:27

语音识别中唤醒技术调研

上篇博客（语音识别传统方法(GMM+HMM+NGRAM)概述）说到我们team要做语音识别相关的项目，而我们公司的芯片是用在终端上的，即我们要做终端上的语音识别。
david_tym·2019-05-28 22:40

语音识别中唤醒技术调研

上篇博客（语音识别传统方法(GMM+HMM+NGRAM)概述）说到我们team要做语音识别相关的项目，而我们公司的芯片是用在终端上的，即我们要做终端上的语音识别。
davidtym·2019-05-28 22:00

fastText文本分类

fastText文本分类原理【1.】对N个文档分词获得词表【2.】用词粒度/字粒度的ngram扩充词表(有一些hashtricks以防词表爆炸)【3.】获得某1个文档的分词和ngram词索引向量【4.】
Young_win·2019-05-27 12:19

阿里 Android 动态界面开发框架 Tangram，是时候了解一波了

熟悉阿里出品的vlayout的读者都知道，vlayout极大地扩展了RecyclerView的LayoutManager，从而为RecyclerView提供了一组布局。使用该开源项目，可以让我们在同一个RecyclerView里处理线性、网格等等各种复杂的布局。然而，使用vlayout时，一切都需要用Java代码实现，而且都是写在客户端上，一旦需要修改就必须发版，不是很灵活，于是阿里又提出了Tan
Android小安·2019-05-17 17:45

阿里 Android 动态界面开发框架 Tangram，是时候了解一波了

熟悉阿里出品的vlayout的读者都知道，vlayout极大地扩展了RecyclerView的LayoutManager，从而为RecyclerView提供了一组布局。使用该开源项目，可以让我们在同一个RecyclerView里处理线性、网格等等各种复杂的布局。然而，使用vlayout时，一切都需要用Java代码实现，而且都是写在客户端上，一旦需要修改就必须发版，不是很灵活，于是阿里又提出了Tan
Android小安·2019-05-17 17:45

自然语言处理之word2vec

[1]图解Word2vec，读这一篇就够了[2]一文详解NGram语言模型以及困惑度perplexity1embedding及wordembedding的含义  Embedding在数学上表示一个maping
张之海·2019-04-23 20:49

语音识别传统方法(GMM+HMM+NGRAM)概述

春节后到现在近两个月了，没有更新博客，主要是因为工作的关注点正从传统语音（语音通信）转向智能语音（语音识别）。部门起了个新项目，要用到语音识别（准备基于Kaldi来做）。我们之前做的传统音频已基本成熟，就开始关注在语音识别上了。对于我们来说，这是个全新的领域（虽然都是语音相关的，但是语音通信偏信号处理，传统语音识别方法偏概率统计），需要学习的知识很多，所以这段时间主要是在学习新知识了，主要学习了数
davidtym·2019-04-02 19:00

Layui表格之多列合并展示

这里的展示不是合并单元格，合并单元格方法请参考：https://www.cnblogs.com/Kingram/p/9781682.html实现效果：实现代码参考：{title:'业务信息',width
Kingram·2019-03-12 10:00

mysql全文检索

在MySQL5.7.6中我们使用一个新的全文索引插件来处理它们：ngramparser.建立全文检索：ALTERTABLEt_nameADDFULLTEXTINDEXfulltext_name(col1
JabinJava·2019-03-10 09:18

给全文搜索引擎Manticore (Sphinx) search 增加中文分词

sphinxsearch基础上添加了mmseg分词的搜索引擎，可惜后来不再更新，sphinxsearch的版本太低，bug也会出现；后来也使用最新的sphinxsearch，它可以支持几乎所有语言，通过其内置的ngramto
老猿同学·2019-03-08 11:56

《精通Python自然语言处理（ Deepti Chopra)》读书笔记（第二章）

2.1理解单词频率用于Alpino语料库生成unigrams：importnltkfromnltk.utilimportngramsfromnltk.corpusimportalpinoprint(alpino.words
Mr.小白·2019-03-03 13:58

第一章

ThisisaCprongram.#includeintmain(){printf("ThisisaCpromgram.
AugustHH·2019-02-16 13:50

中文自然语言处理工具hanlp隐马角色标注详解

目前HanLP内置的训练接口是针对一阶HMM-NGram设计的，另外附带了通用的语料加载工具，可以通过少量代码导出供其他训练工具使用的特定格式（如CRF++）。
adnb34g·2019-02-13 15:00

中文自然语言处理工具hanlp隐马角色标注详解

目前HanLP内置的训练接口是针对一阶HMM-NGram设计的，另外附带了通用的语料加载工具，可以通过少量代码导出供其他训练工具使用的特定格式（如CRF++）。
adnb34g·2019-02-13 14:16

elasticsearch 设置mapping一个字段用多个分词器

"properties":{"id":{"type":"long"},"entName":{"type":"text","analyzer":"ikIndexAnalyzer","fields":{"ngram
乔巴14·2019-01-25 11:48

python处理文本使用n-gram方法

#tokenizerfunction,thiswillmake3gramsofeachquerydefget_ngrams(query):tempQuery=str(query)ngrams=[]foriinrange
果冻先生的专栏·2018-12-04 11:53

HanLP二元核心词典详细解析

当词典文件没有被缓存时，会从文本文件CoreNatureDictionary.ngram.txt中解析出来存储到TreeMap中，然后构造start和pair数组，并基于这两个数组实现词共现频率的二分查找
adnb34g·2018-12-03 10:00

HanLP二元核心词典详细解析

当词典文件没有被缓存时，会从文本文件CoreNatureDictionary.ngram.txt中解析出来存储到TreeMap中，然后构造start和pair数组，并基于这两个数组实现词共现频率的二分查找
左手中的倒影·2018-12-03 10:15

elasticsearch 建立索引

创建mapping的过程介绍：分词器（analyzer）包括一个分解器（tokenizer）和多个词元过滤器（filter），词元过滤器的作是对分词器提取的词元进一步处理，比如转成小写，使用edge_ngram
微微一笑19·2018-11-21 11:08

基于Tangram开发下一代桌面应用（1）

本系列文章由Tangram开发团队编写。Tangram是我们开发的一套面向Windows桌面的软件胶水技术。基于Tangram，开发者可以以一种全新的方式来构造桌面软件。
codemeow·2018-11-02 00:00

Mysql的全文索引遇到的坑

一张表只能创建一个FULLTEXT索引,创建语句为：ALTERTABLEtablenameADDFULLTEXTINDEXidx_full_text_all(field1,field2..)withparserngram
Try_harder_every_day·2018-10-16 14:38

文本分类

主题分类、情感分析workflow：https://developers.google.com/machine-learning/guides/text-classification/model使用字符级ngram
Shingle_·2018-10-14 13:28

mysql8使用自带全文索引（带中文分词）

修改配置文件：vim/etc/my.cnf[mysqld]ngram_token_size=2创建表：createtabletest(idint(11)notnullprimarykeyauto_increment
Lee_吉·2018-09-26 00:39

go web框架选择

网上相关的性能对比测试之类的已经很多了，我就不赘述了现在给大家分享下github上在go的相关排名前十web框架的相关信息：（上述图片信息来源于github的项目，也可以了解更多框架，地址：https://github.com/mingrammer
Baby_lucy·2018-09-11 10:11

FastText

文中还提出了两个技巧，1、在隐藏层加入ngram特征来引入局部的词序信息，
Torero_lch·2018-09-05 11:54

Centos升级Python 2.7.12并安装最新pip

title:Centos升级Python2.7.12并安装最新piptags:服务器,Pythongrammar_cjkRuby:true1.安装步骤下载源码wgethttp://www.python.org
AndroidRookie·2018-08-22 15:49

Spark上数据的获取、处理与准备

这些数据集包括人类基因组项目、CommonCraw网页语料库、维基百科数据和GoogleBooksNgrams。相关信息可参见
陌涂·2018-08-17 21:43

SRILM使用之ngram-count

因为经常使用SRILM来建立语言模型，因此把自己在使用过程中的一些心得写下来和大家分享一下。-help输出帮助信息-version输出版本信息-ordern设置计数时N-grams的最大阶数，这同样也是生成的语言模型的最大阶数，默认为3。-vocabvocab_file读取词典vocab_file。生成语言模型时，如果计数文件中或者训练文件中，如果出现了词典vocab_file之外的词（OOV)，
GavinLiu1990·2018-08-02 17:22

Burp Suite Intruder的4种类型

狙击手模式使用一组payload集合，它一次只使用一个payload位置，假设你标记了两个位置“A”和“B”，payload值为“1”和“2”，那么它×××会形成以下组合（除原始数据外）：二Batteringram
老鹰a·2018-07-27 14:01

语言模型训练工具srilm

1.生成n-gram统计文件ngram-count-vocabtrain.
ziyu123·2018-07-24 16:21

AI开放数据源

DataHubWorldHealthOrganizationData.govEuropeanUnionOpenDataPortalAmazonWebServicepublicdatasetsFacebookGraphHealthdata.govGoogleTrendsGoogleFinanceGoogleBooksNgramsMachineLearningRepository
sundaygeek·2018-07-21 07:00

全字母句（Python）

全字母句（Python）ProblemDescription全字母句(pangram)指包含字母表中全部26种英文字母（不区分大小写）的句子，其常被用于展示英文字体的显示效果。
莫若诩殇·2018-06-27 10:55

Elasticsearch 的 NGram 分词器处理模糊匹配

接到一个任务：用Elasticsearch实现搜索银行支行名称的功能。大概就是用户输入一截支行名称或拼音首字母，返回相应的支行名称。比如，用户输入"工行"或者"gh"，我需要返回"工行XXX分行"类似这样的结果。我心里嘀咕着：数据库不是支持通配符查询吗？为什么不直接用数据库查询？说归说，但是任务还是要完成的。之前有在网上看过一篇文章，主要就是说用Elasticsearch处理通配符查询不太适合，然
andyzhaojianhui·2018-06-01 15:55

2018-05-16

学习计划Time:2018.5.17~2018.5.20Learnbasicpythongrammeranddosomearithmaticexercise
AIHENJIANDAN·2018-05-16 20:59

生成语言模型

上传文件，生成对应的语言模型，需要注意的是文件最好不要太大，网站容易报504错误，贴下图吧，傻瓜式的操作方式：2.使用SRILM训练语言模型SRILM基本使用方法1、从语料库中生成n-gram计数文件：1ngram-count-texttrain.txt-order3
张念·2018-05-11 10:09

[Archlinux] Stuck on Loading initial ramdisk

啊舍友的电脑更新，卡在一半了，强行重启就卡在loadingramdisk不动了刚好是在更新内核的时候,buildhookblablabla解决https://www.reddit.com/r/archlinux
Aria461863631·2018-05-02 21:34

English diary

IwanttolearnEnglishwell.Sofromnowon,IwillwriteaEnglishdiaryeverydaytopracticemywrittenability.IfIhavesomemistakesingrammarorphrase
叶下斜阳·2018-04-09 00:25
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他