词频统计

python数据挖掘-文本挖掘(词频统计)

一个脚本代码文件    停分词文件(stopwords.txt):作用:在用jieba分词库对文件进行分词处理时，有些无用却频繁出现的分词，像“的”、“得”、“地”、“是”等，我们并不希望这些分词也被进行词频统计
augus_q·2020-07-08 19:32

大数据篇：Spark入门第一个Spark应用程序详解：WordCount

任务要求编写一个Spark应用程序，对某个文件中的单词进行词频统计。
yunxiaoMr·2020-07-08 19:58

eclipse设置java虚拟机内存大小

第一次处理这些数据，作为菜鸟的我，自然觉得有些大，师兄讲不算大，好吧，似乎差很远），用N元递增模型，统计词频，也就是说差不多有1百万X30（平均每条微博30个字）-1个候选词，用java遍历，哈希表进行词频统计
无限大地NLP_空木·2020-07-08 08:44

sklearn函数CountVectorizer()和TfidfVectorizer()计算方法介绍

()和TfidfVectorizer()计算方法介绍CountVectorizer()函数CountVectorizer()函数只考虑每个单词出现的频率；然后构成一个特征矩阵，每一行表示一个训练文本的词频统计结果
nlp@2020·2020-07-08 07:00

Python实现中文小说词频统计

统计一个文件中出现次数最高的10个词语，用来测试的例子是金庸小说，挑选其中一部小说，我挑的是天龙八部。在网上找了好久相关的开源项目，很多同学做这个都是用的C++，但是我想能不能做一点不一样的东西，自己先用JavaScript尝试了一下，发现做出来的demo又很多不完善的地方，只好又到网上查找社区已经开源出来的项目，最后找到了个Python的开源中文分词软件jieba，因为自己也有学习Python，
qwerasdf890·2020-07-08 04:56

前缀树（清晰明了，不懂问我）

典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。
algsup·2020-07-08 02:52

python的open()函数中encoding参数的问题

**python的open()函数中encoding参数的问题**最近在用python打开文本文件进行词频统计时遇到一个问题txt=open("threekingdoms.txt","r",encoding
Mitsuha三葉·2020-07-08 02:52

机器学习之朴素贝叶斯（四）用CountVectorizer（平权统计）的文本分类

将文本文档集合转换为令牌计数矩阵此实现生成使用的计数的稀疏表示如果不提供先验字典，也不使用分析器这做了一些特征选择然后特征的数量会等于通过分析数据发现的词汇量#从sklearn的特征工程的文本模块导入词频统计函数
繁华三千东流水·2020-07-07 19:34

python爬取pubmed文章标题，进行词频统计、生成词云

爬取pubmed标题页面，然后统计词频，生成词云可以更直观的让我们了解到某个方向研究的热点或者趋势是什么，上效果图：需要输入的网址是在pubmed里搜索后生成的网址，可以是左侧进行各种过滤后的。爬虫代码：importrequestsfrombs4importBeautifulSoupimportre#生成网址start_url=('输入网址：')page=input('输入搜索前多少页：')for
练习时长两年半的生信生·2020-07-07 14:29

极客时间 算法训练营 第六周总结

典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。优点是：最大限度地减少无谓的字符串比较，查询效率比哈希表高。
墨1024·2020-07-07 13:23

Python学习第六天学习汇总（python文件处理和词云的使用）

目录一、文件的使用二、文本词频统计三、词云的使用今天的课后练习实例题总结一、文件的使用文件处理分为三个步骤：文件的打开对打开的文件的操作关闭文件原理流程图：1.1文件的打开使用open方法注：文件路径和名称
banlie2891·2020-07-07 03:50

解析TF-IDF算法原理：关键词提取，自动摘要，文本相似度计算

Abstract：TF-IDF算法是一种常用的词频统计方法，常被用于关键词提取、文本摘要、文章相似度计算等。
花生酱Scarlett·2020-07-07 00:11

sklearn基础（一）文本特征提取函数CountVectorizer()和TfidfVectorizer()

CountVectorizer()函数CountVectorizer()函数只考虑每个单词出现的频率；然后构成一个特征矩阵，每一行表示一个训练文本的词频统计结果。
lyn5284767·2020-07-06 17:21

分析了2.2W条抖音数据，发现“95后”其实很养生……

晚上9点不要发视频，你会失望的01毕竟年轻人，爱表达自己，更爱表达喜欢对2.2W条数据的视频描述做分词词频统计
大数据v·2020-07-06 14:23

记录hive中文分词+词频统计

1，编写udf程序，这里使用的时IK分词jar包进行分词，udf函数输出的是使用空格分隔的分词后的词组成的字符串。packagehiveUDF;importjava.io.ByteArrayInputStream;importjava.io.IOException;importjava.io.InputStream;importjava.io.InputStreamReader;importjav
viHo+·2020-07-06 06:23

算法 （十七）字符串：单词查找树（前缀树），实现添加、删除、搜索、统计前缀数目等功能

典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。
馬冬梅啊·2020-07-06 02:59

python瓦登尔湖词频统计

#瓦登尔湖词频统计：importstringpath='D:/python3/Walden.txt'withopen(path,'r',encoding='utf-8')astext:words=[raw_word.strip
weixin_30500105·2020-07-05 21:25

文本挖掘--将分词之后的文档转化为结构化的数据

其实难点的根本是我们在做词频统计时，需要对所有的文本文件进行遍历，建立一个包含所有词的字典，如果文件集非常庞大、词比较多，这个词典就会很大，而且在第二次遍历文件进行词频统计的过程中，内存、寻址、计算的开销都是十分巨大的
红豆和绿豆·2020-07-05 16:07

JAVA--词频统计wordcount的实现

词频统计需求：1.要求统计出一个文件中的所有英文词组，以非英文字母为分隔符（这里以空格为例）。2.要求统计结果在控制台输出，并将统计的结果存入mysql数据库和redis数据库中。
super-yong·2020-07-05 13:05

java-多线程-词频统计

面试遇到的机试题,统计出一篇或者多篇文章的词频数考验java基础的掌握importjava.io.BufferedReader;importjava.io.BufferedWriter;importjava.io.File;importjava.io.FileReader;importjava.io.FileWriter;importjava.io.IOException;importjava.u
soi_yu·2020-07-05 13:00

用Python爬了微信朋友

内容其实挺简单，主要是用到itchat包，抓取微信好友的性别，所在城市，所属省份，做一个简单的统计，并提取个性签名，进行词频统计，并绘制词云图。
_hahaha·2020-07-05 11:54

Python——词频统计（英文+中文）

英文的词频统计：这里需要把《哈莫雷特》中出现的次数最多的单词（前十）打印出来在英文中，不同的单词都是有明显的分隔的，有的是以空格分隔，有的是以逗号分隔......这里我们需要把不同的单词分隔出来，所以我们要把所有可以用来分隔单词的符号都转换成空格
qdu_zhaiH·2020-07-05 10:56

利用飞桨paddlehub对“青春有你2”评论进行内容审核并绘制词云

最近“青春有你2”持续霸占各大榜单，本文爬取爱奇艺“青春有你2”下的评论，利用paddlehub对评论进行内容审核，通过审核后的数据进行词频统计并绘制词云。
秋水中的鱼·2020-07-05 09:50

爬取三国演义小说全文进行词频统计并生成词云

frombs4importBeautifulSoupimportrequestsfrommultiprocessingimportPoolimporttimeimportjiebafromPILimportImagefromwordcloudimportWordCloudheaders={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)Apple
_LvP·2020-07-05 09:10

前缀树

典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：最大限度地减少无谓的字符串比较，查询效率比哈希表高。Trie的核心思想是空间换时间。
zml400·2020-07-05 05:05

Python-继人物词频统计三国演义之后-三国词云（Wordcloud）

首先说明wordcloud库，词云库importwordcloud#首先创建词云对象，给参数w=wordcloud.WordCloud()参数还是挺多的，主要用到的：如果有中文，一定要设置字体路径，否则出来都是框框，宽高随意，mask可以指定生成的形状，需要载入图片，背景白色，稍后提到，max_words可以设置单词最大个数，默认200，后面是最小字体，最大字体，以及之间的步长，色彩模式默认为RG
StarLord007·2020-07-05 02:17

文本挖掘：手把手教你分析携程网评论数据

本次文本分析中需要使用如下3个包：1）Rwordseg包用于分词2）tmcn用于词频统计3）wordcloud用于绘制文
Sim1480·2020-07-04 22:19

MapReduce编写实现wordcount词频统计

首先编写WordCountDriver：packagecom.jym.hadoop.mr.demo;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.
Running-小猛·2020-07-04 21:30

数据结构系列——Trie树

典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：最大限度地减少无谓的字符串比较，查询效率比哈希表高。
少主无翼·2020-07-04 17:53

小玩具——单词词频统计

小玩具——单词词频统计该程序是在我学习JAVA过程中的一个偶然想法，距离现在很久了，现在回顾一下这个程序的编写过程，有一天我正在背CET-4单词，实在是很煎熬啊，看着好厚一本俞敏洪的CET-4，我实在是感到很不开心
clbxp·2020-07-04 13:08

字典树

典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：最大限度地减少无谓的字符串比较，查询效率比哈希表高。Trie的核心思想是空间换时间。
wei906·2020-07-04 13:04

201671030114 马秀丽 实验二软件工程个人项目

2016级计算机科学与工程学院软件工程（西北师范大学）课程要求：实验二软件工程个人项目GetHub源代码网址尝试按照《构建之法》第2章中2.3所述PSP流程，使用JAVA编程语言，独立完成一个英文文本词频统计的软件开发
andylau7777·2020-07-04 11:59

习题5.13 词频统计

感谢@guaiguaitinghua的归并链表排序思路：构建链式散列表，再组合成按词频逆序、字典序顺序排列的链表主要的几个问题：数据结构的构建（链式散列表）读入单词并忽略大小写（统一转换成小写）链表排序，如果词频一样比较字典序#include#include#include#include#include#definePERCENT10#defineMAXTABLESIZE200#defineTA
IAMBEEF·2020-07-04 06:37

第一个Flink程序 词频统计

maven创建Flink应用程序，通过端口获取实时输入的字符串，利用Flink统计单词频率并打印出来publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();DataStream>dataSt
宁缺100·2020-07-02 16:19

2019年政府工作报告词频分析

（文末福利）基本思路很简单：（1）使用requests、beautifsoup4提取网页内容；（2）jieba词频统计代码如下：importjiebaimportjieba.analysefromwordcloudimportWordCloud
落叶_小唱·2020-07-02 14:15

AI Studio之python入门课程大作业

评论数据爬取任务：1、完成爱奇艺《青春有你2》评论数据爬取：爬取任意一期正片视频下评论，评论条数不少于1000条2、词频统计并可视化展示3、绘制词云4、结合PaddleHub，对评论进行内容审核步骤：第一步
酱紫，·2020-07-02 11:56

如何用R包做词频统计图（词云）？

词频是什么？词频是一篇文章中每个单词的出现频数统计量为什么要统计词频？大体而言，一篇文章的主要内容可以从其中出现次数较多中的词语获知，大致内容也就类似一篇论文中的“关键字”吧，可以让人预先了解到文章的主要内容方向词频该如何表现？用表格表现？不，文字和数字在视觉上并不能有很好的表现。所以这就引出了我这篇博客的主要内容“词云”怎么制作一个词云？问题一：要安装哪些包？对于英文我们可以很好的通过空格将每个
JahnLiang·2020-07-02 09:49

Trie

应用的场景就是查询字符串，字符串的前缀，词频统计等等。优点是查询的效率非常高，缺点是利用空间换取时间。实现原理：利用Trie树节点组织成一棵树，每个节
_Madrid·2020-07-02 06:38

字典树-大量字符串前缀及出现次数是否存在统计(Trie树-java)算法实现

它是一种树形结构，是一种哈希树的变种，典型应用是用于统计，保存大量的字符串（但不仅限于字符串），统计以是否有以某字符串最为前缀的字符串，有的话有多少，某字符串出现了多少次等，所以经常被搜索引擎系统用于文本词频统计
iteye_6274·2020-07-02 04:14

Spark Stream集成Flume实现词频统计（Pull方式）

使用Pull方式的优点SparkStream集成Flume有两种方式：Push-basedApproachPull-basedApproach那么我们在生产中该选择哪种方式呢？让我们来看看官网是怎么说的由此可见，Pull相较于Push的可靠性和容错性更好，所以我们采用Pull的方式进行集成。配置Flume配置pom.xml文件2.11.122.4.4org.scala-langscala-libr
senga07·2020-07-02 00:16

【读书笔记】《优秀到不能被忽视》第三章阅读笔记

理查德的案例：事实1：《你的降落伞是什么颜色》事实2:谷歌词频统计器，数据引用。事实3:思维模式专家、心理学家杰弗里的解释引用。结论：有相当部分的人认同激情假设是有用的。
书与青咖·2020-07-01 19:30

《三国演义》人物出场统计

中文文章需要分词才能进行词频统计。这就需要用到jieba库。
cdy1221·2020-07-01 19:14

初探Tkinter的用法，搭出一张不好看的脸

我实现的功能包括进行分词，词性标注，分词拼音，词频统计，字频统计等小功能。part.0包的安装和引用0.1界面的引用#-*-co
Hellooooooworld·2020-07-01 19:35

字典树C语言实现

典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。
Xiejunyi12·2020-07-01 14:39

三国演义人物词频统计-4

题目来源：Python语言程序设计授课老师：嵩天、黄天羽、礼欣hamlet小说下载路径:https://python123.io/resources/pye/threekingdoms.txt三国演义人物词频统计
Mzjuser·2020-07-01 12:08

三国演义人物词频统计-3

题目来源：Python语言程序设计授课老师：嵩天、黄天羽、礼欣hamlet小说下载路径:https://python123.io/resources/pye/threekingdoms.txt三国演义人物词频统计
Mzjuser·2020-07-01 12:07

百度飞桨学习——七日打卡作业(五)大作业

www.iqiyi.com/v_19ryfkiv8w.html#curid=15068699100_9f9bab7e0d1e30c494622af777f4ba39)爬取任意一期正片视频下评论评论条数不少于1000条第二步：词频统计
滄夜·2020-07-01 08:13

小猪的Python学习之旅 —— 15.浅尝Python数据分析：分析2018政府工作报告中的高频词...

一句话概括本文：爬取2018政府工作报告，通过**jieba**库进行分词后做词频统计，最后使用wordcloud库制作naive词云，非常有意思～引言：昨晚写完上一篇把爬取到的数据写入到Excel后，
weixin_34194087·2020-07-01 05:20

Flink入门：读取Kafka实时数据流，实现WordCount

本文主要介绍Flink接收一个Kafka文本数据流，进行WordCount词频统计，然后输出到标准输出上。通过本文你可以了解如何编写和运行Flink程序。
皮皮鲁同学·2020-07-01 04:17

浅谈Flink分布式运行时和数据流图的并行化

1Flink数据流图简介1.1Flink作业的逻辑视图在大数据领域，词频统计（WordCount）程序就像是一个编程语言的HelloWorl
皮皮鲁同学·2020-07-01 04:17
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他