TopN

Spark实现分组取 top N 示例 —— Scala版

主要步骤：加载集合生成RDD（textFile）对RDD进行转换，将要排序的属性进行分离，生成新的RDD（map）对键进行分组，并在分组内基于第二步分离出的属性进行排序，并取排序结果的topN（groupByKey
* star *·2018-07-29 20:15

分组Top N 问题

ID，班组ID，司机ID另一种表存放司机ID，运营时间，运营里程要查询出7月份每个车队每个班组里的Top3这就要用到ROW_NUMBER()函数首先按需求建两张表CREATETABLEdemo_of_topn_car
peanutmilk·2018-07-25 22:33

Keras实现CNN文本分类

步骤1：文本的预处理，分词->去除停用词->统计选择topn的词做为特征词步骤2：为每个特征词生成ID步骤3：将文本转化成ID序列，并将左侧补齐步骤4：训练集shuffle步骤5：EmbeddingLayer
vivian_ll·2018-07-24 19:52

大数据技术之Hive实战——Youtube项目（一）

一、需求描述统计Youtube视频网站的常规指标，各种TopN指标：–统计视频观看数Top10–统计视频类别热度Top10–统计视频观看数Top20所属类别包含这Top20视频的个数–统计视频观看数Top50
Zoin·2018-07-16 21:50

Spark Core 和 Spark SQL 实现分组取Top N(基于scala)

分组取TopN在日常需求中很多见：每个班级分数前三名同学的名字以及分数各省指标数量前三的市的名字等等需求，主要思想就是在某一个分区（班级，省）中取出该分区TopN的数据测试数据格式：如上图，字段含义为，
wftt·2018-07-05 17:02

【读书笔记】推荐系统实践-常见推荐算法及应用

预测准确度对于TopN推荐（这里主要讨论TopN推荐），对于
Stephen.W·2018-07-03 15:19

基于用户的协同过滤算法在显式、隐式反馈数据中的评估比较

目录一、问题描述二、算法描述三、评价指标四、实验结果五、总结一、问题描述实现基于用户的协同过滤（UserCF）算法，以TopN的推荐方式，分别在显式和隐式反馈数据集中进行评估和比较。
一颗贪婪的星·2018-06-26 17:22

推荐系统综述：初识推荐系统

目录1.引言2.发展历史3.研究现状4.推荐方式和效果评估4.1评分预测4.2TopN推荐5.推荐算法5.1基于用户行为推荐5.1.1基于用户的协同过滤（User-BasedCF）5.1.2基于物品的协同过滤
一颗贪婪的星·2018-06-26 11:42

[Spark的TopN算法实现]

一、TopN算法MapReduce中的TopN算法是一个经典的算法，由于每个map都只是实现了本地的TopN算法，而假设map有M个，在归约的阶段只有MxN次运算，这个结果是可以接受的并不会造成性能瓶颈
fazhi-bb·2018-06-09 22:54

Hive和SQL的窗口函数

分析窗口函数应用场景：（1.2重要，其他的了解就行）（1）用于分区排序（2）动态GroupBy（3）TopN（4）累计计算（5）层次查询Hive分析窗口函数(一)SUM,AVG,MIN,MAXHive中提供了越来越多的分析函数
huangyinzhao·2018-05-30 11:20

分组TopN

packagecom.zhiyou.bd23.topn;importjava.io.File;importjava.io.IOException;importjava.util.TreeMap;importorg.apache.hadoop.conf.Configuration
兔子先生i·2018-05-28 21:23

redis常用命令大全

可以支持多种语言的api//set每秒11万次，取get81000次3.支持数据持久化4.value可以是string，hash，list，set,sortedset使用场景1.去最新n个数据的操作2.排行榜，取topn
chenxiangxiang·2018-05-22 15:00

推荐算法（CF）--协同过滤

系统框架推荐系统常用来解决TopN问题和用户行为预测问题•优点–充分利用群体智慧（要么是根据相似用户推荐，要么是根据历史物品推荐）–推荐精度高于CB（user-item即CF）–利于挖掘隐含的相关性•缺点
贫僧洗头爱飘柔·2018-05-18 23:39

在SQL Server中如何进行UPDATE TOP .....ORDER BY？

前言今天在导入数据到系统后需要根据时间排序对刚导入的TOPN条进行数据更新，之前没遇到过UPDATETOP...ORDERBY，以此作为备忘录。
Jeffcky·2018-05-11 00:00

Tableau构建销售监测体系（初级版）

解决方案：将Topn客户发销售部门。1.商业理解确定客户价值：购买总金额，频次，平均每次购买金额，最近购买金额，它们的线性组合。数据挖掘方法：描述汇总，分类，预测，概念描述，细分，相关分析。
李慕玄·2018-05-03 17:30

Spark笔记整理（六）：Spark高级排序与TopN问题揭密

[TOC]引入前面进行过wordcount的单词统计例子，关键是，如何对统计的单词按照单词个数来进行排序？如下：scala>valretRDD=sc.textFile("hdfs://ns1/hello").flatMap(_.split("")).map((_,1)).reduceByKey(_+_)scala>valretSortRDD=retRDD.map(pair=>(pair._2,pa
xpleaf·2018-04-28 11:50

Spark SQL 开窗函数row_number的使用

SparkSQL开窗函数row_number的使用窗口函数row_number即为分组取topN参考文本：型号类别销售量/月小米,手机,250华为,手机,450苹果,手机,1000三星,手机,2500小米
JSON_ZJS·2018-04-26 11:50

推荐系统入门（Top-N recommendation）

这篇文章提出了一种通过多个损失函数结合来提升topN推荐的效率的方法。发表在16年的IJCAI上，是来自天普大学的研究成果。
IsLiuY·2018-04-21 10:51

《数据算法Hadoop/Spark》读书笔记4--topN

/bin/spark-submit--classcn.whbing.spark.dataalgorithms.chap02.TopN--masterspark://master-1a:707
王小禾·2018-04-20 22:32

用户画像和系统推荐

1.隐语义模型2.word2vector模型在推荐系统当中的应用3.推荐系统评估指标打分系统：均方根，平均绝对误差topn推荐：准确率（推荐正确的/推荐的）vs召回率（推荐正确的/用户实际浏览的）覆盖率
cxlhuihui·2018-04-19 16:07

产品常见名词释义-持续更新

二跳量与到达UV的比值称为页面的二跳率；协同过滤CF-CollaborativeFiltering算法通过对用户历史行为数据的挖掘发现用户的偏好，基于不同的偏好对用户进行群组划分并推荐品味相似的商品；TopN
升生·2018-04-04 17:49

Wand 算法介绍与实现

Wand算法是一个搜索算法，应用在query有多个关键词或标签，同时每个document也有多个关键词或标签的情形（如搜索引擎）；尤其是在query中的关键词或标签较多的时候，通过Wand能够快速的选择出Topn
·2018-03-18 12:00

MapReduce程序之TopN问题（排行榜问题）

[toc]需求有下面的文本文件：yeyonghao@yeyonghaodeMacBook-Pro:~/data/input/topn$catsenventeen_a.txt1,9819,100,1212,8918,2000,1113,2813,1234,224,9100,10,11015,3210,490,1116,1298,28,12117,1010,281,908,1818,9000,20ye
xpleaf·2018-03-09 10:59

找出某目录下前N个最大文件

决定写个脚本，查找出TOPN个最大的文件。写脚本的时候，发现找最大的文件，很容易写出来，但是写前N个最大文件的时候，就发现不那么顺畅（也许是没用对方法）。
ck3207·2018-02-27 20:43

【Spark篇】---SparkSQL中自定义UDF和UDAF，开窗函数的应用

开窗函数一般分组取topn时常用。
L先生AI课堂·2018-02-09 16:35

数据处理六之全局分组TOPN

数据http://bigdata.edu360.cn/laozhanghttp://bigdata.edu360.cn/laozhanghttp://bigdata.edu360.cn/laozhaohttp://bigdata.edu360.cn/laozhaohttp://bigdata.edu360.cn/laozhaohttp://bigdata.edu360.cn/laozhaohttp
AngellYue·2018-01-27 21:06

Spotfire调试经验-使用DenseRank函数进行TopN分析

需求描述：对两地（Trellisby城市）天气进行进行TopN对比分析。说人话就是，在两张饼图上分别显示两座城市的最常见的6种天气，并按出现概率排序，其他所有天气归类为“其他”。
预见未来to50·2018-01-09 01:09

SQL Server-聚焦ROW_NUMBER VS TOP N性能

我们知道如果需要查询前N行数据，除了可以利用TOPN进行查询外，同样也可以利用ROW_NUMBER来达到同样的效果，那么二者使用哪个性
Jeffcky·2017-12-28 23:00

蘑菇街搜索与推荐架构

在线请求链路如上图，是整个在线请求链路，主要分为topn->qr->引擎->精排->透出五个环节。第一步，请求首先进入topn系统，做ab配置/业务请求链路配置。
千丈之松·2017-12-21 13:36

Android兼容测试

推荐分辨率优先兼容App用户的TopN（例如Top10）若没有统计，考虑这些分辨率：2560x1440，1920x1080，1280x720，854x480，960x540，800x480等。
夜境·2017-12-09 01:05

复盘1.2前端接口整理

待映影片列表年度影片列表（根据年度总票房排名）相似影片关联微博话题关联资讯列表其他基础数据接口节假日列表票房相关接口全国全国指定日期票房信息（待定：如果日期为当天返回实时票房数据）区域区域票房汇总列表（TOPN
行走的路人丙·2017-11-29 15:21

Android 优化关机速度

1526054751305)]**思路：**执行到shutdown::run时，a.设置FlagQuickShutdown=trueb.以广播通知系统一键加速清理进程，此时联网、影响用户体验、最经使用的TopN
hostfox·2017-11-16 19:59

Android 优化关机速度

1526054751305)]**思路：**执行到shutdown::run时，a.设置FlagQuickShutdown=trueb.以广播通知系统一键加速清理进程，此时联网、影响用户体验、最经使用的TopN
hostfox·2017-11-16 19:59

MapReduce/Hadoop的TopN解决方案之键唯一的情况

TopN问题：上星期访问次数最多的10个URL是哪些？所有猫中体重最大的10只猫是哪些？本文使用MapReduce/Hadoop的TopN解决方案，假设所有输入键都是唯一的。
土豆拍死马铃薯·2017-11-02 15:24

Spark Java 分组排序取TopN

1.输入c185c277c388c122c166c395c354c291c266c154c165c241c4652.代码实现importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD;importorg.apache.spark.api.java.JavaRDD;importorg.apache.spar
生命不息丶折腾不止·2017-10-18 21:59

[NLP技术]关键词提取算法实现

100;varresult;vardata=fs.readFileSync('t.txt','utf8');console.log(data);result=nodejieba.extract(data,topN
刘玉刚·2017-10-14 15:51

hash取模将大文件转成小文件，可排序，可求TopN

声明：参考某文章代码（记不住地址了），将其代码修改为按hash将数据分到不同文件中importjava.io.BufferedReader;importjava.io.BufferedWriter;importjava.io.File;importjava.io.FileReader;importjava.io.FileWriter;importjava.io.IOException;import
卡奥斯道·2017-10-10 23:06

mysql limit 使用规范

（0）mysql不支持selecttopn的语法，可是要用mysql实现topn功能时，应该用这个替换：select*fromtablenameorderbyorderfielddesc/asclimitposition
Data_IT_Farmer·2017-09-26 19:14

抓包工具+Access注入

消息头注入数字型注入字符型注入搜索型注入联合查询注入报错型注入盲注入（基于时间型盲注，基于逻辑错误）切记：access没有注释符注意：unionselect后门一定要跟from表名，而只能靠猜表名注意：Access只能靠猜，所以字段名也只能靠猜access中的topn
玄瞋·2017-09-18 11:08

算法-topN问题

转载自java实现Topn算法基础，和Java高效读取大文件采用小顶堆或者大顶堆：数据描述：求最大K个采用小顶堆，而求最小K个采用大顶堆。
hellooworld·2017-08-13 22:12

sql server 的T-SQL 学习笔记（四）

T-sql的学习笔记主要是内置函数时间函数还有一些简单的查询语句/*******************2017-7-1913:39:55数据查询*******************--学习目标--熟练掌握topn
聪聪不匆匆·2017-07-19 17:36

上班之后完成的第一个项目

再将不同的keywords的simword叠加起来，后面的similarity相加，取前topN个，生成一个重复的simwordtemplate。
chinwuforwork·2017-07-14 17:47

Storm1.1.0

1.温故而知新，使用词频统计实现TopN，以下是使用到的依赖：org.apache.stormstorm-core1.1.0provided-->org.apache.stormstorm-hbase1.1.0org.apache.hadoophadoop-client2.7.3org.slf4jslf4j-log4j12org.slf4jslf4j-apiorg.apache.zookeeper
Gpwner·2017-07-10 16:06

《推荐系统实战》- 笔记与思考

什么是好的推荐系统推荐系统一般有两种：一种是预测用户评分，另外是给出TopN，但后者会更频繁更有用。因为预测分数并不能怎么样。“重点是他看了，而不是评价”。下面都以TopN为主。
FerventDesert·2017-07-09 10:00

好玩的分词——绘制《三体》全集词云

另参加：好玩的分词——分析一下《三体》全集在好玩的分词——分析一下《三体》全集一文中，通过分词获取到了三体全集文本中topn的词及词频，那么本文中进一步用词云的形式来展现出来。
dnxbjyj·2017-06-04 18:48

spark分组取 topN

SPARK用scala实现分组取topN原文件：class133class256class187class277class176class288class195class174class285class267class277class199class159class260importorg.apache.spark.SparkConfimportorg.apache.spark.SparkCont
恶魔苏醒ing·2017-04-28 12:48

PHP利用二叉堆实现TopK-算法的方法详解

前言在以往工作或者面试的时候常会碰到一个问题，如何实现海量TopN，就是在一个非常大的结果集里面快速找到最大的前10或前100个数，同时要保证内存和速度的效率，我们可能第一个想法就是利用排序，然后截取前
简单方式·2017-04-24 14:16

海量数据相似查找系列2 -- Annoy算法

一旦文档变成这种稠密向量形式，那如何从海量文本中快速查找出相似的TopN文本呢?所以这里重点想说下Anno
范涛·2017-04-19 21:02

海量数据相似查找系列1 -- Minhashing & LSH & Simhash 技术汇总

你如何计算每一个item的TopN相似item呢？同样海量文本场景，文本集合可以看成doc-
范涛·2017-04-19 21:08

Hive 窗口函数

Hive窗口函数Hive窗口函数主要用于：对数据集来分区排序动态Groupby层次查询选取TopN、TailN的记录主要分析函数：1、RANK():返回数据项在分组中的排名，排名并列则留空，即排名一、二为
止鱼·2017-03-15 20:40
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他