TopN

Spark Streaming从Kafka自定义时间间隔内实时统计行数、TopN并将结果存到hbase中

一、统计kafka的topic在10秒间隔内生产数据的行数并将统计结果存入到hbase中先在hbase中建立相应的表：create'linecount','count'开启kafka集群并建立相应的topic：[hadoop@h71kafka_2.10-0.8.2.0]$bin/kafka-topics.sh--create--zookeeperh71:2181,h72:2181,h73:2181
小强签名设计·2020-06-24 12:40

一段比较好的生成自动摘要代码

8importnltkimportnumpyimportjiebaimportcodecsimportosclassSummaryTxt:def__init__(self,stopwordspath):#单词数量self.N=100#单词间的距离self.CLUSTER_THRESHOLD=5#返回的topn
lycommand·2020-06-24 10:22

LTE核心网与传输网配置不匹配导致RTP高丢包优化报告

XX地市日常市区VOLTE测试中，整体RTP丢包较高，筛选出高丢包TOPN小区，高丢包小区集中分布在河西区域，最严重TOP小区丢包率达到90%。
lekmoon·2020-06-24 03:59

“西游记之大圣归来”关键词提取-textrank

python的textrank库：输入是分词后的文本，输出是热度词topN；在对源代码做了些更改后（textrankWeightWords），输出的是热度词topN和其对应
我满眼的欢喜都是你·2020-06-24 03:46

hiveSQL常见面试题

场景一：分组求TopN先看数据：好像把小编的数学成绩暴露了，现在需要求每一门科目，成绩排名前两名的同学。使用HiveSQL常用的方式为：
AI课工场·2020-06-24 00:51

VB6.0（第十三课）之sql

一、SQL：结构化查询语言二、语句1、检查数据：selectselect[all|distinct][topn[percent][withties]]...
jywlchuang·2020-06-24 00:40

大数据公司面试题准备

*100万条数据取topN，手写代码（手写快速排序）*如何一个很大的文件把你的linux磁盘整崩溃了，怎么去查找这个文件？
不急吃口药·2020-06-23 15:50

概述

重要性：UI>数据>算法一味追求算法的改进是个误区2.离线测试较上线效果要好很多，因为在线测试对前端和后台的要求很高3.受到的外部干扰因素特别多（季节、流行因素等），需不断迭代更新4.评价对象：评分预测，TopN
程序猿爱打DOTA·2020-06-23 03:26

游戏排行榜算法设计实现比较

需求背景：查看前topN的排名用户查看自己的排名用户积分变更后，排名及时更新方案一：利用MySQL来实现，存放一张用户积分表user_score，结构如下：取前topN，自己的排名都可以通过简单的sql
boshuzhang·2020-06-22 18:11

大数据技术之_08_Hive学习_05_Hive实战之谷粒影音（ETL+TopN）+常见错误及解决方案...

第10章Hive实战之谷粒影音10.1需求描述10.2项目10.2.1数据结构10.2.2ETL原始数据10.3准备工作10.3.1创建表10.3.2导入ETL后的数据到原始表10.3.3向ORC表插入数据10.4业务分析10.4.1统计视频观看数Top1010.4.2统计视频类别热度Top1010.4.3统计出视频观看数最高的20个视频的所属视频类别以及对应视频类别的个数10.4.4统计视频观看
aodawu2891·2020-06-22 14:33

举个栗子！Tableau技巧（46）：如何用颜色 突显 前N项和后N项

例如，在某个销售周期内，不同地区的哪些商品销售是TopN或BottomN。什么方法可以最一目了然？答案是Highlight，而突显的最佳方式就是使用颜色。
阿达_优阅达·2020-06-22 11:20

Hive排序窗口函数

在开发过程中，经常会遇见排序的场景，比如取topN的问题，这时候row_number(),rank,dense_ran()这三个函数就派上用场了，其中，row_number()最为常用。
原上野·2020-06-22 05:42

redis实现topn

Jedis是Redis官方首选的Java客户端开发包。这篇文章我们将介绍如何使用SortedSet排序集合(zsets)。SortedSet跟一个集合一样，它是不会存在重复的数值，最大的不同是SortedSet中每个元素都是经过排序的。我们先看一些命令：01importjava.util.HashMap;02importjava.util.Map;0304importredis.clients.j
豹先生_MR-BAO·2020-06-21 16:18

面试 SQL整理 常见的SQL面试题：经典50题

目录SQL基础知识整理:常见的SQL面试题：经典50题三、50道面试题2.汇总统计分组分析3.复杂查询sql面试题：topN问题4.多表查询【面试题类型总结】这类题目属于行列如何互换，解题思路如下：其他面试题
sh_c_2450957609·2020-06-21 08:26

Hive项目实战系列(1) | 项目创建与上传数据

目录一.项目需求二.项目2.1数据结构2.2上传数据2.3ETL原始数据一.项目需求统计谷粒影音视频网站的常规指标，各种TopN指标：1–统计视频观看数Top102–统计视频类别热度Top103–统计视频观看数
不温卜火·2020-06-21 04:12

如何用度量值提取倒数第二个订单日期？

回答：找到倒数第二个订单日期，很自然就能想到TOPN函数，它就是提起表的前N行，度量值编写如下：倒数第二个订单日期=CALCULATE(MIN(订单表[订单日期]，TOPN(2,订单表，订单表[订单日期
PowerBI星球·2020-06-21 03:16

Spark经典案例之求top值

需求分析orderid,userid,payment,productid求topN的payment值a.txt1,9819,100,1212,8918,2000,1113,2813,1234,224,9100,10,11015,3210,490,1116,1298,28,12117,1010,281,908,1818,9000,20b.txt100,3333,10,100101,9321,1000
张明洋_4b13·2020-06-20 21:14

Flink 实现 实时TOPN 需求

需求求每个小时内用户点击量的TOP3，每五分钟更新一次bean：利用底层API实现importjava.sql.Timestampimportorg.apache.flink.api.common.functions.AggregateFunctionimportorg.apache.flink.api.common.state.{ListState,ListStateDescriptor}imp
可以看看你胖次吗·2020-06-20 21:00

sql apply查询应用

相关博客：SQL中ROW_NUMBER和APPLY在处理TOPN等类似问题的一点比较SQLServer-聚焦APPLY运算符（二十七）你真的会玩SQL吗？
又见阿郎·2020-05-30 23:00

redis的原理及使用

可以支持多种语言的api//set每秒11万次，取get81000次3.支持数据持久化4.value可以是string，hash，list，set,sortedset使用场景去最新n个数据的操作排行榜，取topn
Root_123·2020-05-24 22:47

13 数据仓库的设计与ETL开发

本项目中数据仓库的设计事实表设计维度表设计2.数据仓库ETL开发1、ods层建表语句2、ods数据导入3、ods层明细宽表4、统计分析指标1.流量分析1.1按照来访维度统计pv1.2统计pv总量最大的来源TOPN1.3
Walter_bigdata·2020-05-06 17:33

Elasticsearch系列---搜索分页和deep paging问题

概要本篇从介绍搜索分页为起点，简单阐述分页式数据搜索与原有集中式数据搜索思维方式的差异，就分页问题对deeppaging问题的现象进行分析，最后介绍分页式系统topN的案例。
whatisJ2EE·2020-04-22 07:11

练习题

一、topN分析问题加伪列rownum行号的问题：1：永远按照默认的顺序生成----在原表的顺序下，跟排序无关原因：临时表的顺序createglobaltemporarytable****特点：当会话或者事务结束的时候
52Hz的蓝鲸·2020-04-14 00:54

Spark经典案例之求top值

需求分析orderid,userid,payment,productid求topN的payment值a.txt1,9819,100,1212,8918,2000,1113,2813,1234,224,9100,10,11015,3210,490,1116,1298,28,12117,1010,281,908,1818,9000,20b.txt100,3333,10,100101,9321,1000
小猪Harry·2020-04-11 20:27

8.Spark Core-Spark经典案例之求top值

需求分析orderid,userid,payment,productid求topN的payment值a.txt1,9819,100,1212,8918,2000,1113,2813,1234,224,9100,10,11015,3210,490,1116,1298,28,12117,1010,281,908,1818,9000,20b.txt100,3333,10,100101,9321,1000
__元昊__·2020-04-08 07:27

Spark经典案例之求top值

需求分析orderid,userid,payment,productid求topN的payment值a.txt1,9819,100,1212,8918,2000,1113,2813,1234,224,9100,10,11015,3210,490,1116,1298,28,12117,1010,281,908,1818,9000,20b.txt100,3333,10,100101,9321,1000
piziyang12138·2020-04-08 06:53

外排序－多路归并

将一个大文件分成M个小文件，每个小文件是有序的，然后对应在内存中我们开M个优先队列，每个队列从对应编号的文件中读取TopN条记录，然后我们从M路队列中各取一个数字进入中转站队列，并将该数字打上队列编号标记
Arya鑫·2020-04-04 09:26

利用tableau集功能，分析看车潜客的颜色偏好

比如，查看人数最多的TOPN中颜色。
iris_iris·2020-03-27 13:37

Redis实战-Day1——场景，配置

Redis使用的N个场景取最新N个数据的操作排行榜应用，取TOPN操作sortedset需要精准设定过期时间的应用把sortedset的score值设置成过期时间的时间戳，那么就可以简单地通过过期时间排序
Captain_tu·2020-03-26 22:03

Spark 基于物品的协同过滤算法实现

算法核心思想是根据用户对物品的历史行为记录，先计算物品之间的相似度，得到与物品最相似的TopN
两棵橘树·2020-03-22 09:06

Spark经典案例之求top值

需求分析orderid,userid,payment,productid求topN的payment值a.txt1,9819,100,1212,8918,2000,1113,2813,1234,224,9100,10,11015,3210,490,1116,1298,28,12117,1010,281,908,1818,9000,20b.txt100,3333,10,100101,9321,1000
Daven_·2020-03-20 14:36

Hive实战项目——影音网站数据分析

0.需求描述统计谷粒视频网站的常规指标，各种TopN指标：--统计视频观看数Top10--统计视频类别热度Top10--统计视频观看数Top20所属类别--统计视频观看数Top50所关联视频的所属类别Rank
V1cttor·2020-03-18 08:27

MySQL获取分组后的TOP 1和TOP N记录(转)

有时会碰到一些需求，查询分组后的最大值，最小值所在的整行记录或者分组后的topn行的记录，在一些别的数据库可能有窗口函数可以方面的查出来，但是MySQL没有这些函数,没有直接的方法可以查出来，可通过以下的方法来查询
wuxuan94·2020-03-15 12:09

SSD: Single Shot MultiBox Detector

但这样的定义会造成大多数候选框是负的（即正负样本的显著不均衡），所以文中使用hardnegtiveexamplemining，即将所有负候选框按loss从大到小排序，取topN，使的负：正~=3：1，这样训练速度更快也更稳定
深度厌学·2020-03-04 04:57

11：适合使用Redis的场景

缓存1.取最新N个数据的操作，如：可以将最新的50条评论的ID放在List集合2.排行榜类的应用，取TOPN操作，前面操作以时间为权重，这个是以某个条件为权重，比如按顶的次数排序计数器应用1.存储关系：
我是黑炭·2020-02-26 17:47

社交站点功能

排行榜，评论和转发topN的内容。摇一摇，随机看一篇内容。推荐，系统给用户推荐的内容。收藏，把觉得好的内容保留到个人页面。订阅，关注订阅某类内容，系统定期发送。分享，和好友分享内容，分享到其他站点。
许远山·2020-02-25 23:04

【MySql】分组topN问题

版权声明：本文为博主原创文章，遵循CC4.0BY-SA版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/weixin_40844116/article/details/93141543————————————————版权声明：本文为CSDN博主「Mercy92」的原创文章，遵循CC4.0BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：ht
Sam_6155·2020-02-21 23:22

Storm实战之TopN

TopN这种统计场景很常见，例如，统计出搜索热度最高的词，点击率最高的广告等，现在有了Hadoop、Storm这些工具之后，很方便地就能得到结果。
maolazhu·2020-02-19 10:58

利用tableau的集功能，把琐碎的离散选项变成大颗粒的比较

比如，查看人数最多的TOPN中颜色。
iris_iris·2020-02-18 14:15

Java 嵌入 SPL 轻松实现数据分组

Java8有了Lambda（stream）代码简洁了许多，分组后往往还要跟着聚合操作，仍然需要单写聚合函数sum(),count(*),topN()等。
小黄鸭呀·2020-02-15 10:58

通俗易懂的学会：SQL窗口函数

在日常工作中，经常会遇到需要在每组内排名，比如下面的业务需求：排名问题：每个部门按业绩来排名topN问题：找出每个部门排名前N的员工进行奖励面对这类需求，就需要使用sql的高级功能窗口函数了。
猴子聊人物·2020-02-13 00:36

玩转参数-上篇

1.控制临界值2.假设性分析3.TopN4.动态字段、轴、标题等5.跨不同的数据源做筛选使用参数的步骤？1.创建参数2.在计算字段、参考线、集、筛选器中使用参数。
路是自己走出来·2020-02-09 11:13

RANKX函数延伸丨笛卡尔与TOPN问题

这个问题就是标题——TOPN的问题。上图，是白茶准备的示例文件，之前几期经常使用的一份销售情况。
PowerBI丨白茶·2020-02-09 01:10

Hive SQL 分析函数

本文首发于：大数据每日哔哔-Hive分析函数Hive分析函数应用场景（1）用于分区排序（2）TopN（3）层次查询常用分析函数分析函数描述RANK返回数据项在分区中的排名。
cuteximi_1995·2020-02-01 15:01

局部敏感哈希（LSH）相似度（杰卡德距离 计算稀疏矩阵）分析TopN

局部敏感哈希（LSH）相似度（杰卡德）分析TopN概念局部敏感哈希，英文locality-sensetivehashing，常简称为LSH。局部敏感哈希在部分中文文献中也会被称做位置敏感哈希。
码上中年·2020-01-08 17:50

2018-08-14

解决方法：分类-->搜索引擎-->推荐系统学术界把推荐问题看成评分预测问题，最常见的是TopN推荐。
qhd1996·2020-01-07 11:46

在C#中使用二叉树实时计算海量用户积分排名的实现详解

这个问题也算常见，很多地方都能看到，常规做法一般是数据定时跑批把计算结果到中间表然后直接查表就行，或者只显示个TOPN的排行榜，名次高的计算真实名次，名次比较低的直接显示在xxx名开外这种。
balahoho·2020-01-07 10:22

在C#中使用二叉树实时计算海量用户积分排名的实现

这个问题也算常见，很多地方都能看到，常规做法一般是数据定时跑批把计算结果到中间表然后直接查表就行，或者只显示个TOPN的排行榜，名次高的计算真实名次，名次比较低的直接显示在xxx名开外这种。
balahoho·2020-01-06 08:00

PHP-利用二叉堆实现TopK-算法

PHP-小顶堆-TopN介绍在以往工作或者面试的时候常会碰到一个问题，如何实现海量TopN，就是在一个非常大的结果集里面快速找到最大的前10或前100个数，同时要保证内存和速度的效率，我们可能第一个想法就是利用排序
简单方式·2020-01-04 12:31

Spark--Spark求分组TopN(RDD及SQL方式)面试必问

SparkRDD方式求topN详见代码：测试数据：aa49bb11cc34aa22bb67cc29aa36bb33cc30aa11bb44cc49SparkRDD代码packagecn.ted.secondarySortimportorg.apache.spark.SparkContextimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sq
李小李的路·2019-12-30 18:38
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他