数据仓库数据挖掘第14页

特征选择综述论文阅读笔记

当数据挖掘和机器学习算法应用于高维数据时，一个关键问题被称为维数诅咒：数据在高维空间中变得更加稀疏，对为低维空间设计的算法产生不利影响的现象。

wyn20001128·2024-01-31 01:23

数据挖掘之聚类

聚类一、聚类综述聚类分析提供由个别数据对象到数据对象所指派到簇的抽象。此外，一些聚类技术使用簇原型（即代表簇中其他对象的数据对象）来刻画簇的特征。聚类分析是研究发现最具有代表性的簇原型的技术。回归和PCA的时间复杂度都是O(m2)。注意：簇的定义是不精确的，而最好的定义依赖于数据的特征和期望的结果。聚类分析与其他将数据对象分组的技术有关。监督学习（也叫监督分类或分类）：使用一个由类标号已知的对象开

风雪夜归子·2024-01-30 22:54

山东大学信息检索与数据挖掘期末2023.2

山东大学计算机科学与技术学院提示：有1~2道题忘了，但影响不大第一部分信息检索画倒排表根据倒排表写ANDORNOT的结果写xORy的伪代码最坏情况下复杂度IDF的定义IDF的公式IDF为什么是有限的IDF的最大值最小值IDF与停用词的关系给出一个查询的前20个结果共10000个文档8个标准答案求AP给出前20个结果共10000个文档8个标准答案求AP的可能范围（最大值最小值）BM25中参数k1和b

千寒·2024-01-30 22:54

信息检索与数据挖掘 | （十二）聚类

文章目录聚类KMeans层次聚类层次聚类概述dendrogram-树状图linkages-衡量两个类之间的距离Lance-Williams算法K-meansVS层次聚类DBSCAN聚类定义：聚类是一种无监督学习，样本没有标签，将一群样本划分到一个类中，使得：最大化类间距，最小化类内距离测量指标：四种聚类：基于质心的聚类，使用中心表示该簇（K-means，K-medoids）基于链接的聚类：层次聚类

啦啦右一·2024-01-30 22:52

信息检索及数据挖掘必备知识总结

信息检索和网络数据领域（WWW,SIGIR,CIKM,WSDM,ACL,EMNLP等）的论文中常用的模型和技术总结引子：对于这个领域的博士生来说，看懂论文是入行了解大家在做什么的研究基础，通常我们会去看一本书。看一本书固然是好，但是有一个很大的缺点：一本书本身自成体系，所以包含太多东西，很多内容看了，但是实际上却用不到。这虽然不能说是一种浪费，但是却没有把有限力气花在刀口上。我所处的领域是关于网络

Towan·2024-01-30 22:52

基于PCA算法的人脸识别介绍

【嵌牛鼻子】数据降维人脸识别数据挖掘

Clearlovekui9·2024-01-30 20:54

SPSS保姆式安装教程，超详细，附安装链接

SPSS最初由IBM公司推出，用于统计学分析运算、数据挖掘、预测分析和决策支持任务。SPSS的基本功能包括数据管理、统计分析、图表分析、输出管理等。其统计分析过程涵盖描述性统计、均值比较、

juechen333·2024-01-30 20:06

银行数据仓库体系实践（13）--数据应用之监管报送

1、监管报送概览：我国各类银行已达到4000家左右，管理着亿万资产，已经成为我国金融体系的重要组成部分，它的稳定运行关乎到国家经济走势，关系到每个居民的生活。那在我国金融体系中，银行的主要管理者有人行和银保监会：（1）中央人民银行是中华人民共和国国务院组成部门。主要职责是制定和执行货币政策，防范和化解金融风险，维护金融稳定。（2）中国银行保险监督管理委员会（简称银保监会）是国务院直属事业单位，其主

南极找南·2024-01-30 18:18

银行数据仓库的架构

1.数据仓库的定义官方定义数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。这个定义的确官方，但是却指出了数据仓库的四个特点。

specila_coder·2024-01-30 18:46

银行数据仓库体系实践（15）--数据应用之巴塞尔新资本协议

巴塞尔新资本协议介绍在银行管理中经常会听到巴3、新资本协议等专用词，那这都是指《巴塞尔资本协议》，全称《关于统一国际银行资本衡量和资本标准的协议》。新资本协议的五大目标是：促进金融体系的安全性和稳健性（保持总体资本水平不变）；继续促进公平竞争；更全面地反映风险；更敏感地反映银行头寸及其业务的风险程度；重点放在国际活跃银行，基本原则适用于所有银行。最新的《巴塞尔协议III》（第3版）于2010年9月

acumen_leo·2024-01-30 18:45

数据仓库实践杂谈（十八）——关于报表

增量/全量第十章：拉链处理第十一章：分布式处理增量第十二章：列式存储第十三章：逻辑数据模型（数仓模型）第十四章：数据模型参考第十五章：维模型第十六章：渐变维第十七章：数据回滚第十八章：关于报表第十九章：数据挖掘数据仓库实践杂谈

老程序员一叶知秋·2024-01-30 18:45

银行数据仓库体系实践（14）--数据应用之内部报表及数据分析

在银行日常经营中，每个部门、分支行随时随地都需要进行数据统计和分析，才能对银行当前业务状况及时了解，以进行后续经营策略、营销活动、风险策略的调整和决策。那在平时进行数据分析时除了各数据应用系统（如各类监管报表系统、财务系统、营销系统等）进行专门的数据加工和操作，主要还有报表和自助分析2种方式来分析数据，支持业务运行。1、统计报表统计报表是最常用的数据分析方式，按业务需求中确定的维度和属性进行数据加

南极找南·2024-01-30 18:13

程序人生系列1-2021年通过私活累积收益1.5w

博主在B站更新了接私活的视频，感兴趣的可以移步到我的B站:博主私活记录一.个人介绍 2011年毕业，计算机专业科班出身，10年及以上金融信贷、通信行业数据库运维管理、数据仓库及大数据相关工作经验，持有

只是甲·2024-01-30 15:51

我是职场小白，如何能够平稳度过试用期？

背景2022整年可能大家在各个信息平台都有看到应届、试用期毕业（cy）情况，收集不少信息后发现数据这边毕业的也不少，尤其是数据分析/数据仓库侧（由于业务线被砍，人员使用成本太高），本节课针对于试用期该如何卷赢其他人

语兴数据·2024-01-30 15:32

数仓建设学习路线（五）-数据质量保障

数据质量，意如其名，就是数据的准确性，他是数据仓库的基石，控制好数据质量，是做数据仓库基本要求，也使得下游业务方对数据用的放心数据质量的痛点有哪些数据问题该如何上报修复，缺少流程化数据链路缺少卡点保障

语兴数据·2024-01-30 15:00

Hive原理

下表描述每个单元：单元名称操作用户接口/界面Hive是一个数据仓库基础工具软件，

姚兴泉·2024-01-30 09:03

playwright网络爬虫实战案例分享

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤不寝听金钥，因风想玉珂。大家好，我是Python进阶者。

Python进阶者·2024-01-30 07:05

银行数据仓库体系实践（12）--数据管理及治理

数据仓库作为全行数据中心能高效支持全行或全公司的统计、数据分析工作，除了稳定的ETL架构、高效的数据处理能力，流畅的开发管理流程，还需要有全面的数据管理体系，确保提供的数据准确性和高质量。

南极找南·2024-01-30 06:56

ClickHouse基础介绍

而在采集数据过程中，一次页面click,会产生一个event——基于页面点击事件流，面向数据仓库

oldba.cn·2024-01-30 05:06

1.ClickHouse的基础介绍

一、ClickHouse基础介绍1.1介绍ClickStream,DataWarehouse点击流数据仓库在采集数据过程中，一次页面click,会产生一个event。

oldba.cn·2024-01-30 05:35

TF-IDF：自动提取关键词

CountVectorizer2.TfidfTransformer3.别人示例一、TF-IDF基础知识1.TF-IDFTF-IDF（TermFrequency-InversDocumentFrequency）是一种常用于信息处理和数据挖掘的加权技术

超级圈·2024-01-29 20:29

40 道数据挖掘面试真题大放送！

文章目录1、在PCA中为什么要做正交变换？2、给定一个数据集，这个数据集有缺失值，且这些缺失值分布在离中值有1个标准偏差的范围内。百分之多少的数据不会受到影响？为什么？3、给你一个癌症检测的数据集，你已经建好了分类模型，取得了96％的精度。如果不满意你的模型性能的话，你可以做些什么呢？4、对于不平衡数据集，有什么应对方案？5、什么是K-fold交叉验证？6、简述准确率(accuracy)、召回率(

Python数据挖掘·2024-01-29 20:41

面了中邮消金算法岗、开水团数据挖掘岗，做个系统性总结

最近技术群的同学，分享了面试数据挖掘/算法岗(实习)的经验。

Python数据挖掘·2024-01-29 20:41

5000多张数据表，如何用SQL迁移到数据仓库？

来自公众号：SQL数据库开发作者丶平凡世界需求背景最近公司打算集中梳理几大业务系统的数据，希望将各个业务系统中的数据集中到数据仓库中。

码农小光·2024-01-29 15:33

数据仓库 (Data Warehouse，DW)

目录1、基本概念2、数据仓库特点2.1面向主题SubjectOriented2.2集成Integrated2.3非易失Non-Volatile2.4反应历史变化TimeVariant3、数据仓库VS数据库

猿来孺词·2024-01-29 10:25

数据仓库模型设计：从架构到实践的全方位指南

数据仓库作为组织中管理和分析数据的关键平台，其建设规范对于确保数据的准确性和完整性至关重要。一、数仓模型架构在构建数据仓库时，首先需要明确模型架构，以确保数据仓库的高内聚和低耦合，以及数据的分层管理。

猿来孺词·2024-01-29 10:51

【美团】交易系统平台-数据仓库研发工程师

更新时间：2024/01/28｜工作地点：北京市｜事业群：到家事业群｜工作经验：3年部门介绍到家研发平台秉承“零售+科技”战略，致力于推动餐饮、零售需求侧和供给侧数字化升级，构建了超大规模的在线交易平台和实时调度系统，保障了百万商家和亿级用户的高效安全交易，实现了对百万骑手所在物理世界全链路的数字化。随着万物到家业务战略推进，我们在需求侧致力于通过大数据与大算力深度融合，建设强大的LBS零售电商系

探小虎·2024-01-29 08:53

一文读懂机器学习：基本概念、五大流派与九种常见算法

机器学习是人工智能领域的一部分，并且和知识发现与数据挖掘有所交集。3.机器学习的工作方式①选择数据：将你的数据分成三组：训练数据、

开源Linux·2024-01-29 08:21

AI：人工智能关系概览—人工智能与数据挖掘/机器学习/深度学习/神经网络的概念定义与关系阐述、梳理之详细攻略(建议收藏)

AI：人工智能关系概览—人工智能与数据挖掘/机器学习/深度学习/神经网络的概念定义与关系阐述、梳理之详细攻略(建议收藏)目录相关文章01：《数据挖掘Vs机器学习Vs人工智能Vs深度学习》

一个处女座的程序猿·2024-01-29 08:17

零基础不知道怎么学习Python？不妨花三分钟看看这篇文章吧

在学习Python前，你应该规划好自己的学习方向，毕竟Python的方向比较多，比如：web开发爬虫自动化开发（运维，测试）、脚本开发大数据（数据挖掘，数据分析）人工智能、机器学习选择好自己的方向后才根据这个方向的学习内容继续学下去

Python小辰·2024-01-29 00:08

[架构之路-255]：目标系统 - 设计方法 - 软件工程 - 软件设计 - 架构设计 - 软件架构风格：串行-数据流风格、同步调用返回风格、并行异步分发与接收风格、虚拟机风格、数据仓库风格

目录前言：一、建筑风格1.1什么是建筑风格1.2常见的建筑风格1.3如何区分不同的建筑风格二、软件架构风格概述2.1什么是软件架构风格2.2如何区分不同的软件架构风格2.3软件架构风格的发展阶段2.4软件架构风格与软件架构的区别2.5常见的软件架构风格的种类1.8复杂软件系统可以组合多种架构风格二、常见的软件架构风格详解2.1A-串行-数据流风格：适合数据面业务处理（数据面）（1）A-串行-数据流

文火冰糖的硅基工坊·2024-01-29 00:25

关于hive 的迁移之表结构批量迁移

image.png我们在做数据治理数据仓库的时候，集群数据迁移时必不可少的一项，因为什么呢，比如1刚开始集群搭在亚马逊aws，几十万美金的创业红包用完了，差不多三四个月，2aws的小规模集群也有900TB

Helen_Cat·2024-01-28 16:44

python数据分析数据探索

2.信息遗漏3.属性值不存在影响：1.数据挖掘建模将丢失大量有用的信息。2.数据挖掘模型表现出大量的不确定性，模型蕴含的规律难以把握。3.含有空值的数据会是建模过程陷入混乱，导致不可靠的输出。

简单编程王子·2024-01-28 16:42

一篇文章教会你Python网络爬虫程序的基本执行流程

大型的爬虫程序被广泛应用python基础教程于搜索引擎、数据挖掘等领域，个人用户或企业也可以利用爬虫收集对自身有价c#教程值的数据。

chinaherolts2008·2024-01-28 13:32

es（一）

blog.csdn.net/sinat_35188997/article/details/835029202.Elasticsearch应用场景1.搜索：电商，百科2.高亮显示：githup3.分析和数据挖掘

Freestyle_0f85·2024-01-28 09:12

Hive面试题精选！附答案！！！

HIVE面试一、Hive的基本概念1.什么是hiveHive是一款开源的基于hadoop的用于统计海量结构化数据的一个数据仓库，它定义了简单的类似SQL的查询语言，称为HQL，允许熟悉SQL的用户查询数据

yhy_only·2024-01-28 07:36

hive面试题总结（大数据面试）

Hive概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。

404个问号·2024-01-28 07:02

hive面试题

0.思维导图1.简述Hive♥♥ 我理解的，hive就是一款构建数据仓库的工具，它可以就结构化的数据映射为一张表，并且可以通过SQL语句进行查询分析。

韩顺平的小迷弟·2024-01-28 07:29

盘点一款 Python 发包收包利器 —— scapy

这是「进击的Coder」的第425篇技术分享作者：黄伟来源：Python爬虫与数据挖掘“阅读本文大概需要13分钟。”今天跟大家讲的是Python用于发送接受网络数据包的模块-------scapy。

VIP_CQCRE·2024-01-28 05:30

人工智能-数据挖掘-KDD-Cup-2020-AutoGraph-比赛冠军-技术方案-实践-美团技术团队

背景ACMSIGKDD（国际数据挖掘与知识发现大会，简称KDD）是数据挖掘领域的国际顶级会议。

无心六神通·2024-01-28 02:33

人工智能-数据挖掘-KDD-Cup-2020-Debiansing比赛冠军-技术方案-实践-美团技术团队

背景ACMSIGKDD（国际数据挖掘与知识发现大会，简称KDD）是数据挖掘领域的国际顶级会议。

无心六神通·2024-01-28 02:33

常见OLAP对比

Olap（On-lineAnalyticalProcessing，联机分析处理）：是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。

不加班程序员·2024-01-28 00:34

【数据挖掘与商务智能决策】第一、二章数据分析与三重工具

仿生程序员会梦见电子羊吗”，本文基于markdown本文书写，平台及软件为CSDN与Typora，文中图片存储地址为CSDN，故部分图片可能带有“CSDN@仿生程序员会梦见电子羊吗”的水印，属于本人原创，用于“数据挖掘与商务智能决策

仿生程序员会梦见电子羊吗·2024-01-27 21:57

运小筹 | Python编程-系统性的学会 Pandas，看这一篇就够了！(含案例分析)

(qq.com)1、Pandas数据结构2008年WesMcKinney开发出的库专门用于数据挖掘的开源python库以Numpy为基础，借力Numpy模块在计算方面性能高的优势基于matplotlib

双木的木·2024-01-27 20:00

机器学习 | 利用Pandas进入高级数据分析领域

目录初识PandasPandas数据结构基本数据操作DataFrame运算文件读取与存储高级数据处理初识PandasPandas是2008年WesMcKinney开发出的库，专门用于数据挖掘的开源python

亦世凡华、·2024-01-27 20:09

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样在大数据时代，数据仓库、中台和报表平台等概念逐渐成为企业数字化转型的热门话题。然而，不同职位和背景的人对这些概念的理解可能存在差异。

UI设计前端开发一线员工·2024-01-27 19:03

【华为云-云驻共创】数据高速公路—数仓集群通信技术详解

数据仓库服务GaussDB（DWS）是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB（DWS）是基于华为融合数据仓库Gaus

IT民工金鱼哥·2024-01-27 18:29

转如何快速成为数据分析师

以上的前提针对入门，目的是达到数据分析师的门槛，顺利拿到一份offer，不涉及数据挖掘等高级技巧。我的方法倾向互联网领域，不论是分析师这个职位，还是运营、产品的能力发展都

美琦miki视觉笔记·2024-01-27 15:37

python爬虫之生成免费的IP代理池

所以说IP代理池就是一种用于网络爬虫、数据挖掘和访问限制突破等应用场景的技术。帮助您将请求路由到网站并显示其自己的IP地址，同时隐藏您自己的IP地址。

network爬虫·2024-01-27 13:49

python机器学习实战|机器学习入门笔记3-Pandas基础知识

2.1创建DataFrame2.2创建日期3.DataFrame介绍3.1DataFrame属性3.2DataFrame设置索引3.3基本数据操作3.4DataFrame运算1.Pandas介绍开源的数据挖掘库

小赵同学871·2024-01-27 11:40

推荐频道

数据仓库数据挖掘