数据应用第19页

入选IDC推荐产品！揭晓「API安全监测与访问控制系统」核心能力

随着数字化战略的深入实施，API作为数据应用连接通道，被广泛应用，与此同时，由API导致的数据泄露事件也愈演愈烈，并快速跃升为数据安全主要威胁之一！

数据库安全·2023-03-30 03:30

数据架构重构

在此，把这次数据架构重构的过程和心得总结一下，为以后数据架构设计提供些参考……一、总体概况根据“金字塔”原理，结论先行，先抛出重构前后的数据架构：重构前后数据架构对比图二、重构前存在的问题我们的大数据应用

歌湾汐云·2023-03-30 02:24

基于Seatunnel连通Hive数仓和ClickHouse的实战

背景目前公司的分析数据基本存储在Hive数仓中，使用Presto完成OLAP分析，但是随着业务实时性增强，对查询性能的要求不断升高，同时许多数据应用产生，比如对接BI进行分析等，Presto不能满足需求

大数据坚为·2023-03-30 00:27

[2021时空AI白皮书]时空人工智能：关键技术

1.关键技术时空大数据应用，涉及采集、接入、存储、管理、分析诸多流程环节，每个流程环节又有众多技术路线及其实现框架可供选择。

维智科技WAYZ·2023-03-29 22:25

现代数据栈MDS应用落地介绍—Vero营销自动化平台

DazdataMDS现代数据栈MDS的出现使得中小企业低成本获得大数据处理能力成为可能，技术的进步使得各种基于MDS的大数据应用如雨后春笋般涌现，不同于国内的数据中台更多强调数据处理技术，MDS注重落地和最后一公里的大数据应用

98加满·2023-03-29 19:00

Flink学习笔记4-Flink框架api介绍

示例如下：KeyedStream.sum(0)或者KeyedStream.sum(“Key”)2.connectconnect和union类似，但是只能连接两个流，两个流的数据类型可以不同，会对两个流中的数据应用不同的处理方法

Lyean·2023-03-29 19:52

基础学习-Flink

文章目录Flink简介Flink特性和擅长无界和有界数据应用场景事件驱动型应用什么是事件驱动型应用？事件驱动型应用的优势？Flink如何支持事件驱动型应用？

爱欣晴·2023-03-29 19:48

数据体系的四个层次：数据采集、数据计算、数据服务和数据应用

1.数据采集层客户端日志采集方案：Web日志采集技术方案和APP端日志采集技术方案。在采集技术基础之上，不同的业务场景会有与之相适应的埋点规范，来满足通用的浏览、点击、特殊交互、APP事件、H5APP里的H5Native日志数据打通等多种业务场景。高性能的数据传输：既包括数据库的增量数据传输，也包括日志数据的传输；既支持实时流式计算，也支持各种时间窗口的批量计算。同步中心：同步工具DataX，直连

知了小巷·2023-03-29 17:22

离线数据应用层建设简单介绍

本文主要是对日常工作的简单总结，不过会抛开实际业务单纯从产品设计上聊下数据应用层的实现，希望能对大家的数据可视化建设有所帮助。

软件开发随心记·2023-03-29 17:52

数据架构__"数据质量"相关知识体系梳理及亮点分享

虽然各个企业的数据平台/数据应用系统等开始雨后春笋般得构建起来，但相关数据平台是否实现良性运转、是否真正驱动或助力业务发展、是否真正给企业带来了良好的投资回报，相信很多企业无法给出满意的答卷。

ThomasW_006·2023-03-29 17:03

电商数据应用体系建设总结（一）—— 数据应用架构剖析

什么是数据应用数据应用是通过各种各样的数据分析方式将数据展示出来，给决策者、管理者、运营等人员透传数据价值的工具，帮助决策者、管理者及时调整战略目标、公司目标、业务目标，帮助运营人员更好地实现精细化运营

Viking_bird·2023-03-29 16:32

电商数据应用体系建设总结（三）—— 离线数据兜底方案

Spark离线任务在每天凌晨的0-8点调度执行，在这段时间内，用户是看不到昨日未产出的离线数据的，数据应用对这些未产出的指标进行了特殊处理，用户看到的未产出的指标数据为0或者—。

Viking_bird·2023-03-29 16:32

大数据的核心架构层是哪些？

大数据的核心层：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同本质上的角色都大同小异。大数据的核心技术都包括什么？

Blue92120·2023-03-29 16:11

电商数据应用体系建设总结（二）—— 数据应用层架构介绍和规范总结

数据经过ETL、存储等数据处理过程之后，通过数据应用产品的形式呈现给最终使用方，PC和APP类数据产品以各类不同用途的数据大屏、看板将数据指标展示给管理者、运营和业务人员，数据应用后端也会为商城、CRM

Viking_bird·2023-03-29 16:33

支持频繁更新、即席查询：ClickHouse在爱奇艺视频生产的应用

要支持这样的数据进行即席查询和多个大表的JOIN，是爱奇艺视频生产团队大数据应用的难点。具体来说有以下几点：1)实时性的要求，需要实时的解决方案。2)生产数据更新频繁，OLAP需支持更新。

爱奇艺技术产品团队·2023-03-29 15:48

mock基本使用

一、mockjs定义拦截ajax请求，生成伪数据应用场景:在工作中,后端已经出接口文档,还没有实现代码由前端依照接口文档模拟伪数据,实现前端开发功能二、mockjs安装npmimockjs-D三、mockjs

忘了呼吸的那只猫·2023-03-29 15:24

2022年中国大学生计算机设计大赛

大赛官网链接:http://jsjds.blcu.edu.cn/2023年大类2023年大赛分设11个类，分别是：（1）软件应用与开发；（2）微课与教学辅助；（3）物联网应用；（4）大数据应用；（5）人工智能应用

KNTITY·2023-03-29 10:49

必看！嘉宾寄语 × 赛制 Q＆A：2023年（第16届）中国大学生计算机设计大赛大数据主题赛 - 和鲸赛道正式开赛

导语：中国大学生计算机设计大赛-大数据应用大类-大数据主题赛-和鲸赛道已于1月28日正式开赛，作为协办方，和鲸特别邀请到了大赛组委会常务副主任杜小勇教授为广大参赛选手寄语，此外，我们也撰写了本期Q＆A为本届参赛师生解答大赛赛制流程上的若干疑问

ModelWhale·2023-03-29 08:30

数据仓库的设计

明细数据层)：基于维度建模理论进行构建，存放维度模型中的事实表，保存各业务过程最小粒度的操作记录DWS(汇总数据层)：基于上层的指标需求，以分析的主题对象作为建模驱动，构建公共统计粒度的汇总表ADS(数据应用层

一二三的小仓库·2023-03-29 07:14

人人都在说的数据中台是什么？附9张架构图优质模板！

2016年前后，随着互联网的高速发展，数据应用的需求变多，为快速响应业务需求，许多企业开始存在不同程度的烟囱式的开发模式，这种烟囱式的开发导致企业不同业务线的数据割裂，造成

xiaobaiyanghaowa·2023-03-29 07:38

某三甲医院大数据平台建设应用与实践

某三甲医院大数据平台建设应用与实践1建设背景1.1政策背景1.2医院背景2需求分析2.1数据量估算2.2业务需求分析2.3功能需求分析2.3.1稳定的大数据平台2.3.2多样的大数据采集2.3.3有效的大数据治理2.3.4丰富的大数据应用

emergencysun·2023-03-29 01:17

Python 玩转数据 18 - Pandas 数据清洗处理缺失值 None NA NaN inf dropna fillna isin isnull

Python进阶学习玩转数据系列内容提要：数据缺失的现实场景Python中表示缺失值的对象●None●NaN●NA●正负无穷infand-inf处理缺失值●了解数据●定位缺失数据●处理缺失数据数据缺失的现实场景数据应用类别比如

wumingxiaoyao·2023-03-29 00:13

什么是Lambda架构？

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答1.Lambda架构定义了一套面向大数据应用的模式和准则。更重要的是，它允许同时查询历史数据和实时新增的数据，并且获得期望的分析视图。

Shockang·2023-03-28 22:32

PyTorch学习笔记：nn.LeakyReLU——LeakyReLU激活函数

PyTorch学习笔记：nn.LeakyReLU——LeakyReLU激活函数功能：逐元素对数据应用如下函数公式进行激活LeakyReLU(x)=max⁡(0,x)+α∗min⁡(0,x)\text{LeakyReLU

视觉萌新、·2023-03-28 22:46

togaf 的4A架构

业务--->信息--->应用-->数据-->业务数据应用技术togaf的4A架构四种架构：业务架构：定义业务战略，治理，组织和关键业务流程数据架构：描述组织的逻辑和物理资产以及数据管理资源的结构。

半_调_子·2023-03-28 20:35

为什么车企做大数据应用面临更大的挑战

由于小编只接触过银行和车企两个行业，暂且拿他们的数据质量和运营方式做下比较数据质量对比：VS银行的数据取得了碾压式的胜利✌️。为什么会这样呢？请看下文1、经营模式使然银行的总行与分行的关系小编特意去问了度娘，不但有隶属关系，还是同一法人，血浓于水的至亲关系；那么车企和经销商是什么关系呢，小编也去搜了一下，关键词汇大概是“矛盾升级”、“冷战加剧”、“何去何从”，看来关系不太好。所以没有任何利益驱使的

zwn_f394·2023-03-28 01:21

针对IP地址信息的数据结构

1.需求需求来源：指标平台由于公司的人员变动，最近接手了elfin这个基础数据应用，交接后发现IP地理位置数据的更新逻辑一直存在缺陷，该缺陷造成指标平台和大数据平台所用的数据中存在大量的重复数据和老旧数据

沬嗏拿铁·2023-03-28 01:42

Hadoop体系-3数据应用体系

image.png底层数据，通过数据抽取（ETL）将数据抽入Hadoop的仓库中，仓库通过HDFS文件格式来存放这些数据。数仓数据分层大体有两种分法：1、三层：DWD,DWB,DWSDWD：datawarehousedetail细节数据层，有的也称为ODS层，是业务层与数据仓库的隔离层DWB：datawarehousebase基础数据层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层

teddrummer·2023-03-27 15:15

大数据分析与挖掘-Part2-数据预处理

初始数据集的准备与变化是数据挖掘的过程中重要步骤包含大量不完整，含噪声和不完整的数据是大数据应用中的典型特点数据的预处理能够有效提高数据质量，节约大量的时间和空间大部分数据挖掘算法对输入数据的格式，质量以及规模有一定的要求现实世界的数据是

IncWu·2023-03-27 09:19

成为数据产品经理

通常，BI团队的发展路径为：临时需求阶段、自动化报表阶段、自主研发BI工具阶段、数据产品平台（即丰富的数据应用）阶段。随着团队提供的服务越来越精细化，数据产品的价值越来越重要。

Thea_Chen·2023-03-27 00:31

k8s调度算法

算法大数据应用云平台在重大疫情防控中的应用_彭锋Mesos中实现的带权重的DRF（DominantResourceFairness）算法［7］实现资源分配。

程序员石磊·2023-03-26 20:05

大数据应用——Hadoop运行模式（完全分布式运行）

4.3完全分布式运行模式（开发重点）分析：1）准备3台客户机（关闭防火墙、静态ip、主机名称）2）安装JDK3）配置环境变量4）安装Hadoop5）配置环境变量6）配置集群7）单点启动8）配置ssh9）群起并测试集群4.3.1虚拟机准备首先克隆两台hadoop102hadoop103实现三台相互ping通即可三台虚拟机相互ping通后只需把克隆后的其他两个hadoop配置文件的主机名修改即可Had

肉肉肉肉肉肉~丸子·2023-03-26 18:44

大数据应用——Hadoop运行模式（本地运行）

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。Hadoop官方网站：http://hadoop.apache.org/4.1本地运行模式4.1.1官方Grep案例1.创建在hadoop-2.7.1文件下面创建一个input文件夹[[email protected]]$mkdirinput2.将Hadoop的xml配置文件复制到input[hadoop@h

肉肉肉肉肉肉~丸子·2023-03-26 18:13

大数据应用——Hadoop运行模式（伪分布式运行）

4.2伪分布式运行模式4.2.1启动HDFS并运行MapReduce程序1.分析（1）配置集群（2）启动、测试集群增、删、查没有改（多台机子麻烦）（3）执行WordCount案例2.执行步骤（1）配置集群（a）配置：hadoop-env.sh【路径：/opt/module/hadoop-2.7.1/etc/hadoop】Linux系统中获取JDK的安装路径：sudovi~/.bashrc[hado

肉肉肉肉肉肉~丸子·2023-03-26 18:41

浅谈“HTAP”

1.数据应用类别根据数据的使用特征，可简单做如下划分。在选择技术平台之前，我们需要做好这样的定位。

达微·2023-03-26 10:37

008 医疗保健领域的大数据应用 -- 真实使用案例

008BigDatainHealthcare–RealWorldUseCases1.Objective1.目标ThisblogwilltakeyouthroughvarioususecasesofBigDatainHealthcare.UnderstandhowBigdataistransforminghealthcareandmedicalscienceandhowbigdatabringrev

胡巴Lei特·2023-03-25 20:08

大数据要学javaweb吗_自学java大数据可以找到工作吗？该怎么学？

其次是大数据目前的工作方向主要是三个：大数据应用，数据分析，大数据研究，当然还有一些像机器学生有关的数据挖掘什么的，也在这个类别，我暂时归到研究方向，因为要应用的话，还得结合一些行业和业务进行，所以你要从事大数据

今日解股·2023-03-25 17:19

数据可视化大屏案例分析

正文首先放的是项目改版前的页面：需求介绍某某应用云，分为五大云平台模块:云端综合调度、数据查询通道、数据应用处理、

小六可视化设计·2023-03-24 13:55

数据中心监控管理系统设计（之一）

数据中心监控管理系统设计3.1引言数据中心经历了四个功能阶段的发展和演进，从早期的“数据存储中心”阶段，经过“数据处理中心”和“数据应用中心”两个阶段，如今已经进入“数据运营服务中心”阶段。

weixin_33971205·2023-03-23 20:25

视频监控 | XDFS电信全球眼云存储扩容项目

监控云平台是解决视频共享最佳的模式，通过云来承载视频监控的图像信息大数据，具有平滑扩容、便于共享、便于处理、便于管控等优点，对视频数据应用升级提供基础保障。

大道云行TaoCloud·2023-03-23 20:53

都说大数据就业好，为什么数据分析这么难就业？

大数据开发应具备的技能：目前从事大数据应用开发的语言包括Java、Pyth

我想去吃ya·2023-03-23 11:49

01.hadoop介绍

大数据的特点1.大量产生数据2.velocity高速产生数据3.veriety多样性(数据采集)结构化数据(mysql)和非结构化数据(网络日志)4.value低价值密度数据提纯数据清洗,进行提纯4.大数据应用场

默默努力的小老弟·2023-03-23 07:23

XGBOOST算法Python实现（保姆级）

摘要XGBoost算法（eXtremeGradientBoosting）在目前的Kaggle、数学建模和大数据应用等竞赛中非常流行。

小皇的奶黄包·2023-03-23 07:03

2022-11-29

全称是BigDataAnalyst，翻译过来就是“商业大数据分析师”，它是由中国信息协会市场研究分会（CMRA）和中经数（北京）数据应用技术研究院（ZJS）联合认证，两个都是国.家级协会认证。.

博乐F·2023-03-23 05:00

大数据平台核心架构图鉴，建议收藏！

我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多：从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同

玄明Hanko·2023-03-22 12:46

阿里巴巴大数据实践（数据管理篇）

第12章元数据第13章计算管理第14章存储和成本管理第15章数据质量第16章数据应用第12章元数据12.1元数据概述12.1.1元数据定义按照传统的定义，元数据（Metadata）是关于数据的数据。

天线嘟嘟茄·2023-03-22 07:33

apply、applymap、agg、transform、map对比

apply()apply()属于DataFrame、Series对象的方法，可以针对DataFrame中的行数据或列数据、以及Series中数据应用操作。

Kevin_pai·2023-03-20 20:45

万物互联时代：大数据应用百花齐放的时代

从目前接触的大数据应用实施看来，数据来源范围十分有限，数据质量许多方面都无法支撑应用的价值凸显，大数据所涉及的范围仅仅局限在互联网化程度比较高的行业，大多数的传统行业传统业务传统企业的数据，都还处于线下

晨硕杂谈·2023-03-20 16:59

解决“数据孤岛”，对接不同软件系统数据，可以这样玩...

不难理解，数据源是大数据应用的“基础设施”，没有数据就不会有大数据，就没有人工智能，也没有机器学习、深度挖掘等，包括数据层面的应用。现今大数据应用分析的真实情况何如？

程序小姐姐·2023-03-19 01:14

学计算机选择什么编程语言好一些？

不用开发语言的优势Java：Java是一种广泛应用的编程语言，常用于Web应用、移动应用、大数据应用及企业级应用开发等领域。Java开发工程师的薪资相对较高，市场需求也比较稳定。

测试小扎·2023-03-18 16:34

推荐频道

数据应用