数据平台-基础架构

Scaleph：基于Kubernetes的开放式数据平台

Scaleph：基于Kubernetes的开放式数据平台scalephOpendataplatformbasedonFlinkandKubernetes,supportsweb-uiclick-and-dropdataintegrationwithSeaTunnelbackendedbyFlinkengine
尤淞渊·2025-01-19 19:19

hive小文件合并机制_hive小文件的问题弊端以及合并

包括位置大小分块信息等，都保存在NN内存中，在小文件数较多的情况下，会造成占用大量内存空间，导致NN性能下降；2、在读取小文件多的目录时，MR会产生更多map数，造成GC频繁，浪费集群资源；3、现在大数据平台文件总数超过
做生活的创作者·2025-01-19 08:49

编程全景洞察：从基础架构到前沿创新与行业影响

编程全景洞察：从基础架构到前沿创新与行业影响由于文章过长，博主写的时候可能会有一些差错以及一些不连贯或者是一些重复，请大家谅解~编程全景洞察：从基础架构到前沿创新与行业影响编程的基础语言与逻辑架构编程范式与设计模式
༺ཌༀ傲世万物ༀད༻·2025-01-19 07:09

WebSocket 客户端开发：浏览器实战

基础架构设计一个可靠的WebSocket客户端需要考虑以下几个关键点：连接管理消息处理重连机制心跳检测错误处理让
·2025-01-18 22:19

产品解读 | 构建数智融合时代下的一站式大数据平台

一站式大数据平台，旨在通过一个平台即可满足各类业务需求，成为数智融合时代下数据基础设施的发展趋势，并从四个维度向四个“一体化”方向演进：数据架构-湖仓集一
·2025-01-18 09:50

Transformer 架构对比：Dense、MoE 与 Hybrid-MoE 的优劣分析

1.LLM基础架构类型DenseTransformerMoE(MixtureofExperts)TransformerHybrid-MoETransformer2.Transformer按照编码方式分类单向自回归模型
XianxinMao·2025-01-18 05:21

星环科技×恒生电子，联合打造反洗钱解决方案

将大数据技术应用于反洗钱领域，可借助大数据平台高效整合、分析海量客户身份信息和交易数据，保障反洗钱系统有效开展客户风险等级评定、可疑交易筛查、黑名单监测等工作，为反洗钱工作赋能。
·2025-01-18 05:12

传统数据湖和数据仓库的“中心化瓶颈”

以下是具体表现：1.单点瓶颈（SinglePointBottleneck）传统数据湖/仓库通常由中心化的数据平台团队负责，所有的数据集成、清洗、建模和治理工作都集中在这一个团队中，导致：工作负载过重：数据平台团队需要处理所有领域的数据需求
PersistDZ·2025-01-18 00:45

案例分享｜快速了解实时湖仓集一体技术如何助力企业降本增效

1.替代TD仓、Hadoop湖，助力农商行构建一体化数据平台某农商行最初构建了Teradata数据仓库、Oracle小数据平台以及Hadoop数据湖。
·2025-01-17 20:42

【论文投稿】解锁Vue.js组件开发的神奇密码

目录一、引言：Vue.js组件化的魅力之源二、初窥门径：组件的基础架构（一）组件的构成要素（二）创建首个Vue组件实例三、进阶之路：组件通信的艺术（一）父子组件间的通信之道（二）兄弟组件与跨层级通信的谋略四
小周不想卷·2025-01-17 16:58

超详细：数据库的基本架构

MySQL基础架构下面这个图是我给出的一个MySQL基础架构图，可以清楚的了解到SQL语句在MySQL的各个模块进行执行过程。然后MySQL可以分为两个部分，一个是server层，另一个是存储引擎。
上官花雨·2025-01-17 06:30

Java 大视界 -- Java 大数据平台迁移与升级策略：平滑过渡的方法（十四）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-16 16:31

案例分享｜Alluxio数据流转方案在联通智网的应用

分享嘉宾陈得泳-中国联通大数据平台SRE工程师，致力于基于开源生态构建稳定、高效、安全、低成本的大数据集群。
·2025-01-16 14:01

ES聚合分析原理与代码实例讲解

1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
光剑书架上的书·2024-09-16 08:08

淘宝返利微信机器人的消息处理与推送技术

1.微信机器人的基础架构实现一个淘宝返利微信机器人，我们首先需要了解微信机器人的基础架构
微赚淘客系统开发者·2024-09-14 10:33

镜舟科技与西南证券合作，构建极速、高效数据平台

《金融科技发展规划（2022-2025年）》明确了高质量推进金融数字化转型的总体思路，云计算、人工智能等新兴技术开始被广泛应用，提升金融服务的便捷性，但随着日益增长的数据体量，数据的存储和处理能力日渐。数据的金融机构需要加强数据能力建设、完善数据中心建设，并构建健全的数字安全生态。在金融行业的数字化转型浪潮中，西南证券凭借其深厚的行业经验和前瞻性视野，与镜舟科技一起，构建一个高效、稳定且易于维护的
镜舟科技·2024-09-13 14:31

【面试系列】Spark 高频面试题解答

⭐️大数据平台建设指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台的核心技术和方法。⭐️《遇见Python：初识、了解与热恋》：涵盖了Pytho
野老杂谈·2024-09-12 18:52

嵌入式QT开发：构建高效智能的嵌入式系统

从QT框架的基础架构和核心概念出发，详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式QT的开发环境搭建过程，包括交叉编译工具链的配置等关键步骤。
嵌入式大圣·2024-09-11 04:59

大数据平台（数据中台、数据中枢、数据湖、数据要素）建设方案

大数据平台（数据中台、数据中枢、数据湖、数据要素）建设方案大数据平台（数据中台、数据中枢、数据湖、数据要素）建设方案项目背景和目标项目背景项目目标建设原则与策略数据中台架构设计整体架构设计思路数据采集层数据存储层数据计算层数据服务层数据中枢功能实现数据治理功能数据资产管理功能数据安全管控功能数据服务总线功能数据湖存储与计算方案数据湖存储架构设计数据湖计算框架选择数据湖应用场景分析数据湖安全与合规性
数字化建设方案·2024-09-11 04:26

数据中台建设方案-基于大数据平台(下)

数据中台建设方案-基于大数据平台(下)1数据中台建设方案1.1总体建设方案1.2大数据集成平台1.3大数据计算平台1.3.1数据计算层建设计算层技术含量最高，最为活跃，发展也最为迅速。
FRDATA1550333·2024-09-11 03:49

下一代软件架构——SOA

而在近两年，出现了一种技术架构被誉为下一代Web服务的基础架构，它就是SOA（Service-orientedarchitecture，面向服务架构）。1996年，Gartner最早提出SOA。
CSDN_document·2024-09-10 21:11

大数据平台--调度系统

调度系统是数据仓库的重要组成部分，也是每个银行或公司一个基础软件或服务，需要在全行或全公司层面进行规划，在全行层面统一调度工具和规范，由于数据类系统调度作业较多，交易类系统批量优先级高，调度系统的整体架构如下：调度中心对调度批次和作业进行创建、管理、监控，它负责所有批量作业的调度和编排；在整个作业过程中，作业之间关系分为触发，依赖和互斥。1、触发触发关系表示一个作业完毕后，生成另一个作业的控制文件
小瓶盖的猪猪侠·2024-09-10 20:36

starrocks和clickhouse数据库比较

下面是这两者的一些主要比较点：1.基础架构与设计目标Starrocks:Starrocks是一个专注于实时数据分析的平台，常用于大数据处理和商业智能应用。
CodeMaster_37714848·2024-09-09 16:12

深智城基于超融合数据库MatrixOne的一站式交通大数据平台改造

在智慧交通应用中，数据处理需求极为复杂，涉及人、车辆、道路和环境等多个方面，产生了大量异构数据。交通管理人员需要对这些数据进行实时分析和决策，以应对各种交通事件。然而，在实际生产中会发现数据处理缺陷、管理复杂度高、云原生基础设施兼容性不足等问题。实践证明，MatrixOne可完整、稳定支撑深智城集团的交通数字实时仿真项目，实现秒级的业务及分析实时性，并在技术、管理和成本方面均得到了显著提升，大幅降
MatrixOrigin·2024-09-09 07:42

MySQL数据库运维：深度解析与实践指南

⭐️全流程数据技术实战指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台和数据仓库的核心技术和方法。⭐
野老杂谈·2024-09-09 01:58

大数据技术之Hadoop（一）

Hadoop概述1.1Hadoop是什么Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。
pauls·2024-09-08 16:30

【面试系列】Doris 高频面试题解答

⭐️大数据平台建设指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台的核心技术和方法。⭐️《遇见Python：初识、了解与热恋》：涵盖了Pytho
野老杂谈·2024-09-08 10:44

【大数据平台】数据处理层：批处理与流处理架构

⭐️大数据平台建设指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台的核心技术和方法。⭐️《遇见Python：初识、了解与热恋
野老杂谈·2024-09-08 09:07

pyspark kafka mysql_数据平台实践①——Flume+Kafka+SparkStreaming(pyspark)

蜻蜓点水Flume——数据采集如果说，爬虫是采集外部数据的常用手段的话，那么，Flume就是采集内部数据的常用手段之一(logstash也是这方面的佼佼者)。下面介绍一下Flume的基本构造。Agent：包含Source、Channel和Sink的主体，它是这3个组件的载体，是组成Flume的数据节点。Event：Flume数据传输的基本单元。Source：用来接收Event，并将Event批量传
weixin_39793638·2024-09-08 04:34

探索宝可梦的世界：PokeAPI如何让开发者大展拳脚

PokeAPI的魅力所在PokeAPI的魅力在于它提供了一个开放的数据平台，涵盖了宝可梦世界中的所有元素。无论是宝可梦的名字、类型、技能，还是它们的
幂简集成·2024-09-07 14:25

MySQL 子查询与复杂查询的优化

⭐️大数据平台建设指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台的核心技术和方法。⭐️《遇见Python：初识、了解与热恋
野老杂谈·2024-09-07 09:23

基于Echarts+HTML5可视化数据大屏展示—新能源车联网综合大数据平台_新能源汽车大数据分析网站代码

主要代码实现：主页HTML布局：新能源车联网综合大数据平台实时统计<divclass="info-text
2401_84181070·2024-09-06 21:38

MVVM架构

MVVM是Model-View-ViewModel的简写，是基于数据绑定的基础架构。是在微软的WPF和MVP结合的应用方式发展演变过来的一种新型架构。
努力突破·2024-09-06 13:09

ansible自动化运维项目

下面将深入探讨Ansible在自动化运维项目中的具体应用和优势：Ansible的基础架构与组件核心组件：Ansible的运作依赖于几个关键组件，包括连接插件、主机清单、模块、插件以及剧本。其中，连接插
不会代码的小林·2024-09-06 13:36

使用Ansible进行自动化运维

引言简介自动化运维在现代IT基础架构管理中扮演着重要角色。通过自动化，我们可以提高效率、减少人为错误和加速部署流程。
weixin_58606202·2024-09-06 12:02

Yarn架构原理

一、基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。
Hub-Link·2024-09-05 21:24

CDC 数据实时同步入湖的技术、架构和方案汇总

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
Laurence　·2024-09-05 18:33

IaC：状态管理的最佳实践

IT基础架构管理是一项复杂的任务。长期以来，业界不断探索并实施多元化策略，提升企业网络环境的管控能力。
网安加社区·2024-09-04 05:59

大数据技术之Flume

1.2Flume基础架构Flume组成架构如下图所示。1.2.1AgentAgent是一个JVM进程，它以事件的形式将数据从源头送至目的。
okbin1991·2024-09-03 00:32

MySQL基础架构

一、MySQL体系架构引用网图：MySQL自上而下可分为网络连接层、服务层、存储引擎层和系统文件层。网络连接层客户连接器：提供MySQL服务器建立的支持。目前几乎支持所有主流的服务端编程技术。比如JAVA通过JDBCAPI连接连接。服务层服务层是MySQLServer的核心，主要包含系统管理和控制工具、连接池、SQL接口、解析器、查询优化器和缓存六个部分。连接池：负责存储和管理客户端与数据库的连接
GrayGo·2024-09-02 23:57

SkyWalking：⼀款用于分布式系统的应用程序性能监视工具

主要功能特性多种监控手段，可以通过语言探针和servicemesh获得监控的数据支持多种语言自动探针，包括Java，.NETCore和Node.JS;轻量高效，无需大数据平台和大量的服务器资源4、模块化
学博成·2024-09-02 23:23

医疗数字化转型数据中台架构方案（一）

为推进医疗数字化转型，我们提出构建数据中台架构方案：通过集成医院内外多个数据源，利用大数据、人工智能等技术对数据进行清洗、整合、标准化处理，形成高质量的数据资产；再基于云原生技术构建湖仓一体化大数据平台
智汇优库·2024-09-02 19:32

数仓分层架构：DWS

**数据仓库服务层（DataWarehouseServices）**：-在一些云服务提供商的数据平台中，DWS可能指的是提供数据仓库功能的一组服务，这些服务可能包括数据存储、管理和分析工具。2.
大连赵哥·2024-09-01 16:11

基于Hadoop的高校教学管理平台设计与实现

文中就高校大数据平台的关键技术和架构进行阐述，结合高校实际情况，设计高校大数据平台架构，通过搭建Hadoop集群环境，以业务系统和平台之间的数据交互验证平台设计的可行性和优势。
这是辰辰啊·2024-09-01 00:38

基于Spark的云南旅游大数据分析平台

智慧旅游大数据平台的建设，能够为旅游业提供更加高效、智能的数据处理和分析能力，帮助旅游企业更好地了解市场需求、优化资源配置。
Sweican·2024-08-31 19:09

爬取MalwareBazaar实现恶意样本数据自由

在网上搜索后发现各个开源的数据集都有各种各样的问题，如这个DikeDataSet:https://github.com/iosifache/DikeDataset优点是有白样本，缺点是黑样本分布不均且主要集中在一个家族里发现有一个比较好用的开源数据平台
梦想闹钟·2024-08-30 18:51

【赵渝强老师】基于大数据组件的平台架构

  在了解了大数据各个生态圈所包含的组件及其功能特性后，就可以利用这些组件来搭建一个大数据平台从而实现数据的存储和数据的计算。下图展示了大数据平台的整体架构。  
赵渝强老师·2024-08-30 16:07

联发科Wi-Fi7基带芯片MT7996AV和收发芯片MT7977AN工艺全景图

芯品快报：亚德诺（ADI）超静音步进电机驱动芯片——TMC2209芯品快报：德州仪器（TI）的高性能、集成式的双全桥电机驱动器——DRV8412IPBrain小组集成电路大数据平台2024年07月11日
Victor-Tian·2024-08-30 10:58

大数据分析与大数据开发两者的区别是怎样的?

大数据主要分为两个就业方向：①大数据开发②大数据分析大数据分析：主要负责现有数据价值提炼与挖掘，包括业务增长点挖掘，产品改进点挖掘，业务分析指标体系构建，业务分析报告出具等大数据开发：主要负责大数据平台与应用开发
泰迪智能科技01·2024-08-29 10:18

550MHz超高主频：揭秘ST公司M7单核性能王MCU（附全系列MCU报告一览表）

550MHz超高主频：揭秘ST公司M7单核性能王MCU（附全系列MCU报告一览表）这周末，除非外面下钞票，否则谁也拦不住我玩《黑神话悟空》（附：两款可以玩转悟空的显卡推荐）原创IPBrain平台君集成电路大数据平台
Victor-Tian·2024-08-28 20:10
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他