大数据系统

大数据开发：Flink如何设计容错

基于分布式构建的大数据系统平台，容错性是一个重要的指标，尤其是在数据规模越来越大，数据格式也越来越复杂的背景下，容错机制的设计，是非常关键的。
成都加米谷大数据·2023-08-10 07:57

拉米拉数营通：论大数据对企业发展有多重要

——《福布斯》2.拥有大数据系统，挖掘更过潜在数据大数据系统能够通过将尚未开拓的数据
米拉娱乐·2023-08-09 20:19

计算机毕业设计全网首发Python+Spark招聘爬虫可视化系统 招聘数据分析 Hadoop职位可视化 大数据毕业设计 51job数据分析(可选加推荐算法)

数据可视化啰里啰嗦适合大数据毕业设计、数据分析、爬虫类计算机毕业设计可二次开发选加推荐算法(协同过滤算法等或者调用SparkML库)数据处理流程本环节主要讲述的是对于整体项目功能的设计，设计方案为主要是由大数据系统以及可视化前端子系统组成
计算机毕业设计大神·2023-08-07 19:45

业界内主流图数据库调研

高）原生图（高）非图，空间浪费比较严重非图查询CypherGSQLSqlGramiln分布式支持Ha不支持分布式存储支持(企业级可扩展)支持支持，依赖Cassandra，Hbase等索引依赖es等，和大数据系统结合紧密
Timmer丿·2023-07-28 04:13

[使用DataX采集Mysql数据到Hive]

Hive中建表8.安装DataX9.DataX导入导出文件配置10.启动DataX导入数据及结果检查##需求大数据开发工作中，我们计算分析的数据来源是关系型数据库,这就需要将关系型数据库中的数据采集到大数据系统中
pblh123·2023-07-28 03:37

基于云原生的大数据产品前端实践 | 第七期图文直播文字回放

大数据系统BDOS的整体架构在了解基于云原生的大数据产品前端实践之前，先为大家介绍一下大数据系统BDOS的整体架构，BDOS是基于云原生的容器化
LinkTime_Cloud·2023-07-27 12:09

数仓建模方法论

成本：减少不必要的数据冗余，实现计算结果的复用，降低大数据系统中
产品经理自我修养·2023-07-24 21:42

搞大数据必知的大数据处理框架技术

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处
丨程序之道丨·2023-07-22 00:51

大数据测试之数据仓测试怎么做（上）

前面的文章我们为大家介绍了大数据测试平台和大数据系统的测试方法，接下来我们重点来讲一下数据仓库测试，首先看一下它的定义。
daopuyun·2023-07-19 23:44

紧急提醒！80%企业因为这些个税问题被税务查了！请会计和老板自查！

金税三期上线之后税务局大数据系统直接接口工商行政管理部门的股权转让数据，给每家企业建立电子台账，记录股权转让的交易价格和税费情况，以后所有的平价或者低价转让都将严查。
财富天空·2023-07-18 23:08

mysql 备库延迟问题

relaylog超时备库性能不如主库备库承担更多SQL分析主库是多线程执行，备库是单线程执行解析relaylog处理方法：主备使用相同的机器备库关闭log实时落盘增加从库数量，应对分析SQLbinlog传送至大数据系统
量子学习法·2023-07-15 06:49

【云计算与大数据计算】大数据物理、集成、安全架构及阿里云飞天系统架构讲解（超详细）

一、物理架构物理架构-企业大数据系统的各层次系统最终要部署到主机节点中,这些节点通过网络连接成为一个整体,为企业的大数据应用提供物理支撑，企业大数据系统由多个逻辑层组成，多个逻辑层可以映射到一个物理节点上
showswoller·2023-07-14 16:31

Kylin知识点总结

1.2Kylin的简介Kylin的出现就是为了解决大数据系统中TB级别数据的数据分析需求，它提供Hadoop/Spark
南潇如梦·2023-07-14 14:59

干货 | 智能网联汽车大数据基础平台构建研究

以下内容整理自大数据能力提升项目必修课《大数据系统基础》同学们的期末答辩汇报。各位老师大家上午好，我们组的题目是智能网联汽车大数据基础平台的构建。我们的指导企业是西部智联。
数据派THU·2023-07-13 22:05

第317天《怎样用杠杆思维解决难题》-听书笔记

二、林庆阳用了五年时间，成功建成了国内第一个职业足球俱乐部大数据系统。他之所以能撬动杠杆，是因为他在组织内找准了两个关键角色，大大减小了新技术推广的阻力。三、秦世宏的办法是：借力打力。
程潇璇·2023-06-23 19:01

国内大数据系统访问国外业务-网络链路配置优化

业务背景公司海外为手机分期业务，需要对海外买手机的用户，进行风控审核。为了数据安全，大数据风控项目部署在国内地区。业务系统部署在海外印度区域。业务简称国内大数据：dac海外印度区：oid网络链路image.png
麟之趾a·2023-06-23 09:20

国产开源大模型： 百亿参数“伶荔”，填补中文基础模型空白！

大数据系统计算技术国家工程实验室副主任、深圳大学计算机与软件学院沈琳琳教授团队主持的人工智能项目“伶荔(Linly)”于今天隆重推出“伶荔说”系列中文语言大模型。该系列目前包含中文基础模型和对话模型。
Datawhale·2023-06-22 16:59

大数据开发：流处理组件Flume、Kafka对比

在构建大数据系统平台是，往往需要结合数据的数量，种类和速度多方面来考量，要满足实际的需求，这就需要可扩展性、可靠性、适应性等各个因素的结合。而在Had
加米谷大数据张老师·2023-06-20 00:50

《阿里大数据之路》读书笔记：第一章 总述

阿里巴巴大数据系统体系架构图阿里数据体系主要分为数据采集、数据计算、数据服务和数据应用四大层次。
蓦然_·2023-06-18 14:38

根据环境不同，修改表名添加数据库名

一、前戏故事背景公司引入一套阿里云的大数据系统，汇集公司的多张表。正式环境使用的是大数据中间件2.0，正式环境是3.0，3.0环境查询需要“数据库名.表名”，2.0环境查询需要“表名”。
滴流乱转的小胖子·2023-06-16 23:01

大数据之路书摘：走近大数据——从阿里巴巴学习大数据系统体系架构

文章目录1.数据采集层2.数据计算层3.数据服务层4.数据应用层在大数据时代，人们比以往任何时候更能收集到更丰富的数据。但是如果不能对这些数据进行有序、有结构地分类组织和存储，如果不能有效利用并发掘它，继而产生价值，那么它同时也成为一场“灾难”。无序、无结构的数据犹如堆积如山的垃圾，给企业带来的是令人咋舌的高额成本，给数据采集、存储和计算都带来了极大的挑战。如何有效地满足来自员工、商家、合作伙伴等
TracyCoder123·2023-06-16 19:02

谁在勇闯Kubernetes大数据平台的“无人区”？

与其他众多创业团队一样，智领云的创始团队也出自硅谷，在云原生、大数据系统架构层面具备诸多海外实践，并致力于
LinkTime_Cloud·2023-06-16 12:13

开源SCRM营销平台MarketGo-数据管理

基于以上的数据，企业会有以下数据应用场景：将用户数据和行为数据存储到统一的数据平台里，比如用户大数据系统CDP；基于用户数据，需要给用户分配权限或者优惠券，积分等；基于
开源SCRM营销平台MarketGo·2023-06-14 04:57

高并发面试必问：分布式消息系统Kafka简介

在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息）和离
小雄哥·2023-06-09 19:09

云原生大数据 Meetup｜云原生时代下的数据计算基础设施

随着云原生基础设施的普及，大数据系统如何丝滑地云原生化已经成为不可逆的趋势。
字节跳动云原生计算·2023-06-09 07:53

大数据技术⑤ ｜大数据第1章·概述｜第2章·大数据系统基础｜21:50~22:22

第1章概述1、简述大数据发展现状与历史1.1.1国外发展现状（1）国家及国际组织方面：2009年，联合国就启动了“全球脉动计划”。2009年至今,美国Data.gov（美国政府数据库）全面开放了40万政府原始数据集,大数据已成为美国国家创新战略、国家安全战略以及国家信息网络安全战略的交叉领域和核心领域。2012年3月，美国政府提出“大数据研究和发展倡议”,发起全球开放政府数据运动,把大数据放在重要
suzybai的学习笔记·2023-06-08 12:28

初学者如何快速入门大数据？程序员小哥提点建议

大数据开发，真实商业数源授课，致力于大数据系统集能及区块链为辅，全程企业真实项目深度实操，带领学生一站式搞定匪夷所思的大数据开发技术。想要学习大数据的小伙伴可以按照这个路线走，大家可以放心学习，共
juan333·2023-06-08 04:46

数仓建模方法论

成本：减少不必要的数据冗余，实现计算结果的复用，降低大数据系统中
产品经理自我修养·2023-06-07 15:37

两种主流大数据系统架构的区别，终于有人讲明白了

导读：从资源管理角度来看，当前的大数据系统架构主要有两种：一种是MPP数据库架构，另一种是Hadoop体系的分层架构。这两种架构各有优势和相应的适用场景。本文主要讲这两种架构的区别。
hzbooks·2023-04-20 10:20

交互式电子沙盘数字沙盘大数据系统开发第8课

交互式电子沙盘数字沙盘大数据系统开发第8课这次我们完成的功能为拖动一个外部的UI对象到球球上：privatevoidButton_PreviewMouseMove(objectsender,MouseEventArgse
mtouch333·2023-04-14 11:13

大数据与互联网的结合

3、大数据平台：整合网站应用和大数据系统之间的差异，将应用产生的数据导入到大数据系统，经过
幸福右手牵·2023-04-12 14:17

五种大数据处理架构

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信
wandy0211·2023-04-11 17:49

Kafka进阶技术

文章目录一、架构细节一些比较重要的监控指标更强的Kafka合体技势作为消息中间件的扛把子,无论是在企业的业务系统,还是大数据系统中,都有着活跃的身影.虽然近来出现了RocketMQPulsar这样的后期之秀
胡小禾·2023-04-11 10:18

大数据 | 实验一：大数据系统基本实验 | 熟悉常用的HDFS操作

文章目录实验目的实验平台实验内容⭐️HDFSApi⭐️HDFSApi2⭐️HDFSApi3⭐️HDFSApi4⭐️HDFSApi5⭐️HDFSApi6⭐️HDFSApi7⭐️HDFSApi8⭐️HDFSApi9⭐️HDFSApi10实验目的1）理解HDFS在Hadoop体系结构中的角色。2）熟练使用HDFS操作常用的shell命令。3）熟悉HDFS操作常用的JavaAPI。实验平台1）操作系统：L
啦啦右一·2023-04-10 04:33

国家认证 | 创邻科技入选“大数据核心产品优秀案例”

优秀案例涉及的产品经国家大数据系统产品质量监督检验检测中心测试以及行业专家遴选评审，是行业的最佳实践代表。
创邻科技·2023-04-08 13:25

大数据系统架构-MPP数据库架构

当前的大数据系统架构主要有两种：一种是MPP数据库架构，另一种就是Hadoop体系的分层架构。这两种架构各有优势和适合的场景。
小成小成小成·2023-04-06 23:29

工作中常见的 6 种设计模式，你用过几种？

工作中常用到哪些设计模式1.策略模式1.1业务场景假设有这样的业务场景，大数据系统把文件推送过来，根据不同类型采取不同的解析方式。
java晴天过后·2023-04-06 18:17

为何做完核酸检测显阴性，健康码确显黄码

然后我们告诉他这个不要紧，要么去做一次核酸检测就可以转绿码，可他说昨天刚做的核酸是阴性，大家都是绿码，就他一个人是黄码，我告诉他可能大数据系统出现问题才会这样，要他打10086询问一下看看，现在这个疫情期间谁都不愿出问题
开心外婆·2023-04-06 00:40

看懂“大数据”，这一篇就够了！

大数据系统，是一个庞大的框架系统。更进一步
LinkTime_Cloud·2023-04-05 12:12

专家指南：大数据数据建模的常见问题

我最近在How-tos专家系列介绍了如何在大数据系统上数据建模。在演讲过程中，许多与会者提出了一些非常有趣的问题。
大数据杂货铺·2023-04-04 20:58

浅谈数仓建模

一般主要从下面四点考虑访问性能：能够快速查询所需的数据，减少数据I/O；数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本；使用效率：改善用户应用体验，提高使用数据的效率
奔跑者-辉·2023-04-04 12:46

第三章 数据同步之问题与解决办法

分表分库的处理1）传统数据库的分表分库处理：2）在大数据系统中的做法是构建分布式数据库访问引擎（中间层），将分布在不同数据库中的表集成为一张表，业务系统像单表一样使用3）分布式数据库访问引擎位于数据持久层与
被爱的天青色·2023-04-04 05:04

Hadoop大数据系统架构（深入浅出）

目录1.Hadoop生态体系2.Hadoop集群硬件架构3.Hadoop体系分层功能架构参考资料导读：从资源管理角度来看，当前的大数据系统架构主要有两种：一种是MPP数据库架构，另一种是Hadoop体系的分层架构
赵孝正·2023-04-03 21:42

阿里巴巴大数据实践：大数据建设方法论OneData

面对爆炸式增长的数据，如何建设高效的数据模型和体系，对这些数据进行有序和有结构地分类组织和存储，避免重复建设和数据不一致性，保证数据的规范性，一直是大数据系统建设不断追求的方向。
大数据开发指南·2023-04-03 05:13

大数据架构新解

大数据系统大体可以分成以下四个部分：1，数据采集层2，数据计算层3，数据服务层4，数据应用层下图是阿里巴巴大数据系统架构图：一、数据采集层数据采集主要分成以下三块数据：1，Web端日志2，App端日志3
lloyd_chou·2023-04-02 23:03

大数据系统架构——Hadoop体系

当前的大数据系统架构主要有两种：一种是MPP数据库架构，另一种就是Hadoop体系的分层架构。这两种架构各有优势和适合的场景。
小成小成小成·2023-04-02 23:00

Hologres技术揭秘：JSON半结构化数据的极致分析性能

近年来，随着移动端应用的普及，应用埋点、用户标签计算等场景开始诞生，为了更好的支撑这类场景，越来越多的大数据系统开始使用半结构化JSON格式来存储此类数据，以获得更加灵活的开发和处理。
阿里技术·2023-03-31 18:42

大数据系统架构包含内容涉及哪些?

大数据系统架构包含内容涉及哪些?【导语】大数据的应用开发过于偏向底层，具有学习难度大，涉及技术面广的问题，这制约了大数据的普及。
qq_38397646·2023-03-31 08:23

数据整合以及管理体系

面对爆炸式增长的数据，如何建设高效的数据模型和，对这些数据进行有序和有结构的分类和，避免和，保证数据的规范性，一直是大数据系统建设不断追求的方向。
V_6619·2023-03-30 21:19

【云计算与大数据技术】大数据系统总体架构概述（Hadoop+MapReduce ）

一、总体架构设计原则企业级大数据应用框架需要满足业务的需求，一是要求能够满足基于数据容量大，数据类型多，数据流通快的大数据基本处理需求，能够支持大数据的采集，存储，处理和分析，二是要能够满足企业级应用在可用性，可靠性，可扩展性，容错性，安全性和隐私性等方面的基本准则，三是要能够满足用原始技术和格式来实现数据分析的基本要求满足大数据的V3要求大数据容量的加载、处理和分析-要求大数据应用平台经过扩展可
showswoller·2023-03-30 18:19
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他