大数据平台-架构基础

AntDB 替换某省电信大数据平台的案例分享

落地某省电信的案例分享整体介绍某省电信大数据分析平台，需要对BSS的三户、订单、实例等近10TB级的数据进行快速分析统计，每次分析的数据量最高达到5亿级别，同时需要向其它厂商开放这种实时的数据分析能力，前期这种数据分析是通过大数据平台
亚信安慧AntDB数据库·2023-06-16 19:04

用Vue构建一个github“可视化大数据平台”-GitDataV，设计开发分享

写在前面GitDataV，是一个github“大数据可视化平台”，通过它你可以更直观的看到你在github里的一些数据，（之所以打双引号，是因为我觉得这个还没到大数据可视化的程度）。其实我在上篇文章分享的时候已经提到了这个想法，通过github提供的接口，做一个自己的“大数据分析页面”，所以我就花了几天晚上的时间，把这想法从设计到开发构建出来了，那么下面我就我个人的账号测试看看效果如下如果您感兴趣
·2023-06-16 18:38

DataX在有赞大数据平台的实践

文章目录一、需求二、选型三、前期设计3.1运行形态3.2执行器设计3.3开发策略四、Datax-Web五、总结大家好，我是脚丫先生(o^^o)在看技术文章的时候，发现有赞平台采用过Datax。想到指北数据中台，数据汇聚采用的是Datax-web二次开发，借鉴经验设计思路，丰富自己方案。有大平台做基础，优化指北数据中台就会更有思路。路漫漫其修远兮~~~一、需求有赞大数据技术应用的早期，我们使用Sqo
大数据指北·2023-06-16 18:51

2023贵阳数博会圆满落幕！智领云携云原生全系产品阵容亮相并大获好评 ！

其中由智领云自主研发的首款可完全在Kubernetes上部署的容器化云原生大数据平台KDP，更受到现场嘉宾的高度关注与热情咨询。
LinkTime_Cloud·2023-06-16 12:43

容器化云原生大数据平台什么样？智领云KDP给你打个样儿

我们正徜徉在一个云、容器与Kubernetes交织的世界。虽然有100多种管理容器的工具，但大多数用户还是倾向于将Kubernetes作为首选。Gartner的数据显示，2022年超过75%的全球组织在其生产系统中采用了容器化应用程序。从这个意义上说，Kubernetes不再是单纯的容器编排工具，而是正在成为混合多云环境中的主干，甚至有人称其为“云的操作系统”。如今，企业的IT基础架构正在快速且大
LinkTime_Cloud·2023-06-16 12:13

谁在勇闯Kubernetes大数据平台的“无人区”？

有这样一家技术公司，成立于2016年，在2018年就推出了第一款基于云原生架构的大数据操作系统“BDOS”。2019年，疫情来势汹汹。也许，你会认为它生不逢时，但它却用连续三年的收入翻倍给予了市场最好的回击。它就是智领云，一家坐落于武汉，真正用云原生、大数据技术创造“数据价值之美”的创新企业。与其他众多创业团队一样，智领云的创始团队也出自硅谷，在云原生、大数据系统架构层面具备诸多海外实践，并致力于
LinkTime_Cloud·2023-06-16 12:13

【博云+智领云】携手云原生大数据领域，开展深度合作

以Hadoop为中心的大数据生态系统从2006年开源以来，一直是大部分企业构建大数据平台的选择，不过这种传统选择随着人们的深入使用，出现的问题也越来越多，包括难以实现
LinkTime_Cloud·2023-06-16 12:12

把手伸向大数据平台的云原生，是如何将大数据平台迁移至K8s上的？

我们正身处数据大爆炸的时代，据IDC数据显示，仅在2022年，人类就将创造超过97ZB的数据；要知道截至2012年，人类生产的所有印刷材料的数据量为200PB，仅为2022年一年所创造数据量的50万分之一。据预测，中国数据量规模将从2022的23.88ZB增长至2027年的76.6ZB，年均增长速度CAGR达到26.3%，为全球第一。数据量激增，数据驱动型企业面临更大挑战数据大爆炸对企业的发展机遇
LinkTime_Cloud·2023-06-16 12:40

分享几个概念！（数据接入、数据清洗……）

一、数据接入定义：  数据接入就是各种零散的数据（结构化，非结构化，半结构化数据）整合在一起，纳入统一大数据平台。
赵广大·2023-06-16 06:43

招商基金资深架构师教你如何搭建统一监控平台

还有些企业把所有数据比如性能数据、日志数据、事件数据接入大数据的平台，企图应用大数据平台的计算能力来完成统一监
优维科技EasyOps·2023-06-16 02:39

【架构基础】高内聚低耦合

软件设计目标：实现需求、易于重用、易于理解、没有冗余。Don'treinventthewheel,justrealignit.--AnthonyJD’Angelo高内聚低耦合，是软件工程中判断软件设计好坏的标准。主要评判模块或类的内聚性是否高，耦合度是否低。目的是使模块或类的可重用性、可移植性大大增强。通常程序结构中各模块的内聚程度越高，模块间的耦合程度就越低。内聚是从功能角度来度量模块内的联系，
_Hansen_·2023-06-14 23:23

【架构基础】简单设计原则

简单设计来源于极限编程（ExtremeProgramming，简称XP）。XP是由KentBeck在1996年提出的，是一种软件工程方法学，是敏捷软件开发中最富有成效的几种方法学之一。XP存在四个核心实践：TDD（Test-DrivenDevelopment）、重构（Refactoring）、简单设计（SimpleDesign）、结对编程（PairProgramming）。简单设计四原则：1通过所
_Hansen_·2023-06-14 23:23

【架构基础】SOLID原则

SOLID原则是一套坚实而有效的软件设计原则，它由RobertC.Martin（也称为UncleBob）在2000年提出，旨在帮助软件开发者设计出高内聚低耦合的软件，构建易于测试、可维护和可扩展的软件系统，降低软件后期的维护成本。SOLID由5个设计原则组成：单一职责原则（SingleResponsiblityPrinciple，SRP）开闭原则（OpenClosePrinciple，OCP）里式
_Hansen_·2023-06-14 23:23

【架构基础】正交设计四原则

数学中的正交，是指相互垂直的两个向量，简单来讲就是平面上的两个垂直线段，其中一个线段变长或减短或者转圈圈，另外一根是不变的也不影响它们的垂直度的。表现为空间的独立性，在软件中我们可以理解为两个只有交叉点而互不影响的模块，是一种相互正交的模块化思想，模块内有更高的内聚，模块外有更低的耦合，只有一个不变的交叉点，这个交叉点就是我们所说的依赖点（或API接口）。软件中的正交设计之正交四原则，最终目的是为
_Hansen_·2023-06-14 23:50

大规模时序数据存储（一）| 监控场景的时序数据

干货概览百度运维大数据平台的时序数据存储系统（TimeSeriesDatabase，TSDB）是智能运维团队于2014年自研的一套分布式监控数据存储系统。
AIOPstack·2023-06-14 19:13

大数据学习归纳

修改记录时间内容2020年4月10日第一次发布2020年4月16日添加MaxComputeSQL部分2020年9月14日新增数仓部分笔记大数据架构基础知识题大数据组件概念集群：多个人做同样的事分布式：多个人协作
猫腻余腥·2023-06-14 18:52

仅需三步，即可一键启动的TDH社区开发版来啦！！！一切尽在掌握

随着数据规模的超高速增长，企业往往需要建设大数据平台来发挥数据价值，将数据资源转换为数据资产。
·2023-06-14 16:15

微服务架构基础--第2章初识SpringBoot

第2章初识SpringBoot一.预习笔记1.SpringBoot的定义：SpringBoot是由Pivotal团队提供的一个全新框架，是为了简化Spring应用的初始搭建过程和开发过程。2.SpringBoot的优点1）可快速的构建独立Spring应用程序2）内嵌Servlet容器，无需单独安装容器即可独立运行项目3）对主流开发框架的无配置集成4）提供开箱即用的Spring插件，简化了Maven
专科3年的修炼·2023-06-14 14:06

京东基于商业版Hadoop搭建的数据仓库解决方案

Tech导读本方案以某金融企业大数据平台建设方案为例，面对企业内部的数据现状提出合理化建议，基于商业版Hadoop数据平台搭建数据仓库系统，实现数据资产的充分利用，结合当时现状推荐国产自主研发商业版Hadoop
架构师小秘圈·2023-06-14 08:53

详解数据仓库数据湖及湖仓一体

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？
产品经理自我修养·2023-06-14 07:43

永洪BI到底有多好用？知乎大V用3000字力荐

经哥做数据分析师6年多，自己使用过很多BI工具，既有"非常贵”的Tableau,也有完全开源的superset，以及公司内部基于其他开源数据工具开放定制的大数据平台，对于高效的数据分析工具
永洪科技·2023-06-13 16:35

数据孤岛下的新破局 Real Time DaaS：面向 AP+TP 业务的数据平台架构

从传统数仓，到大数据平台，再到数据中台和湖仓一体新数据平台，在日益加重的数据孤岛困扰下，面向AP场景的解决方案可谓浩如烟海。
·2023-06-13 12:49

腾讯安全SOC+荣获“鑫智奖”，助力金融业数智化转型

腾讯安全申报的“SOC+基于新一代安全日志大数据平台架构的高级威胁安全治理解决方案”获评“鑫智奖·网络信息安全创新优秀解决方案”。
腾讯安全·2023-06-13 10:53

房地产大数据分析软件_房地产大数据公司案例

比如，房地产企业内部的数据非常的复杂繁多，是否有这样一款大数据分析软件可以把这些数据整合起来制造一个有效的大数据平台呢？
思迈特Smartbi·2023-06-13 02:11

数据仓库ods层是啥意思_一文读懂大数据仓库建设

文章标签：数据仓库ods层是啥意思版权从传统数仓到大数据平台，MPP数据集市，Hadoop集群，还有混合架构数仓，一直在不断演进，但是万变不离其宗，大框架和方法论终归是那一套。
zxfBdd·2023-06-12 20:10

腾讯安全SOC+荣获“鑫智奖”，助力金融业数智化转型

腾讯安全申报的“SOC+基于新一代安全日志大数据平台架构的高级威胁安全治理解决方案”获评“鑫智奖·网络信息安全创新优秀解决方案”。
·2023-06-12 15:34

Flink 在顺丰的应用实践

▼关注「Flink中文社区」，获取更多技术干货▼摘要：本⽂由社区志愿者苗文婷整理，内容源⾃顺丰科技大数据平台研发工程师龙逸尘在FlinkForwardAsia2020分享的《Flink在顺丰的应用实践》
Apache Flink·2023-06-12 06:49

【技美百人计划】图形 3.7 移动端TB(D)R架构基础

笔记IMR过程直接和系统内存进行交互TBDR过程宏观上两个阶段第一阶段：分图元●执行所有与几何相关的处理，并生成PrimitiveList（图元列表）●并且确定每个Tile（块）上有哪些Primitve（图元）第二阶段：●执行光栅化、HSR及后续处理●并在完成后，将FrameBuffe从TileBuffe写会到SystemMemory中On-ChipBuffers：片上内存SystemMemort
ybyrz·2023-06-11 21:41

移动端TB(D)R架构基础

目录1各类电子设备功耗对比2名词解释3立即渲染4TBDR渲染流程5Binning过程（第一个Defer）6不同GPU的Early-Depth-Test（第二个Defer）7优化建议8参考目录1各类电子设备功耗对比桌面级主流性能平台，功耗一般为300W(R7/17+X60级别显卡)，游戏主机150-200W入门和旗舰游戏本平台功耗为100W主流笔记本为50-60W，超极本为15-25W,旗舰平板为8
果冻喜之郎·2023-06-11 21:09

爱奇艺大数据加速：从Hive到Spark SQL

随着数据规模的不断增长和计算复杂度的增加，如何快速挖掘数据的潜在价值，给大数据平台带来了巨大挑战。针对海量数据的实时分析需求，大数据团队从2020年开始发起大数据加速项目，基于大数据技术加速爱奇艺数
爱奇艺技术产品团队·2023-06-11 11:43

开源大数据平台 E-MapReduce Serverless StarRocks 产品介绍

摘要：本文将分享阿里云与StarRocks社区合作打造的云上StarRocks极速湖仓的云原生产品实践。主要包括四个部分，第一部分介绍StarRocks全托管形态，以及免运维服务的OLAP云产品；第二部分介绍StarRocksManager的实例管理、诊断分析、元数据管理、安全中心等功能；第三部分介绍在社交、在线教育、电商等场景的使用案例；最后是对产品的长短期规划：1.StarRocks产品介绍2
阿里云云栖号·2023-06-10 23:18

简单的数据平台笔记

首先是网易的产品矩阵，很典型的大数据平台架构比较有亮点的是指标中台指标中台定义的核心要点：1、一次定义多次复用2、自动计算3、集中管理4、指标服务主要解决的问题就是：指标口径不一致（业务口径or数据源不统一
小菜菜1223·2023-06-10 21:32

我所经历的大数据平台发展史（四）：互联网时代 • 下篇

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。
松子无核·2023-06-10 20:10

springCloud

第一章：微服务介绍1.微服务是一种架构风格（微服务：一系列微小的服务每个微服务都有一个进程每个服务为独立的业务开发独立部署，分布式管理）2.简单的微服务架构基础框架/组件：服务注册发现服务网关！
苏州城外无故人·2023-06-10 13:53

【数据治理】数据治理领域最容易混淆的16组术语概念辨析

信息化(IT)、工业运营技术（OT）、数字化转型（DT）二、2个I差异（商业智能（BI）、生产运营智能（OI））与工业互联网三、多个数据平台差异（数据仓库、大数据平、数据湖、数据中台、数据底座、湖仓一体化大数据平台
强heaven·2023-06-09 13:37

nacos下载安装（Windows）

最近Nacos更新发布了Nacos2.X版本，在1.X的架构基础上新增了对长连接模型的支持。通信层目前
supersolon·2023-06-09 13:30

如何设计高可用的分布式缓存架构

本文将介绍如何设计高可用的分布式缓存架构，包括架构基础知识、整体架构设计、实现原理、一致性模型以及故障处理。
JavaWizard-M·2023-06-09 03:12

1. Hadoop 入门

它们大而复杂的数据集大数据面临的两大问题：针对海量数据的存储、计算大数据的特性：容量大、种类多、速度快、价值高大数据部门的一般业务流程：项目经理提出需求，例如统计日活、周活、月活、年度账单等大数据部门的大数据平台或系统
程序员胖五·2023-06-08 19:38

大数据架构

1.1如何构建大数据平台？
添柴少年yyds·2023-06-08 18:55

智慧农业大数据平台的“智慧”体现在哪些方面？

所以，山东仁科智慧农业大数据平台不仅可以应用于种植业，也可以用于林业、畜牧业、渔业、副业。智慧农业大数据平台“智慧”体现在哪些地方？
山东仁科·2023-06-08 13:53

创业 4 年获近 7000 万美元融资，53 岁老程序员 all in 开源

尽管作为初创企业，涛思数据每次重大发布均引起业内关注：核心产品物联网大数据平台TDengine开源两年获1.7万+Star。2019年，TDengine1.0十万行代码开源后，霸
CSDN云计算·2023-06-08 01:54

微服架构基础设施环境平台搭建 -（二）Docker私有仓库Harbor服务搭建

微服架构基础设施环境平台搭建-（二）Docker私有仓库Harbor服务搭建通过采用微服相关架构构建一套以Kubernetes+Docker为自动化运维基础平台，以微服务为服务中心，在此基础之上构建业务中台
dyj095·2023-06-07 16:46

微服架构基础设施环境平台搭建 -（五）Docker常用命令

微服架构基础设施环境平台搭建-（五）Docker常用命令本文主要列出了Docker常用的命令微服架构基础设施环境平台搭建系列文章微服架构基础设施环境平台搭建-（一）基础环境准备微服架构基础设施环境平台搭建
dyj095·2023-06-07 16:46

微服架构基础设施环境平台搭建 -（四）在Kubernetes集群基础上搭建Kubesphere平台

微服架构基础设施环境平台搭建-（四）在Kubernetes集群基础上搭建Kubesphere平台通过采用微服相关架构构建一套以Kubernetes+Docker为自动化运维基础平台，以微服务为服务中心，
dyj095·2023-06-07 16:46

微服架构基础设施环境平台搭建 -（三）Docker+Kubernetes集群搭建

微服架构基础设施环境平台搭建-（三）Docker+Kubernetes集群搭建通过采用微服相关架构构建一套以Kubernetes+Docker为自动化运维基础平台，以微服务为服务中心，在此基础之上构建业务中台
dyj095·2023-06-07 16:16

微服架构基础设施环境平台搭建 -（一）基础环境准备

微服架构基础设施环境平台搭建-（一）基础环境准备通过采用微服相关架构构建一套以Kubernetes+Docker为自动化运维基础平台，以微服务为服务中心，在此基础之上构建业务中台，并通过Jekins自动构建
dyj095·2023-06-07 16:09

浅谈数据治理

随着大数据平台和工业互联网兴起，数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构，面向大数据架构下，为数据资源中心与外部数据系统提供数据服务。那么，数据治理到底治什么？
产品经理自我修养·2023-06-07 15:37

Sci Adv揭秘“蚂蚁王国”生殖角色转变中大脑解剖学和基因表达调控变化

此项研究的转录组数据已存储于国家基因库生命大数据平台（C
尐尐呅·2023-06-07 12:12

构建煤矿物联网大数据平台思路(1)

现在的趋势是构建物联网大数据平台。但是现有系统是基于传统的EF5+PSpa
qq_43479892·2023-06-07 10:34

【数据中台】00丨开篇词丨数据中台，是陷阱？还是金钥匙？

转自：https://time.geekbang.org/column/article/216440我在网易主要负责大数据平台团队，对内服务于网易各个业务线（包括网易云音乐、严选、有道、新闻，以及已经离开网易大家庭的考拉
菜鸟蜀黍·2023-04-21 22:03
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他