大数据平台-架构基础第18页

某金融大数据平台数据同步方案

Greenplum数据导入方案Case2：tsale_staticshares表导数导数说明：存储格式：parquet压缩：snappy并行度：3Impala查询单表统计时间：4.28s空间开销：约1G时间开销：约7分钟Case2：tsale_dividenddetail表导数导数说明：存储格式：parquet压缩：snappy并行度：5Impala查询单表统计时间：3.35s空间开销：约2.2G

大勇若怯任卷舒·2023-04-12 04:57

数据平台的4个阶段：从数据库到数仓再到中台，超详细的架构全解

数据中台就是以云计算为数据智能提供的基础计算力为前提，与大数据平台提供的数据资产能力与技术能力相互结合，形成数据处理的能力框架赋能业务，为企业做到数字化、智能化运营。目

遇见的昨天·2023-04-11 23:03

在连接效率不高的时代，中心化的“星状结构”是

越来越多的商业模式建立在去中心化的架构基础，甚至是哲学基础上，比如区块链、比特币。

www19850910com·2023-04-11 10:54

【十年磨一剑】我们能从阿里架构师的身上学到什么？

和大家介绍下我目前所从事的工作：我目前从事分布式服务架构的设计与开发工作，在阿里的大数据平台上进行应用程序开发。我们整个系统架构采用了

l鹿狸i·2023-04-11 08:43

大数据平台架构

一、数据采集1.ETL，数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。开源工具：Apatat,Scriptella,Talend,kettle2.实时采集Flume,Flink流处理，批处理都可Kafka场景应用日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer，例如ha

rona1·2023-04-11 08:03

《中国商业银行数字化转型调查报告》发布，快商通声纹为银行赋能

调研报告显示，从总体情况看，我国商业银行数字化转型正在加速，主要采取加大转型投入力度、招录数字化人才、搭建统一大数据平台、改进线上渠道和网点服务等综合措施加快推进转型相关工作。

KuAI_KST·2023-04-11 06:43

技术架构基础组件简介

技术架构基础组件简介背景传统企业大多采用集中式架构，技术体系相对落后，可扩展能力不强。集中式架构过于依赖设备资源，基于稳定或性能考虑，大多运行在大型机或小型机上。

youminglan·2023-04-11 06:36

CDH大数据平台 30Cloudera Manager Console之superset之redis、ldap配置(markdown新版四)

个人主页：@与自己作战作者简介：CSDN@博客专家、CSDN@大数据领域优质创作者、CSDN@内容合伙人、阿里云@专家博主希望大佬们多多支持，携手共进如果文章对你有帮助的话，欢迎评论点赞收藏加关注⛔如需要支持请私信我，必支持文章目录一、redis配置1、安装redis二、修改superset配置1、修改config.py文件2、创建superset用户3、创建superset的Kerberos文件

与自己作战·2023-04-11 06:30

数据中台与传统大数据平台有什么区别？终于有人讲明白了

导读：我们可以这样理解，传统大数据平台和数据仓库是数据中台的数据来源，建设数据中台是为了更好地服务于业务部门。

大数据v·2023-04-11 04:26

大数据架构流程图

平台数据架构流程图标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,数据集市,大数

ixiaoyang8·2023-04-10 21:12

day31集群架构基础介绍

1、什么是集群？集群就是一堆机器做同一件事eg：网站背后提供服务这就一件事，可能是几千台服务器，在背后运转支撑这个网站。2、为什么要用集群a、7*24服务，就需要多台机器同时工作，互为实时备份。b、高并发访问，需要多台服务器同时提供服务。3、集群特点a、数据量大、用户多b、7*24小时持续服务b、持续服务、高可用高并发c、用户分布广泛，网络情况复杂重点基础优化：1、规范目录mkdir-p/serv

被强煎的蛋_舍得·2023-04-10 20:01

以程序员的视角带你看西安

专注于大数据平台、日志系统、数据仓库、数据中

行走的数据智能·2023-04-10 17:10

数据湖04：数据湖技术架构演进

这些公司通常采用开源的大数据组件来搭建大数据平台。大数据平台经历过“以Hadoop为代表的离线数据平台”、“Lambda架构平台”、“Kappa架构平台”三个阶段。

YoungerChina·2023-04-10 09:14

SVE(Scalable Vector Extension)简介【翻译自 armDeveloper Introduction to SVE】

这里写自定义目录标题概述开始之前SVE简介SVE架构基础可扩展的向量寄存器`Z0-Z31`可扩展的谓词寄存器`P0-P15`可配置的向量长度SVE汇编语法SVE架构特性SVE编程软件和库支持如何用SVE

angelavor·2023-04-10 01:22

公安大数据平台建设项目

第一部分：软硬件集成服务一、整体建设内容：本项目按照公安部统一部署，根据XX省公安厅大数据智能化建设总体方案，新建YY公安大数据平台，主要包括新一代公安信息网建设、网络安全建设、云计算平台建设、大数据平台建设

FRDATA1550333·2023-04-09 23:35

python微服务方案

每次启动主服务，还要保障算法框架的依赖和大数据平台的可用配置文件繁多，不同的功能有不同的配置文件，相同的中间件（如

hey_girl_·2023-04-09 17:21

EMQ X+TDengine 搭建 MQTT 物联网可视化平台

物联网数据采集涉及到大量设备接入、海量的时序数据传输，EMQXMQTT服务器与TDengine大数据平台的组合技术栈完全能够胜任场景中的海量时间序列监测数据的传输、存储和计算。

EMQ·2023-04-09 15:08

安全架构总体方案

信息安全是保证大数据平台安全稳定运行的关键，需要建设完善的信息安全主动防御体系和信息安全治理体系。

leveretz·2023-04-09 11:19

从方法论到零售客户实践解码阿里巴巴数据中台——2018上海云栖大会

基于OneID、OneData、OneService的方法论，在阿里巴巴大数据平台上云过程中，提出了云上大数据解决方案——数据中台业务模式，孵化输出Dataphin和QuickBI两款大数据平台型产品。

猫耳呀·2023-04-08 23:16

认识Spark

全部免费课程可在腾讯课堂查看：个人大数据平台的搭建与学习实践-PySpark-学习视频教程-腾讯课堂(qq.com)2-认识PySpark首先通过Spark官方文档的说明进行认识Spark，官网地址为：

NEO_X·2023-04-08 20:11

搭建HBase + Phoenix大数据平台

一、介绍因为代驾过程中，需要保存驾驶途中的GPS定位，将来计算代驾真实里程的时候，就需要用到这些坐标点。那么这些定位点保存在MySQL中可以吗？当然不行，MySQL单表记录超过两千万就卡的不行。那么保存在MongoDB中可以吗？也不行，因为MongoDB里面的条件查询真的是超级蹩脚，所以想要用复杂条件检索数据，还是打消用MongoDB的念头吧。除了GPS定位数据之外，还要把代驾过程中的聊天对话的文

chengbo_eva·2023-04-08 19:33

数据中台建设方案-基于大数据平台

数据中台建设方案-基于大数据平台-1数据中台建设方案1.1总体建设方案通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技TranswarpDataHub（TDH

FRDATA1550333·2023-04-08 17:03

【1】企业网络架构基础

文章目录网络宇宙企业网络连锁酒店网络解决方案中小学校园网络解决方案中小企业网络解决方案区县政府网络解决方案网络宇宙该课程涉及到的技术：领域：核心设备：企业网络企业网络架构很大程度上取决于企业或机构的业务需求。小型企业通常只有一个办公地点，一般采用扁平网络架构进行组网。这种扁平网络能够满足用户对资源访问的需求，并具有较强的灵活性，同时又能大大减少部署和维护成本。网络通常缺少冗余机制，可靠性不高，容易

wauyo·2023-04-08 11:57

智慧水务大数据平台-智慧水务建设方案

平台概述智慧水务大数据平台是以物联感知技术、大数据、智能控制、云计算、人工智能、数字孪生、AI算法、虚拟现实技术为核心，以监测仪表、通讯网络、数据库系统、数据中台、模型软件、前台展示、智慧运维等产品体系为支撑

唐山柳林·2023-04-08 11:45

从零开始学架构学习笔记

1、总览2、架构基础及原则2.1架构基础2.2架构原则及实施3、高性能架构模式3.1存储高性能数据库读写分离实现方式程序代码封装，比如AbstractRoutingDataSource中间件封装，如mysql-proxy

kgduu·2023-04-08 06:03

企业级Hadoop大数据平台实战（1）——认识Hadoop

文章目录一、什么是Hadoop二、Hadoop的优点三、核心架构四、HDFS交互关系五、Hadoop的常用模块六、HADOOP生态圈以及各组成部分的简介七、Hadoop的配置文件一、什么是HadoopHadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hado

CapejasmineY·2023-04-08 03:51

超算优化重在存储，DAOS助力瑞金打造先进的生信大数据平台

文章来源：头部科技【导读】「为什么说DAOS是为高算力匹配的高性能存储？」高性能计算（Highperformancecomputing，缩写HPC）又名超算，即以超强算力解决数据密集型的各类科学问题。早期的HPC主要用于解决国家级的、或重要基础学科里的科研项目难题，如美国在1960年代曾使用CDC超级计算机进行火箭设计等工作。而随着基于x86架构处理器的工业标准化集群的采用，HPC开始走向工业界，

大数网·2023-04-08 03:25

微服务之-ServiceMesh

今年，ServiceMesh(服务网格)概念在社区里头非常火，有人提出2018年是ServiceMesh年，还有人提出ServiceMesh是下一代的微服务架构基础。

Leonarde_WP·2023-04-07 22:05

制作一个简单HTML游戏网页（HTML+CSS）仿龙之谷网络游戏官网

IT芷君·2023-04-07 18:53

第一次企业咨询复盘

百度指数，搜狗指数，头条指数，360指数，微博指数等等大数据平台，确认一下关心此类产品的用户的画像是什么？他们还关注哪些其他领域？

花老板不吃闸机·2023-04-07 17:50

【大数据是什么】

大数据运维工程师数据仓库开发工程师ETL工程师大数据开发工程师BI工程师算法工程师大数据平台开发工程师大数据架构师讲述一下自己的大数据学习之路大数据是做什么的？

BigDataTuTu·2023-04-07 16:11

分布式技术剖析

随着企业数字化进程的进一步深入，企业为了解决大数据的“4个V”问题，往往需要构建多个不同技术栈的大数据平台，其中不乏会使用到分布式相关的存储、计算、资源管理技术。

星环科技·2023-04-07 13:04

三层架构基础知识

1.什么是三层？UI(表现层):主要是指与用户交互的界面。用于接收用户输入的数据和显示处理后用户需要的数据。BLL:(业务逻辑层):UI层和DAL层之间的桥梁。实现业务逻辑。业务逻辑具体包含：验证、计算、业务规则等等。DAL:(数据访问层):与数据库打交道。主要实现对数据的增、删、改、查。将存储在数据库中的数据提交给业务层，同时将业务层处理的数据保存到数据库。（当然这些操作都是基于UI层的。用户的

随逸星·2023-04-07 08:35

转行大数据未来发展怎么样？可行么

大数据开发工程师主要负责公司大数据平台的开发和维护、

我想去吃ya·2023-04-06 23:19

大数据平台核心架构图鉴，建议收藏！

我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多：从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同

架构文摘·2023-04-06 16:11

2019年10月18日

今天也在公司无所事事混过了一整天，不过小区提取算法的时间效率终于引起了众怒（x）目前有继续优化代码效率和改成在大数据平台上读写hive两种结局方案，先试试前者，实在不行再后者吧。

真昼之月·2023-04-06 15:31

一文带你了解算法背后的基本原理 | 推荐收藏

众所周知，大数据平台只是提供了数据获取、存储、计算、应用的技术方案，真正挖掘这些数据之间的关系让数据发挥价值的是各种机器学习算法如今，算法已经成为许多数字平台的核心资产。

辰哥爱学习·2023-04-06 12:34

统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？

开源大数据平台E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks

阿里云技术·2023-04-06 04:31

[3]云计算概念、技术与架构Thomas Erl-第7章云基础设施机制

云基础设施机制是云环境的基础构建块，它是形成基本云技术架构基础的主要构件。

alwaysuzybaiyy·2023-04-06 03:42

电力物联网大数据平台架构及应用

随着物联网、互联网+时代的到来，尤其是泛在电力物联网建设的推进，电网数据也呈现出海量、多样性等趋势，挖掘电网数据价值，助力电网服务水平的提升，拓展电网数据的创新应用，成为国网公司的核心引擎及新增长极。在介绍泛在电力物联网的基础上，阐述了电网数据的特征，并提出了泛在电力物联网大数据分析平台架构，探讨了关键技术，最后介绍了泛在电力物联网大数据的潜在应用。一、电力物联网近年来，随着国家高科技战略转型的落

wespten·2023-04-06 03:28

Classic AutoSAR架构基础入门(CP)

文章目录1.AutoSAR标准规范1.AutoSAR标准规范AUTOSAR主要分为三大层级：应用层（对应ASW）、RTE和基础软件BSW。主要模块如下图所示：从下至上Micorocontroller，硬件层，包括：CPU、Cache、SRAM内存、IO、外设(I2C，SPI，PWM)其余的部分作为第三层，称之为BasicSoftware基础软件(BSW)（1）SystemServices：包含OS

喜欢打篮球的普通人·2023-04-06 02:24

万字详解大数据架构新概念

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？

开源Linux·2023-04-05 17:20

我与ChatGPT又聊了聊：什么是真正的云原生大数据平台

图片来源|文心一格小智：传统大数据平台是什么样的？企业使用传统大数据平台有哪些弊端？小智：云原生为什么这么火？企业如何借助云原生实现数据驱动？

LinkTime_Cloud·2023-04-05 12:45

和ChatGPT聊了聊BDOS Online，结果……

PART.03你觉得BDOSOnline和其他大数据平台有什么区别？PART.04你能给我演示一下BDOSOnline的使用吗？小智说目前的大数据技术是强大的，但它们对于普通人来说仍然太难使用。

LinkTime_Cloud·2023-04-05 12:15

真正的云原生大数据平台，让Kubernetes又牛了一把

作为一款开源的容器编排引擎，始于2014年的Kubernetes一经推出就受到了开发者的喜爱，谁也不曾想到它会取得如此大的成功。如今，在云原生技术发展的浪潮中，Kubernetes作为容器编排领域的事实标准和云原生领域的关键项目，已经成为了云原生的标配。—1—Kubernetes横空出世：改写容器编排市场格局谈到Kubernetes，就绕不开Docker。2010年，一家名叫dotCloud的公司

LinkTime_Cloud·2023-04-05 12:14

智领云彭锋做客E企谈，深度分享云原生大数据技术在数字化转型的创新与发展前景（附视频）...

当前新一轮科技革命和产业数字化变革已步入高速发展阶段，云原生大数据平台作为企业发展的数字化底座，在保障数据安全、优化运维部署、降低经营成本等方面具有重要作用。

LinkTime_Cloud·2023-04-05 12:13

大数据实践的6个阶段，现在将大数据平台迁移至K8s上成为当务之急

原文作者|彭锋博士翻译|王龙飞2018年“Gartner数据管理技术成熟度曲线”报告中，DataOps的概念被首次提出，Gartner标记其目前在“极为初级”这个阶段里面，并预计需要5-10年的达到一个技术成熟时期。在最新的Gartner2022报告中，DataOps的概念已经进入第二阶段的“爆发增长”。Gartner预计一项技术从出现到公众熟知将经历以下的五个阶段：“极为初级”阶段一项潜在的技术

LinkTime_Cloud·2023-04-05 12:32

KafKa相关面试题（自行总结）

kafka的基本架构基础概念扫盲Producer消息生产者，是消息的产生源头，负责生成消息并发送给KafkaConsumer消息消费者，是消息的使用方，负责消费Kafk

Rosy Clouds丶霞·2023-04-05 12:01

《前端框架开发技术》HTML+CSS+JavaScript 制作个人简历模板

IT芷君·2023-04-05 11:02

阿里巴巴大数据-大数据技术专家-平台架构

长期招聘，简历投递：[email protected]岗位职责：•参与阿里巴巴大数据平台和数据中台建设，承担大数据智能研发平台整体架构工作•负责基础平台架构，大数据组件技术应用，探索，

扶至钦·2023-04-05 09:40

推荐频道

大数据平台-架构基础