大数据平台-架构基础

Apache Hudi使用简介

它旨在将Mysql中的数据以近实时的方式映射到大数据平台，比如H
youngflyer·2023-04-01 23:41

数据湖技术架构

这些公司通常采用开源的大数据组件来搭建大数据平台。大数据平台经历过“以Hadoop为代表的离线数据平台”、“Lambda架构平台”、“Kappa架构平台”三个阶段。
潘永青·2023-04-01 23:56

数字新基建之数据云

而数据库、数据仓库、大数据平台和数据云等基础软件，构成了企业和政府部门数字化转型的重要基础设施，即“数据基础设施”。
偶数科技·2023-04-01 19:48

Centos7.5+CDH 6.2搭建大数据平台

1.CDH介绍目前Hadoop比较流行的主要有2个版本，Apache和Cloudera版本。ApacheHadoop：社区人员比较多，更新频率比较快，但是稳定性比较差，安装配置繁琐，实际使用者少。ClouderaHadoop（CDH）：Cloudera公司的发行版本，基于ApacheHadoop的二次开发，优化了组件兼容和交互接口、简化安装配置、提供界面统一管理程序。2.ClouderaManag
歪理哥·2023-04-01 14:46

《从 0 开始学架构》精华总结-架构基础

声明：学习完李运华《从0开始学架构》，有一种醍醐灌顶，豁然开朗的感觉。为了能够对其概念有一个深入的理解，并且掌握其总结的方法论。特意对本课程做一个提炼，形成自己的知识体系。毕竟能给别人讲清楚了，才能说明自己真的掌握了。本文的引用仅限自我学习如有侵权，请联系作者删除。架构到底指什么？软件架构指的是软件系统的顶层结构。软件设计过程中，模块、对象、组件本质上是对一定规模软件在不同粒度和层次上的“拆分”方
快乐的一只程序猿·2023-04-01 11:31

《从0开始学架构》-第1部分-架构基础

目录01架构到底是指什么？02架构设计的历史背景03架构设计的目的04复杂度来源：高性能单台计算机内部为了高性能带来的复杂度多台计算机集群为了高性能带来的复杂度05复杂度来源：高可用高可用方案的本质冗余”带来的复杂性一、计算高可用二、存储高可用高可用状态决策1）独裁式2）协商式3）民主式思考题：高性能和高可用哪个更难？06复杂度来源：可扩展性07复杂度来源：低成本、安全、规模08架构设计三原则合适
unknown-null·2023-04-01 11:09

大数据专业前景怎么样？

大数据开发岗位分为平台研发岗位和行业场景开发岗位两大类，通常大数据平台研发岗位对于从业者的要求相对比较高属于研发级岗位，而大数据行业应用场景开发则相对要容易一些。
我想去吃ya·2023-04-01 11:19

大数据平台测试-软件测试常见面试回答（持续更新）

面试造航母，入职拧螺丝。面试，讲点面试官想听的。。。1、你有过漏测的经历吗？答：这道题肯定是回答有。然后展开描述。就类似面试官问你印象比较深的一个bug。。。测试无穷尽，质量也并非测试一个岗位的责任，软件开发过程每一个环节都有可能出问题，所以此题不是考你能力的问题2、说一下的你的职业规划？答：因为我面试的自动化的岗位，所以，我短期希望尽快熟悉我的工作内容，适应公司节奏，根据公司长期发展提升自己的专
软件测试李同学·2023-04-01 10:59

数据中台解决方案-最新全套文件

最新全套文件一、建设背景面临的挑战1、数据孤岛2、管理困难3、感知不强4、融合不足5、响应滞后二、思路架构三、建设方案四、获取-数据中台全套最新解决方案合集一、建设背景在数字化转型及大数据战略布局背景下，建设大数据平台及数据应用
方案365·2023-04-01 10:50

2023大数据开发就业前景怎么样？

大数据开发工程师主要负责公司大数据平台的开发和维护、相关工具平台的架构设计与产品开发、网络日志大数据分析、实时计算和流式计算以及数据可视化等技术的研发和网络安全业务主题建模等工作。
泰迪智能科技·2023-04-01 10:45

浅谈数据仓库架构设计

这个架构是构建在传统的架构基础之上，对传统架构的一种新的发展。数据中台从企业的视角出发，要求企业在构建数据仓库到决策支持系统的过程中构建一个服务型的架构。
阿里云技术·2023-04-01 09:38

读书笔记丨《数据产品经理修炼手册:从零基础到大数据产品实践》丨DAY4

Hadoop是一个分布式系统基础架构，现在被广泛地应用于大数据平台的开发，对处理海量数据有着其他技术无可匹敌的优势。
Ray_Shawn·2023-04-01 02:17

【Hadoop大数据平台组件搭建系列（二）】——Sqoop组件配置

简介本篇介绍关于Hadoop大数据平台组件中sqoop组件的搭建软件版本信息sqoop-1.4.7.bin__hadoop-2.6.0.tar.gzmysql-connector-java-5.1.47
whoDDD·2023-03-31 19:07

云原生数据中台技术与趋势解读

数据中台发展至今，大体经历了4个重要阶段：数据库-数据仓库-大数据平台-数据中台。每次新的变革，都是为了解决上一阶段存在的问题。当前，走向云原生成为数据中台的必然和必须。01、云原生从何而来？
奇点云·2023-03-31 18:20

DLink 流批一体技术架构及优势 | 滴普科技FastData系列解读

一、引言在上期的两篇连载文章中，我们分析了Lambda和Kappa架构固有的一些问题，同时也引出了流批一体架构的优势，本文就FastData流批一体大数据平台DLink，如何基于Flink+Iceberg
滴普科技·2023-03-31 18:15

11.11电商人群洞察：是哪些人在创造千亿奇迹？

个灯通过个推大数据平台，研究分析了近两年11.11期间电商类APP活跃人群，结合线下调研结果，对11.11电商消费者进行了多维度的洞察，希望能给品牌主们提供科学参考。
广告人宝妹·2023-03-31 15:31

01.java后台三层架构

1.后台三层架构基础知识梳理后台三层架构的知识梳理所谓的三层开发就是将整个业务应用划分为表现层，业务逻辑层，数据访问层，这样有利于系统的开发，维护，部署和拓展后台三层架构的目的是三层架构的划分实现了"高内聚
小白迷上java·2023-03-31 15:38

中康科技黄毅宁：AI+医疗，于我而言是圆梦

基于此，中康科技借助百度飞桨深度学习、文心大模型等人工智能技术，结合自研的数据采集网络、大数据处理技术与生态化的健康产业平台，打造“基于文心大模型的AI临床科研大数据平台”。
飞桨PaddlePaddle·2023-03-31 14:21

中康科技黄毅宁：AI+医疗，于我而言是圆梦

基于此，中康科技借助百度飞桨深度学习、文心大模型等人工智能技术，结合自研的数据采集网络、大数据处理技术与生态化的健康产业平台，打造“基于文心大模型的AI临床科研大数据平台”。
飞桨PaddlePaddle·2023-03-31 14:21

什么是NFV

NFV架构基础网络虚拟化架构（NetworkFunctionsVirtualizationInfrastructure,NFVI）虚拟网络功能（VirtualNetworkFunctions,VNF）管理自动化及网络编排
_李少侠_·2023-03-31 13:58

架构设计参考项目系列主题：大数据平台核心架构图鉴

本文转自：Java技术栈目录一、数据采集二、数据存储与分析三、数据共享四、数据应用五、实时计算六、任务调度与监控我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多：从这张大数据的整体架构图上看来
LarryHai6·2023-03-31 12:13

大数据架构演进

，开始使用大数据工具来代替经典数仓中的传统工具此时仅仅是工具的取代，架构上并没有根本的区别，可以把这个架构叫做离线大数据架构1.3Lambda架构后来随着业务实时性要求的不断提高，人们开始在离线大数据架构基础上加了一个加速层
「miraitowa」·2023-03-31 08:30

CDH大数据平台 18Cloudera Manager Console之hue配置ldap(markdown新版)

个人主页：@与自己作战作者简介：CSDN@博客专家、CSDN@大数据领域优质创作者、CSDN@内容合伙人、阿里云@专家博主希望大佬们多多支持，携手共进如果文章对你有帮助的话，欢迎评论点赞收藏加关注⛔如需要支持请私信我，必支持文章目录一、hue添加ldap配置1、ldap_url配置2、关闭启用LDAPTLS3、LDAP服务器CA证书4、LDAP搜索基础5、LDAP绑定用户可分辨名称6、LDAP绑定
与自己作战·2023-03-31 08:20

大数据采集主流平台架构对比分析汇总

今天为大家介绍几款数据采集平台：ApacheFlumeFluentdLogstashChukwaScribeSplunkForwarder大数据平台与数据采集任何完整的大数据平台，一般包括以下的几个过程
乐投网·2023-03-31 08:24

大数据平台架构及主流技术栈

互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据，如何存储？如何计算？各大互联网巨头都进行了探索。Google的三篇论文GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。在此过程中，无数互联网工程师基于自己的实践，不断完善和丰富Ha
Alex_81D·2023-03-31 07:47

CDH大数据平台 27Cloudera Manager Console之superset之Python相关包安装(markdown新版一)

个人主页：@与自己作战作者简介：CSDN@博客专家、CSDN@大数据领域优质创作者、CSDN@内容合伙人、阿里云@专家博主希望大佬们多多支持，携手共进如果文章对你有帮助的话，欢迎评论点赞收藏加关注⛔如需要支持请私信我，必支持文章目录一、Python相关包安装1、确保安装配置文件2、创建Python和superset文件夹3、安装配置Python并编译3.1下载安装3.2解压配置3.3编译<
与自己作战·2023-03-31 07:14

基于Apache doris怎么构建数据中台(六)-数据服务管理

很多时候大数据平台服务都是提供了数据分析的能力，分析的结果可以导出Excel，或直接查表
张家锋·2023-03-31 07:11

Airflow安装指南（精华版）

该原创文章同步发表在我的个人公众号：Hadoop非权威指南，欢迎关注airflow是一款大数据平台任务调度的开源工具，优雅的可视化操作深得人心，话不多说，直接附上安装教程（由于比较简单，不附图了，后续考虑写一篇小白版
moon_love_banana·2023-03-31 07:13

从零开始学架构--读书笔记

文章目录一、架构基础1.1、概念与基础1.2、架构设计原则1.3、架构设计流程二、高性能架构2.1、存储高性能2.1.1、关系数据库2.1.2、NoSQL2.1.3、缓存2.2、计算高性能2.2.1单机计算高性能
sun_abcd·2023-03-31 06:21

大数据架构选型与设计

大数据架构选型与设计1.1如何构建大数据平台？
回忆de天空·2023-03-31 01:07

云原生数据中台：第7章 数据中台的架构

与传统的大数据平台不同，数据中台搭建于大数据平台及数据仓库之上，将大数据平台和数据仓库所实现的功能以通用数据能力的形式提供给企业的所有部门。
四月天03·2023-03-30 23:28

Hadoop大数据平台构建与应用

Hadoop大数据平台构建与应用第一章大数据与Hadoop平台技术文章目录Hadoop大数据平台构建与应用前言一、大数据时代二、大数据关键技术三、大数据涉及的主要软件四、Hadoop平台技术的生态总结前言
风吹散了仙·2023-03-30 23:52

大数据技术原理与应用Hadoop篇-初始hadoop

www.cloudera.com/3.hortonworkshadoop(HDP)https://hortonworks.com4.MapRhttps://mapr.com/5.fusionInsighthadoop（华为大数据平台
诺特兰德·2023-03-30 23:50

springcloud教程 -- 1.快速搭建入门级demo,看这一篇就够了

跟紧我，开启你的SpringCloud初体验首先回顾微服务的基本组成：[图片here]生产者：提供服务消费者：消费服务服务注册/发现中心：服务注册，发现，监控所以，首先明白springcloud微服务的架构基础
叶巨岩·2023-03-30 22:07

MVC三层架构基础及高级开发

什么是MVCMVC：Model、view、Controller（实体、视图、控制器）以前的框架弊端用户直接访问控制层，控制层就可以直接操作数据库；控制器代码非诚臃肿，需要处理请求、响应、视图跳转、处理JDBC、处理业务代码、处理逻辑代码解决将控制器任务划分成两层，分别完成是Controller与Service现在的框架ModelService：业务处理Dao：数据持久层View展示数据Contro
后端漫漫·2023-03-30 21:51

大数据平台搭建技术底座 掘金移动互联等行业

大数据平台是从各种类型的、漫无边际的数据中，快速获得有价值信息的处理方法或框架。大数据中的“大”不是大数据的唯一指标，而是更强调数据的类型多样、处理的速度和获取价值的能力。
cigang4063·2023-03-30 20:59

Oracle 关联表更新

背景：根据甲方要求，需要对大数据平台指定表(hive、impala表)的历史数据[2021-01-01至2023-03-29]指定字段进行批量更新，然后把表同步到Oracle。
AllenGd·2023-03-30 20:15

hive表数据更新insert overwrite/merge into

背景：根据甲方要求，需要对大数据平台指定表(hive、impala表)的历史数据[2021-01-01至2023-03-29]指定字段进行批量更新，然后把表同步到Oracle。
AllenGd·2023-03-30 20:15

标签体系及应用方法论，一文读懂

企业在采购大数据平台时为了结合一些应用场景，普遍上架了客户标签和客户画像项目。这些项目有没有起到预期效果？标签应用与大数据平台如何有效结合？标签和画像到底有什么关系？
公众号:肉眼品世界·2023-03-30 20:27

大数据计算生态之数据计算（二）

本系列文章拟以大数据平台从低到高的层次为主线，梳理整个大数据计算生态组件及其功能。在[大数据计算生态之数据计算（一）]中介绍了批处理和流处理中的各个存储组件的分类及功能。
程小舰·2023-03-30 17:07

大数据计算生态之数据存储

本系列文章拟以大数据平台从低到高的层次为主线，梳理整个大数据计算生态组件及其功能。
程小舰·2023-03-30 16:37

大数据计算生态之数据计算（一）

本系列文章拟以大数据平台从低到高的层次为主线，梳理整个大数据计算生态组件及其功能。在[大数据计算生态之数据存储]中介绍了存储层中的各个存储组件的分类及功能。
程小舰·2023-03-30 16:37

EMQ X+TDengine 搭建 MQTT 物联网可视化平台

物联网数据采集涉及到大量设备接入、海量的时序数据传输，EMQXMQTT服务器与TDengine大数据平台的组合技术栈完全能够胜任场景中的海量时间序列监测数据的传输、存储和计算。
EMQX·2023-03-30 14:56

单细胞入门【3】：好用不踩坑的单细胞数据库合集

CDCP单细胞组学平台（CDCP）是国家基因库生命大数据平台（C
尐尐呅·2023-03-30 13:07

企业数据存储方式发展趋势：数据仓库-大数据平台-数据湖-湖仓一体

早期系统采用关系型数据库来存放管理数据，随着大数据技术兴起，人们对数据分析的需求愈加强烈，于是可以面向分析、集成大量数据的数据仓库（DW）诞生，虽然可以提供保存大量数据，但存储、计算成本相对较高，不好做分布式计算；之后出现的大数据平台可以提供完善的大数据分析基础运行环境
嘉得乐·2023-03-30 13:59

【数据架构系列-03】数据仓库、大数据平台、数据中台... 我不太认同《DataFun数据智能知识地图》中的定义

关注DataFunTalk有2年多了，DataFun确实像创始人王大川讲的那样，践行选择、努力和利他原则，专注于大数据、人工智能技术应用的分享与交流，秉承着开源开放的精神，免费的共享了很多有营养的行业实践专业知识，对于这样有情怀的团队真心希望他们越办越好。2022年底DataFun发布《DataFun数据智能知识地图》，一看就做得很用心，内容涵盖数据采集与治理、数据架构、数据能力、数据应用等四大领
zhulangfly·2023-03-30 12:48

架构功能图

支付系统架构图为通用支付...平台数据架构流程图标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,
ixiaoyang8·2023-03-30 11:38

Nginx架构基础

1.写在前面前面的内容我们介绍Nginx的一些的基础内容，今天我们继续深入Nginx的介绍，主要介绍下Nginx的架构的基础。2.Nginx的请求处理流程Web、Email以及TCP流量通过Nginx的传输层状态机，经过HTTP状态机，然后再经过Mail状态机，然后将对应的流量发到对应的代理中，在这个过程中静态资源会缓存到磁盘中去，同时Access访问日志Error错误日志。中间经过的主要是非阻塞
了不起的盖茨比。·2023-03-30 10:15

架构基础背题模式

软件架构风格是描述某一特定应用领域中系统组织方式的惯用模式。架构风格反映领域中众多系统所共有的结构和(语义)，强调对架构(设计)的重用。软件架构设计包括提出架构模型、产生架构设计和进行设计评审等活动，是一个迭代的过程。架构设计主要关注软件组件的结构、属性和交互作用，并通过多种视图全面描述特定系统的架构。基于软件架构的开发(ArchitectureBasedSoftwareDevelopment，A
怪异的bug·2023-03-30 06:26

数据仓库：金融/银行业的分层架构篇

为什么要对数据仓库进行分层自从大数据平台hadoop及其技术火起来
Freedom3568·2023-03-30 01:52
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他