大数据架构设计理论

2018-12-23 中学物理教师研究数学问题获得国家自然科学奖一等奖

澎湃新闻12-2212:161983年，中国数学家陆家羲在国际上发表了关于不相交斯坦纳三元系大集的系列论文，解决了组合设计理论研究中多年未被解决的难题。
赵雪奎·2023-04-04 23:44

少儿编程课程设计理论（可用做论文）

少儿编程和计算思维前言本文的内容主要是对少儿编程教育涉及的额概念和有关理论进行分析阐述，并以python少儿编程教育为例，明确学习理论和课程设计模式，以及课程设计的载体。一、编程概念编程的初衷是利用计算机的优势帮助人类解决实际生活问题，通过特定的计算机语言进行人机交互。计算机科学家图灵奖得主Edsger.Dijkstra曾经说过“工具影响思维方式和思维习惯，从而能深刻影响我们思维能力”。而最早由瑞
茨球是只猫·2023-04-04 21:41

c语言的thread的用法,C++并发编程实战 part2 thread基本用法

前言本章讲述thread的基本用法Managingthreads总体而言，C++设计理论是让thread管理变得简单。所有与之相关的管理都通过std::thread对象关联thread资源。
张一弘·2023-04-04 09:59

大数据架构方案 - Flink+Iceberg实时数据湖

导读：ApacheFlink是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么，当ApacheFlink遇见数据湖时，会碰撞出什么样的火花呢？本次分享主要包括以下核心内容：数据湖的相关背景介绍经典业务场景介绍为什么选择ApacheIceberg如何通过Flink+Iceberg实现流式入湖社区未来规划工作一、数据湖的相关背景介绍数据湖是个什么概念呢？一般来说我
neil1314·2023-04-04 03:16

[RPi bring up] 深入树莓派内部，arm汇编语言精粹（上）

2022/12/31/20221231_rpi_internals_assembly_the_good_parts_1/阅读本文您不需要掌握的知识有高深的操作系统理论高深的计算机体系结构理论高深的程序设计理论阅读本文您需要具备
sdfui32iruiwed·2023-04-03 18:41

万字详解大数据架构新概念：湖仓一体

随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？二者是水火不容还是其实可以和谐共存，甚至互为补充？本文作者来自阿里巴巴计算平台部门，深度参与阿里巴巴大数据/数据中台领域建设，将
公众号:肉眼品世界·2023-04-03 17:51

架构设计与技术选型

一、顶层架构Linux/Windows平台、CS/BS架构、大数据架构、应用领域（游戏、互联网、传统行业等）二、CS中的Client的技术选型1、GUI开发技术（1）微软技术体系MFC、WinForm、
ysds20211402·2023-04-03 11:26

平面设计基础课程（好奇情感设计 伴生花） - 草稿

作者：李瑞琦动画1702指导：余永海《课程·平面设计基础》课程初步学习了情感设计理论和视觉传达设计方法，以虚拟角色为创作对象，最终完成了以下图形创作作品，欢迎指导一、好奇情感设计伴生花图片发自App尼禄
阿夏啊啊啊啊·2023-04-03 00:05

大数据架构新解

大数据系统大体可以分成以下四个部分：1，数据采集层2，数据计算层3，数据服务层4，数据应用层下图是阿里巴巴大数据系统架构图：一、数据采集层数据采集主要分成以下三块数据：1，Web端日志2，App端日志3，第三方数据（比如mysql增量数据同步）Web端和App端的日志数据都需要制定各个场景下的埋点规范，用来满足各种通用业务场景下（比如浏览、点击等）的数据分析。Web端和App端数据采集一般都有各自
lloyd_chou·2023-04-02 23:03

大数据架构简介

大数据技术其实是分布式技术在数据处理领域的创新性应用，其本质和此前讲到的分布式技术思路一脉相承，即用更多的计算机组成一个集群，提供更多的计算资源，从而满足更大的计算压力要求。大数据技术讨论的是，如何利用更多的计算机满足大规模的数据计算要求。大数据就是将各种数据统一收集起来进行计算，发掘其中的价值。这些数据，既包括数据库的数据，也包括日志数据，还包括专门采集的用户行为数据；既包括企业内部自己产生的数
朝闻道-夕死可矣·2023-04-02 23:24

大数据架构

Lambda架构架构中含有离线处理与实时处理两条链路，两条链路处理数据导致数据不一致等Kappa架构Kappa架构真正的实时数仓，目前在业界最常用实现就是Flink+KafkaKappa存在问题Kafka无法支持海量数据存储。对于海量数据量的业务线来说，Kafka一般只能存储非常短时间的数据，比如最近一周，甚至最近一天。Kafka无法支持高效的OLAP查询，大多数业务都希望能在DWD\DWS层支持
阳光-星辰大海·2023-04-02 23:29

MySQL数据库总体知识架构

一、关系型数据库设计理论一些重要术语属性（attribute）：列的名字，我们在开发中一般称为字段依赖（relation）：字段之间存在的关系元祖（tuple）：每一个行，如第二行（1301，小明，13
正经人z.·2023-04-02 16:19

Chaya虚拟机学习 —— 启用Docker遇到的Bug

由于最近在学习有关大数据架构开发的内容，自己的手提电脑不太给力，只有8G内存，对于VMWare很吃力，再加上感觉老师上课的步骤过于繁琐，所以打算从VMWare跳转到Docker来安装虚拟机来减少电脑运行的压力
ExcellentChaya·2023-04-02 15:48

Chaya大数据架构综合实践课程学习 ——— Openresty安装

使用环境：VMWare15.5Centos7虚拟机MobaXterm_Portable_v22.0一、下载Openresty相关依赖##下载Openresty依赖yuminstallreadline-develpcre-developenssl-develgcc##下载Openresty仓库yum源wgethttps://openresty.org/package/centos/openresty
ExcellentChaya·2023-04-02 15:39

深度剖析 | 基于大数据架构的BI应用

说起互联网、电商的数据分析，更多的是谈应用案例，如何去实践数据化管理运营。而这里，我们要从技术角度分享关于数据的技术架构干货，如何应用BI。原文是云猴网BI总经理王卫东在帆软大数据上的演讲，以下是整理的文字稿。在电商领域，我们一般认为所有的数据都可以分为四大类型，流量、销量、商品和会员，这也是最基础的报表需求。流量部分，可以分为受访、点击、搜索、来源等等。这些流量信息运用的重点在于一些广告包括一些
Leo.yuan·2023-04-02 04:00

如何估算集群所需的存储、计算资源？

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友们好，我是你的老彭友。最近有位朋友在群里问：怎么预估大数据集群所需的内存容量？
大数据架构师Evan·2023-04-01 22:47

***RESTful API 设计指南（阮一峰）

RESTfulAPI是目前比较成熟的一套互联网应用程序的API设计理论。我以前写过一篇《理解RESTful架构》，探讨如何理解这个概念。今天，我将介
weixin_33749242·2023-04-01 19:36

RESTful API 设计指南 - 作者： 阮一峰 日期： 2014年5月22日

RESTfulAPI是目前比较成熟的一套互联网应用程序的API设计理论。我以前写过一篇《理解RESTful架构》，探讨如何理解这个概念。今天，我将介
限量发行x·2023-04-01 19:07

大数据架构详解_数据中台架构下的大数据应用

有了数据中台，数据在信息化体系中不再是分散、凌乱、重复的存在，系统可以对数据进行实时的分类、整理、加工，使其成为清晰有序、有条理、有脉络的有用信息。这些数据可以进一步分享给业务应用系统以开展数据应用和实现数据变现，结果将通过前端展现系统以多样化、可视化的形式展现出来。1、数据中台彻底消除企业的信息孤岛问题将企业的内部和外部数据、结构化和非结构化数据实时地汇集到一起，这就从源头上解决了大数据应用中的
weixin_39933414·2023-04-01 07:04

深入理解大数据架构之——Lambda架构

原文链接：https://jiang-hao.com/articles/2019/big-data-lambda-architecture.html“我们正在从IT时代走向DT时代(数据时代)。IT和DT之间，不仅仅是技术的变革，更是思想意识的变革，IT主要是为自我服务，用来更好地自我控制和管理，DT则是激活生产力，让别人活得比你好”——阿里巴巴董事局主席马云。传统系统的问题数据量从M的级别到G的
Heriam·2023-04-01 06:48

hive表直接入库本地mysql，用udf从将hive的查询结果直接写入mysql数据库中

首先先介绍一下背景，博主是hadoop大数据小白一枚，相信也有很多自学的大数据的人都跟我处境一样，在很多人已经在讨论大数据架构，实时分析，离线分析，优化等等问题的时候，我们还在闭门造车地玩着手里的那套hdfs
玉羽凌风·2023-04-01 06:07

视频教程-热更新框架设计之客户端热更框架(中部)视频课程-Unity3D

具备深厚编程语言经验，在国内上市企业做项目经理、研发经理，熟悉企业大型软件运作管理过程、软件架构设计理论。
weixin_33977566·2023-03-31 20:08

视频教程-Unity客户端框架设计PureMVC篇视频课程(上)-Unity3D

具备深厚编程语言经验，在国内上市企业做项目经理、研发经理，熟悉企业大型软件运作管理过程、软件架构设计理论。
weixin_33997425·2023-03-31 20:08

视频教程-虚拟现实之汽车模拟仿真项目开发-Unity3D

具备深厚编程语言经验，在国内上市企业做项目经理、研发经理，熟悉企业大型软件运作管理过程、软件架构设计理论。
weixin_33727250·2023-03-31 20:07

图解react设计理论基础

根据这篇文章翻译总结https://github.com/reactjs/react-basic，通过这篇作者的理论体系我们基本能够推导出react的原型，这才是react的精华所在；我总结的思维导图的形式能够更好的帮助大家理解；如果代码不够清楚请看原文，点击可以可以看大图；大家看图的顺序请按照右上->右下->左上->左下的顺序，这样才能由浅入深，循循渐进的理解点击查看原图
slalx·2023-03-31 20:02

大数据基础课03 阿里美团这些大厂都在用什么大数据架构？

首先，我想讲一个叫庖丁解牛的故事，想必你应该听过。庖丁从开始杀牛，到他的故事被写下，操刀十九年，杀了数千头牛。也正是由于丰富的实践经验，他总结出了解杀牛的方法论：依照牛生理上的天然结构，砍入牛体筋骨相接的缝隙，顺着骨节间的空处进刀。依照牛体本来的构造，筋脉经络相连的地方和筋骨结合的地方，都不曾被刀碰到过，更何况大骨呢！这样，能够顺利地把牛解开，还不会对刀造成损害。所以，他明白了最核心的思维，即顺应
办公模板库 素材蛙·2023-03-31 17:15

Restful API 的接口规范

这导致API构架的流行，RESTfulAPI是目前比较成熟的一套互联网应用程序的API设计理论。
zhoupenghui168·2023-03-31 13:35

大数据架构演变之路

一、JavaWeb为什么需要大数据二、数据库-OLTP&数据仓库-OLAP三、大数据架构演变1.传统离线大数据架构2.Lambda架构（离线处理+实时链路）离线数仓+实时数仓3.Kappa架构四、架构选择五
紫罗兰盛开·2023-03-31 08:35

大数据架构演进

1、数仓架构演变（场景驱动）1.1经典数仓架构数据仓库概念是Inmon于1990年提出并给出了完整的建设方法1.2离线大数据架构随着互联网时代来临，数据量暴增，开始使用大数据工具来代替经典数仓中的传统工具此时仅仅是工具的取代
「miraitowa」·2023-03-31 08:30

大数据系统架构包含内容涉及哪些?

大数据架构是大数据技术应用的一个非常常见的形式，那么大数据系统架构包含内容涉及哪些?下面我们就来具体了解一下。1、数据源所有大数据架构都从源代码开始。
qq_38397646·2023-03-31 08:23

大数据架构与技术——（一）大数据概述

文章目录1.1大数据时代1.1.1第三次信息化浪潮1.1.2信息科技为大数据时代提供技术支撑1.1.3数据产生方式的变革促成大数据时代的来临1.1.4大数据的发展历程1.2大数据概念1.2.1数据量大1.2.2数据类型繁多1.2.3处理速度快1.3大数据的影响1.4大数据的应用1.5大数据关键技术1.6大数据计算模式1.7大数据产业1.8大数据与云计算、物联网的关系1.8.1云计算1.8.2物联网
TUTOU程序猿·2023-03-31 07:14

网易研选大数据架构演进

猜你喜欢0、【免费下载】2022年1月份热门报告盘点&下载1、微信视频号实时推荐技术架构分享2、从零开始搭建创业公司后台技术栈3、全民K歌推荐系统算法、架构及后台实现4、微博推荐算法实践与机器学习平台演进5、腾讯PCG推荐系统应用实践6、强化学习算法在京东广告序列推荐场景的应用7、飞猪信息流内容推荐探索8、华为项目管理培训教材9、美团大脑系列之商品知识图谱的构建和应用今天给大家带来网易严选数据和算
智能推荐系统·2023-03-31 07:10

架构-大数据架构-阿里

大数据架构大数据框架从0到1整个过程的实现，根据本博客内容，可以实现整个大数据基本搭建，只是大概步骤，供学习参考。
Bruce.Tang·2023-03-31 07:26

大数据架构演变

大数据架构演变一、传统离线大数据架构二、Lambda架构（离线处理+实时链路）-传统实时开发三、Lambda架构（离线数仓+实时数仓）四、Kappa架构五、架构选择：六、湖仓一体（流批一体）实时数仓架构七
LG_985938339·2023-03-31 07:15

【珍藏版】⼤数据中台架构及解决⽅案

持续输出敬请关注大数据架构湖仓一体化流批一体离线+实时数仓各种大数据解决方案各种大数据新技术实践持续输出敬请关注⼤数据平台基础架构及解决⽅案_大数据研习社的博客-CSDN博客https://blog.csdn.net
大数据研习社·2023-03-31 06:59

云原生大数据架构中实时计算维表和结果表的选型实践

一前言传统的大数据技术起源于Google三架马车GFS、MapReduce、Bigtable，以及其衍生的开源分布式文件系统HDFS，分布式计算引擎MapReduce，以及分布式数据库HBase。最初的大数据技术与需求往往集中在超大规模数据存储、数据处理、在线查询等。在这个阶段，很多公司会选择自建机房部署Hadoop的方式，大数据技术与需求集中在离线计算与大规模存储上，常见的体现方式有T+1报表，
阿里云技术·2023-03-31 02:53

大数据架构-流批一体发展演进

目前，有哪些主流大数据架构模式及其发展？今天，我们都会一一解读，并介绍如何结合云上存储、计算组件，实现更优的通用大数据架构模式，以及该模式可以涵盖的典型数据处理场景。
IT转型指北·2023-03-31 02:44

大数据架构师应该做到的

----github地址----关于软实力部分同步会更新场景落地----直接访问ProcessOn脑图请点击----高清大图----脑图文件技能图大数据架构师该掌握的技能主要分为两块硬能力与软实力一.平台建设二
oHouShanRen1·2023-03-31 01:16

大数据架构选型与设计

大数据架构选型与设计1.1如何构建大数据平台？
回忆de天空·2023-03-31 01:07

flink在企业IT架构中如何定位-在选型流批一体技术与大数据架构时的避坑指南

前言先放出本文的结论：讨论流批一体不该分系统去讨论谁该去负责和拥用这个流批一体，而是应该考虑业务系统要有流批一体架构同时大数据也必须要有流批一体架构。两者都不应该说：这是我独有的法宝。而当遇有特殊场景时又需要共用“一条流”来做流批一体。落笔这篇文章比较难，写什么呢？写架构设计？这倒不是最重要的，因为一家企业的技术架构只是次要的，而企业架构才是最重要的。企业架构才能决定技术架构。企业架构如果走偏根本
TGITCIC·2023-03-31 01:41

【大数据架构】-- 开源框架技术汇总

1.系统平台Hadoop、CDH、HDP、BigTop2.监控管理CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle3.文件系统HDFS、GPFS、Ceph、GlusterFS、Swift、BeeGFS、Alluxio4.资源管理YARN、Mesos、K8s5.协调框架ZooKeeper、Etcd、Consul6.数据存储HBase、Cassandra、S
high2011·2023-03-30 18:07

人工智能的三层基本架构_几种软件架构

几种软件架构一．阿里云大数据架构二．今日头条推荐算法架构推荐系统，如果用形式化的方式去描述实际上是拟合一个用户对内容满意度的函数，这个函数需要输入三个维度的变量。第一个维度是内容。
weixin_39969568·2023-03-29 23:17

大数据架构设计与数据计算流程

大数据架构设计技术架构Hadoop有3个核心组件：分布式文件系统HDFS；分布式运算编程框架MapReduce；分布式资源调度平台YARN。
李景琰·2023-03-29 23:00

GE的Predix 设计体系

本篇译文来自GE（通用电气）的用户体验团队，介绍如何基于原子设计理论打造他们新的设计体系，帮助我们了解如何实际应用原子设计理论。
瓦力UX·2023-03-29 21:45

六边形架构设计理论

理论支撑六边形架构消费者驱动契约CQRS模型概念(POJO、DTO、Query、Command、Result、Entity)文章目录理论支撑六边形架构概念消费者驱动契约CQRS模式模型概念(POJO、DTO、Query、Command、Result、Entity、Bean)六边形架构概念  从分层架构到六边形架构，将系统划分为外层和内层，一个系统包括适配器和应用程序，由各种适配器负责应用程序与外界
其实｀挺好·2023-03-29 19:50

电商数据应用体系建设总结（一）—— 数据应用架构剖析

从整个大数据架构来看，它处于整个大数据体系的最上层，也就是数据应用层，以我所参与开发的电商业务数据应用为例，在这一层主要有以下几种类型的数据应用：数据应用架构整个电商数据应用架构可以
Viking_bird·2023-03-29 16:32

企业级业务架构设计理论与方法

本文首发微信公众号：码上观世界。导读企业架构转型是企业数字化转型的重要抓手和实施手段，而企业业务架构设计是企业架构设计的重要内容和决定部分，是衔接企业战略和IT项目的桥梁。而如何通过业务架构顺利落地企业战略，本文认为基于流程规划设计是破解难题的康庄大道，而企业组件模型设计是流程设计之路上的关键“爆破点”。本文从业务概念开始理清企业级业务架构涉及的理论和方法。目录1业务架构基本概念2业务架构设计指导
咬定青松·2023-03-29 11:12

DDD架构

DDD是一套完整而系统的设计理论与方法，使得你的设计思路能够更加清晰，设计过程更加规范。
造 山·2023-03-29 06:47

【大数据架构】浅谈数据中台

数据中台背景大环境背景近几年较火的数字化转型，很多企业也从信息化到数字化。信息化时代：是信息化为物理世界活动服务的；更多的是为物理世界活动提升效率。例如我们现在很多系统其实也是信息化，例如OA系统、政府线上办理平台、医疗平台等等。数字化时代：物理世界的物在为数字世界服务，同时数字实际也在服务物理世界，形成闭环。例如我们获取了业务数据进行分析后，智能推荐又服务于物理世界，形成闭环。数字化是信息化的升
mmoo296225053·2023-03-29 06:54

Lambda架构

Lambda架构->实时数仓目前大数据架构已经走向了数据湖时代，无论是单纯的批处理模式，还是同时支持实时和离线数据处理的Lambda架构都已经过时。均不再适应现在大数据的业务发展需要。
锋火连天·2023-03-28 23:00
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他