台架第12页

大数据技术架构_建设大数据中台架构思考与总结

简介本文介绍完善的大数据中台架构了解这些架构里每个部分的位置，功能和含义及背后原理及应用场景。帮助技术与产品经理对大数据技术体系有个全面的了解。

weixin_39599705·2023-04-01 07:33

大型网站后台架构的Web Server与缓存

1.1WebserverWebserver用来解析HTTP协议。当web服务器接收到一个HTTP请求时，会返回一个HTTP响应，例如送回一个HTML页面。为了处理一个请求，web服务器可以响应一个静态页面或者图片。进行页面跳转，或者把动态响应的产生委托给一些其它的程序完成，比如CGI,JSP,Servlets,ASP.NET，PHP脚本。当用户访问一个网站时，首先用户通过查询DNS服务器，得到该域

wapysun·2023-04-01 06:15

网易考拉规则引擎平台架构设计与实践

此文已由作者肖凡授权网易云社区发布。欢迎访问网易云社区，了解更多网易技术产品运营经验。背景考拉安全部技术这块目前主要负责两块业务：一个是内审，主要是通过敏感日志管理平台搜集考拉所有后台系统的操作日志，数据导入到es后，结合storm进行实时计算，主要有行为查询、数据监控、事件追溯、风险大盘等功能；一个是业务风控，主要是下单、支付、优惠券、红包、签到等行为的风险控制，对抗的风险行为包括黄牛刷单、恶意

jessicaiu·2023-04-01 05:15

Code：美团代码托管平台的演进与实践

1.引言2.美团代码托管平台建设之路2.1代码托管平台的发展史3.美团代码托管平台架构演进的落地和挑战3.1扩展性目标3.2可用性目标4.总结5.未来展望1.引言Code是美团自研的代码托管平台

美团技术团队·2023-04-01 02:44

机器学习平台架构系列-1-klubeflow

开源系列cube开源一站式云原生机器学习平台：https://blog.csdn.net/luanpeng825485697/article/details/123619334github:https://github.com/tencentmusic/cube-studiokubeflow参考官网：https://www.kubeflow.org/docs/started/参考：https://

愚昧之山绝望之谷开悟之坡·2023-03-31 22:07

平台架构与应用架构的区别

架构设计按照应用的层级来分，大致有中间件平台架构与应用架构。如果可以了解两种架构设计的核心关注点，则可以设计出更加满足需求的产品来。二者的核心关注点异同大致如下。

weixin_34185560·2023-03-31 21:51

云原生数据中台前言

云原生数据中台架构、方法论、实践作者：彭锋宋文欣孙浩峰著前言：数据中台需要承载的任务：打通企业各个部门之间的数据，形成统一的数据开发和使用规范，在企业各个部门之间实现数据能力的抽象、共享和复用什么是数据中台数据中台虽然也是承接低层数据和上层业务的中间层

章鱼哥TuNan&Z·2023-03-31 19:56

工业互联网平台架构方案，构建工业互联网企业数字化、网络化、智能化服务体系

工业互联网平台基于ICT技术打造的开放式平台，聚焦“联接+云”，提供智能化的边缘层、泛在网络、可信IaaS、工业PaaS，及汇聚生态伙伴的工业SaaS,助力制造企业数字化转型。工业互联网平台面向制造业数字化、网络化、智能化需求，基于海量数据构建采集、汇聚、分析的服务体系，能够支撑工业互联网企业制造资源泛在连接、弹性供给、高效配置，有效助力制造企业提高产品质量、生产效率和服务水平，同时降低成本，以工

weixin_45855195·2023-03-31 13:28

工业互联网平台架构和产业生态

导读：工业互联网平台是面向制造业数字化、网络化、智能化需求，构建基于海量数据采集、汇聚、分析的服务体系，支撑制造资源泛在连接、弹性供给、高效配置的工业云平台，包括边缘、平台（工业PaaS）、应用三大核心层级。一、工业互联网平台体系架构工业互联网平台是面向制造业数字化、网络化、智能化需求，构建基于海量数据采集、汇聚、分析的服务体系，支撑制造资源泛在连接、弹性供给、高效配置的工业云平台，包括边缘、平台

互联互通社区·2023-03-31 13:45

智慧水务信息化建设指南？干货分享！

平台架构智慧水务信息化平台总体架构采用1+2+3+N+X架构设计，建立1个智慧大脑、2个体系、3个平台，N个基础

唐山柳林·2023-03-31 12:34

系统架构演进路线及战术分析（微博、LinkedIn）

微博基于公开平台架构，提供简单、前所未有的方式使用户能够公开实时发表内容，通过裂变式传播，让用户与他人互动并与世界紧密相连。LAMP架构（2009年-2010年）。

Fishermen_sail·2023-03-31 12:00

架构设计参考项目系列主题：大数据平台核心架构图鉴

本文转自：Java技术栈目录一、数据采集二、数据存储与分析三、数据共享四、数据应用五、实时计算六、任务调度与监控我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多：从这张大数据的整体架构图上看来

LarryHai6·2023-03-31 12:13

手把手教你搭建实时日志分析平台

背景基于ELK搭建一个实时日志分析平台架构下载filebeat:https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.13.1

麦奇-·2023-03-31 11:13

初遇项目网络平台架构设计方案

初遇项目网络平台架构设计方案设计者：普金目录一概述…4二引言…42.1LNMP架构的概述…42.2LNMP优化意义…4三需求分析…5高可用…5APP高可用(Nginx+php)…6数据库高可用(Mysql

冰河长歌·2023-03-31 11:36

平台架构与项目目录

1.平台架构与项目目录1.1平台架构应用程序框架活动管理器（ActivityManager）：管理应用程序生命周期并提供常用的导航回退功能。

weixin_45021117·2023-03-31 11:16

【架构实战营】模块六 6.实战 - 手游电商平台微服务

教学目标通过案例理解微服务和中台架构任何事物都有两面性！

qxlxi·2023-03-31 10:18

一文读懂数据平台架构演进历史

要理解数据网格，先得回顾下数据平台的发展历史，它们的典型代表分别是数据仓库、数据湖及湖仓一体。图片第一代：数据仓库图片1980年代中后期，为解决数据库面对数据分析的不足，孕育出新一类产品数据仓库。让我们先来看下数据仓库的定义，数据仓库（DataWarehouse）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策和信息的全局共享。数据仓库对于数据的处理可分为数据集成（装

麦聪聊数据·2023-03-31 08:37

大数据采集主流平台架构对比分析汇总

转载请注明来自：乐投网-大数据采集主流平台架构对比分析汇总随着大数据越来越被重视，数据采集的挑战变的尤为突出。

乐投网·2023-03-31 08:24

大数据平台架构及主流技术栈

互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据，如何存储？如何计算？各大互联网巨头都进行了探索。Google的三篇论文GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。在此过程中，无数互联网工程师基于自己的实践，不断完善和丰富Ha

Alex_81D·2023-03-31 07:47

【珍藏版】⼤数据中台架构及解决⽅案

持续输出敬请关注大数据架构湖仓一体化流批一体离线+实时数仓各种大数据解决方案各种大数据新技术实践持续输出敬请关注⼤数据平台基础架构及解决⽅案_大数据研习社的博客-CSDN博客https://blog.csdn.net/dajiangtai007/article/details/123473705?spm=1001.2014.3001.5501新⼀代USDP开源套件，可替代CDH的免费大数据套件平台

大数据研习社·2023-03-31 06:59

数字化转型与中台架构

数字化转型与中台架构技术本身不会创造价值，技术+运营+产品+服务才会创造商业价值，数字化转型的关键：商业模式+数字化结合数字化转型的建设过程：业务局部延展到全局，内部业务到外部业务组织架构要支撑转型，需要总体规划蓝图

SmartBrain·2023-03-31 06:19

数据中台02：数据中台架构

一、数据中台总体架构图前面我们通过理论层面对数据中台有了一定的了解，下面我们通过架构层面来详细看一下数据中台的设计。数据中台是位于底层存储计算平台与上层的数据应用之间的一整套体系。数据中台屏蔽掉底层存储平台的计算技术复杂性，降低对技术人才的需求，让数据的使用成本更低。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过数据体系对数据进行分层存储通过资产管理、数据服务，把数据资产变为数据服务能

做一个有趣的人Zz·2023-03-31 06:44

走出企业数字化转型困难的破局者为什么是中台架构

中台架构的出现并非人为制造而是应运而生上一篇我使劲儿吐槽了一把，把企业数字化转型困难的锅按在了IT行业背上，说IT行业落后的软件生产方式已经不适应后工业化时代、依托互联网高度协作的产业互联和企业数字化要求

coffeewoo·2023-03-31 06:11

电子电气架构设计需要考虑哪些方面？

因此汽车制造商纷纷革新现有的的电子电气架构，像国内小鹏的X-EEA3.0中央计算平台+区域控制架构、广汽埃安的中央计算平台架构——星灵架构、长城的计算平台架构GE

小熊coder·2023-03-31 01:59

什么是云原生中台业务架构？

最近公司说要做中台架构，业务中台，技术中台，数据中台，很谦虚的请教一下，什么是业务中台？

liuyunshengsir·2023-03-30 22:29

支持亿级标签接入，ClickHouse在广域物联网云平台架构的探索与实践

业务背景：自纵行科技在2020年推出ZETag云标签以来广受市场好评，目前已经在物流、资产管理、库存盘点等领域有了许多落地项目。在业务量急速增加的过程中，ZETag云平台作为解决方案中重要的一环，也面临了许多挑战与考验。本文分享了在建设ZETag云平台过程中，我们在架构设计方面的一些思路与实践。面临的挑战1）设备量与数据量的快速增加不同于传统的物联网终端，低成本ZETag云标签更多用于物的定位与追

ZETA开发者·2023-03-30 14:08

架构功能图

支付系统架构图为通用支付...平台数据架构流程图标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,

ixiaoyang8·2023-03-30 11:38

从数据中台前世今生，看大数据“网红”的多视角解读

本文主要从数据中台的前世今生，到典型企业的数据中台架构，再到企业究竟需要什么样子的数据中台，多个视角对数据中台进行解读。数据中台从何

微见Weidea·2023-03-30 09:54

基础架构、基础服务、基础平台、基础中间件等等

其实很多公司在起步的时候没有财力和资源建设独立的基础架构或平台架构部门，甚至运维团队都没有，但是这不妨碍我们心中有一个蓝图知道努力的方向，本文我们就简单聊聊平台架构相关的工作内容（或者说作为一个技术管理

程序员面试吧·2023-03-30 06:33

容器云平台架构

应用的迁移部署是一件非常复杂的事情。我们不仅要针对每个环境单独调整，可能还会面临其它的问题，比如检查依赖、扩展应用、在不影响整体应用的情况下单独更新组件。Docker容器化的思想和面向服务式的设计模式试图解决这些问题。应用程序可以拆分为可管理的且按功能划分的组件，组件可以单独打包它们所需要的全部依赖，这样，应用程序可以非常容易的部署在任何架构中，扩展和更新组件也非常容易。本部分主要讲述实现一个容器

渣渣帅·2023-03-30 06:35

云平台架构知识点总结

装一袋星辰大海·2023-03-30 05:58

Android的平台架构及特性

Android平台采用了整合的策略思想，包括底层Linux操作系统、中间层的中间件和上层的Java应用程序。下面我把Android的特性及其架构体系结构总结一下。一、Android的平台特性Android平台有如下特性：1.应用程序框架支持组件的重用与替换。这样我们可以把系统中不喜欢的应用程序删除，安装我们喜欢的应用程序。2.Dalvik虚拟机专门为移动设备进行了优化。Android应用程序将由J

yue31313·2023-03-30 05:23

1.2.2Android基础--关于搭建补充的知识

Androidvirtualmachine）安卓虚拟机设备，就是安卓的虚拟器ADT:(Androiddevelopmenttools)安卓开发工具SDK:(softwaredevelopmentkit)软件开发工具包，即安卓系统、平台架构等的工具集合

Doctor.Sunny·2023-03-30 05:40

Android基础 - 系统特性与平台构架

Android系统特性与平台架构系统特性：应用程序框架支持组件的重用与替换（app发布时遵守了框架的约定，其他app也可以使用该模块）Dalvik虚拟机:专门为移动设备优化-集成的浏览器:开源的WebKit

「已注销」·2023-03-30 05:34

1.1Android基础--系统特性与平台架构

文章目录前言一、系统特性二、平台架构1.平台架构图2.架构的简单理解总结前言Android是由Google公司和开放手机联盟领导并开发的一种基于Linux的自由且开放源代码的操作系统，该平台由操作系统、

Doctor.Sunny·2023-03-30 04:01

程序员整体架构之开发架构

开发架构文章目录开发架构概述前言互联网发展特点单体架构面向服务架构(SOA)水平分层架构微服务架构：水平拆分+垂直拆分服务网格架构中台架构云原生架构Serverless架构小结公众号概述简述了互联网业务发展的特点

chentian114·2023-03-29 15:29

数字化云平台架构与实现

转载本文需注明出处：EAII企业架构创新研究院（微信号：eaworld），违者必究。如需加入微信群参与微课堂、架构设计与讨论直播请直接回复此公众号：“加群姓名公司职位微信号”。『发送关键字“数字化云平台”至此公众号，获取完整PPT下载』大家好，我是王葱权，今天给各位简要分享一下普元数字化云平台（thePlatform）的架构与实现的相关内容。今天分享的内容主要有这几个部分：首先给大家介绍thePl

EAWorld·2023-03-29 13:14

IoT -- 物联网平台架构设计分析

现在网上讨论的有关物联网的帖子非常之多，但大部分都是介绍理论或者有关硬件，通讯相关的问题，比如物联网模块，物联网通讯协议MQTT、XMPP、NB_IOT等，个人认为这些只是物联网中一部分，而涉及到物联网的设备如何管理，用户如何管理，数据包如何解析，大数据如何展示等也是物联网模块中非常重要的部分，所以作者就根据自身工作中总结出来的建构在云端的物联网平台基本架构分享给大家，并基于此架构如何一步一步来开

互联互通社区·2023-03-29 12:47

奔跑的四川人

有每晚工作到十点的纺织厂，或年老或年轻的姑娘们停了一门口的电动摩托车；有拖欠了好几个月租金的电子厂，平日里冷冷清清的，也看不见开工的迹象；被服厂藏得深一点，就好似深山藏古寺里的古寺，不过那台架着被服满院跑的叉车

米诺马克·2023-03-29 11:12

百分点大数据技术团队：舆情平台架构实践与演进

编者按现代社会每天都有大量信息产生，抖音、小红书等自媒体的普及，不断丰富着人们表达看法、传播诉求、分享信息的渠道和形式。如何完成多源异构数据的收集和处理，挖掘海量信息中的价值，洞察事件背后的观点和情绪，是做好政府和企业舆情监测工作不可忽视的问题。百分点舆情洞察系统（Mediaforce）是一款面向政企客户的舆情监测SaaS产品，自2014年上线至今，已累计服务客户近万家，积累了逾20PB的全网数据

Percent_bigdata·2023-03-29 07:01

华为云平台架构名词解释

名词解释网络设备ISW（外网接入交换机）：出口交换机，常用于和外网建立静态/BGP路由互联CSW（内网接入交换机）：专线接入（用户内网骨干）交换机，用户自有网络通过该设备与云上网络打通，实现云网络内外部的路由分发交互，包括VPC专线接入。DSW（分布层核心交换机）：数据中心的核心交换机，用于连接各个ASW接入交换机。ASW（接入层交换机/专有云物理服务器接入）：数据交换模块接入交换机，接入云服务器

PanJWei·2023-03-29 07:45

数据中台架构

概念中台是一种能力聚合的表现，面向企业所有业务场景和领域，实现能力复用和流程融合。通过重构业务模型，将分散在不同渠道和业务场景的重复建设的业务能力，沉淀到企业级中台业务模型。实现企业级业务能力复用的同时，形成快速应对外界变化和业务创新的机制，确保业务链路稳定高效的同时，提升业务创新效能。中台的建设过程也是企业综合能力持续优化和提升的过程。中台一般分为业务中台、数据中台、技术中台。数据中台的意义数据

扁豆的主人·2023-03-29 06:13

大数据中台架构以及建设全流程二（Daas层设计）

目录背景面临问题解决方案数仓架构演进离线数仓架构案例Lambda数仓架构案例问题点Kappa数仓架构架构选型数仓整体架构（图片来自网络）数仓分层架构（图片来自网络）主题域划分维度建模需求标准化维度及指标规范管理指标管理流程图数仓建库表规范字段规范实时数仓实时数仓1.0缺点：实时数仓2.0实时数仓3.0数据地图血缘关系数据湖离线数仓痛点实时数仓痛点数据湖vs数仓写实模式和读诗时模式基于数据湖数仓架构

只会写demo的程序猿·2023-03-29 06:02

大数据中台架构

大数据中台架构1.数据采集传输1.1Flume和Logstash1.2日志采集如何工作1.3数据传输Kafka2.数据存储HDFSHBaseHive和PigMapReduce3.数据计算&查询3.1批计算和流计算

嗷嗷的特Man·2023-03-29 05:07

分析视角下银行业数据平台架构演进及实现

当前，数据成为驱动银行业数字化转型的关键生产要素。如何从海量的数据中识别有效的价值数据，实现业务与数据的深度融合，激活数据要素潜能、深挖数据资产价值，成为银行业持续探索的重要课题。随着云计算、大数据等技术的发展，银行业对数据分析的需求也从面向过去的描述型分析，逐渐演变成面向过去、未来和现在的全视角、智能化分析。作为分析的数据源头，数据库是保障分析事务稳定、高效执行的关键基础设施。在近期的直播中，我

HashData酷克数据·2023-03-29 04:29

Doris业内实践经验总结

从ClickHouse到ApacheDoris，腾讯音乐内容库数据平台架构演进https://www.toutiao.com/article/7202145980144173606/?

fragrans·2023-03-29 02:19

知乎基于 Apache Doris 的 DMP 平台架构建设实践｜万字长文详解

导读：知乎基于业务需求搭建了DMP平台，本文详细的介绍了DMP的工作原理及架构演进过程，同时介绍了ApacheDoris在DMP平台的应用实践，本文对大家了解DMP工作方式很有帮助，欢迎阅读。作者｜用户理解&数据赋能研发Leader侯容DMP业务背景DMP平台是大家老生常谈的话题。在早期广告系统出现之后就拥有了类似的DMP平台，比如：腾讯的广点通、阿里巴巴的达摩盘等都是业界做的比较好的DMP平台典

SelectDB技术团队·2023-03-29 02:07

从 ClickHouse 到 Apache Doris，腾讯音乐内容库数据平台架构演进实践

导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从1.0演进到了4.0，经历了分析引擎从ClickHouse到ApacheDoris的替换、经历了数据架构语义层的初步引入到深度应用，有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题，收益显著。本文将为大家分享腾讯音乐内容库数据平台的数据

SelectDB技术团队·2023-03-29 02:20

IOT平台架构设计思路

基于微服务架构对IOT物联感知平台设计总体架构设计图架构基于分布式微服务设计数据接收层目前暂时支持两种协议TCP(主要用于212国标协议2017版本2005版本和其他私有改动版本)国标212接收程序采用Netty开发服务端高并发传输快稳定MQTTborker采用开源EMQX(Emqttd)选择原因文档完善社区活跃高中文文档支持Qos2,支持集群部署,完整物联网协议支持，MQTT、MQTT-SN、C

懒惰-就是我·2023-03-28 23:47

Unity DOTS 介绍

跨平台架构特性。我们编写

真像大白阿·2023-03-28 22:56

推荐频道

台架