大数据平台-架构基础

途牛科技与火山引擎数智平台合作 打造企业大数据系统“降本”新范式

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，南京途牛科技有限公司与火山引擎数智平台（VeDI）的合作获得新进展：途牛大数据系统全面迁移至火山引擎开源大数据平台
·2023-08-23 12:52

大数据平台架构及主流技术栈

互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据，如何存储？如何计算？各大互联网巨头都进行了探索。Google的三篇论文GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。在此过程中，无数互联网工程师基于自己的实践，不断完善和丰富Ha
飞鸡起飞·2023-08-23 11:06

人群圈选效率提升 30 倍，云积天赫基于 Apache Doris 构建统一数仓的实践

导读：随着业务量快速增长，云积天赫对数据的实时性及灵活性提出更高要求，早期基于CDH的大数据平台已无法满足当前难度以及复杂度较高的业务需求，因此云积天赫引进ApacheDoris在部分业务中使用，并在使用过程中逐渐发掘出
·2023-08-22 15:47

全链路数据湖开发治理解决方案2.0重磅升级，全面增强数据入湖、调度和治理能力

解决方案包含开源大数据平台E-MapReduce(EMR)，一站式大数据数据开发治理平台DataWorks，数据湖构建DLF，对象存储OSS等核心产品。
·2023-08-22 10:13

大数据平台是什么意思？有什么用？一般包含哪些模块？

大数据时代，还有很多人不知道大数据平台是什么意思？有什么用？一般包含哪些模块？今天我们就一起来简单了解一下吧！仅供参考哦！大数据平台是什么意思？有什么用？一般包含哪些模块？
行云管家·2023-08-22 03:23

如何成为软件架构师 ---《软件架构基础》书摘

最近刚到的一本书FundamentalsofSoftwareArchitecture，中译《软件架构基础》（东南大学出版社）。
要厉害的·2023-08-21 15:26

解决方案：如何在 Amazon EMR Serverless 上执行纯 SQL 文件？

《大数据平台架构与原型实现：数据中台建设实战》一书由博主历时三年精心创作，现已通过知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2023-08-21 07:41

慕课大数据工程师2023版 雪虐风饕愈凛然

download：慕课大数据工程师2023版雪虐风饕愈凛然大数据工程师的职责和技能大数据工程师的主要职责是构建和维护大数据平台，包括数据采集、存储、处理、分析、挖掘、可视化等环节。
·2023-08-20 14:14

17万字数字化医院信息化建设大数据平台建设方案WORD

导读：原文《17万字数字化医院信息化建设大数据平台建设方案WORD》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。
智慧城市2030·2023-08-19 14:20

虫情测报系统的工作原理及功能优势

工作原理：KH-CQPest虫情测报系统主要是由诱捕装置、高清摄像头、传送带、杀虫仓和智慧农业大数据平台组成。当夜幕来临时，虫情测报系统会自
山东仁科·2023-08-19 07:02

[自学记录03|百人计划]移动端GPU的TB(D)R架构基础

一、专有名词解释1.SystemonChip（Soc）Soc是把CPU、GPU、内存、通信基带、GPS模块等等整合在一起的芯片的称呼。常见有A系Soc（苹果），骁龙Soc（高通），麒麟Soc（华为），联发科Soc，猎户座Soc（三星），去年苹果推出的M系Soc，暂用于Mac，但这说明手机、笔记本和PC的通用芯片已经出现了。2.SystemMemory(物理内存)Soc中GPU和CPU共用一块片内L
_Yhisken·2023-08-18 07:26

网易互娱出海之旅：大数据平台上云架构设计与实践

2020年初，随着网易互娱的海外业务增长与海外数据合规的需求，我们开始了网易互娱大数据离线计算平台迁移出海的工作。前期，我们采取了云主机裸机加上高性能EBS块存储的方案。但是，这个方案存储费用高昂，成本是国内自建机房的数十倍。于是，我们决定在公有云上构建一个平台，这个平台不仅需要更加适应当前业务场景、与历史业务更为兼容，还要比公有云的EMR托管方案更为经济。我们主要从存储、计算和数据分层生命周期管
Juicedata·2023-08-17 22:20

存算分离实践：构建轻量、云中立的大数据平台

今天我们将分享社区用户多点DMALL的案例。多点DMALL是亚洲领先的全渠道数字零售解决方案服务商，目前已与380家零售企业达成合作，覆盖6个国家和地区。面对B端客户日益增长的企业数据，存算一体的架构显得力不从心。计算资源冗余浪费、所依靠的CDH发行版技术栈复杂、部署运维困难及计算资源潮汐现象严重等问题，迫使多点启动架构升级的进程。同时，为满足B端客户多样化的需求，多点需要构建一个可以在多云环境下
Juicedata·2023-08-17 22:48

网易互娱出海之旅：大数据平台上云架构设计与实践

2020年初，随着网易互娱的海外业务增长与海外数据合规的需求，我们开始了网易互娱大数据离线计算平台迁移出海的工作。前期，我们采取了云主机裸机加上高性能EBS块存储的方案。但是，这个方案存储费用高昂，成本是国内自建机房的数十倍。于是，我们决定在公有云上构建一个平台，这个平台不仅需要更加适应当前业务场景、与历史业务更为兼容，还要比公有云的EMR托管方案更为经济。我们主要从存储、计算和数据分层生命周期管
·2023-08-16 18:12

从 Hadoop 到云原生， 大数据平台如何做存算分离

Hadoop的诞生改变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，受到广泛的应用，给整个行业带来了变革意义的改变；随着云计算时代的到来，存算分离的架构受到青睐，企业开开始对Hadoop的架构进行改造。今天与大家一起简单回顾Hadoop架构以及目前市面上不同的存算分离的架构方案，他们的利弊各有哪些，希望可以给正在存算分离架构改造的企业一些参考和启发。Hadoop存算耦合架构回顾2006
·2023-08-16 18:35

基于云计算的大数据平台基础设施建设实践

大数据平台基础建设当前的趋势是云化与开放，这个平台需要可以提供各类大数据相关PaaS服务，也需要使各类服务间可以简单灵活的组合来满足多变及定制的需求。
·2023-08-16 18:59

存算分离实践：构建轻量、云中立的大数据平台

今天我们将分享社区用户多点DMALL的案例。多点DMALL是亚洲领先的全渠道数字零售解决方案服务商，目前已与380家零售企业达成合作，覆盖6个国家和地区。面对B端客户日益增长的企业数据，存算一体的架构显得力不从心。计算资源冗余浪费、所依靠的CDH发行版技术栈复杂、部署运维困难及计算资源潮汐现象严重等问题，迫使多点启动架构升级的进程。同时，为满足B端客户多样化的需求，多点需要构建一个可以在多云环境下
·2023-08-16 18:28

html静态网站基于游戏网站设计与实现共计10个页面 (仿地下城与勇士游戏网页)

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
STU网页设计与制作·2023-08-16 17:16

基于Hadoop的表级监管

现状大数据平台中，采用hadoop的方式存储数据，hdfs本质上是文件系统，而文件系统对数据的监管能力有限，但是数据安全领域问题日渐凸显，现目前，大数据平台一般以分层结构进行授权，但是对于一线开发人员而言
demo123567·2023-08-16 10:51

网易互娱出海之旅：大数据平台上云架构设计与实践

2020年初，随着网易互娱的海外业务增长与海外数据合规的需求，我们开始了网易互娱大数据离线计算平台迁移出海的工作。前期，我们采取了云主机裸机加上高性能EBS块存储的方案。但是，这个方案存储费用高昂，成本是国内自建机房的数十倍。于是，我们决定在公有云上构建一个平台，这个平台不仅需要更加适应当前业务场景、与历史业务更为兼容，还要比公有云的EMR托管方案更为经济。我们主要从存储、计算和数据分层生命周期管
·2023-08-15 16:41

大数据技术沙龙来袭！2023走进网易：创新重塑数据生产力

随着大数据平台和技术在企业内部的推进与落地，长效价值逐渐成为关注点。❓如何更好地管理数据资产？❓是否有可参考的建设方法❓AIGC和ChatGPT热点是否能高效结合企业数据需求？
·2023-08-15 16:43

大数据平台中元数据库—MySQL的异常故障解决

本文的主要目标是解决大数据平台中元数据库MySQL的异常故障。通过分析应用响应缓慢的问题，找到了集群组件HIVE和元数据库MySQL的原因。
LinkSLA·2023-08-15 06:29

数据库--SQL架构基础

1,在我们的印象当中,我们给oracle发出一条命令,oracle根据我们的发出的命令做出相应的操作,但是在oracle操作的过程当中,我们是不知道oracle内部是如何操作的!2,其实在通常我们说的oracle数据库既是指存储在电脑硬盘上的数据库文件,有的时候也指管理这些文件的内存结构.这里"数据库"文件是属于硬盘上的数据文件,而"数据库实例"则属于oracle的内存结构.3,oracle数据库
左岸人生·2023-08-14 12:48

7.14刘润五分钟商学院读书笔记

越来越多的商业模式，都建立在去中心化的架构基础，甚至是哲学基础上，比如区块链，比如比特币。更像是企业家们在一起玩的项目，一堆人没有绝对的老板员
漠漠如嫣·2023-08-14 05:11

手把手教你，Selenium 遇见伪元素该如何处理？

问题发生在很多前端页面中，大家会见到很多：:before、::after元素，比如【百度流量研究院】：比如【百度疫情大数据平台】：如果你想学习自动化测试，我这边给你推荐一套视频，这个视频可以说是B站播放全网第一的接口自动化测试教程
测试猿廖廖·2023-08-13 19:26

微服务架构基础--第3章Spring Boot核心功能讲解

第3章SpringBoot核心功能讲解一.预习笔记1.使用maven创建SpringBoot项目1-1:创建一个maven项目1-2:在pom文件中导入依赖1-3：编写启动类（注意启动类的位置）1-4：编写测试类1-5：运行SpringBoot启动类2.了解pom文件中的starter3.请求方式与postman4.yml配置文件server.port是改变内嵌服务器的端口号spring.bann
专科3年的修炼·2023-08-13 19:47

[译] ARMv8-A架构基础之A64指令

ARMv8-A架构中引入的最重要的变化之一是为AArch64增加了一个新的指令集。该指令集包含许多与现有AArch32（ARMv7-A）32位指令集相同的功能。A64的加入提供了对64位宽整数寄存器和数据操作的访问，并能够使用64位指针指向内存。新指令称为A64，并在AArch64执行状态下执行。ARMv8-A还包含原始的ARM指令集（现在称为A32）和Thumb®（T32）指令集。A32和T32
赵国开·2023-08-13 10:27

Kafka实时数据同步

数据订阅设置3.2数据加载设置3.3订阅到加载数据流映射3.4查看任务执行日志4校验数据一致性1概述BeeDI支持实时捕获业务系统变化数据并将其发步到Kafka，也支持从Kafka订阅实时数据并写入数仓或大数据平台
wahahaman·2023-08-13 08:39

多源异构数据库实时同步解决方案

1需求概述将企业多个业务系统产生的交易数据流实时同步到数据仓库或大数据平台，通过对交易数据的联机实时分析，快速制定或调整商业计划，提升企业的核心竞争力。
wahahaman·2023-08-13 08:07

Spring Cloud 智慧工地源码（PC端＋移动端）项目平台、监管平台、大数据平台

智慧工地源码智慧工地云平台源码智慧建筑源码“智慧工地”是利用物联网、人工智能、云计算、大数据、移动互联网等新一代信息技术，彻底改变传统建筑施工现场参建各方现场管理的交互方式、工作方式和管理模式，实现对人、机、料、法、环的全方位实时监控，变被动“监督”为主动“监控”，为参建各方提供一揽子工地现场管理信息化解决方案。智慧工地云平台技术架构：微服务+Java+SpringCloud+Vue+UniApp
淘源码A·2023-08-13 06:07

CDC一键入湖：当 Apache Hudi DeltaStreamer 遇见 Serverless Spark

《大数据平台架构与原型实现：数据中台建设实战》一书由博主历时三年精心创作，现已通过知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2023-08-12 11:46

linux防火墙

防火墙iptables是建立在netfilter架构基础上的一个包过滤管理工具。
拾光师·2023-08-12 10:58

新能源汽车需要检测哪些项目

根据“线上-线下”相结合的模式，线上大数据平台筛查出来的风险车辆，到线下检测站进行检测，线下检测包含电安全检验、充电检
IT观察·2023-08-12 09:32

LAXCUS：私域部署的DataBricks

Databricks作为一家开源的大数据平台，为企业提供了强大的数据分析和处理能力。
LAXCUS分布式操作系统·2023-08-12 07:07

腾讯iOA零信任安全——IT变革下的新一代企业网

共分为资源层，资源管理层，应用支撑层，大数据平台，安全管理体系，以及丰富的技术应用。
腾讯技术工程·2023-08-12 02:44

安全技术-大数据平台安全防护技术

一、大数据基本概念及背景1.1大数据发展的背景-数据爆炸伴随着互联⽹、物联⽹、电⼦商务、社交媒体、现代物流、⽹络⾦融等⾏业的发展，全球数据总量正呈⼏何级数增长，过去⼏年时间产⽣的数据总量超过了⼈类历史上的数据总和，预计2020年全球数据总量将达到35.2ZB，⼈类将进⼊“泽它”（ZB）时（1ZB=⼗万亿亿字节）。1.2大数据发展的背景-(感知化、物联化、智能化)感知化：指数据源的变化。传感器、RF
卡奥斯开源社区官方·2023-08-11 20:18

课堂笔记day31（架构基础）

中小规模架构：1、什么是集群？简单的说集群就是一推机器做同一件事。2、为什么企业要用集群？a.业务7*24服务需要多台机器同时工作，互为实时备份。b.高并发的访问，一台服务器不行，需要多台服务器同时提供服务。3、集群有什么特点？a.数据量大，多用户。b.7*24持续服务c.高并发（同时访问）d.用户分布广泛，网络情况复杂基础优化：1、规范目录mkdir-p/server/toolsmkdir-p/
痞子_64b2·2023-08-11 20:49

HTML+CSS静态网页设计：(房地产网站设计与实现6页)

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
我是学长霸霸·2023-08-11 20:42

Web前端大作业、基于HTML+CSS+JavaScript响应式个人相册博客网站

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
IT黑马程序员·2023-08-11 20:42

1、Java简介+DOS命令+编译运行+一个简单的Java程序

大数据平台开发：Hadoop、spark等语言特性：底层：C++编写特性如下：安全性（防范运行时堆栈溢出，未经授权读写文件，破坏自己的进程空间之外的内存等。）强制面向对象。
鸡鸭扣·2023-08-11 20:09

图灵程序设计丛书：大规模数据处理入门与实战（套装全10册 Kafka权威指南 Flink基础教程 数据科学实战 SQL反模式 SQL必知必会（第4版） Spark快速大数据分析 数据科学 Python

大规模数据处理入门与实战（套装全10册Kafka权威指南Flink基础教程数据科学实战SQL反模式SQL必知必会（第4版）Spark快速大数据分析数据科学入门Python数据挖掘入门与实践Hadoop安全：大数据平台隐私保护
郭杠·2023-08-11 19:44

大数据权限与安全

大数据权限与安全1、权限概述1.1、大数据平台权限管控现状权限的管控，历来是大数据平台中最让人头疼的问题之一。管得严了，业务不流畅，用户不开心，放得宽了，安全没有底。
docsz·2023-08-11 14:46

答应我！这个建筑技能赶紧学

智慧工地大数据平台通过整合、分析和应用大量的数据资源，为工地管理者提供全面的信息支持和决策依据，实现工地的高效管理和优化运营。
泛科技分享·2023-08-11 00:07

【架构】21个软件架构特点解析

《软件架构基础》书中
独行侠梦·2023-08-10 18:22

window主机xshell远程连接linux主机

linux应用范围服务器领域桌面应用领域嵌入式系统集群、虚拟化、云计算、大数据平台基石.RedHatEnterpriseLinux：企业级Linux，多用于企业服务器工作站等。
czx3523717296·2023-08-10 14:34

法律监督大数据平台有什么作用？

大数据赋能时代法律监督，构建法律行业领域大数据监督模型。法律监督大数据研判系统助力检察机关以社会公正为核心价值追求，对执法不严、司法不公“零容忍”，强化对诉讼活动的法律监督，坚决维护法律尊严，坚决捍卫公平正义。为实现通过大数据技术实现法律监督的目标，需要从三个方面开展建设工作，分别是数据、工具和模型。基于数据、工具和模型三要素，构建一套开放性法律大数据监督应用平台，以满足既定的监督需求和未来持续扩
泰迪智能科技·2023-08-10 08:57

什么是云管理平台？如何选择好的云管理平台？

企业为了获得更强的竞争优势，在其原有单一的IT架构基础之上，往往会采用包含公有云、私有云并存的混合云IT架构。在这种情况下，企业的业务数据和
张桐啊·2023-08-09 20:51

小白数据分析师学什么

2获取数据数据库SQL技能网络爬虫（简单的分析师做，复杂的技术部门）3数据预处理：缺失、异常、异构Excel：处理数据量不大，不能处理太多复杂字符结构SQL：数据量大结构简单Python：结构复杂数据大数据平台
M_Carrie·2023-08-09 06:09

【急聘】阿里巴巴大数据-Java微服务技术专家-平台架构

岗位职责：参与阿里巴巴大数据平台和数据中台建设，承担大数据智能研发平台整体架构工作参与建设和输出国内顶尖的云上数据中台一站式商业解决方案，承载百亿级商业化目标的落地实施负责基础平台架构，抽象系统能力并组件化
舒心旁·2023-08-09 05:51

B/S架构基础-JavaWeb

B/S架构基础-JavaWeb-两种开发模型⑴C/S又称Client/Server或客户/服务器模式。服务器通常采用高性能的PC、工作站或小型机，客户端需要安装专用的客户端软件。
什么叫精洗·2023-08-08 09:40
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他