大数据平台-架构基础

海量数据下查询慢、数据不一致难题如何解？看某游戏公司的技术实践

该公司大数据平台负责人从实时数仓面临的问题与挑战谈起，讲述了他们从确定选型方向到最终实现选型落地的历程，以及使用Oc
OceanBase数据库官方博客·2023-01-11 22:27

阿里云开源大数据平台EMR全面升级 性能最高可提升6倍

12月27日,阿里云正式发布云原生开源大数据平台EMR2.0，升级后的开源大数据平台在成本持平的情况下，扩缩容性能最高可提升6倍。
阿里云大数据AI技术·2023-01-11 15:29

阿里云开源大数据平台EMR全面升级 性能最高可提升6倍

12月27日,阿里云正式发布云原生开源大数据平台EMR2.0，升级后的开源大数据平台在成本持平的情况下，扩缩容性能最高可提升6倍。
·2023-01-09 11:26

【统一数据开发平台】-OLAP分析平台和实时数仓实践和优化

伴随着业务的发展，对数据平台处理能力的要求也是越来越高，平台所面临的问题也是日益凸显，接下来将介绍BIGO大数据平台及其所面临的问题。BIGO大数据平台的数据流转图如下所示：用户在APP，W
Impl_Sunny·2023-01-08 10:16

Hologres助力AliExpress双11实时数仓升级

概要：刚刚结束的2020天猫双11中，MaxCompute交互式分析（Hologres）+实时计算Flink搭建的云原生实时数仓首次在核心数据场景落地，为大数据平台创下一项新纪录。
阿里开发者·2023-01-08 10:39

520页（17万字）集团大数据平台整体解决方案-v1.0

【版权声明】本资料来源网络，知识分享，仅供个人学习，请勿商用。【侵删致歉】如有侵权请联系小编，将在收到信息后第一时间删除！完整资料领取见文末，部分资料内容：1.1.1 系统总体逻辑结构4-14系统总体逻辑结构图参见上图，基于Hadoop构建的企业级数据仓库，包含：分布式列式存储数据库Hyperbase和分布式文件系统HDFS。通过数据集成及ETL平台，采集集团现有业务系统（CRM、ERP
数字化方案·2023-01-08 07:52

AI平民化之路 - 华为云ModelArts和AI Gallery体验指南

在校期间主学机器学习和算法，在一次偶然的机会接触了大数据，而后便入门大数据，至今也从事大数据平台开发工作。
BigDataToAI·2023-01-07 16:52

大数据平台之Flink（复习用）

1.Flink的核心组件栈？Flink发展越来越成熟，已经拥有了自己的丰富的核心组件栈。Flink核心组件栈分为三层：物理部署层、Runtime核心层和API&Libraries层。（1）物理部署层。Flink的底层是物理部署层。Flink可以采用Local模式运行，启动单个JVM，也可以采用Standalone集群模式运行，还可以采用YARN集群模式运行，或者也可以运行在谷歌云服务（GCE）和亚
DYSLEXIA-·2023-01-04 18:48

大数据平台之Hive（复习用）

1.Hive与传统数据库的区别？Hive在很多方面和传统数据库类似，但是，它的底层依赖的是HDFS和MapReduce（或Tez、Spark），所以，在很多方面又有别于传统数据库。表9-1从数据存储、索引、分区、执行引擎、执行延迟、扩展性、数据规模等方面，对Hive和传统数据库进行了对比分析。表9-1Hive与传统数据库的对比在数据存储方面，传统数据库一般依赖于本地文件系统，Hive则依赖于分布式
DYSLEXIA-·2023-01-04 18:48

361页11万字智慧水利大数据平台建设方案

【版权声明】本资料来源网络，仅用于行业知识分享，供个人学习参考，请勿商用。【侵删致歉】如有侵权请联系小编，将在收到信息后第一时间进行删除！完整资料领取见文末，部分资料内容：第一章 系统总体设计一.1 总体设计思路本着水利系统的高清化、智能化、实用化等原则，前端设备全部使用水利高清前端，做到高清监控，系统能做到主动预警与自动弹出报警信号给监管人员，监管人员迅速查看报警点视频，同时
数字化方案·2023-01-04 13:58

大数据平台之Hadoop复习详细知识点

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档Hadoop复习前言Hadoop是什么？一、绪论1大数据5v特点2Google三驾马车3Hadoop的特点4Hadoop生态系统(教材p6)二、HDFS架构1Hadoop三大基本组件2HDFS特性和局限性(教材p38)3主从架构（Master/Slave）4元数据管理机制（教材p35）5HDFS高可用性（HA模式）（教材p34）6心跳
一颗西柚子·2022-12-31 10:09

FFA 2022 主会场 Keynote：Flink Towards Streaming Data Warehouse

摘要：本文整理自ApacheFlink中文社区发起人、阿里巴巴开源大数据平台负责人王峰（莫问），在FlinkForwardAsia2022主会场的分享。
Apache Flink·2022-12-30 22:52

「经验汇总」基于TDengine的时序数据解决方案

在应对海量时序数据处理需求时，如关系型数据库、工业实时库、Hadoop大数据平台在内的传统数据库解决方案问题重重，严重阻碍数字化进程。
·2022-12-30 17:58

【Java学习笔记】（一）Java简介&程序基础

不同的操作系统上有不同的JVM解释.class文件学习路线JavaSE：语言本身，核心开发技术，标准库的使用JavaEE：Spring框架，数据库开发，分布式框架大数据开发：Hadoop，Spark，Flink大数据平台移动开发
m0_61819793·2022-12-30 12:08

数据导入实践和调优

大数据平台自助导入任务工作流适配了DorisBrokerLoad导入方式，数据开发零代码——通过简单的勾选配置即可完成自助的Doris数据导入工作流创建。
feidodo网络·2022-12-30 05:43

2022实景三维新技术公开课第二期晚上19:30开播

上周四晚19:30，在2022实景三维新技术公开课第一期直播课堂中，大势智慧CTO张帆为我们现场解读了实景三维中国建设与新型基础测绘的最新政策，帮助大家进一步清晰了“新型基础测绘、实景三维中国、时空大数据平台
大势智慧·2022-12-30 00:02

大数据在智慧城市建设中的应用

1、通信基础设施建设在构建智慧城市通信基础设施及相应管理系统时，需要在其中应用大数据平台和相关模式，进而落实数字城市与物联网相融合的目标，强化人们对通信系统的感知，并在相关系统支持下开展各项智慧服务，提高智慧城市管理系统的
成都远石·2022-12-29 19:41

饿了么大数据计算引擎实践与应用

饿了么BDI-大数据平台研发团队目前共有20人左右，主要负责离线&实时Infra和平台工具开发。
Simple_Zz·2022-12-29 13:00

论文笔记：Transformer

一、这篇论文解决什么问题序列转录：具体到论文中，就是机器翻译任务之前一般如何解决：Encoder-Decoder+CNN/RNN+Attention本文：只用Attention二、模型架构基础架构：Encoder-DecoderEncoder
foreverbeginnerz·2022-12-29 13:05

Redis高可用集群主流架构方案分析

redis在互联网大数据平台有着广泛的应用，主要被用来缓存热点数据，避免海量请求压垮数据库，同时可以提升服务节点的响应速度和并发量。
Hello_java大师·2022-12-28 14:23

银行用户画像建设步骤

2、整合可用数据资源：整合内源数据及外源数据至大数据平台，作为用户画像的基础数据源，并涵盖账户数据、交易数据、行为数据、风险数据、社交数据等类型。3、模型挖掘用户标签：基于模型算法、结合业务人员
Joe_lee1·2022-12-27 12:42

【极简笔记】Learning to Segment Every Thing

文章的核心贡献是提出了一种迁移学习的方法，利用weighttransferfunction，在Mask-RCNN架构基础上训练一个模型，使得其能够预测数
Hibercraft·2022-12-27 06:57

oushudb丨偶数科技为辽宁农信数字化进程添加新动能

与此同时上线了大数据平台，实现了审计系统对各源系统贴源层数据的存储、整合、查询相关需求。
·2022-12-26 16:21

偶数科技为辽宁农信数字化进程添加新动能

与此同时上线了大数据平台，实现了审计系统对各源系统贴源层数据的存储、整合、查询相关需求。
·2022-12-26 16:19

oushudb丨偶数科技为辽宁农信数字化进程添加新动能

与此同时上线了大数据平台，实现了审计系统对各源系统贴源层数据的存储、整合、查询相关需求。
·2022-12-26 16:46

我的大二web课程设计 使用HTML做一个简单漂亮的页面（纯html代码）

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
STU学生网页设计·2022-12-26 11:11

Ambari3.0.0+BigTop3.2.0 SNAPSHOT初体验

市面上可用的免费开源大数据平台瞬间没有了，对于我们来说要么花钱买平台，例如CDP、华为FI、阿里EMR等等，要么用Apache原生组件自行搭建和维护平台。
泽芯·2022-12-26 09:47

324页13万字高校数字化校园大数据中心及大数据平台建设方案

一、 数据中心总体规划云资源中心加大数据分析与高性能主要分为计算资源、内存资源、存储资源、网络资源，大数据分析系统，高性能作业调度系统，本项目在充分整合XXX高校数据中心资源的基础上，配置必要软硬件设备，为XXX高校信息系统提供统一的基础设施服务，在IaaS层构建较为完整的XXX高校云计算平台。建设内容包括以下几部分：硬件设备：服务器、存储、、SAN交换机、交换机、负载均衡、VPN网关。
数字化方案·2022-12-25 14:46

FFA 2022 主会场 Keynote：Flink Towards Streaming Data Warehouse

摘要：本文整理自ApacheFlink中文社区发起人、阿里巴巴开源大数据平台负责人王峰（莫问），在FlinkForwardAsia2022主会场的分享。
·2022-12-24 22:31

FFA 2022 主会场 Keynote：Flink Towards Streaming Data Warehouse

摘要：本文整理自ApacheFlink中文社区发起人、阿里巴巴开源大数据平台负责人王峰（莫问），在FlinkForwardAsia2022主会场的分享。
·2022-12-24 22:01

智慧能源管理系统解决方案

智能能源管理系统方案优势：智能能源管理系统旨在通过能源效率管理平台收集能源数据和数据分析，实施管理节能，为企业提供综合能源效率管理和节能转型服务，提高企业单位能源效率，节约企业能源成本，借助互联网大数据平台
邈瀚云·2022-12-24 13:52

HTML5期末大作业：用DIV+CSS技术设计的网页与实现（剪纸传统文化网页设计主题）

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
STU网页优选·2022-12-24 08:29

2022可信工业数据空间系统架构1.0 附下载

DATA001：大数据平台安全研究报告DATA
互联互通社区·2022-12-24 03:50

浅谈打造泛在电力物联网大数据平台-Susie 周

1、大数据技术在物联网产业中的应用价值现如今，物联网的架构主要包括：感知层、网络层和应用层。感知层能够采集信息、识别物体等感知功能，从而形成大量数据。比如微博每天评论功能可以达到1.2亿条评论，上传新的短片和视频近800万个，将这样庞大的数据的信息汇集在一起，能够形成PB级别的数据量，物联网产业凭借PB级别的数据量，能够掌握消费者的整体用户细习惯。物联网的网络层能够实现数据信息的传输和交流，网络层
Acrel18701808662·2022-12-24 00:46

2万字，详解数据湖，概念、特征、架构、方案、场景以及建湖全过程（建议收藏）...

数据湖和大数据平台有什么不同？带着这些问题，我们尝试写了这样一篇文章，希望能抛砖引玉，引起
公众号:ITIL之家·2022-12-23 16:09

大数据平台搭建实训报告(思路而已)

目录1.环境准备1.1实验目的1.2实践操作2.部署HDFS2.1实验步骤2.2实践操作3.实验三HDFSshell操作3.1实验目的3.2实践操作3.2.1练习对HDFS文件创建、查看、删除、复制、粘贴等文件操作3.2.2练习本地文件与HDFS文件的上传与下载3.2.3练习HDFS文件权限修改4.实验四Java代码读取文件内容4.1实验目的4.2实践操作5.实验五读取文件内容5.1实验目的5.2
秦同学学学·2022-12-23 11:37

大学生圣诞网页设计制作成品 圣诞节静态HTML网页作业作品 简单DIV CSS布局网站

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
STU网页设计与制作·2022-12-23 11:32

大数据基础平台搭建-（二）Hadoop集群搭建

大数据基础平台搭建-（二）Hadoop集群搭建大数据平台系列文章：1、大数据基础平台搭建-（一）基础环境准备2、大数据基础平台搭建-（二）Hadoop集群搭建大数据平台是基于ApacheHadoop_3.3.4
dyj095·2022-12-23 11:57

酷开科技 × StarRocks：统一 OLAP 分析引擎，全面打造数字化的 OTT 模式

作者：周桂民，大数据架构师和负责人，主要负责大数据平台基础建设工作酷开科技，全称深圳市酷开网络科技股份有限公司，成立于2006年，自主研发了智能电视操作系统——酷开系统。
StarRocks_labs·2022-12-23 08:35

web前端期末大作业【仿12306铁路官网首页】学生网页设计作业源码

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
STU网页设计-web前端优质创作者·2022-12-23 05:54

Java后端面试准备

这个项目有两个技术难点，第一个是需要采用分库分表的策略，需要手动编写两个数据库的连接配置；另一个是需要基于位操作来判断出设备的告警情况；另一个项目是大数据文件管理系统，我前期负责基于Ambari+HDP搭建大数据平台
寅贝勒·2022-12-23 05:14

html静态网站基于游戏网站设计与实现共计10个页面 (仿地下城与勇士游戏网页)

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
STU学生网页设计·2022-12-23 05:13

HTML5期末大作业：基于HTML+CSS+JavaScript实现中国风文化传媒企业官网源码

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
STU学生网页设计·2022-12-23 05:12

大一作业HTML个人网页作业（宠物狗）

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
STU学生网页设计·2022-12-23 05:42

web前端期末大作业【仿12306铁路官网首页】学生网页设计作业源码

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
STU学生网页设计·2022-12-23 05:01

CUDA编程学习3——并行计算初窥&CUDA的软硬件架构

目录并行计算概述查看GPU相关信息软硬件架构基础物理层（物理结构）逻辑层（kernel组织）物理层和逻辑层的总结参考并行计算概述所谓并行计算的概念定义同时多个计算资源一起工作（逻辑以及物理上的并行而非并发
Mr_yangsc·2022-12-23 00:47

python dataframe的某一列变为list_单机用python写spark处理20G的数据

hadoop和spark是主流的大数据平台，主流语言是Jav
weixin_39716877·2022-12-22 18:10

推荐系统（Recommender System）笔记 04：推荐系统工程实现

RecommenderSystem）04：推荐系统工程实现推荐系统的数据流批处理大数据架构（BatchProcessing）流计算大数据架构(StreamingProcessing)Lambda架构Kappa架构大数据平台与推荐系统的结合推荐模型的离线训练
MYJace·2022-12-22 14:50

星河璀璨 | GBASE南大通用两项成果获评2022大数据“星河”标杆、优秀案例

GBASE南大通用作为支持单位与客户联合申报的两项成果从595份申报项目中脱颖而出，「湖仓一体大数据平台研究和实践」、「混搭架构中构建逻辑数仓的应用与实践」分别获评2022大数据“星河（Galaxy）”
GBASE数据库·2022-12-22 11:59

百度地图迁徙大数据_百度地图迁徙大数据：复工后北上广深城内出行年后首次大幅增长...

从百度地图迁徙大数据平台的数据可以看出，企业的复工复产对城市交通、人员出行产生了不小的影响。据2月10日当天数据显示，除武汉外，各地城内出行强度都有不同幅度的回升。
weixin_39866487·2022-12-22 08:33
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他