大数据平台-架构基础

【直播预告】Greenplum在运营商领域的HTAP实践

Greenplum作为拥有HTAP能力的大数据平台，在各个领域应用广泛，拥有众多商业和开源用户。用户在享受Greenplum带来的性能提升的同时，也或多或少遇到了一些困难。
·2022-04-27 12:47

浅谈股价预测模型（二）：全能大明星——神经网络模型

sklearn或者PyBrain这些模块就不必往下看了；3：出于个人原因笔者暂不打算公开具体模型，函数及参数，仅使用部分简单代码及回测结果以作展示；4：本文主要数据均通过Tushare(ID：444829)金融大数据平台
Simon Cao·2022-04-24 07:06

浅谈股价预测模型（一）：捉摸不定，最为致命

摘要1：本文将蒙特卡洛模拟的理念运用在股价预测上；3：本文所使用的行情数据通过Tushare(ID：444829)金融大数据平台接口获取；4：笔者希望搭建出一套交易体系，原则是只做干货的分享。
Simon Cao·2022-04-24 07:05

浅谈估值模型（一）实现GGM的理想国（附代码）

、模型结果五、写在后面一、写在前面1：本文主要讨论戈登增长模型的优化及现实意义；另外，本文使用python实现模型并以某证券为例进行估值2：本文主要行情数据通过Tushare(ID：444829)金融大数据平台接口获取
Simon Cao·2022-04-24 07:35

浅谈估值模型 (二): 相对估值模型中的变形金刚——PE指标I

1：本文主要讨论将PE指标进行平滑改造(附完整源代码)；2：本文主要为理念的讲解，模型也是笔者自建；3：本文主要数据均通过Tushare(ID：444829)金融大数据平台接口获取；4：笔者希望搭建出一套交易体系
Simon Cao·2022-04-24 07:40

不care工具，在大数据平台中Hive能自动处理SQL

摘要：有没有更简单的办法，可以直接将SQL运行在大数据平台？本文分享自华为云社区《Hive执行原理》，作者：JavaEdge。
华为云开发者社区·2022-04-19 15:00

挑战年薪50万不是梦，你要的高级架构师课程来袭！

课程使用国内唯一《业务驱动式项目实操》教学方案：8个项目实操2个源码级别实战一个终极电商项目项目流程：本课程共含有以下篇章：第一章：架构基础篇第二章：高性能实战第三章：分布式架构第四章：微服务第五章：电商订单实战第六章
Cushier·2022-04-18 22:11

Paillier 半同态加密：原理、高效实现方法和应用

如何实现安全的数据流通，保护数据隐私并发挥数据的价值，支持多方的联合计算，是各大数据平台亟需解决的问题。而隐私计算技术旨在实现“数据可用不可见”的目标，具有广阔的应用前景。
阿里云技术·2022-04-17 10:21

从容器化到资源池化，数栈云原生技术实践探索之路

导读：近些年随着云计算和云原生应用的兴起，容器技术可以很好地解决许多问题，所以将大数据平台容器化是一种理想的方案。
·2022-04-15 17:11

从容器化到资源池化，数栈云原生技术实践探索之路

导读：近些年随着云计算和云原生应用的兴起，容器技术可以很好地解决许多问题，所以将大数据平台容器化是一种理想的方案。
数栈DTinsight·2022-04-15 16:00

理想汽车 x StarRocks：为 Hive 数据查询插上极速之翼！

作者张博晗理想汽车大数据平台-高级大数据开发负责公司级数据集成平台的设计和开发，以及OLAP平台的体系化建设对于致力创造移动的家、成为全球领先的智能电动车企业的理想汽车，所要管理的数据规模非常庞大。
·2022-04-15 14:16

vue+echarts图表使用的问题记录

最近在做一个大数据平台的页面，需要用到比较多的图表，就使用了echarts。使用过程中也碰到了一些比较难搞的问题或者是配置手册里面隐藏比较深的一些属性，今天就来记录下。
·2022-04-12 22:06

对话阿里巴巴贾扬清：如何成为一名优秀的AI架构师？

大家好，我叫贾扬清，现在担任阿里巴巴技术副总裁，负责人工智能平台跟大数据平台的建设，之前在Facebook和Google任职期间，负责人工智能相关的事务，
公众号:肉眼品世界·2022-04-12 09:05

Kubernetes集群搭建和应用部署操作手册

Kubernetes集群搭建和应用部署操作手册——某大数据平台说明：一些扩展命令和扩展脚本仅供参考，不需要执行。
大美天地·2022-04-09 12:52

Flink 在众安保险金融业务的应用

摘要：本文整理自众安保险大数据平台开发高级专家郭育波在FlinkForwardAsia2021行业实践专场的演讲。
·2022-04-08 14:31

数据分析师干了专业数仓工程师的活，自如是怎么做到的？

与大多企业相比，自如大数据平台的独特之处在于，大量的数仓加工并非由专业的数仓工程师完成，而是由数据分析师所做。而自如的数据
·2022-04-06 13:23

2-HDFS(分布式文件系统)

一、简介简介HDFS是Hadoop非常重要的核心之一，它也是由DougCutting基于Google公司03年10月开源的论文GFS做的开源实现，发展到目前为止，HDFS的运用非常广泛，基本上很多大数据平台大部分都会选用
小帅明3号·2022-04-06 10:45

CDH/HDP迁移之路

原企业版用户企业版不再更新Cloudera和Hortonworks合并后推出了新一代大数据平台CDP，CDH6和H
·2022-04-02 18:36

构建煤矿物联网大数据平台思路(1)

现在的趋势是构建物联网大数据平台。但是现有系统是基于传统的EF5+PSpace实时数据库。先从实时数据库开始下手分析。拿到sdk是.net、java、c三种。最后一种不会。分析前两种。
·2022-04-02 09:20

构建煤矿物联网大数据平台思路(1)

现在的趋势是构建物联网大数据平台。但是现有系统是基于传统的EF5+PSpace实时数据库。先从实时数据库开始下手分析。拿到sdk是.net、java、c三种。最后一种不会。分析前两种。
星空天宇·2022-04-02 09:00

2022-04-01

学习通线上大数据平台应该对更多的老师开放权限，这样大家线上相互听课就更加方便了。听一听不同老师的课堂组织、课程思政、案例选取等等是一种最直接的学习观摩。
28385ebcbe8b·2022-04-01 10:45

T3 出行 Apache Kyuubi Flink SQL Engine 设计和相关实践 网易数帆 网易数帆

在日前的ApacheSeaTunnel&Kyuubi联合Meetup上，T3出行大数据平台负责人、ApacheKyuubicommitter杨华和T3出行高级大数据工程师李心恺共同分享了ApacheKyuubi
·2022-03-31 16:34

2022年春招最新消息：IT互联网行业平均薪资18500元

第二种，看好的心态：大数据平台的兴起到阿里
·2022-03-31 16:32

云原生数据中台：架构、方法论与实践

前言第一部分数据中台与硅谷大数据平台第1章全面了解数据中台1.1数据中台概念的起源31.1.1艺电的“数据中台”改造41.1.2Twitter的数据驱动61.2什么是数据中台81.2.1数据中台建设的目标
四月天03·2022-03-30 09:16

Flink Next：Beyond Stream Processing

本文整理自ApacheFlink中文社区发起人、阿里巴巴开源大数据平台负责人王峰（莫问）在FlinkForwardAsia2021的分享。
·2022-03-28 17:56

视频教程-从零开始自然语言处理-NLP

从零开始自然语言处理楚门智能创始人，昆士兰理工大学数据科学硕士，多年大数据行业经验，原联想电商大数据平台负责人，Cloudera认证架构师、管理员，主要科研方向为数据科学，在自然语言处理领域有的经验,擅长
weixin_33358046·2022-03-28 07:08

两步实现让antd与IDE和睦相处的处理案例

导读：WebIDE的开发从来是整个大数据平台开发中非常繁复和笨重的一环，从零搭建一个WebIDE通常意味着大量的殚精竭虑和苦思冥想，时间成本更是不可计数。
·2022-03-25 11:52

华为云FusionInsight MRS实战 - Hudi实时入湖之DeltaStreamer工具最佳实践

背景传统大数据平台的组织架构是针对离线数据处理需求设计的，常用的数据导入方式为采用sqoop定时作业批量导入。随着数据分析对实时性要求不断提高，按小时、甚至分钟级的数据同步越来越普遍。
·2022-03-25 10:09

金融大数据平台走向何方？

自从2014年大数据首次作为国家战略被写入政府工作报告，金融机构不断引入大数据平台、构建大数据体系。
·2022-03-24 15:20

一文读懂丨国产化大背景下，企业如何稳固数据底座？

随着国产化趋势加速，信创产业发展也开始从核心的芯片、操作系统、数据库等领域覆盖到大数据平台等更广泛的领域。
·2022-03-24 15:02

阿里云发布第四代神龙架构，提供业界首个大规模弹性RDMA加速能力

相比上一代，第四代神龙架构基础性能全面提升，存储IOPS提升300%、网络PPS提升100%、网络延迟降低80%，同时升级至全新的eRDMA网络架构，是业界首个大规模弹性RDMA加速能力，再次
·2022-03-23 10:03

华为云MRS基于Hudi和HetuEngine构建实时数据湖最佳实践

各个行业企业都在构建企业级数据湖，将企业内多种格式数据源汇聚的大数据平台，通过严格的数据权限和资源管控，将数据和算力开放给各种使用者。一份数据支持多种分析，是数据湖最大的特点。
·2022-03-23 09:56

金融大数据平台走向何方？

自从2014年大数据首次作为国家战略被写入政府工作报告，金融机构不断引入大数据平台、构建大数据体系。
·2022-03-22 20:59

python图像处理实战_【Python - OpenCV】数字图像处理项目实战（三） - 运动估计

目录大纲理论架构基础梗概1.混合高斯模型2.L-K光流估计方法的基本原理。
weixin_39690097·2022-03-22 14:55

一文读懂丨国产化大背景下，企业如何稳固数据底座？

随着国产化趋势加速，信创产业发展也开始从核心的芯片、操作系统、数据库等领域覆盖到大数据平台等更广泛的领域。
·2022-03-21 20:25

数栈在湖仓一体上的探索与实践

导读：大数据技术的发展历程中，继数据仓库、数据湖之后，大数据平台的又一革新技术——湖仓一体近年来开始引起业内关注。市场发展催生的数据管理需求一直是数据技术革新的动力。
·2022-03-21 20:24

ARMv8-A架构基础之 异常级别（exception level, el）

ARM架构定义了基于处理器模式的异常模型。对于每种异常类型，体系结构都定义了异常所采用的模式。这种模式被称为异常的目标模式（targetmode）。然而可配置的陷入，使能和路由控制常常可以更改异常的目标模式。ARMv8-A的AArch32遵循此模型。当处理器发生异常时：将当前程序状态保存在目标模式的SPSR中。保存异常的返回地址：如果目标模式不是Hyp模式，则在目标模式的链接寄存器（LR）中。如果
雨中奔跑的大蒜苗·2022-03-20 07:38

Spark Streaming（二）Spark Streaming整合Kafka

主要分为以下几个方面，均附有实际代码：SparkStreaming简介SparkStreaming架构基础概念作业提交SparkStreaming窗口操作SparkStreaming容错性分析WAL工作原理
Yuan_CSDF·2022-03-18 04:51

Spark Streaming（一）简介与架构

主要分为以下几个方面，均附有实际代码：SparkStreaming简介SparkStreaming架构基础概念作业提交SparkStreaming窗口操作SparkStreaming容错性分析WAL工作原理
Yuan_CSDF·2022-03-18 04:50

杭州思科对 Apache DolphinScheduler Alert 模块的改造

杭州思科已经将ApacheDolphinScheduler引入公司自建的大数据平台。
·2022-03-16 20:35

自研磁盘型特征存储引擎RDB在云音乐的实践

这些特征主要从大数据平台上spark或者flink的任务产出，比如歌曲的特征、用户的特征等。它们的特点是数据量大，每天定时全量更新或者实时增量更新，而且对查询的性能要求高。
·2022-03-16 11:15

GBASE助力山东移动大数据平台PB级数据主仓业务跨机房无感知迁移

近日，山东移动完成了PB级数据仓库跨机房的搬迁及扩容，项目实施做到了业务应用的代码零改动，通过修改JDBC的连接串，重启服务就完成了系统割接，真正意义上做到了经分大数据数据主仓完全业务无感知的跨数据中心搬迁工作，目前扩容后系统已良好运行超过30天。项目背景2012年7月开始山东移动经分系统开始采用GBase8aMPP数据库对DB2进行全面替换，经过几期建设，2020年逐步建成大数据开放运营平台，通
GBASE数据库·2022-03-16 06:47

预告 | GBase数据库入选《创新源动力——北大创新评论产业研究案例库》

2022年1月19日，“创新源动力-2021北大创新评论产业研究案例库发布会暨2022年度案例库启动仪式”将在北京召开，南大通用《科技助力金融创新国产分布式分析型数据库GBase8a打造领先银行大数据平台
GBASE数据库·2022-03-16 06:16

基于 DataWorks + MaxCompute 构建大数据平台

简介：DataWorks是阿里云重要的PaaS平台产品，提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，可以经济并高
·2022-03-14 20:49

TiDB分布式数据库培训实战教程（分布式集群架构、分布式大数据平台）

一、TiDB分布式数据库培训实战教程（分布式集群架构、分布式大数据平台）视频教程为满足想学习和掌握国产TiDB数据库技术的学员，风哥特别设计的一套比较系统的TiDB课程，本教程内容涉及TiDB数据库基础知识
风哥2号·2022-03-11 07:59

Databricks 企业版 Spark&Delta Lake 引擎助力 Lakehouse 高效访问

作者：李锦桂（锦犀）阿里云开源大数据平台开发工程师王晓龙（筱龙）阿里云开源大数据平台技术专家背景介绍Databricks是全球领先的Data+AI企业，是ApacheSpark的创始公司，也是Spark
·2022-03-10 11:54

PolarDB for PostgreSQL 内核解读 ：HTAP架构介绍

简介：在PolarDB存储计算分离的架构基础上我们研发了基于共享存储的MPP架构步具备了HTAP的能力，对一套TP的数据支持两套执行引擎：单机执行引擎用于处理高并发的OLTP；MPP跨机分布式执行引擎用于复杂的
·2022-03-08 15:27

【案例】替代进口数仓，星环科技助力北京银行建设新一代大数据平台

成立于1996年的北京银行，抢抓时代机遇，相继实现引资、上市、跨区域等发展突破，在北京、天津、上海、西安、深圳、杭州、长沙、南京、济南、南昌、石家庄、乌鲁木齐等十余个中心城市以及香港特别行政区、荷兰拥有670多家分支机构，探索了中小银行创新发展的经典模式。北京银行资产规模稳健增长，继续领跑全国城商行，跻身全球百强银行和我国系统重要性银行。在世界品牌实验室品牌价值排行榜中，品牌价值升至654亿元。在
·2022-03-08 14:20

数据孤岛下的新破局 Real Time DaaS：面向 AP+TP 业务的数据平台架构

从传统数仓，到大数据平台，再到数据中台和湖仓一体新数据平台，在日益加重的数据孤岛困扰下，面向AP场景的解决方案可谓浩如烟海。
·2022-03-07 18:19

数字营销行业大数据平台云原生升级实战

简介：加和科技CTO王可攀：技术是为业务价值而服务王可攀加和科技CTO本文将基于加和科技大数据平台升级过程中面临的问题和挑战、如何调整数据平台架构以及调整后的变化，为大家介绍数字营销行业大数据平台云原生升级实战经验
阿里云云栖号·2022-03-02 17:58
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他