数仓技术知识

数据链路层之流量控制和可靠传输机制（停止-等待协议、后退N帧协议（GBN）、选择重传协议（SR））

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言：流量控制简介一、停止-
哥的时代·2023-12-03 00:58

AliExpress基于Flink的广告实时数仓建设

摘要：实时数仓以提供低延时数据指标为目的供业务实时决策，本文主要介绍基于Flink的广告实时数仓建设，主要包括以下内容：1.建设背景2.技术架构3.数仓架构4.实时OLAP5.实时保障6.未来规划建设背景广告是目前互联网流量变现的一种
王知无(import_bigdata)·2023-12-02 19:01

亚马逊云科技re:Invent Peter DeSantis演讲，数据规模拓展无极限引领Serverless构建之路

Amazon全新发布RedshiftServerless：Al模型预测多维度数仓工作负载并自动调度和优化，高达10倍性价比提升。Amazon全新发布ElastiCacheServ
Zaker科技·2023-12-02 13:32

【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive

【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive文章目录一、mysql全量导入hive[分区表]需求介绍：二、mysql增量导入hive1.增量导入的第一种实现方法2.另一种方法是时间字段
程序终结者·2023-12-02 10:22

2023.11.29 -hmzx电商平台建设项目 -核销主题阶段总结

目录1.准备源数据2.准备数仓工具进行源数据同步到ods层,本项目使用Datax3.使用Datax完成数据同步前建表时的方案选择3.1同步方式区别:3.2存储格式和压缩区别:4.在hive中创建表,共31
白白的wj·2023-12-02 09:53

用 CloudCanal 快速验证阿里云 EMR for StarRocks 和 Doris

背景StarRocks和Doris是近两年来相当流行的、国产的、开源的实时数仓，不仅数据检索、分析能力出众，而且数据准备实时性好、准确度高、使用丝滑，可如同在线数据库般使用。
ClouGence·2023-12-02 08:47

直播电商数据仓库

直播电商数据仓库一.数仓及其维度什么是数仓数据仓库，简称数仓,（DataWarehouse）。
李昊哲小课·2023-12-01 21:31

尚硅谷大数据项目《在线教育之实时数仓》笔记008

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第10章数仓开发之DWS层P066P067P068P069P070P071P072P073P074P075P076P077P078P079P080P081P082
upward337·2023-12-01 16:14

2022-04-28

day7测序技术知识——罗wb测序技术原理及平台.png测序技术原理及常用数据格式简介（*****）https://mp.weixin.qq.com/s/zPa2G5gzl-sTFAi-qAzbvA各测序技术的参数及特点微信图片
婉_870f·2023-12-01 12:03

您的计算机已被.halo勒索病毒感染？恢复您的数据的方法在这里！

我们的专业团队（技术服务号shuju315）具备丰富的经验和技术知识，精通各类数据恢复技术，能够应对各种数据加密情况。感染.halo
wx_shuju315·2023-12-01 11:51

.360、halo勒索病毒来敲门：抗击.360、halo病毒的智慧安全策略

我们的专业团队（技术服务号shuju315）具备丰富的经验和技术知识，精通各类数据恢复技术，能够应对各种数据加密情况。1..360
wx_shuju315·2023-12-01 11:14

Java物联网技术知识点总结（持续更新中...）

文章目录物联网协议MQTT概念消息结构固定头可变头有效载荷QosCOAP概念双层结构事务层请求/响应层特点消息结构消息类型列代码消息IDTokenOptions资源发现机制定义怎么进行资源发现CoRELinkFormat（CoRE链接标准）可观察性（Observability）定义如何实现对资源的实时监测和更新LoRaWAN概述设备激活方式OTTAABP终端的工作模式ClassAClassBCla
林ming·2023-12-01 04:40

1w字详解 ClickHouse漏斗模型实践方案（收藏）

作者：互联网大数据团队-WuYonggang日常工作中做为数仓开发工程师、数据分析师经常碰到漏斗分析模型，本文详细介绍漏斗模型的概念及基本原理，并阐述了其在平台内部的具体实现。
浪尖聊大数据-浪尖·2023-11-30 21:57

Java常见的面试题（很基础那种）

因为在实际工作中，并不是所有技术知识点都会用上，一般都是有一些范
不务正业的猿·2023-11-30 16:35

Mysql 表结构 到 hive 表结构的转换 （DDL自动生成）

最近在做mysql入hive数仓的工作，由于业务表数量较大，单独写hiveDDL太过耗时，就找到了如下方法。
雾岛与鲸·2023-11-30 16:56

实习开发日志经验总结（一）

故想在整个实习日志的基础上，提炼一些技术知识点或者是解决问题的思路。考虑到实习项目的不方便公开性，所以会隐去相关的业务信息。内容比较杂，但是想记录下方便以后回顾，也希望对大家有帮助。
生生不息~·2023-11-30 16:13

大数据学习-离线数仓项目实战笔记（上）

1.前置1.1.软件版本产品版本Hadoop2.9.2Hive2.3.7Flume1.9DataX3.0Airflow1.10Atlas1.2.0Griffin0.4.0Impalaimpala-2.3.0-cdh5.5.0MySQL5.71.2.软件安装分布情况服务器linux121linux122linux123Hadoop√namenode√√seconderynamenode,resour
ys4tnaf·2023-11-30 15:24

01数仓平台 Hadoop介绍与安装

Hadoop概述Hadoop是数仓平台的核心组件。在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源调度，耦合性较大。在Hadoop2.x时代，增加了Yarn。
kk_io·2023-11-30 13:38

数据仓库数据管理模型

数据仓库分为贴源层、数据仓库层、数据服务层，有人叫做数仓数据模型，或者叫"数据管理模型”。
zhulangfly·2023-11-30 13:52

“互+大课表”的使用教学设计

教学重点：掌握“互+大课表”的使用基本操作方法教学难点：对于涉及到的如Cctalk等网络技术知识点的理解教学过程：一、什么是“互+计划”互+计划（又名互加计划）是沪江
建一所小而美学校·2023-11-30 09:03

深算院YashanDB整体亮相高交会开幕式

开幕式上，深算院重磅推介基于全自研内核的“1+3+3”YashanDB产品体系，即1个自主内核、共享集群数据库、实时数仓、空间数据库3大产品，以及迁移平台、运维平台、开发平台3大工具，由此形成具备完整能力的自主创新产品与企业级解决方案
YashanDB·2023-11-30 06:15

AntDB“超融合+流式实时数仓”——颠覆50年未变的数据库内核

流式处理引擎，颠覆50年未变的数据库内核流式处理的概念2001年9月11日，美国世贸大楼被袭击，美国国防部第一次将“主动预警”纳入国防的宏观战略规划。而IBM作为当时全球最大的IT公司，承担了大量基础支撑软件研发的任务。其中2009年正式发布的IBMInfoSphereStreams，就是全球最早真正意义上的商业化流数据处理引擎之一。典型的流处理框架，如ApacheStorm、SparkStrea
亚信安慧AntDB数据库·2023-11-30 03:01

AntDB“超融合+流式实时数仓”——快速实现企业全链路实时化

AntDB-S流式数据库可以被应用于实时数仓、实时报表、实时告警、异步交易等业务场景，用户可以通过直接使用简单SQL创建复杂的流式数据处理业务逻辑，轻松替代ApacheS
亚信安慧AntDB数据库·2023-11-30 03:01

AntDB“超融合+流式实时数仓”——打造分布式数据库新纪元

（一）前言据统计，在信息化时代的今天，人们一天所接触到的信息量，是古人一辈子所能接收到的信息量的总和。当今社会中除了信息量“多”以外，人们对信息处理的“效率”和“速度”的要求也越来越高。譬如，对于很多企业决策者来说，在当前的经济形势下需要尽一切可能降本增效。过去每周看看经营报表的习惯，现在慢慢转变为利用实时可视化的方式来随时分析企业当前的经营状况。数据库作为信息的核心载体，在过去的半个世纪中，基本
亚信安慧AntDB数据库·2023-11-30 03:57

回顾我的2021

有开心也有不开心，但是最多的是迷茫，对工作的迷茫，对生活的迷茫，对以后的迷茫，一时不知从何说起，那就从工作先说吧~工作成年人的崩溃往往是在一瞬间，回顾我的2021，对于工作上我感觉自己是还可以的，崩溃的只是自己技术知识储备量的不够
被风吹起来的小刘海儿·2023-11-30 01:10

阿里云数据中台核心引擎

核心引擎MaxCompute阿里离线数据计算平台（离线数仓）原名ODPS,阿里巴巴自主研发的海量数据处理平台MaxCompute处理存储在TableStore的数据（不负责收集数据到TableStore
hsabrina·2023-11-30 00:30

Python之内置函数和模块

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录一、内置函数1.1、什么是内置函数
哥的时代·2023-11-29 17:39

物理层之编码与调制（非归零编码、慢车斯顿编码、差分曼彻斯特编码、归零编码、反向不归零编码、4B/5B编码）

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录一、基带信号与宽带信号1、基带信号
哥的时代·2023-11-29 13:44

物理层之三种数据交换方式（电路交换、报文交换、分组交换（数据报方式、虚电路方式））

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、电路交换二、报文交换三
哥的时代·2023-11-29 13:44

MyBatis-Plus简介和入门操作

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录一、MyBatis-Plus
哥的时代·2023-11-29 13:14

物理层之码分复用（内含相关例题）

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录一、码分复用二、例题详解1、
哥的时代·2023-11-29 13:42

如何进行指标质量治理——指标系统（提质篇）

作者介绍@小风数据中台产品负责人；UBDC全域大数据峰会“灯塔人物”；擅长埋点模型、指标治理，数仓架构等；“数据人创作者联盟”成员。01指标质量治理概述指标质量治理主要分为两个部分：提质与增效。
一个数据人的自留地·2023-11-29 08:26

Databend 开源周报第 121 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-11-29 06:21

Java程序员的技术进阶成长路线

那么，作为一名Java初级程序员，怎样努力才能快速成长为一名高级的程序员或者架构师，或者说一名优秀的高级工程师或架构师应该有怎样的技术知识体系，这不仅一个刚刚踏入职场的初级程序员，也是工作三五年之后开始迷茫的老程序
Java架构师Carl·2023-11-28 20:39

细说数据仓库上篇

在谈数仓之前，先来看下面几个问题：数仓为什么要分层？
派可数据·2023-11-28 18:53

数据仓库建模下篇

在实际业务中，给了我们一堆数据，我们怎么拿这些数据进行数仓建设呢，数仓工具箱作者根据自身多年的实际业务经验，给我们总结了如下四步。
派可数据·2023-11-28 18:10

大数据开发：实时数仓架构层次设计

在大数据实时计算处理领域，数据仓库提供重要的支持，从传统的离线数仓到实时数仓，大数据带动了相应的市场需求，而从架构层次来说，实时数仓也有新的值得挖掘的技术点。
成都加米谷大数据·2023-11-28 16:52

ODPS SQL优化总结

本文结合作者多年的数仓开发经验，结合ODPS平台分享数据仓库中的SQL优化经验。背景数据仓库，是一个面向主题、集成的、随时间变化的、信息本身相对稳定的数据集合。
小二上酒8·2023-11-28 14:09

百度智能小程序系统源码+关键词排名优化 附带完整的搭建教程

然而，开发一个小程序需要掌握多种技术知识，这对于许多开发者来说是一个难题。因此，百度小程序系统源码应用而生，让开发者可以更快速、更简单地开发小程序。
罗峰源码·2023-11-28 13:56

ZYNQ进阶之路5--PS端hello xilinx zynq设计

在ZYNQ进阶之路1-4中我们大致了解了ZYNQPL端的开发流程以及使用verilog硬件描述语言写了几个硬件模块，希望大家在之前的章节中能有所收获，如果其中有技术上的问题属于博主技术知识有限希望读者多多谅解
鹏哥DIY·2023-11-28 07:05

微服务--数据聚合

项目涉及技术知识点是按照集数依次整理，方便日后回来查找。
忆~遂愿·2023-11-28 04:25

详解数仓中的数据分层：ODS、DWD、DWM、DWS、ADS

何为数仓DWDatawarehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。
禅与计算机程序设计艺术·2023-11-28 00:17

史上最全，性能测试-性能分析调优详细讲解，全网独一份...

、JMeter性能测试九、总结（尾部小惊喜）前言性能分析前提：性能分析的前提除了需要丰富的性能测试监控（如PTS自身的客户侧监控、基础类监控-阿里云监控、应用类监控-ARMS监控等），还需要具备相关的技术知识
百里测试开发·2023-11-27 19:10

物理层之奈氏准则和香农定理

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录一、码元和带宽1、什么是码元
哥的时代·2023-11-27 16:36

WebSocket协议在java中的使用

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录一、WebSocket介绍1
哥的时代·2023-11-27 16:36

Apache ECharts简介和相关操作

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录一、ApacheECharts
哥的时代·2023-11-27 16:36

数仓分层能减少重复计算，为啥能减少？如何减少？这篇文章包懂！

很多时候，看一些数据领域的文章，说到为什么做数据仓库、数据仓库要分层，我们经常会看到一些结论：因为有ABCD…等等理由，比如降低开发成本、减少重复计算等等好处然后，多数人就记住了ABCD。但是，每每被问起来，为什么，有什么案例，你是怎么理解的，就被问住，傻眼了。概念套概念，没意思，不如返璞归真，从生活案例重新理解起~01从统计班级人数开始本文将用生活化案例，结合粒度的概念，帮你理解常说的减少重复计
数据产品小lee·2023-11-27 12:42

【数据中台】开源项目（2）-Dbus数据总线

1背景企业中大量业务数据保存在各个业务系统数据库中，过去通常的同步数据的方法有很多种，比如：各个数据使用方在业务低峰期各种抽取所需数据（缺点是存在重复抽取而且数据不一致）由统一的数仓平台通过sqoop到各个系统中抽取数据
码农丁丁·2023-11-27 00:44

ClickHouse替换MySQL作为数仓APP层

一、ClickHouse是什么？二、业务问题三、ClickHouse实践四、遇到的坑五、总结一、ClickHouse是什么？ClickHouse：是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)我们首先理清一些基础概念OLTP：是传统的关系型数据库，主要操作增删改查，强调事务一致性，比如银行系统、电商系统OLAP：是仓库型数据库，主要是读取数据，做复杂数据分析，侧重技术决策支持，提供
hzp666·2023-11-26 19:42

StarRocks与ClickHouse

2、开源数仓解决方案接下来
Yuan_CSDF·2023-11-26 19:11
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他