数仓技术知识

用Airflow调度数仓（CK）的ETL脚本

#安装前提：安装了python，我这里是python3下载按照官网：pip3installapache-airflow包太多，下载太慢改为清华的镜像：pip3install-ihttps://pypi.tuna.tsinghua.edu.cn/simpleapache-airflow又有包找不到最后用豆瓣的镜像（注意要加trusted）：pip3installapache-airflow-ihtt
一篮小土·2023-11-19 09:16

本地数仓项目(四）—— 即席查询

1背景本文描述本地数仓项目即席查询相关内容，主要涉及即席查询工具包括Presto、Druid、Kylin。
不以物喜2020·2023-11-19 08:09

canal小试牛刀第一篇：canal-server+kafka根据mysql binlog同步数据

数仓搭建必备利器。
凯丨·2023-11-19 07:43

【硬刚ClickHouse】ClickHouse 高级（二）优化(2)建表优化

1数据类型1.1时间字段的类型建表时能用数值型或日期时间型表示的字段就不要用字符串，全String类型在以Hive为中心的数仓建设中常见，但ClickHouse环境不应受此影响。
王知无(import_bigdata)·2023-11-19 06:28

ClickHouse-优化（建表、配置）

1.数据类型1.1时间字段的类型建表时能用数值型或日期时间型表示的字段就不要用字符串，全String类型在以Hive为中心的数仓建设中常见，但ClickHouse环境不应受此影响。
嘣嘣嚓·2023-11-19 05:55

ClickHouse-建表优化

建表优化数据类型时间字段的类型建表时能用数值型或日期时间型表示的字段就不要用字符串,全String类型在以Hive为中心的数仓建设中常见,但ClickHouse环境不应受此影响。
魔笛Love·2023-11-19 05:20

ClickHouse建表优化

1.数据类型1.1时间字段的类型建表时能用数值型或日期时间型表示的字段就不要用字符串，全String类型在以Hive为中心的数仓建设中常见，但ClickHouse环境不应受此影响。
shangjg3·2023-11-19 05:42

Mallab勒索病毒的最新威胁：如何恢复您的数据？

在面对被勒索病毒攻击导致的数据文件加密问题时，技术支持显得尤为重要，您可添加我们技术服务号（shuju315），我们的专业团队拥有丰富的数据恢复经验和技术知识，能够迅速定位问题并提供最佳解决方案。
wx_shuju315·2023-11-18 23:43

“KALI 2020” + “安全练兵场”

成立"安全练兵场"的目的目前，安全行业热度逐年增加，很多新手安全从业人员在获取技术知识时，会局限于少量的实战中，技术理解得不到升华，只会像个脚本小子照着代码敲命令，遇到实战时自乱阵脚，影响心态的同时却自叹不如
Ms08067安全实验室·2023-11-18 22:09

靶场Writeup(四) | 反序列化、命令执行、Tomcat、域渗透等漏洞组合到攻克域控

文章来源｜MS08067安全练兵场知识星球本文作者：godunt（安全练兵场星球合伙人）玩靶场认准安全练兵场成立"安全练兵场"的目的目前，安全行业热度逐年增加，很多新手安全从业人员在获取技术知识时，会局限于少量的实战中
Ms08067安全实验室·2023-11-18 22:09

实战ATT&CK攻击链路--靶场Writeup(三)

文章来源｜MS08067安全练兵场知识星球本文作者：godunt（安全练兵场星球合伙人）玩靶场认准安全练兵场成立"安全练兵场"的目的目前，安全行业热度逐年增加，很多新手安全从业人员在获取技术知识时，会局限于少量的实战中
Ms08067安全实验室·2023-11-18 22:39

ipsec VPN 技术知识点

目录1,什么是ipsec2，IPSec提供的安全服3，IPSec协议族安全体系框架4，两种工作模式传输模式(Transportmode)隧道模式(Tunnelmode)5，AH与ESP封装的异同?6.详细说明IKE的工作原理？7逻辑关系8，应用场景：主模式：野蛮模式：1,什么是ipsecipsec（InternetProtocolSecurity）是一直种实现的技术之一，为IP网络提供安全和加密。
不方便，你要方便吗？·2023-11-18 22:08

PieCloudDB Database 再次升级！社区版全新版本发布

拓数派正式发布大模型数据计算系统「πDataCS」，基于云原生技术重构数据存储和计算，重塑数仓、向量和机器学习等数据计算引擎，实现“一份数据存储，多引擎数据计算”。
OpenPie｜拓数派·2023-11-18 21:27

领先一步，效率翻倍：PieCloudDB Database 预聚集特性让查询速度飞起来！

为此，拓数派推出了首款数据计算引擎PieCloudDBDatabase，作为一款全新的云原生虚拟数仓，旨在提供更高效、更灵活的数据处理解决方案。
OpenPie｜拓数派·2023-11-18 21:56

「校园 Pie」 系列活动正式启航，首站走进南方科技大学！

在「校园Pie」系列活动中，PieCloudDB社区将携拓数派技术专家，社区大咖走进国内各大高校，分享行业动态与前沿技术，产业界的案例与应用分享，云原生数据库技术的应用与实践、云原生虚拟数仓PieCloudDB
OpenPie｜拓数派·2023-11-18 21:52

阿里云云原生一体化数仓 - 数据安全能力解读

MaxCompute产品简介MaxCompute是一款多功能、低成本、高性能、高可靠、易于使用的数据仓库和支持全部数据湖能力的大数据平台，支持超大规模、serverless和完善的多租户能力，内建企业级安全能力和管理功能，支持数据保护和安全共享，数据/生态开放，可以满足数据仓库/BI、数据湖非结构化数据处理和分析、湖仓一体联邦计算、机器学习等多业务场景需求。阿里云MaxCompute提供了全托管的
阿里云云栖号·2023-11-18 21:28

SaprkStreaming广告日志分析实时数仓

一、系统简介参考尚硅谷的spark教程中的需求，参考相关思路，详细化各种代码，以及中间很多逻辑的实现方案采用更加符合项目开发的方案，而不是练习，包括整体的流程也有很大的差别，主要是参考需求描述和部分代码功能实现。需求一：广告黑名单实现实时的动态黑名单机制：将每天对某个广告点击超过100次的用户拉黑。注：黑名单保存到MySQL中。1）读取Kafka数据之后，并对MySQL中存储的黑名单数据做校验；2
是阿威啊·2023-11-18 21:50

一文最全科普FPGA技术知识

FPGA是可以先购买再设计的“万能”芯片。FPGA（FieldProgrammableGateArray）现场可编程门阵列，是在硅片上预先设计实现的具有可编程特性的集成电路，它能够按照设计人员的需求配置为指定的电路结构，让客户不必依赖由芯片制造商设计和制造的ASIC芯片。广泛应用在原型验证、通信、汽车电子、工业控制、航空航天、数据中心等领域。AlteraLUT4架构FPGA硬件三大指标：制程、门级
EDA365电子论坛·2023-11-17 15:15

实时数仓入门训练营：Hologres性能调优实践

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容
阿里云云栖号·2023-11-17 14:11

Hologres揭秘:深度解析高效率分布式查询引擎

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务
阿里云云栖号·2023-11-17 14:11

Hologres揭秘：高性能原生加速MaxCompute核心原理

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
阿里云云栖号·2023-11-17 14:11

首次揭秘云原生Hologres存储引擎

概要：刚刚结束的2020天猫双11中，MaxCompute交互式分析（Hologres）+实时计算Flink搭建的云原生实时数仓首次在核心数据场景落地，为大数据平台创下一项新纪录。
阿里云技术·2023-11-17 14:09

Hologres 揭秘：深度解析高效率分布式查询引擎

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
阿里云技术·2023-11-17 14:09

微服务--实用篇-笔记大全

项目涉及技术知识点是按照集数依次整理，方便日后回来查找。考虑到不是固定的联网方式，时而WiFi，时而热点，配置静态IP会导致每次网络变更后都需要重新配置，所以虚拟机使用的动态路由，当需要运行相关程
忆~遂愿·2023-11-17 14:06

微服务实用篇--学习笔记

项目涉及技术知识点是按照集数依次整理，方便日后回来查找。考虑到不是固定的联网方式，时而WiFi，时而热点，配置静态IP会导致每次网络变更后都需要重新配置，所以虚拟机使用的动态路由，当需要运行相关程序
忆~遂愿·2023-11-17 14:06

分布式搜索--elasticsearch

项目涉及技术知识点是按照集数依次整理，方便日后回来查找。
忆~遂愿·2023-11-17 14:35

正确设计Hologres实时数仓，性能提升10倍+

本文将会讲述阿里巴巴零售通数据平台如何优化Hologres实时数仓，达到性能提升10倍+的效果，完美支撑双11营销活动、实时数据大屏等核心场景。
aliyunhologres·2023-11-17 14:29

Hologres揭秘：深度解析高效率分布式查询引擎

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务
阿里开发者·2023-11-17 14:28

hologres基础知识一文全

hologres基础知识一文全1功能特性1.1多场景查询分析1.2原生实时数仓1.3企业级运维能力1.4生态与可扩展性2hologres架构2.1传统分布式系统2.2hologres基础架构2.2.1计算层
Direction_Wind·2023-11-17 14:57

Python大数据之linux学习总结——day08_hive04

hive04hive查询语法结构:类sql基本查询知识点:数据准备:数仓分层思想:课堂练习:类sql多表查询知识点:数据准备:练习:hive其他join操作知识点:示例:hive其他排序操作[练习]知识点
笨小孩124·2023-11-17 09:37

二百零三、Flume——Flume实时采集数据频率为1s的高频率Kafka数据直接写入ODS层表的HDFS文件路径下

一、目的在离线数仓中，需要用Flume去采集Kafka中的数据，然后写入HDFS中。由于每种数据类型的频率、数据大小、数据规模不同，因此每种数据的采集需要不同的Flume配置文件。
天地风雷水火山泽·2023-11-17 07:22

区块链共识机制简述

想知道更多区块链技术知识，请百度【链客区块链技术问答社区】链客，有问必答！！共识机制是分布式系统的核心，在P2P系统中，互相不信任的节点通过预设机制最终达到数据的一致性称为共识。
weixin_33720078·2023-11-17 03:55

hive数仓-数据的质量管理

版本20231116要理解数据的质量管理，应具备hive数据仓库的相关知识文章目录1.理解什么是数据的质量管理：2.数据质量管理的规划数据质量标准的分类3.数据质量管理解决方案1.ods层的数据质量校验1）首先在hive上建立一个仓库，添加数据质量监控表2）然后建立检查检查表3）创建数据检验曾量表通用的脚本4）创建数据检测全量表的脚本5）脚本的运行2.dwd层的数据质量校验1）建立dwd层校验表2
江南正晓时·2023-11-17 01:33

Hudi数据湖相关资料

ApacheHudi源码解读hudi各类资料：字节电商场景基于ApacheHudi的落湖实践阿里云AnalyticDB基于FlinkCDC+Hudi实现多表全增量入湖实践Lambda架构向湖仓一体架构演进的的实时电商数仓建设
后季暖·2023-11-16 23:46

Stages—研发过程可视化建模和管理平台

Stages聚焦于研发过程的用户体验，允许用户集中访问过程描述信息、项目文档、模板、实践或者技术知识库。在Stages中定义好的过
经纬恒润·2023-11-16 13:31

【云栖2023】姜伟华：Hologres Serverless之路——揭秘弹性计算组

本文根据2023云栖大会演讲实录整理而成，演讲信息如下：演讲人：姜伟华|阿里云计算平台事业部资深技术专家、阿里云实时数仓Hologres研发负责人演讲主题：HologresServerless之路——揭秘弹性计算组实时化成为了大数据平台的核心演进趋势
阿里云大数据AI技术·2023-11-16 12:29

Databend 开源周报第 119 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-11-16 07:20

深入理解生成式AI技术原理：初识生成式AI

大家好，我是慕枫前阿里巴巴高级工程师，InfoQ签约作者、阿里云专家博主，一直致力于用大白话讲解技术知识在这里和大家分享一线互联网大厂面试经验、技术人成长路线以及Java技术、分布式、高并发、架构设计方面的经验总结感恩遇见
慕枫技术笔记·2023-11-16 07:03

浅谈作为程序员如何写好文档：了解读者

通过文档，可以分享我的技术知识和最佳实践，使其他人更好地理解我的工作。
FTLIKON·2023-11-16 07:59

浅谈作为程序员如何写好文档：结构化写作

通过文档，可以分享我的技术知识和最佳实践，使其他人更好地理解我的工作。在这里，给大家浅谈一下作为技术研发如何写好技术文档目录什么是结构化写作？为什么要结构化写作？如何进行结构化写作？
FTLIKON·2023-11-16 07:59

Flink 1.12的CDC

基于Flink构建流批一体的实时数仓是目前数据仓库领域比较火的实践方案。随着Flink的不断迭代，其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便。
'煎饼侠·2023-11-15 19:56

数据仓库入门简介

一，数组仓库介绍数据仓库（英语：DataWarehouse，简称数仓、DW）是一个为数据分析而设计的企业级数据管理系统。它旨在支持企业决策过程中的数据分析和业务智能。
浮生夢·2023-11-15 17:12

StarRocks × Apache Flink：如何构建简单强大的实时数仓架构

当前在构建实时数仓时，由于数据源的多样性，需要使用不同的采集工具，如Flume、Canal、Logstash。对于不同的业务，我们通常会采用不同的分析引擎。
大数据技术架构·2023-11-15 16:27

最流行的3D建模游戏动画软件大总结，你都知道哪些？

要区分程序之间差异所需的大多数技术知识是初学者无法掌握的。所以我这个入门的小白就尝试了一下大多数的3D软件，并分享下感受。
3D游戏建模入门·2023-11-15 14:50

【用户实践】openGauss5.0在某省医保局实时数仓应用

一、项目背景采用数据同步软件将各系统的数据库下的数据实时同步到openGauss数据库中；建立实时数仓；可以在实时数仓自行查询、分析、统计数据及报表；同时横向集成公共服务区和核心业务区生产库数据、集成其他委办局数据
renxyz·2023-11-15 12:11

Hive 数仓数据质量治理

1.数据质量概述数据质量是数据创建价值的保障基石，高质量的数据为数据统计、分析和应用提供了可信任的必要条件。数据质量管理是指在数据创建、加工、使用和迁移等过程中，通过开展数据质量定义、过程控制、监控、问题分析和整改、评估和考核等一系列管理活动，提高数据质量以满足业务要求。可按照"谁创建，谁负责；谁加工，谁负责；谁提供，谁负责"的原则界定数据质量管理责任，由数据流转环节的各责任方对管辖范围内的数据质
笑看风云路·2023-11-15 10:58

Gitlab CI/CD教程以及实战docker自动部署前端项目（全）

目录前言1.技术知识1.1docker安装gitlab1.2docker安装gitlab-runner1.3.gitlab-ci.yml编写1.4使用docker部署前端项目1.5使用阿里云oss部署前端项目
码农研究僧·2023-11-15 09:55

Hadoop完全分布式安装

Hadoop完全分布式安装前言之前有搭建过一次Hadoop完全分布式集群但是没有记录，最近开始着手自己搭个模拟数仓需要搭建集群，趁此机会记录一下搭建的过程。
薇安娜·2023-11-15 05:43

hive sql生成数仓分钟维表

目录一、建表ddl二、加工格式说明三、加工sql四、示例结果数据一、建表ddlcreatetabledim_pub_minute(date_timestampbigintcomment'时间戳',date_strstringcomment'时间-日期时分秒',day_strstringcomment'日期',time_strstringcomment'时分秒',hour_strstringcomm
chimchim66·2023-11-15 03:39

如何使用Loadrunner调用Java类

在学习编程的过程中，我觉得不止要获得课本的知识，更多的是通过学习技术知识提高解决问题的能力，这样我们才能走在最前方，本文主要讲述如何使用Loadrunner调用Java类，更多Java专业知识，广州疯狂
weixin_30680385·2023-11-14 22:19
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他