数仓电商项目

36 大数据项目之电商数仓（集群监控Zabbix）

文章目录第1章Zabbix入门1.1Zabbix概述1.2Zabbix基础架构第2章Zabbix部署2.1集群规划2.2准备工作2.2.1关闭集群2.2.2关闭防火墙（3台节点，已关闭）2.2.3关闭SELinux（hadoop102）重启生效2.3配置Zabbixyum源（3台节点）2.3.1安装yum源2.3.2修改为阿里云镜像2.4安装Zabbix2.5配置Zabbix2.5.1创建zabb
普通网友·2023-02-26 07:48

▼ 系列 | 漫谈数仓第四篇NO.4 『BI选型』

大数据时代商业智能（BI）和数据可视化诉求更为强烈，淘宝大屏更是风靡全球！数据可视化是大数据『最后一公里』，BI唤醒沉睡的数据。传统型BI力求大而全的统一综合型报表和分析平台，侧重传统式报表开发，俨然一把屠龙刀。现互联网公司快速迭代的业务发展，需要的却是倚天剑，促使自助式BI和敏捷BI得以迅速发展。时代召唤，传统BI巨头也逐渐向自助式BI和云BI转型。一时间，数据可视化和BI呈现出"百家争鸣，百花
浪尖聊大数据-浪尖·2023-02-26 07:48

维度建模方法论

维度建模方法一、前言本人学习《数仓工具箱》的学习总结，纯学习分享，供大家参考。二、经典数仓架构理论围绕着维度建模，那就不得不了解，早期的数据仓库构架方法。这里介绍一下两个经典的数仓架构理论。
清风和月明·2023-02-26 07:47

数仓建模理论--维度建模

总线架构：维度建模的数据仓库中，有一个概念叫BusArchitecture，中文一般翻译为“总线架构”。总线架构是Kimball的多维体系结构（MD）中的三个关键性概念之一，另两个是一致性维度（ConformedDimension）和一致性事实（ConformedFact）。一致性维度和事实，企业数据仓库应该建立一个一致性维度和事实，而不是为每个部门建立维度和事实。一致性维度：具有一致的维度关键字
Dylan ZhaoHT·2023-02-26 07:47

大数据项目---电商数仓（三）

目录1.即席查询_Presto概述2.即席查询_Presto_Server的部署3.即席查询_Presto_Server启动4.即席查询_命令行客户端说明5.即席查询_LZO说明6.即席查询_Presto_web端口编辑7.即席查询_Presto使用注意事项/优化8.即席查询_Kylin简介9.即席查询_前置概念10.即席查询_Kylin架构11.即席查询_Hbase的一个安装12.即席查询_Ky
ASDWYang·2023-02-26 07:13

实时数据同步工具＜Maxwell入门简介及原理解析、安装部署＞

文章目录一、Maxwell的定义二、Maxwell的工作原理三、Maxwell的安装部署简述：对于离线数仓项目中将MySQL中的数据同步到大数据平台使用的工具是sqoop，而我们在大数据处理中并不是只有离线计算
徐象·2023-02-26 06:36

实时数仓实践（一）之数据库实时增量同步工具-CDC（Change Data Capture）

数据库实时增量同步工具-CDC（ChangeDataCapture）Canal阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。Canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前
NuOne_plus·2023-02-26 06:36

阿里云数仓实时同步任务binlog解析文档

背景：阿里云dataworks中有实时同步数据库binlog的任务配置，起源是业务数据库中数据被回滚了，所以借助数仓这边的同步任务数据进行解析和监控更新时间。
Hunter_Young·2023-02-26 06:35

数仓：浅谈银行业的数仓构建实践

文章目录简介一、银行数仓画像二、银行业数仓建设2.1数据总线2.2数据仓库ODM层2.3数据仓库SDM层2.4数据仓库FDM层2.5数据仓库ADM层2.6数据服务三、项目管理简介数据仓库，对从事IT行业的从业者来说并不是个陌生的名词
Freedom3568·2023-02-26 06:04

大数据项目之电商数仓、实时数仓同步数据、离线数仓同步数据、用户行为数据同步、日志消费Flume配置实操、日志消费Flume测试、日志消费Flume启停脚本

文章目录8.实时数仓同步数据9.离线数仓同步数据9.1用户行为数据同步9.1.1数据通道9.1.1.1用户行为数据通道9.1.2日志消费Flume配置概述9.1.2.1日志消费Flume关键配置9.1.3
Redamancy_06·2023-02-26 06:02

一文搞懂秒杀系统，欢迎参与开源，提交PR，提高竞争力。早日上岸，升职加薪。

前言秒杀和高并发是面试的高频考点，也是我们做电商项目必知必会的场景。欢迎大家参与我们的开源项目，提交PR，提高竞争力。早日上岸，升职加薪。
·2023-02-25 12:30

使用 Docker 搭建离线数仓环境

文章目录前言一、Docker安装1.1CentosDocker安装1.2UbuntuDocker安装【推荐】1.3MacOsDocker安装1.4WindowsDocker安装【不推荐】二、容器准备2.1拉取镜像2.2启动并创建容器2.3进入容器三、环境准备3.1安装必要软件3.2配置SSH免密登录3.3设置时区3.4关闭防火墙3.5时间同步、静态ip、主机映射四、MySQL安装4.1上传解压安装
Vicky_Tang·2023-02-25 07:18

Tapdata Connector 实用指南：实时数仓场景之数据实时同步至 ClickHouse

【前言】作为中国的“Fivetran/Airbyte”,Tapdata是一个以低延迟数据移动为核心优势构建的现代数据平台，内置60+数据连接器，拥有稳定的实时采集和传输能力、秒级响应的数据实时计算能力、稳定易用的数据实时服务能力，以及低代码可视化操作等。典型用例包括数据库到数据库的复制、将数据引入数据仓库或数据湖，以及通用ETL处理等。随着TapdataConnector的不断增长，我们最新推出《
·2023-02-24 20:37

【离线数仓-5-数据仓库环境准备】

离线数仓-5-数据仓库环境准备离线数仓-5-数据仓库环境准备1.数据仓库运行环境1.Hive环境搭建1.Hive引擎2.HiveonSpark配置2.Yarn环境配置2.数据仓库开发环境3.模拟数据准备离线数仓
Apache Minor Trend·2023-02-24 18:28

大数据平台实时数仓从0到1搭建之 - 14 Maxwell & Canal 对比

大数据平台实时数仓从0到1搭建之-14Maxwell&Canal对比概述环境数据库配置安装配置启动命令输出结果HA监控web总结概述前两章分别写了maxwell和canal的安装使用，我本人其实是第一次听说这两个工具
这都不是事er·2023-02-24 12:17

大数据平台实时数仓从0到1搭建之 - 12 Maxwell

大数据平台实时数仓从0到1搭建之-12Maxwell概述Maxwellquickstart修改MariaDB配置Maxwelldocker下载maxwell测试stdout：输出控制台kafka后续附客户端代码概述今天学习下
这都不是事er·2023-02-24 12:16

云音乐数据资产化建设的思考与实践

……“咱们的数仓建设得好不好？”，“数仓建设进度到哪儿了？模
·2023-02-24 11:57

数据治理如何做？火山引擎DataLeap帮助这款产品3个月降低计算成本20%

该产品随着用户体量和数据体量不断增长，数仓的任务量、数据量也不断攀升，运维难、成本贵、稳定性等问题在不断凸显。通过使用火山引擎DataLeap的数据治理能力，3个月时间将计算成本大幅缩减20%。
·2023-02-23 16:20

聊聊 HTAP 的前世今生

技术上，由于传统的数仓ETL链路长，延迟大，很难满足业务快速多变的诉求，业务场景的变化也掀起了一股HT
·2023-02-23 15:17

如何防止订单重复提交

利用数据库实现幂等利用Redis防重前言最近在做电商项目，整理一下解决方案并帮助自己巩固知识点，此方案是结合了目前的业务环境，若有更好的解决的方式很高兴与大家一起讨论。
摸大鱼了·2023-02-23 14:16

一文搞懂秒杀系统，欢迎参与开源，提交PR，提高竞争力。早日上岸，升职加薪。

前言秒杀和高并发是面试的高频考点，也是我们做电商项目必知必会的场景。欢迎大家参与我们的开源项目，提交PR，提高竞争力。早日上岸，升职加薪。
·2023-02-23 10:49

云原生实时数仓 SelectDB 首次产品发布会等你来约！

从结绳记事到竹木简牍，从书于纸墨到印刷成册；数据以千百种姿态承载着人类的文明贯穿历史的长河。时代在更迭，不变的是社会文明对于数据的沉淀和探索。在计算机的帮助下，人类处理信息的速度空前加快，经过指数级的增长，数据已经积累到了前所未有的量级，一轮基于“大数据”的产业革命重塑了个人、企业乃至社会发展的底层逻辑。数字化的征程一往无前，所有的组织都不约而同地迈上了业务数字化和数字业务化的探索之路。大家都在面
·2023-02-22 10:07

WARNING: Running pip as the ‘root‘ user can result in broken permissions and conflicting behaviour w

数仓学习记录1、问题WARNING:Runningpipasthe'root'usercanresultinbrokenpermissionsandconflictingbehaviourwiththesystempackagemanager.Itisrecommendedtouseavirtualenvironmentinstead
祎祎_Yi·2023-02-21 13:23

实时数仓Hologres新一代弹性计算组实例技术揭秘

作者：王奇（花名慧青）阿里云Hologres研发随着实时数仓在业务生产系统的普及，资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。
·2023-02-21 11:30

还在手撸 Nginx 配置？试试这款可视化配置工具吧，功能很强大~

SpringBoot实战电商项目mall（50k+star）地址：https://github.com/macrozh
macrozheng·2023-02-20 16:49

实时数仓Hologres 新一代弹性计算组实例技术揭秘

随着实时数仓在业务生产系统的普及，资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。
·2023-02-20 16:42

Teradata退出中国背后：云数仓成为行业主流发展趋势

近日，数据仓库巨头Teradata（天睿公司）内部宣布退出在中国市场，引发业界广泛关注。作为数据仓库行业的明星企业，Teradata进入中国二十余年来，曾经一度占据中国数据仓库市场半壁江山。如今，随着Teradata的退出，中国大数据市场竞争格局也将产生新的变化。业内人士分析，云计算的快速兴起与蓬勃发展是Teradata走下“神坛”的一个重要转折点。云计算的去中心化架构，弹性存储与计算方式，高灵活
·2023-02-20 14:36

Teradata退出中国，您可以相信中国数据库！

继Adobe、Tableau、Salesforce之后，2023年2月15日，数仓软件巨头Teradata宣布将逐步结束在中国的直接运营。
·2023-02-20 14:34

数据治理体系化思考与实践

一、序言美团住宿数据治理团队通过多年数仓建设及数据治理的经验沉淀，并结合业务发展阶段对于数据治理的诉求，将治理的思路逐步从专项、表象、问题驱动的治理，转变为自动化、体系化的治理，并从标准化、数字化、系统化三个方向进行了落地与实践
000X000·2023-02-20 07:58

关于数仓基础知识的超全概括！

周末和大家分享一些数仓基础知识的小集锦，希望能对你有些帮助~1、什么是数据仓库？权威定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
浪尖聊大数据-浪尖·2023-02-20 07:24

业务数据治理体系化思考与实践

一、序言美团住宿数据治理团队通过多年数仓建设及数据治理的经验沉淀，
美团技术团队·2023-02-20 07:14

听闻Teradata退出中国，我想起了我经历过的一个数仓项目

昨天，Teradata撤出中国，我想起了我在20年前做的数据仓库项目。想当年Teradata是数据仓库的代名词啊，就如同现在搜索东西好多人说百度一下一样。可惜我没有用过Teradata。2002年，我基于SQLServer的数据仓库+商业智能做了一套所谓的决策支持系统。决策支持系统DSS，这样的名字在当年很流行。（1）20年前的数据来源和现在仍然差不多：不少来自Excel，那就ETL抽进来有些想要
david_lv·2023-02-19 20:28

Flink X Hologres构建企业级Streaming Warehouse

点击查看>>本篇内容主要分为四个部分：一、实时数仓分层的技术需求二、阿里云一站式实时数仓Hologres介绍三、FlinkxHologres：天作之合四、基于FlinkCatalog的StreamingWarehouse
aliyunhologres·2023-02-19 07:49

RAC实战

RAC实战RAC实战-专题-RAC(ReactiveCocoa)学习资源汇总~持续更新-CSDN博客RAC项目iOSMVVM+RAC实战详解（高仿某电商项目）-
州州_先生·2023-02-19 05:17

亿级高并发电商项目-- 实战篇 --万达商城项目 十（安装与配置Elasticsearch和kibana、编写搜索功能、向ES同步数据库商品数据）

亿级高并发电商项目--实战篇--万达商城项目搭建一（商家端与用户端功能介绍、项目技术架构、数据库表结构等设计）亿级高并发电商项目--实战篇--万达商城项目搭建一（商家端与用户端功能介绍、项目技术架构、数据库表结构等设计
童小纯·2023-02-18 21:23

离线电商数仓3.0项目即席查询复盘笔记

离线电商数仓3.0项目即席查询复盘笔记kylin的简介与架构ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据
岁月的眸·2023-02-18 20:49

核桃编程Delta Lake实时数仓应用实践

1.3架构改造前方案现有指标都是将Kafka/Mysql等的数据写入HDFS，使用Hive离线批处理，每10分钟执行一次，循环统计历史累计指标，再定时把数据同步到Mysql，提供给数据后台查询。如下图所示:image1.4遇到的问题随着计算的数据量越来越大，逐渐不能满足业务的更新频率要求。使用ApacheSqoop做全量数据同步，会对业务Mysql库/HDFS造成压力。使用ApacheSqoop做
fat32jin·2023-02-18 20:13

如何站在开发者的角度理解框架的设计思想？

很简单，点击下图，像截图一样五星评价一下就可以了：有问必答最近有好多读者私信我，为什么选择GoFrame做电商项目的开发?
王中阳Go·2023-02-18 07:35

背Burberry的男人

总管一个电商项目，活动/
亘亘1212·2023-02-18 05:13

数仓架构发展史

公众号：大数据技术派发展史时代的变迁，生死的轮回，历史长河滔滔，没有什么是永恒的，只有变化才是不变的，技术亦是如此，当你选择互联网的那一刻，你就相当于乘坐了一个滚滚向前的时代列车，开往未知的方向，不论什么样的技术架构只有放在当前的时代背景下，才是有意义的，人生亦是如此。时间就是一把尺子，它能衡量奋斗者前进的进程；时间就是一架天平，它能衡量奋斗者成果的重量；时间就是一架穿梭机，它能带我们遨游历史长河
大数据技术派·2023-02-18 00:30

数据库、数据仓库和数据湖

数据库和数仓的本质区别？
三半俊秀·2023-02-17 23:01

TeraData数仓数据库埋数

先复制一个原表createtableuco_8.testtable1231assaddle.yuanbiaowithnodata;编写存储过程Createproceduretestzss1()beginDECLAREIINTEGERDEFAULT0;DECLAREo_khbhCHAR(12);loop_table:LOOPSETI=I+1;SETo_khbh=cast(I+10000asVACHA
王者硕·2023-02-17 10:20

数仓巨头在中国落幕，Teradata 退出国内市场！

2月15日，网传数仓巨头公司Teradata宣布将逐步结束在中国的直接运营，后续将进入中国公司关闭程序。其并未直接明确表明退出的原因，只是说此番决定是在「对中国当前和未来商业环境的慎重评估」后做出的。
CSDN资讯·2023-02-17 10:49

软件测试面试自我介绍/项目介绍居然还有模板？我要是早点发现就好了

目录1、自我介绍2、项目介绍2.1、最全电商项目介绍2.2、电商项目介绍2.3、在线教育项目介绍2.4、互联网金融项目介绍总结1、自我介绍以XXX简历来举例（参照下面的案例，编写你的自我介绍，框架就是：
测试小婉·2023-02-17 03:03

可路由计算引擎实现前置数据库

一方面，数仓是前端应用的数据后台，而前端应用不断增多，用户访问的并发数也不断增长。另一方面，数仓还要承担原始数据的批量离线处理，而批量任务不断增加，其数据量和计算量也在不断增大。
石臻臻的杂货铺·2023-02-16 23:56

Flink X Hologres 构建企业级 Streaming Warehouse

本篇内容主要分为四个部分：实时数仓分层的技术需求阿里云一站式实时数仓Hologres介绍FlinkxHologres：天作之合基于FlinkCatalog的StreamingWarehouse实践点击查看直播回放
·2023-02-16 20:14

Flink CEP 在抖音电商的业务实践

摘要：本文整理自抖音电商实时数仓研发工程师张健，在FFA实时风控专场的分享。
·2023-02-16 20:32

马斯克称计划今年底卸任推特CEO；腾讯回应微信将进军外卖服务；C++23 提上日程 | 极客头条

腾讯回应微信将进军外卖服务：只是内测一种接口能力《羊了个羊》营收破亿，主创团队已内测女性向新游戏传数仓巨头Teradata将退出中国，知情人士：消息属实科大讯飞：有信心实现ChatGPT类似的技术阶跃
极客日报·2023-02-16 20:58

如何写出高性能的 SQL Join: join 实现和最佳实践

Join是数据库和数仓中最常用的一个感念了。在关系型数据库的数据模型中，为了避免数据冗余存储，不同的数据往往放在不同的表中，分为事实表和维度表，这样做可以极大的节省数据存储空间。
·2023-02-16 20:23

通过SqlSessionTemplate基于模板类实现Mybatis

之前网上下了一个电商项目学习。
热心网友徐某某·2023-02-07 11:30
上一页 42 43 44 45 46 47 48 49 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他