数仓电商项目

大数据背景和概念

现在市场回归理性后：普通岗：大数据/数仓开发，实际上除超一线城市之外，尚存很多大型企业转型期信息化、互联网（物联网IOT）还在发展，数据还在爆发式增长，仍大有可为。精英岗/管理岗：大数
2301_77342543·2023-08-22 00:29

【数仓建设系列之二】数仓基本概念介绍

随着移动互联网的快速发展，数据的生产也成几何式的增长，传统意义上的数据库已经无法满足日益增长的需求，建设一个好的数仓，不仅可以为企业的决策和发展带来具有价值的指导意义，同时也能够将企业产生的所有数据充分利用起来
码猿小站·2023-08-21 23:32

电商项目part02 电商后台多数据源

电商后台项目需要访问的数据源多数据源方法（读写分离）方法1：jdk自带的dynamicdatasource方法2：Mybatis方式方法3：dynamicdatasource框架com.alibabadruid-spring-boot-starter1.2.3org.springframework.bootspring-boot-starter-aopcom.baomidoudynamic-dat
渔阳节度使·2023-08-21 18:29

电商项目part03 电商支撑服务梳理

分布式任务调度系统1、contab指令快速实现简单的定时任务在Linux机器上直接使用crontab-e指令，就可以编辑一个简单的调度任务，适用于请求量不是很大的情况*****echo"timer">/root/test.out缺点：只能在本机上执行；只能做到分钟级别的在配置每一个部分的表达式时，可以指定具体的数值，比如分钟位设置为0，表示每次第0分钟执行一次。在这些基础数字之外，还允许几个特殊的
渔阳节度使·2023-08-21 18:29

电商项目part04 微服务拆分

微服务架构拆分微服务介绍英文:https://martinfowler.com/articles/microservices.html中文:http://blog.cuicc.com/blog/2015/07/22/microservices微服务拆分时机如下场景是否需要进行微服务拆分？代码维护困难，几百人同时开发一个模块，提交代码频繁出现大量冲突；模块耦合严重，互相依赖，小功能修改也必须累计到大
渔阳节度使·2023-08-21 18:29

React2023电商项目实战 - 1.项目搭建

古人学问无遗力，少壮工夫老始成。纸上得来终觉浅，绝知此事要躬行。——陆游《《冬夜读书示子聿》》系列文章目录项目搭建App登录及网关App文章自媒体平台（博主后台）内容审核(自动)文章目录系列文章目录一、项目介绍1.页面展示⑴.登录注册⑵.商城⑶.购物车⑷.个人中心2.业务功能3.技术栈⑴.客户端⑵.服务端二、搭建mongodb数据库1.安装mongodb数据库⑴.软件安装⑵.终端命令2.数据库可视
后海 0_o·2023-08-21 16:04

腾讯云对象存储联合DataBend云数仓打通数据湖和数据仓库

随着数字化进程不断深入，数据呈大规模、多样性的爆发式增长。为满足更多样、更复杂的业务数据处理分析的诉求，湖仓一体应运而生。在Gartner发布的《HypeCycleforDataManagement2021》中，湖仓一体（Lakehouse）首次被纳入到技术成熟度曲线中。伴随多场景的成功落地，腾讯云对象存储打造基于云技术的湖仓一体解决方案。将数据仓库构建在数据湖上，打通数据仓库和数据湖两套体系，构
·2023-08-21 15:18

尚硅谷大数据项目《在线教育之离线数仓》笔记002

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录P025P026P027P028P029P030P031P032P033P034P035P036P037P038P025在
upward337·2023-08-20 16:31

任务调度之时间轮实现 | 京东云技术团队

前言在生活中太阳的东升西落，鸟类的南飞北归，四级的轮换，每天的上下班，海水的潮汐，每月的房租车贷等等，如果用程序员的视角看，这就是一个个的定时任务，在日常的开发工作中也有很多的定时任务场景：数仓系统凌晨进行的数据同步订单
·2023-08-19 15:17

数仓分层架构

1分层实现数据仓库一般分为三层，自上而下分别为数据贴源层（ODS，OperationDataStore）、数据公共层（CDM，CommonDataModel）和数据应用层（ADS，ApplicationDataService）。1.1ODS层（数据贴源层）贴源层，与业务库保持一致，不做任何处理1.2CDM层（数据公共层）数据公共层CDM（CommonDataModel，又称通用数据模型层），包括D
三石先生已存在·2023-08-19 12:38

DTCC 2023即将启幕 明天见！

、ChinaUnix两大技术社区主办的第14届中国数据库技术大会（DTCC2023）将在北京举行作为国内云原生数据仓库代表厂商，酷克数据受邀亮相DTCC2023，与广大数据库领域从业人士共同分享云原生数仓发展趋势
HashData酷克数据·2023-08-19 09:52

数据库变革：HashData云数仓实现事务级实时性

酷克数据资深解决方案架构师陈义贤在“数据库内核•技术创新”专场发表题为“分布式数仓的TP能力探索—HashDataUnionStore”的演讲，介绍HashData以Logisdatabase的思路在分布式数据仓库提升
HashData酷克数据·2023-08-19 08:21

SSM+Dubbo项目中整合Springfox(Swagger2)。

青橙电商项目是典型的SSM框架开发,使用Dubbo分布式架构.包含网站前台和管理后台两大部分。网站前台包含主站频道（首页、搜索、购物车及支付）、用户中心、秒杀、优惠券等频道。
闻香师叔·2023-08-19 08:33

数仓建模—OneID

简介：这个和上面的更新问题有点像，上面更新问题我们可以保证一个自然人的OneID不发生变化，但是选择问题会导致发生变化，但是这个问题是图计算中无法避免的，我们举个例子，假设我们有用户的两个ID(A_ID,C_ID)，但是这两个ID在当前是没有办法打通的，所以我们就会为这个两个ID生成两个OneID,也就是(A_OneID,B_OneID)，所以这个时候我们知道因为IDMapping不上，所以我们认
大数据00·2023-08-19 05:45

1.8万字详解实时数仓建设方案及大厂案例

一、实时数仓建设背景关注公号：数元斋1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。
少晗·2023-08-19 03:39

数据库变革：HashData云数仓实现事务级实时性

酷克数据资深解决方案架构师陈义贤在“数据库内核•技术创新”专场发表题为“分布式数仓的TP能力探索—HashDataUnionStore”的演讲，介绍HashData以Logisdatabase的思路在分布式数据仓库提升
·2023-08-18 20:18

2023.8.8巨人网络数据开发工程师面试复盘

1概述问题一览总体感觉良好，通过面试官的介绍可知这个岗位偏向离线数仓。
TIM33470348·2023-08-18 09:38

PyFlink SQL的json解析函数

当你遇到大数据里含有json时候，离线数仓开发，hive有特别好用的get_json函数。
黑肚皮的窝·2023-08-18 06:12

【业务功能篇68】电商项目相关核心设计

https证书http超文本传输协议：超文本：包括：文字，图片，音频，视频等。传输：客户端向服务端发东西，服务端向客户端发东西。协议：三方协议。怎么传，错误处理。责权利。总结：在计算机世界中：两点（客户端，服务端）直接传输超文本的一个约定、规范。应用层协议。域名解析过程：www.taobao.com浏览器缓存操作系统缓存。（hosts，有可能被篡改）LDNS（本地域名服务器）根域名（cn,com）
studyday1·2023-08-17 12:58

大数据开发：数仓建模常见数据模型

对于数仓建模，很多人说不就是建表吗，哪有那么复杂，事实上，这是非常错误的思想。今天的大数据开发分享，我们来聊聊数仓建模常见的几种数据模型。
加米谷大数据张老师·2023-08-17 12:22

数仓建模方法论

1.数仓建模的理由数据建模的主要目的是降低成本，提高数据的利用效率。尤其是大数据时代的到来，数据的多样化，巨量，更需要有效的有针对性数据建模方法。
浪尖聊大数据-浪尖·2023-08-17 12:51

StoneData 2.0 正式上线阿里云市场，高性能、低成本一站式实时数仓，满足用户全场景分析需求

好消息，石原子旗下新一代离在线一体化实时数仓StoneData2.0正式上线阿里云云市场了！云市场版本交付方式为计算巢私有化部署，自动完成云资源的创建和应用部署，相比传统部署方案，大幅降低配置复杂度。
·2023-08-17 12:28

StoneData 2.0 正式上线阿里云市场，高性能、低成本一站式实时数仓，满足用户全场景分析需求

好消息，石原子旗下新一代离在线一体化实时数仓StoneData2.0正式上线阿里云云市场了！云市场版本交付方式为计算巢私有化部署，自动完成云资源的创建和应用部署，相比传统部署方案，大幅降低配置复杂度。
·2023-08-17 12:18

数仓开发需要了解的BI数据分析方法

数仓开发经常需要与数据表打交道，那么数仓表开发完成之后就万事大吉了吗？显然不是，还需要思考一下如何分析数据以及如何呈现数据，因为这是发挥数据价值很重要的一个方面。
大数据技术与数仓·2023-08-17 04:32

谷粒商城（一）

谷粒商城一、项目介绍谷粒商城是一个分布式电商项目二、分布式基础概念简单说就是一个分布式系统服务就是把一个服务拆分成多个服务百度百科分布式系统（distributedsystem）是建立在网络之上的软件系统
lovewangyihui·2023-08-17 04:42

阿里云大数据实战记录6：修改生产环境表单字段数据类型

最近，在数仓处理一个数据表就遇到了这个问题。
Xin学数据·2023-08-16 19:07

Databend 开源周报第 106 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-08-16 19:22

网易云音乐实时数仓治理优化实践

导读今天分享的主题是实时数仓治理的优化实践。
王知无(import_bigdata)·2023-08-16 18:02

基于Doris实时数据开发的一些注意事项

基于Doris的一些存储实时数仓在越来越多的场景中开始有一些实践。大家也看到了这种方案频繁出现在社区分享中。
王知无(import_bigdata)·2023-08-16 18:02

【云+社区极客说】新一代大数据技术：构建PB级云端数仓实践

本文来自腾讯云技术沙龙，本次沙龙主题为构建PB级云端数仓实践在现代社会中，随着4G和光纤网络的普及、智能终端更清晰的摄像头和更灵敏的传感器、物联网设备入网等等而产生的数据，导致了PB级储存的需求加大。
·2023-08-16 18:59

基于 Kafka 的实时数仓在搜索的实践应用

一、概述ApacheKafka发展至今，已经是一个很成熟的消息队列组件了，也是大数据生态圈中不可或缺的一员。ApacheKafka社区非常的活跃，通过社区成员不断的贡献代码和迭代项目，使得ApacheKafka功能越发丰富、性能越发稳定，成为企业大数据技术架构解决方案中重要的一环。ApacheKafka作为一个热门消息队列中间件，具备高效可靠的消息处理能力，且拥有非常广泛的应用领域。那么，今天就来
vivo互联网技术·2023-08-16 17:55

技术分享 | StoneData 的身份认证与访问控制策略：构建安全可靠的数据分析环境

身份认证与访问控制策略是构建安全可靠的数仓环境的核心要素，StoneData作为一款新一代高性能、低成本的一站式实时数仓，已具备健全的身份认证与访问控制能力。本文将围绕着账号合规
·2023-08-16 15:35

使用 Databend 助力 MySQL 的数据分析

目标Databend是一个非常先进的基于对象存储云原生数仓1可以提强大的计算分析及存储能力。让MySQLDBA非常眼馋。今天想把MySQL的wubx库从MySQL全量迁移到Databend中。
·2023-08-16 15:47

技术分享 | StoneData 的身份认证与访问控制策略：构建安全可靠的数据分析环境

身份认证与访问控制策略是构建安全可靠的数仓环境的核心要素，StoneData作为一款新一代高性能、低成本的一站式实时数仓，已具备健全的身份认证与访问控制能力。本文将围绕着账号合规
·2023-08-16 15:24

融入数据浪潮，KaiwuDB 期待与您共赴 DTCC 2023

大会以“数智赋能共筑未来”为主题，设置2大主会场，20＋技术专场，邀请超百位行业专家，重点围绕HTAP与多模数据库应用、图数据技术、云原生数据库、实时数仓等内容展开分享和探讨。
·2023-08-16 15:51

从银行数字化转型来聊一聊，火山引擎 VeDI 旗下 ByteHouse 的应用场景

作为火山引擎数智平台VeDI旗下核心数智产品之一，ByteHouse起源于字节跳动的内部数智实践，并于2021年8月正式外对发布，随后在12月发布数仓版本。尽管面向企业级
·2023-08-16 13:28

火山引擎ByteHouse助力中国地震台网中心，快速构建一站式实时数仓

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群近日，中国地震台网中心与火山引擎达成合作，双方将围绕ByteHouse实时数仓展开合作。
·2023-08-16 13:57

流批一体的近实时数仓的思考与设计

摘要：基于对数据时间旅行的思考，引出了对目前三种数仓形态和两种数仓架构的思考。
·2023-08-16 10:30

2018-04-03

说起来心酸啊、在一个大集团公司待着做金融项目、一年后黄了、被调到同属集团公司做电商项目了、一开始不同意去、被人事忽悠了，一去全是坑，领导坑，唯一欣慰的是同做安卓同事是个不错的、既来之则安之、不扯淡；在接触金融项目
憨豆程序员·2023-08-16 06:06

尚硅谷大数据项目《在线教育之离线数仓》笔记001

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录P003P004【数仓概念讲的颇为详细】P018P019P020P021P022P023P024P003时间切片：时间回溯
upward337·2023-08-16 03:37

Spark操作Hive表幂等性探索

数仓中的表还要考虑幂等性吗？幂等性数据幂等性是指在多次执行相同操作时，最终的结果与执行一次操作的结果相同。具体来说，无论重复执行多少次相同的操作，操作的结果应该保持一致
SunnyRivers·2023-08-16 01:16

Github标星 8K+，免费又好用的Redis客户端工具！

SpringBoot实战电商项目mall（40k+star）地址：https://github.com/macrozheng/mallRedisDesktopManager以前一直使用的是RedisDesktopManager
·2023-08-15 19:40

芒果 TV 基于 Flink 的实时数仓建设实践

一、芒果TV实时数仓建设历程芒果TV实时数仓的建设共分为三个阶段，14-19年为第一阶段，技术选型采用Storm/FlinkJava+SparkSQL
·2023-08-15 18:00

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

我们基于ApachePaimon(Incubating)构建StreamingLakehouse的落地实践主要分为三期：第一期是在调研验证的基础上进行数仓分层，并且上线一些简单的业务验证效果；第二期是实现流式数仓的基础设施建设
·2023-08-15 18:41

专家老师带教！现场答疑！阿里云实时计算 Flink 版线下训练营北京站来啦！

专家老师现场教学，真实还原实时计算业务和实时数仓场景，现场有机会领取Flink最新周边礼包！
·2023-08-15 18:43

支持多数据源联合查询的SQL运行引擎sycnany-SQL添加使用自定义函数

在微服务和云原生愈发流行的今天，数据的分布也愈发脱离单库单机而更加复杂，使用的数据库类型也会更多，但业务的复杂依然会带来了大量的数据查询和导出需求，而很多时候我们很难为数据量的大部分系统创建完整的BI数仓系统
·2023-08-15 16:36

支持多数据源联合查询的本地运行SQL执行引擎syncnany-SQL安装和配置

在微服务和云原生愈发流行的今天，数据的分布也愈发脱离单库单机而更加复杂，使用的数据库类型也会更多，但业务的复杂依然会带来了大量的数据查询和导出需求，而很多时候我们很难为数据量的大部分系统创建完整的BI数仓系统
·2023-08-15 16:09

Apache Doris 在约苗数据平台的实时数仓建设实践

本文导读：约苗平台是国内目前最大的成人预防接种管理服务平台。近年来，随着各功能的不断完善，用户数量不断增多，越来越多注册数据、疫苗类别点击数据、页面浏览时长等数据被生成和积累，如何有效利用这些数据进行处理分析，对于约苗提高工作效率、优化运营决策有着不容小觑的作用。基于此约苗平台历经三代架构演进，最终通过ApacheDoris重构了数据平台架构，统一了数据源出口，实现了近300倍的查询提速，目前已在
·2023-08-15 16:52

【数仓建设系列之一】什么是数据仓库？

一、什么是数据仓库？数据仓库(DataWarehouse，简称DW)简单来讲，它是一个存储和管理大量结构化和非结构化数据的存储集合，它以主题为向导，通过整合来自不同数据源下的数据(比如各业务数据，日志文件数据等)，解决企业数据孤岛，为企业提供统一的数据视图。通过构建不同时间范围或不同业务主题下的分析报告和数据报表等，为企业决策提供一定程度上的支持和帮助。二、数据仓库的特点？主题性传统的数据库，更多
码猿小站·2023-08-15 16:44

实时数仓浪潮来袭，这些宝藏开源CDC工具助您破壁 | StoneDB数据库观察 第9期

作者|祁国辉编辑|宇亭头图|Yeekin责编|韩楠实时数仓的浪潮来袭，对于用户最大的挑战，就是业务数据的变化需要实时反馈到后台系统，甚至需要针对这些变化，快速做出反应，那么就需要
·2023-08-15 16:38
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他