数仓电商项目

数据仓库实践杂谈（十八）——关于报表

整体数据分层第三章：整体实现框架第四章：元数据第五章：ETL第六章：数据校验第七章：数据标准化第八章：去重第九章：增量/全量第十章：拉链处理第十一章：分布式处理增量第十二章：列式存储第十三章：逻辑数据模型（数仓模型
老程序员一叶知秋·2024-01-30 18:45

字节跳动二面经典题目

欢迎关注公众号：语数本期投稿本期语数精选来源于球友应对字节跳动二面时候的场景问题数仓工程师的职业规划做数仓工程师要具备哪些点，按照重要性排序gpt在数据分析中的应用实习项目的收益价值在哪里？
语兴数据·2024-01-30 15:31

一文掌握0基础如何体系化学习数仓

欢迎关注公众号：语数2本期精选问题如何校验开发好的数仓指标？如果你是公司的分析师，应该如何分析数据？0基础如何体系化学习数仓？
语兴数据·2024-01-30 15:01

当你要做数仓汇报时，应该怎么讲故事？

语数精选简介语数精选来源于语数社区星球球友提问，主要沉淀一些大家工作和学习过程中存在的一些共性问题，希望能够更好的帮助到球友和粉丝。欢迎关注公众号：语数本期精选问题提问背景：了解高效的学习方向和针对性的学习路线，利用业余时间修炼自己，希望2年后收入和职级能有所提高。当下应制定怎样的学习路线？有哪些模块应深入学习或者考证？什么是指标体系，如何推动？如何方便领导讲故事，证明我司是有数据能力一、高效制定
语兴数据·2024-01-30 15:01

揭秘：数仓开发面试真正需要注意的点

怎样保障数仓数据的一致性？
语兴数据·2024-01-30 15:30

以数仓视角切入学习路线，大数据真正需要学习的内容有哪些？

本期精选问题作为数仓开发，需要学习哪些大数据基础知识？当整个数据链路过长时，如何进行模型优化？
语兴数据·2024-01-30 15:30

数仓建设学习路线（四）-指标体系建设

指标体系建设目的与下游（风控/bi）达成合作，保障指标建设时口径的统一，完成指标覆盖，提升复用性，通过可视化方式提升查询效率指标中心图指标体系建设难点能否与下游达成共识（沟通）指标能否做到数仓收口
语兴数据·2024-01-30 15:00

我在面试时写了这个，面试官对我刮目相看

孟哥介绍前字节跳动高级开发，军工企业数仓某线负责人，曾面试过上百人，看过2000余份简历。
语兴数据·2024-01-30 15:00

数仓建设学习路线（五）-数据质量保障

也使得下游业务方对数据用的放心数据质量的痛点有哪些数据问题该如何上报修复，缺少流程化数据链路缺少卡点保障数据不能及时产出影响到下游用数用户无感知，除了发现的数据问题，隐藏的数据问题仍存在很多人会有一种想法，做了这么久的数仓为什么还存在质量问题
语兴数据·2024-01-30 15:00

数仓建设学习路线（三）元数据管理

什么是元数据？简单来说就是描述数据的数据，更直白来说就是描述表名、表制作者、表字段、表生命周期、表存粗等信息的数据元数据该如何管理工具化开源：可通过atlas获取表依赖及信息做二次开发，或者完成可视化界面平台化：数据血缘数据血缘功能清晰知道表/任务上下游，方便排查问题，知道下游哪个模块在使用，提升开发效率及后期管理维护数据血缘类型活跃血缘：指离线开发线上调度产出的血缘，且调度持续生效静默血缘：指离
语兴数据·2024-01-30 15:59

数据治理实践 | 网易某业务线的计算资源治理

写在前面感谢关注，更多资料可以关注公众号语数，也可关注B站同名：语兴呀，一起学习数仓建设。前言本文从计算资源治理实践出发，带大家清楚认识计算资源治理到底该如何进行，并如何应用到其他项目中。
语兴数据·2024-01-30 15:29

数据治理实践 | 小文件治理

小文件是数仓侧长期头痛问题，它们会占用过多的存储空间，影响查询性能。因此，我们需要采取一些措施来对小文件进行治理，以保证Hive的高效性和稳定性。
语兴数据·2024-01-30 15:29

回响科技二面面试题解答

面试题1、你们的数仓中DWD层为什么要划分数据域？划分数据域之后会对ADS层造成什么影响？是可以提效还是可扩展性强？你们是如何考虑的呢？
语兴数据·2024-01-30 15:58

雅博社，又一大手笔

继红原县农村电商项目、金阳县农村电商项目后，四川雅博社又有新的大动作——早在2018年1月，就已中标泸州古蔺全县农村项目，四川雅博社在政府引导，全县企业支持下，将开展80万人口大县的农村电商工作。
雅博社·2024-01-30 08:33

数仓工具使用-Datax

前置-解决中文乱码问题解决方案-在mysql中执行usehive;altertableCOLUMNS_V2modifycolumnCOMMENTvarchar(256)charactersetutf8;altertableTABLE_PARAMSmodifycolumnPARAM_VALUEvarchar(4000)charactersetutf8;altertablePARTITION_PARA
t_813·2024-01-30 06:07

闲鱼赚钱靠谱吗？闲鱼开店教程多年互联网经验揭秘分享，如何做到月入上万

闲鱼电商项目门槛低，零风险。出于这个原因不去尝试是很遗憾的。事实上，说穿了，我们只是想要一个系统的框架，但是很多帖子里的干货都是分散的，所以我们可以说服这么多新人小白。
氧惠好项目·2024-01-29 19:38

Java项目中实现敏感词过滤功能

前言在社交化的电商项目中，很多用户提交的信息涉及敏感性，比如：用户评论、用户发表的动态等。目前平台已经介入第三方平台的Saas服务，在线过滤用户提交的敏感词信息。
萧十一郎君·2024-01-29 18:22

MybatisPlus应用参数类型不一致导致索引失效

业务场景介绍在电商项目中，有一个商品表【t_goods】和一个商品sku表【t_goods_sku】,具体表结构如下所示：CREATETABLE`t_goods`(`id`bigintNOTNULLAUTO_INCREMENTCOMMENT
萧十一郎君·2024-01-29 18:21

设计模式在电商项目中的应用场景分析

在电商系统的设计开发过程中，可以使用多种设计模式来解决不同的业务场景。以下是一些常见的业务场景和相应的设计模式应用示例：订单处理：使用状态模式来管理订单的不同状态（例如待支付、已支付、已发货、已完成等），以及状态之间的转换规则。购物车功能：使用享元模式来管理购物车中的商品对象，以减少内存占用和提高性能。支付处理：使用策略模式来支持不同的支付方式（例如支付宝、微信支付、信用卡等），使系统能够灵活地适
萧十一郎君·2024-01-29 18:21

申万宏源基于 StarRocks 构建实时数仓

作者：申万宏源证券实时数仓项目组小编导读：申万宏源证券有限公司是由新中国第一家股份制证券公司——申银万国证券股份有限公司与国内资本市场第一家上市证券公司——宏源证券股份有限公司，于2015年1月16日合并组建而成
StarRocks_labs·2024-01-29 18:23

美团外卖搜索基于Elasticsearch的优化实践

1.前言最近十年，Elasticsearch已经成为了最受欢迎的开源检索引擎，其作为离线数仓、近线检索、B端检索的经典基建，已沉淀了大量的实践案例及优化总结。
架构未来·2024-01-29 17:07

数据仓库模型设计：从架构到实践的全方位指南

一、数仓模型架构在构建数据仓库时，首先需要明确模型架构，以确保数据仓库的高内聚和低耦合，以及数据的分层管理。
猿来孺词·2024-01-29 10:51

数仓-数据安全

文章内容参考：数仓建设实践路线-第十一讲-数据安全_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《数仓建设实践路线》，从0-1搭建数据体系，让大家更有体感，并将《数仓建设学习路线》课程内容落地
爱吃辣条byte·2024-01-28 23:41

数仓治理-小文件治理

注：文章参考:数据治理实践|小文件治理本文中将介绍Hive中小文件治理的方法和技巧，希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark|Hive]HDFS小文件处理-腾讯云开发者社区-腾讯云HDFS小文件过多会对hadoop扩展性以及稳定性造成影响,因为要在namenode上存储维护大量元信息.https://
爱吃辣条byte·2024-01-28 23:40

数仓-数据质量

文章内容参考：数仓建设实践路线-第八讲-数据质量_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《数仓建设实践路线》，从0-1搭建数据体系，让大家更有体感，并将《数仓建设学习路线》课程内容落地。
爱吃辣条byte·2024-01-28 23:10

数仓治理-数据质量治理

注：文章参考：语数-数据质量治理本期语兴从数据质量治理角度出发，与大家一起探讨数据质量治理最佳实践，之前的数据治理文章在网易有数官方公众号，数据治理课程讲解在B站（搜索：语兴呀）https://mp.weixin.qq.com/s/uoHlA64q1K_WHVYLPRucHQ目录一、数据质量治理的背景1.1BUG工单较多1.2DQC（数据质量监控）常触发1.3基线/SLA经常破线二、数据质量治理识
爱吃辣条byte·2024-01-28 23:10

数仓治理-计算资源治理

mp.weixin.qq.com/s/w6d5zhDaaavNhW_DMEkPsQ目录一、计算资源治理的背景二、计算资源问题复盘三、计算资源治理前的思考与行动3.1治理前的思考3.2治理行动四、治理效果五、小结前言业务成熟期，数仓经常会收到集
爱吃辣条byte·2024-01-28 23:10

数仓治理-数据安全治理

一、数据安全治理的背景存在敏感数据泄露、数据安全审批节点过长、风险数据对外暴露、数据使用权限（库、表年、字段）闲置情况。二、数据安全治理前评估2.1数据安全问题评估存在安全隐患的评估角度：审批流程缺少数据使用说明次数、被业务方发现数据安全问题次数等。2.2数据表审批链路评估基于每个节点的审批时间去做整个链路的评估，必要时需要进行链路缩短。数据表的内容一般包括申请人，审批人，节点层级，工单处理内容等
爱吃辣条byte·2024-01-28 23:10

电商项目再创佳绩，成功实现某东APP数据抓取

最近一直在研究和学习Unidbg。然后，实现了某东的APP的数据抓取。目前测试的抓取评论内容，看下效果：APP截图请求页面sign获取接下来，程序还需要继续优化，继续做好各个接口，尤其是常用接口的对接和封装。
bugtraq2021·2024-01-28 21:38

数据湖技术之核心特性篇

一.湖仓一体关键技术特性原有的数仓模式为业务解决了很大的业务需求问题，很好的服务于公司的数据分析服务。但是由于本身的一些机制问题，导致一些方面受到了限制，无法更好的去扩展。
风筝Lee·2024-01-28 18:58

大家心心念念的权限管理功能，这次安排上了！

SpringBoot实战电商项目mall（25k+star）地址：github.com/macrozheng/…摘要mall项目的权限管理功能发布啦！
Dashesand·2024-01-28 18:05

Spring Cloud Hystrix：服务容错保护

SpringCloudHystrix：服务容错保护SpringBoot实战电商项目mall（20k+star）地址：github.com/macrozheng/…摘要SpringCloudHystrix
Dashesand·2024-01-28 18:05

周复盘NO.12 最痛的离别，最强的动力

年后回来比年前还要忙，单独负责一个电商项目，需要思考决策的事很多。在老家的幸福生活没来得及回味，回京第一天就进入工作模式，4天进入allin状态。
兰精灵Plus·2024-01-28 06:57

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样在大数据时代，数据仓库、中台和报表平台等概念逐渐成为企业数字化转型的热门话题。然而，不同职位和背景的人对这些概念的理解可能存在差异。
UI设计前端开发一线员工·2024-01-27 19:03

相关技术notion笔记整理

最近发现notion这款笔记很好用，在上共享一下：1.最近的知识整理算法JVMMySQL及优化redis谷粒商城分布式电商项目2.脑图整理基于原制作者：用微笑去面对所有基础上添加改进
肝点啥_董晓宁·2024-01-27 19:34

【华为云-云驻共创】数据高速公路—数仓集群通信技术详解

【摘要】本文讲解GaussDB（DWS）集群通信技术如何在大规模集群中承载高并发业务，如何实现高性能分布式通信系统。主要讲述客户端、CN、DN三类进程间的通信原理和流程，分为CN通信框架和DN间通信框架。数据仓库服务GaussDB（DWS）是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB（DWS）是基于华为融合数据仓库Gaus
IT民工金鱼哥·2024-01-27 18:29

2021-03-07

MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive=====>基于Hadoop的数仓工具
残月冷无声·2024-01-27 10:39

关于数据漂移问题和解决

数据漂移问题出现的背景我们通常构建数仓的ODS层时，会考虑按照某个时间戳将数据切分后分区存储。ODS表中常出现的时间戳分为四个类型：源表中标识数据记录更新的时间戳字段，modified_time。
眼君·2024-01-27 09:30

Hive实战 —— 电商数据分析(全流程详解 真实数据)

目录前言需求概述数据清洗数据分析一、前期准备二、项目1.数据准备和了解2.确定数据粒度和有效列3.HDFS创建用于上传数据的目录4.建库数仓分层5.建表5.1近源层建表5.2.明细层建表为什么要构建时间维度表
Byyyi耀·2024-01-27 08:25

订货项目表设计思路

老板提出这个需求后便让我自由发挥,所以我首先想到的就是参照电商项目设计,但是本身没有电商项目经验,便使用万能的搜索引擎.我首先想到订货项目表应该分为两大块,商品模块,订单模块.因为之前已经有用户模块了,
JAVA弑云·2024-01-27 00:50

常见的电商模式

businesstobusiness）二、B2C（businessto）三、C2B（consumertobusiness）四、C2C（consumertoconsumer）五、O2O（OnlinetoOffline）总结前言公司做电商项目的
杨存乐·2024-01-27 00:07

产品解读 | 新一代湖仓集存储，多模型统一架构，高效挖掘数据价值

推出了新一代湖仓集存储格式Holodesk，一份数据满足数据湖的离线实时接入、数仓的复杂加工以及数据集市的分析需求。避免数
星环科技·2024-01-26 07:40

流式湖仓增强，Hologres + Flink 构建企业级实时数仓

2023年12月，由阿里云主办的实时计算闭门会在北京举行，阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新
Apache Flink·2024-01-26 06:15

基于 Flink 的实时数仓在曹操出行运营中的应用

本次分享将为大家介绍实时数仓在曹操出行（互联网网约车出行企业）的实时数仓应用场景，以及通过离线场景向实时场景下加速升级而获得的业务价值。
Apache Flink·2024-01-26 06:15

自动弹性，QPS线性提升｜一文读懂云原生数仓AnalyticDB弹性技术原理

阿里云瑶池旗下的云原生数仓AnalyticDBMySQL湖仓版（以下简称AnalyticDBMySQL）在发布之初提供了定时弹性功能，帮助业务有规律的客户定时升降配计算资源以节省成本。
阿里云瑶池数据库·2024-01-26 06:56

基于 Hologres+Flink 的曹操出行实时数仓建设

云布道师曹操出行创立于2015年5月21日，是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务，以“科技重塑绿色共享出行”为使命，将全球领先的互联网、车联网、自动驾驶技术以及新能源科技，创新应用于共享出行领域，以“用心服务国民出行”为品牌主张，致力于打造服务口碑最好的出行品牌。曹操出行业务背景介绍作为一家互联网出行平台，主要提供了网约车、顺风车、专车等一些出行服务。打车为其主要的一个业务场景
云布道师·2024-01-25 20:23

大数据分析组件Hive-集合数据结构

Hive常作为离线数仓的分析工具，当面临Json数据时，Hive需要用到其数据结构构建出一张
Aimyon_36·2024-01-25 15:15

《互联网项目实战》课件

01.绪论绪论部分，包括讲师介绍、初识电商项目、课程介绍、几个热身问题等模块。
琛哥的程序·2024-01-24 09:08

Flink（十五）【Flink SQL Connector、savepoint、CateLog、Table API】

前言今天一天争取搞完最后这一部分，学完赶紧把Kafka和Flume学完，就要开始做实时数仓了。据说是应届生得把实时数仓搞个80%~90%才能差不多找个工作，太牛马了。
让线程再跑一会·2024-01-24 07:17

HTML

tornado（17天重点学会）3.前端页面：电商首页搭建4.搭建电商项目，OA系统5.就业岗位：后台开发工程师，全栈开发工程师网页开发环境准备浏览器：谷歌编辑器pycharmHTMLhtml（hypertextmark-uplanguage
爱断点·2024-01-24 02:46
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他