E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓技术知识
数仓
-数据安全
文章内容参考:
数仓
建设实践路线-第十一讲-数据安全_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《
数仓
建设实践路线》,从0-1搭建数据体系,让大家更有体感,并将《
数仓
建设学习路线》课程内容落地
爱吃辣条byte
·
2024-01-28 23:41
数仓建设
大数据
数据仓库
数仓
治理-小文件治理
注:文章参考:数据治理实践|小文件治理本文中将介绍Hive中小文件治理的方法和技巧,希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark|Hive]HDFS小文件处理-腾讯云开发者社区-腾讯云HDFS小文件过多会对hadoop扩展性以及稳定性造成影响,因为要在namenode上存储维护大量元信息.https://
爱吃辣条byte
·
2024-01-28 23:40
数据治理
大数据
数据仓库
数仓
-数据质量
文章内容参考:
数仓
建设实践路线-第八讲-数据质量_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《
数仓
建设实践路线》,从0-1搭建数据体系,让大家更有体感,并将《
数仓
建设学习路线》课程内容落地。
爱吃辣条byte
·
2024-01-28 23:10
数仓建设
大数据
数仓
治理-数据质量治理
注:文章参考:语数-数据质量治理本期语兴从数据质量治理角度出发,与大家一起探讨数据质量治理最佳实践,之前的数据治理文章在网易有数官方公众号,数据治理课程讲解在B站(搜索:语兴呀)https://mp.weixin.qq.com/s/uoHlA64q1K_WHVYLPRucHQ目录一、数据质量治理的背景1.1BUG工单较多1.2DQC(数据质量监控)常触发1.3基线/SLA经常破线二、数据质量治理识
爱吃辣条byte
·
2024-01-28 23:10
数据治理
大数据
数据仓库
数仓
治理-计算资源治理
mp.weixin.qq.com/s/w6d5zhDaaavNhW_DMEkPsQ目录一、计算资源治理的背景二、计算资源问题复盘三、计算资源治理前的思考与行动3.1治理前的思考3.2治理行动四、治理效果五、小结前言业务成熟期,
数仓
经常会收到集
爱吃辣条byte
·
2024-01-28 23:10
数据治理
数据仓库
大数据
数仓
治理-数据安全治理
一、数据安全治理的背景存在敏感数据泄露、数据安全审批节点过长、风险数据对外暴露、数据使用权限(库、表年、字段)闲置情况。二、数据安全治理前评估2.1数据安全问题评估存在安全隐患的评估角度:审批流程缺少数据使用说明次数、被业务方发现数据安全问题次数等。2.2数据表审批链路评估基于每个节点的审批时间去做整个链路的评估,必要时需要进行链路缩短。数据表的内容一般包括申请人,审批人,节点层级,工单处理内容等
爱吃辣条byte
·
2024-01-28 23:10
数据治理
大数据
数据仓库
数据湖技术之核心特性篇
一.湖仓一体关键技术特性原有的
数仓
模式为业务解决了很大的业务需求问题,很好的服务于公司的数据分析服务。但是由于本身的一些机制问题,导致一些方面受到了限制,无法更好的去扩展。
风筝Lee
·
2024-01-28 18:58
数据湖
数据仓库
微信小程序之页面导航、生命周期和WXS脚本
各位小伙伴,如果您:想系统/深入学习某
技术知识
点…一个人摸索学习很难坚持,想组团高效学习…想写博客但无从下手,急需写作干货注入能量…热爱写作,愿意让自己成为更好的人…文章目录前言一、页面导航1、什么是页面导航
哥的时代
·
2024-01-28 12:43
微信小程序
微信小程序
notepad++
小程序
总监眼里的
数仓
和中台、报表平台的概念及意义和你认为的不一样
总监眼里的
数仓
和中台、报表平台的概念及意义和你认为的不一样在大数据时代,数据仓库、中台和报表平台等概念逐渐成为企业数字化转型的热门话题。然而,不同职位和背景的人对这些概念的理解可能存在差异。
UI设计前端开发一线员工
·
2024-01-27 19:03
electron
javascript
前端
信息可视化
低代码
【华为云-云驻共创】数据高速公路—
数仓
集群通信技术详解
【摘要】本文讲解GaussDB(DWS)集群通信技术如何在大规模集群中承载高并发业务,如何实现高性能分布式通信系统。主要讲述客户端、CN、DN三类进程间的通信原理和流程,分为CN通信框架和DN间通信框架。数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB(DWS)是基于华为融合数据仓库Gaus
IT民工金鱼哥
·
2024-01-27 18:29
在华为云社区的故事
华为云
GaussDB
web服务和前端交互相关的上中游业务
技术知识
点梳理
文章目录前言一、业务API网关鉴权Cookie+Session实现API鉴权APIKey+APISecrettoken机制实现API鉴权二、Tomcat、Servlet、SpringMVC总结前言可能之前在学校里面做的很多东西是纯后端的,不会涉及到太多和前端交互的细节,很多新手对前后端交互以及上中游业务链路的整体流程不够清晰,做一些javaWeb项目可以让我们有机会对其进行更深入的研究,最近总结了
无一郎的技术圈
·
2024-01-27 12:13
前端
后端
java
web
gateway
2021-03-07
MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive=====>基于Hadoop的
数仓
工具
残月冷无声
·
2024-01-27 10:39
关于数据漂移问题和解决
数据漂移问题出现的背景我们通常构建
数仓
的ODS层时,会考虑按照某个时间戳将数据切分后分区存储。ODS表中常出现的时间戳分为四个类型:源表中标识数据记录更新的时间戳字段,modified_time。
眼君
·
2024-01-27 09:30
Hive实战 —— 电商数据分析(全流程详解 真实数据)
目录前言需求概述数据清洗数据分析一、前期准备二、项目1.数据准备和了解2.确定数据粒度和有效列3.HDFS创建用于上传数据的目录4.建库
数仓
分层5.建表5.1近源层建表5.2.明细层建表为什么要构建时间维度表
Byyyi耀
·
2024-01-27 08:25
hive
数据分析
hadoop
2018年目标规划
——7:00上班路上:7:20——9:00:英语单词60个打卡午饭:12:00——12:30午休:12:30——13:00加班的情况下:总结:6:00——7:00总结整理充电:7:00——8:30学习
技术知识
下班路上
Bessie330
·
2024-01-26 14:58
【转】学习要讲方法
清华作为国内信息技术最顶尖的院校,一直都是爱好信息
技术知识
学生的首选,而在高一的时候就被录取的陈立杰,早在初中的时候,却是别人家举例的“反面教材”。从小陈立杰对一切关于电脑信息的东西都很感兴趣,但
吴庞炜
·
2024-01-26 08:36
产品解读 | 新一代湖仓集存储,多模型统一架构,高效挖掘数据价值
推出了新一代湖仓集存储格式Holodesk,一份数据满足数据湖的离线实时接入、
数仓
的复杂加工以及数据集市的分析需求。避免数
星环科技
·
2024-01-26 07:40
架构
大数据
人工智能
流式湖仓增强,Hologres + Flink 构建企业级实时
数仓
2023年12月,由阿里云主办的实时计算闭门会在北京举行,阿里云实时
数仓
Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时
数仓
,实现全链路的数据实时计算、实时写入、实时更新
Apache Flink
·
2024-01-26 06:15
flink
大数据
基于 Flink 的实时
数仓
在曹操出行运营中的应用
本次分享将为大家介绍实时
数仓
在曹操出行(互联网网约车出行企业)的实时
数仓
应用场景,以及通过离线场景向实时场景下加速升级而获得的业务价值。
Apache Flink
·
2024-01-26 06:15
flink
大数据
自动弹性,QPS线性提升|一文读懂云原生
数仓
AnalyticDB弹性技术原理
阿里云瑶池旗下的云原生
数仓
AnalyticDBMySQL湖仓版(以下简称AnalyticDBMySQL)在发布之初提供了定时弹性功能,帮助业务有规律的客户定时升降配计算资源以节省成本。
阿里云瑶池数据库
·
2024-01-26 06:56
云原生
数据库
阿里云
云计算
atm在计算机网络中是哪一层的东西,计算机网络实用
技术知识
点之ATM原理
1.AIM的定义与功能CCITr在I系列建议中给ATM下了这样的定义:ATM是一种转换模式(即前面所说的传输方式),在这一模式中信息被组织成信元(Cell),包含一段信息的信元并不需要周期性地出现在信道上,从这个意义上来说,这种转换模式是异步的。ATM的特点是进一步简化了网络功能。ATM网络不参与任何数据链路层功能,将差错控制与流量控制工作都交给终端去做。图5.3是分组交换、帧中继和ATM交换三种
王奥雷
·
2024-01-26 05:41
学习永远在路上(四班 八月份大作业)
2019年的暑假有幸再次接触互加计划,让我省去了舟车劳顿,足不出户就能学习到时代前沿的信息
技术知识
,教育信息化的大幕早已拉开,乡村教师一样不能落下。
通化1197沙丽娜
·
2024-01-26 02:34
URP下与Built-in的Light Color不一致
RenderTarget会对没开启MSAA的RenderTarget造成影响3)角色Mesh合并的优点与缺点4)NGUI渲染层级的原理5)Unity上App图标安装到设备上图标模糊,设置上的注意点这是第234篇UWA
技术知识
分享的推送
UWA
·
2024-01-25 23:10
厚积薄发
Unity优化
built-in
URP
unity
editor
性能
Unity出AAB包资源加载过慢
Unity出AAB包资源加载过慢2)UnityIL2CPP打包,libil2cpp.so库中没有Mono接口3)如何在URP中正确打出Shader变体4)XLua打包Lua文件粒度问题这是第370篇UWA
技术知识
分享的推送
UWA
·
2024-01-25 21:22
厚积薄发
Unity优化
unity
游戏引擎
AssetBundle
IL2CPP
Shader
Lua
通过CanvasRenderer.SetColor和Image.color修改UI组件颜色的区别
Image.color修改UI组件颜色的区别2)OPPO相关机型没法在Unity启用90或120FPS3)手机输入法中的emoji4)UnityApplicationPatching怎么用这是第369篇UWA
技术知识
分享的推送
UWA
·
2024-01-25 21:51
厚积薄发
Unity优化
ui
Platform
Editor
基于 Hologres+Flink 的曹操出行实时
数仓
建设
云布道师曹操出行创立于2015年5月21日,是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务,以“科技重塑绿色共享出行”为使命,将全球领先的互联网、车联网、自动驾驶技术以及新能源科技,创新应用于共享出行领域,以“用心服务国民出行”为品牌主张,致力于打造服务口碑最好的出行品牌。曹操出行业务背景介绍作为一家互联网出行平台,主要提供了网约车、顺风车、专车等一些出行服务。打车为其主要的一个业务场景
云布道师
·
2024-01-25 20:23
阿里云
微信小程序之全局配置-window和tabBar
各位小伙伴,如果您:想系统/深入学习某
技术知识
点…一个人摸索学习很难坚持,想组团高效学习…想写博客但无从下手,急需写作干货注入能量…热爱写作,愿意让自己成为更好的人…文章目录前言一、全局配置1、全局配置文件及常用的配置项二
哥的时代
·
2024-01-25 15:47
微信小程序
微信小程序
小程序
内网穿透、远程桌面、VPN的理解
然后想着在此处记录一下,各个的区别,这个纯粹是从技术层面的理解,此处不详细解释怎么去实现或者用什么工具去实现,此处只是从技术实现层面去记录我对这些功能的理解,希望通过简答白话文的方式记录,让没有多少
技术知识
的同学也能看明白这个技术到底是个什么东西
Jelly-小丑鱼
·
2024-01-25 15:34
通信理论知识
服务器
运维
内网穿透
跨网远程桌面
大数据分析组件Hive-集合数据结构
Hive常作为离线
数仓
的分析工具,当面临Json数据时,Hive需要用到其数据结构构建出一张
Aimyon_36
·
2024-01-25 15:15
Hive
数据分析
hive
数据结构
程序员面试技巧大揭秘:让你在众多竞争者中脱颖而出
同时,准备好自我介绍、项目经验、
技术知识
等内容的讲解。表达清晰:在面试中,要保持思路清晰,语言简洁明了,能够准确地回答面试官的问题。对于一些技术细
wd90119
·
2024-01-25 06:15
面试
学习
Vue实现rem自适应布局,无需安装插件,代码简单
作者:coderYYY个人简介:前端程序媛,目前主攻web前端,后端辅助,其他
技术知识
也会偶尔分享欢迎和我一起交流!(评论和私信一般会回!!)
coderYYY
·
2024-01-25 00:10
前端
Vue
Echarts
vue.js
前端
javascript
echarts
css
rem自适应布局
微信小程序分页加载功能,结合后端实现上拉底部加载下一页数据,数据加载中和暂无数据提示
作者:coderYYY个人简介:前端程序媛,目前主攻web前端,后端辅助,其他
技术知识
也会偶尔分享欢迎和我一起交流!(评论和私信一般会回!!)
coderYYY
·
2024-01-25 00:09
小程序
微信小程序
小程序
k8s图形化管理工具rancher
如果用户是自己手动部署K8s集群,流程还是比较复杂的,需要掌握一定的
技术知识
,所以为了简化Kubernetes操作,一些Kubernetes管理平台应运而生,例如Ranch
相遇蟹堡王,尽享蟹黄堡
·
2024-01-24 20:23
kubernetes
rancher
容器
Android系统的JNI原理分析(5)- JNI函数解析
声明前阶段在项目中使用了Android的JNI技术,在此文中做些
技术知识
总结。此篇参考一些博客和书籍,不方便逐一列出,仅供学习、知识分享,代码基于Android7.1.1。
小馬佩德罗
·
2024-01-24 17:01
#
android
JNI
【好用的AI工具Kimi Chat】帮助提高面试效率
如何更高效的复习
技术知识
,以及特别是横纵向比对有总结性的问题。本文以面试【测试开发】的岗位为例,对面试题进行拓展,让AI帮助我们更快速地提高复习效率。
BruceHelloWorld
·
2024-01-24 13:03
软件测试从入门到精通
面试
职场和发展
人工智能
机器学习
Flink(十五)【Flink SQL Connector、savepoint、CateLog、Table API】
前言今天一天争取搞完最后这一部分,学完赶紧把Kafka和Flume学完,就要开始做实时
数仓
了。据说是应届生得把实时
数仓
搞个80%~90%才能差不多找个工作,太牛马了。
让线程再跑一会
·
2024-01-24 07:17
Flink
flink
大数据
情商|表达的重要性
图片来自小小群人际关系学家戴尔卡耐基说:“一个人的成功,15%靠
技术知识
,85%靠语言表达。”美国人类行为科学研究者汤姆森也说;“发生在成功人士身上的奇迹,至少有一年是口才创造的。”
牛奶葵
·
2024-01-24 05:30
Docker初步了解笔记
基于有打算自己学习区块链的开发,大概了解了下招聘需求,看到需要很多方面的
技术知识
,包括docker(虽然我还不知Docker在区块链用在何处。。。)
喵洛
·
2024-01-24 00:13
企业建
数仓
的第一步是选择一个好用的ETL工具
而选择合适的ETL工具是构建
数仓
的关键一步。因没有高灵活度的ETL就无法构建高质量的
数仓
。数据仓库的重要性数据仓库是企业将各个部门和系统中分散的数据进行整合、清洗和分析的基础
苛子
·
2024-01-23 20:36
etl
数据仓库
微信小程序之WXSS模板样式、页面配置(.json)和网络数据请求
各位小伙伴,如果您:想系统/深入学习某
技术知识
点…一个人摸索学习很难坚持,想组团高效学习…想写博客但无从下手,急需写作干货注入能量…热爱写作,愿意让自己成为更好的人…文章目录前言一、WXSS模板样式1、
哥的时代
·
2024-01-23 13:57
微信小程序
微信小程序
json
网络
用flinkcdc debezium来捕获数据库的删除内容
但是我现在情况是doris做为
数仓
,数据写到ods,ods的数据还会通过flink计算后写入dwd层,所以此时ods的数据是删除了,但是dwd甚至ads的都没删除,这样就会有脏数据。
后季暖
·
2024-01-23 11:17
数据库
Hive 拉链表详解及实例
拉链表版本迭代:hive0.14slowlychangingdimension=>hive2.6.0merge事务管理原来采用分区表,用户分区存储历史增量数据,缺点是重复数据太多定义:
数仓
用于解决持续增长且存在一定时间时间范围内重复的数据存储
Byyyi耀
·
2024-01-23 06:45
hive
hadoop
数据仓库
拉链表
Hive
数仓
及
数仓
设计方案
数仓
(DataWarehouse)数据仓库存在的意义在于对企业的所有数据进行汇总,为企业各个部门提供一个统一、规范的出口。做
数仓
就是做方案,是用数据治理企业的方案。
Byyyi耀
·
2024-01-23 06:34
hive
hadoop
数据仓库
在没有前端Web HTML,CSS,JavaScript
技术知识
情况下使用Delphi / C ++ Builder快速开发构建Web前端B/S应用
对标题感到惊讶?是的,如果您不了解HTML,CSS,JavaScript,则可以使用某些Client/Server(FullStack)或Client-Focused第三方Web框架从Delphi/C++Builder构建Web前端。想知道这些框架是如何做到的?这篇文章将帮助您理解。Delphiintraweb结合Cesium开发WEBGIS前端Web前端框架的功能是什么:视觉布局在IDE中设计,
xyzhan
·
2024-01-23 06:33
Delphi
delphi
web
前端
javascript
html5
flume案例
在构建
数仓
时,经常会用到flume接收日志数据,通常涉及到的组件为kafka,hdfs等。下面以一个flume接收指定topic数据,并存入hdfs的案例,大致了解下flume相关使用规则。
不加班程序员
·
2024-01-23 06:48
ETL
kafka
Hadoop相关
flume
大数据
etl
数仓
建设 - 维度建模 - DIM维度
文章目录前置:准备数据库一、商品维度表1.1表结构设计1.2建表语句1.3ETL任务脚本二、优惠券维度表2.1表结构设计2.2ETL任务脚本三、活动维度表3.1表结构设计3.2ETL任务脚本四、地区维度表4.1表结构设计4.2ETL任务脚本五、日期维度表六、用户维度表6.1表结构设计6.2ETL任务脚本前置:准备数据库[
[email protected]
]$
m0_46218511
·
2024-01-23 05:14
大数据基础设施搭建
维度建模
数据仓库
Databend 开源周报第 128 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2024-01-23 03:01
开源
Databend 开源周报第 129 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2024-01-23 03:31
开源
0基础转行做软件测试?一文教小白拿到初级岗位offer?
我认为入门软件测试需要四个方面的知识or技能,它们是:业务知识、职业素养、基础知识、
技术知识
。职业素养是一切的根基,因为人在职场就必须拥有必要的职业素养,软件测试工程师也不例外。
程序员老鹰
·
2024-01-22 23:20
测试工具
单元测试
python
软件测试
测试工程师
高通芯片GPU是否有类似于HSR功能
这是第279篇UWA
技术知识
分享的推送。今天我们继续为大家精选了若干和开发、优化相关的问题,建议阅读时间10分钟,认真读完必有收获。
侑虎科技UWA
·
2024-01-22 10:00
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他