E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓技术知识
利用 Addax 异构迁移数据到 Databend
这也有了异构数据库的数据同步需求,今天重点给大家介绍两个利器:异构数据迁移:Addax结合云原生
数仓
Databend实现异构数据库数据合
Databend
·
2024-01-06 14:17
数据库
大数据
java
Migrate your data into databend with DataX
这也有了异构数据库的数据同步需求,今天重点给大家介绍两个利器:异构数据迁移:DataX结合云原生
数仓
Databend实现异构数据库数据合并及分析。
Databend
·
2024-01-06 14:17
数据库
二蛋赠书十三期:《一书读懂物联网》
在过去的几年里,我一直通过各种渠道与大家分享
技术知识
和经验。我深知,每一位技术人员都对自己的技能提升和职业发展有着热切的期待。因此,我非常感激大家一直以来对我的关注和支持。
王二蛋!
·
2024-01-06 11:31
赠书专栏
物联网
struts
java
设计模式之装饰者模式【结构型模式】
各位小伙伴,如果您:想系统/深入学习某
技术知识
点…一个人摸索学习很难坚持,想组团高效学习…想写博客但无从下手,急需写作干货注入能量…热爱写作,愿意让自己成为更好的人…文章目录前言一、概述二、结构三、案例四
哥的时代
·
2024-01-06 10:57
软件设计模式
设计模式
java
软件工程
设计模式之桥接模式【结构型模式】
各位小伙伴,如果您:想系统/深入学习某
技术知识
点…一个人摸索学习很难坚持,想组团高效学习…想写博客但无从下手,急需写作干货注入能量…热爱写作,愿意让自己成为更好的人…文章目录一、概述二、结构三、案例四、
哥的时代
·
2024-01-06 10:57
软件设计模式
设计模式
桥接模式
java
软件工程
SpringMVC之拦截器和异常处理器
各位小伙伴,如果您:想系统/深入学习某
技术知识
点…一个人摸索学习很难坚持,想组团高效学习…想写博客但无从下手,急需写作干货注入能量…热爱写作,愿意让自己成为更好的人…文章目录前言一、拦截器1、拦截器的配置
哥的时代
·
2024-01-06 10:57
java
spring
SpringMVC
设计模式之外观模式【结构型模式】
各位小伙伴,如果您:想系统/深入学习某
技术知识
点…一个人摸索学习很难坚持,想组团高效学习…想写博客但无从下手,急需写作干货注入能量…热爱写作,愿意让自己成为更好的人…文章目录前言一、概述二、结构三、案例四
哥的时代
·
2024-01-06 10:22
软件设计模式
设计模式
外观模式
ui
软件工程
java
信息系统集成专业
技术知识
信息系统建设信息系统生命周期产生阶段两个过程:提出建设想法和形成需求报告开发阶段五个子阶段:总体规划、系统分析、系统设计、系统实施、系统验收运行阶段消亡阶段信息系统的开发方法有:结构化方法、快速原型法、企业系统规划方法、战略数据规划方法、信息工程方法、面向对象方法。BSP:企业系统规划方法是战略数据规划方法和信息工程方法的基础。BSP与战略数据规划方法是一种交叉关系。这两种方法是信息工程方法的基础
就这样吧嘞
·
2024-01-06 01:41
兴成长,新成长!心成长!
干活满满,特别贴近我们的教学实际,帮助我们真真切切的学习到了信息
技术知识
。让我们在知识与技术的海洋里,快乐的过暑假!时刻保持学习的乐趣,不忘初心,与时俱进!一、一份耕耘一份收获在课堂教学中,常常
兴国334曾扬华
·
2024-01-06 00:12
DLL混淆问题
1)DLL混淆问题2)Unity主程如何做项目管理3)将ASTC格式转换为png格式4)iOS14在iPhone正常,但在iPad上会卡住这是第276篇UWA
技术知识
分享的推送。
侑虎科技UWA
·
2024-01-05 19:49
CentOS 7.6下的HTTP隧道代理配置详解
在CentOS7.6操作系统中,配置HTTP隧道代理需要一定的
技术知识
和经验。下面我们将详细介绍如何配置HTTP隧道代理,以确保网络通信的安全性和稳定性。首先,我们需要了解HTTP隧道代理的基本原理。
华科℡云
·
2024-01-05 17:17
iphone
ipad
2022年第十三届中国数据库技术大会(DTCC2022)-核心PPT资料下载
一、峰会简介本届大会以“数据智能价值创新”为主题,设置2大主会场,20+技术专场,邀请超百位行业专家,重点围绕时序数据库、图数据技术、实时
数仓
技术与应用实践、云原生数据库、大数据平台与数据安全等内容展开分享和探讨
百家峰会
·
2024-01-05 14:25
大数据
数据库
DTCC
数据库
DTCC
大数据
python requests elasticsearch auth reindex alias 通过requests用户名密码验证实现es异步重建并指定别名
在使用elasticsearch7.x的过程中,发现elasticsearch默认的副本数和分片数都为1,随着数据量不断增多,一个分片导致写入索引的效率越来越低,之后决定对业务层和
数仓
的索引进行重建#-
Cocktail_py
·
2024-01-05 08:02
Elasticsearch
elasticsearch
Flink实时电商
数仓
之旁路缓存
撤回流的处理撤回流是指流式处理过程中,两表join过程中的数据是一条一条跑过来的,即原本可以join到一起的数据在刚开始可能并没有join上。撤回流的格式:解决方案定时器:使用定时器定时10s(数据最大的时间差值),定时器触发时将状态中的数据发送过来如果重复计算这些数据,如何保持结果正确即可;通过每次度量值修改为当次度量值-上次度量值即可异步IO减少等待的时间,充分利用已有的资源使用异步IO时,必
十七✧ᐦ̤
·
2024-01-05 07:47
flink
缓存
大数据
Screen.SetResolution和URP的RenderScale有什么区别
Screen.SetResolution和URP的RenderScale有什么区别2)相同压缩格式相同面积不同数量资源加载速度3)新增Tag再生成AssetBundle并热更新之后,代码获取到的是undefined这是第367篇UWA
技术知识
分享的推送
UWA
·
2024-01-05 06:13
厚积薄发
Unity优化
rendering
texture
assetbundle
UseContentHash选项能否在打包AssetBundle时计算可靠的Hash
NativeReserved部分的内存3)Addressables资源完整性校验4)通过Image.color和CanvasRenderer.SetColor修改UI组件颜色的区别这是第368篇UWA
技术知识
分享的推送
UWA
·
2024-01-05 06:39
厚积薄发
Unity优化
哈希算法
assetbundle
memory
addressable
UI
Databend 开源周报第 125 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2024-01-05 05:25
数据库
Databend 开源周报第 126 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2024-01-05 05:25
数据库
开源
数据库工程师—面试
2.
数仓
每层做了什么事说的层次感不清晰,3.写过最复杂的SQL,如路径分析,流失,回流用户
劝学-大数据
·
2024-01-05 00:59
大数据面试题
面试
职场和发展
大数据
物流实时
数仓
:
数仓
搭建(DWD)二
系列文章目录物流实时
数仓
:采集通道搭建物流实时
数仓
:
数仓
搭建物流实时
数仓
:
数仓
搭建(DIM)物流实时
数仓
:
数仓
搭建(DWD)一物流实时
数仓
:
数仓
搭建(DWD)二文章目录系列文章目录前言一、代码编写1.文件创建
超哥--
·
2024-01-04 22:27
物流实时数仓
java
数据库
服务器
物流实时
数仓
:
数仓
搭建(DWS)一
系列文章目录物流实时
数仓
:采集通道搭建物流实时
数仓
:
数仓
搭建物流实时
数仓
:
数仓
搭建(DIM)物流实时
数仓
:
数仓
搭建(DWD)一物流实时
数仓
:
数仓
搭建(DWD)二物流实时
数仓
:
数仓
搭建(DWS)一文章目录系列文章目录前言一
超哥--
·
2024-01-04 22:56
物流实时数仓
数据库
flink
大数据
java
微信基于StarRocks的湖仓一体实践
作者:StarRocksActiveContributer、微信OLAP内核研发工程师微信作为国内活跃用户最多的社交软件,其数据平台建设经历了从Hadoop到ClickHouse亚秒级实时
数仓
的阶段,但仍旧面临着数据体验割裂
StarRocks_labs
·
2024-01-04 20:38
后端
数据湖和传统
数仓
区别及湖仓一体
1.数据仓库早期系统采用关系型数据库来存放管理数据,但是随着大数据技术的兴起,人们对于多方面数据进行分析的需求愈加强烈,这就要求建立一个能够面向分析、集成保存大量历史数据的新型管理机制,这一机制就是数据仓库。数据仓库通常存储来自不同源的数据,集成源数据以提供统一的视图。这些资源可以包括事务系统、应用程序日志文件、关系数据库等等。数据仓库特性:面向主题:与传统数据库面向应用进行数据组织的特点相对应,
土豆马铃薯
·
2024-01-04 20:04
数据湖
大数据
spark
分布式
流式湖仓增强,Hologres + Flink构建企业级实时
数仓
2023年12月,由阿里云主办的实时计算闭门会在北京举行,阿里云实时
数仓
Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时
数仓
,实现全链路的数据实时计算、实时写入、实时更新
阿里云大数据AI技术
·
2024-01-04 16:07
flink
大数据
数仓
工作中的常见问题及解决方案
数据仓库系列文章
数仓
架构发展史
数仓
建模方法论
数仓
建模分层理论
数仓
建模—宽表的设计
数仓
建模—指标体系数据仓库之拉链表
数仓
—数据集成
数仓
—数据集市
数仓
—商业智能系统
数仓
—埋点设计与管理
数仓
—IDMapping
大数据技术派
·
2024-01-04 16:34
spark
大数据
分布式
实时
数仓
投放主备链路Diff测试工具落地实践
一、背景目前实时
数仓
提供的投放实时指标优先级别越来越重要,特别下游为规则引擎提供的
数仓
数据,直接对投放运营的广告投放产生直接影响,数据延迟或者异常均可能产生直接或者间接的资产损失;从投放管理平台的链路全景图投放全景图来看
得物技术
·
2024-01-04 08:02
得物技术
数据库
设计模式之工厂设计模式【创造者模式】
各位小伙伴,如果您:想系统/深入学习某
技术知识
点…一个人摸索学习很难坚持,想组团高效学习…想写博客但无从下手,急需写作干货注入能量…热爱写作,愿意让自己成为更好的人…文章目录前言一、概述二、简单工厂模式
哥的时代
·
2024-01-04 07:58
软件设计模式
设计模式
java
开发语言
软件工程
设计模式之建造者模式【创造者模式】
各位小伙伴,如果您:想系统/深入学习某
技术知识
点…一个人摸索学习很难坚持,想组团高效学习…想写博客但无从下手,急需写作干货注入能量…热爱写作,愿意让自己成为更好的人…文章目录前言一、概述二、结构三、实例四
哥的时代
·
2024-01-04 07:58
软件设计模式
设计模式
建造者模式
java
软件工程
设计模式之单例设计模式【创造者模式】
各位小伙伴,如果您:想系统/深入学习某
技术知识
点…一个人摸索学习很难坚持,想组团高效学习…想写博客但无从下手,急需写作干货注入能量…热爱写作,愿意让自己成为更好的人…文章目录前言一、单例模式的结构二、单例模式的实现
哥的时代
·
2024-01-04 07:28
软件设计模式
设计模式
软件工程
java
设计模式之原型模式【创造者模式】
各位小伙伴,如果您:想系统/深入学习某
技术知识
点…一个人摸索学习很难坚持,想组团高效学习…想写博客但无从下手,急需写作干货注入能量…热爱写作,愿意让自己成为更好的人…文章目录前言一、概述二、结构三、实现四
哥的时代
·
2024-01-04 07:55
软件设计模式
设计模式
原型模式
java
软件工程
某人寿保险公司基础架构云化与小机
数仓
下移实践
随着数据中心IT基础架构的不断演进,云计算、大数据、移动互联的需求日益高涨,快速敏捷、易于维护以及扩展性,逐渐成为金融机构在升级数据中心时重点考虑的方面。某人寿保险公司(以下简称“客户”)过往采用传统三层架构,即IBMPower/x86+FCSAN+集中式存储的组合,在使用多年后面临设备老旧、灵活性与性能无法及时满足业务变化等问题。另外,传统架构也存在使用专用硬件及网络、存储控制器集中、架构及运维
志凌海纳SmartX
·
2024-01-04 03:09
超融合
云计算
数据库架构
以太坊的36个基础概念
想知道更多关于区块链
技术知识
,请百度【链客区块链技术问答社区】链客,有问必答!!1.以太币(Ether)产生规则和比特币有哪些区别?出块时间。比特币出块时间是平均10分钟,而以太坊约是15秒。
链客区块链技术问答社区
·
2024-01-04 00:20
以太坊
基础概念
区块链
Doris
数仓
使用规范(经验版)
第一部分:字符集规范【强制】数据库字符集指定utf-8,并且只支持utf-8。命令规范【建议】库名统一使用小写方式,中间用下划线(_)分割,长度62字节内【建议】表名称大小写敏感,统一使用小写方式,中间用下划线(_)分割,长度64字节内第二部分:建表规范【强制】确保每个tablet大小为1-3G之间。举例:假设表内单分区数据量在100G,按天分区,bucket数量100个。【强烈建议】不要使用Au
hf200012
·
2024-01-03 19:30
数据库
java
前端
Doris
大数据
电商
数仓
可视化1--数据导入
1、数据来源介绍以及数据文件下载1、业务数据业务数据往往产生于事务型过程处理,所以一般存储在关系型数据库中,如mysql、oracle业务数据源:用户基本信息、商品分类信息、商品信息、店铺信息、订单数据、订单支付信息、活动信息、物流信息等2、埋点数据埋点日志相对业务数据是用于数据分析、挖掘需求,一般以日志形式存储于日志文件中,随后通过采集落地分布式存储介质中如hdfs、hbase用户行为日志:用户
bigdata从入门到放弃
·
2024-01-03 18:53
数据仓库
linux
hadoop
大数据
java
数据仓库
我的大数据之路:2023年度总结
2023年度最值得骄傲的事从0到1搭建了离线
数仓
体系,针对Hadoop生态组件的原理和特性有了深入的理解。
话数Science
·
2024-01-03 18:07
大数据
面试
大数据
面试
spark
【大数据】Doris
数仓
使用规范原则
第一部分:字符集规范【强制】数据库字符集指定utf-8,并且只支持utf-8。命令规范【建议】库名统一使用小写方式,中间用下划线(_)分割,长度62字节内【建议】表名称大小写敏感,统一使用小写方式,中间用下划线(_)分割,长度64字节内第二部分:建表规范【强制】确保每个tablet大小为1-3G之间。举例:假设表内单分区数据量在100G,按天分区,bucket数量100个。【强烈建议】不要使用Au
奔向理想的星辰大海
·
2024-01-03 16:48
大数据
云原生
技术研发
大数据
数据库
易会档助力客服系统:无代码集成提升用户运营
通过易会档API,企业可将营销、客服、电商等多个系统高效地整合在一起,无需深入的
技术知识
,即可构建一个智能化的营销网络。这种方式不仅显著提升了工作效率,还大大缩
集简云-软件连接神器
·
2024-01-03 13:38
无代码
用户运营
产品运营
CRM
低代码开发
人工智能
数睿通2.0:高效的数据处理,主数据与数据表功能全面升级
引言八天很短,七天很长,数睿通2.0数据中台也随之迎来了新一轮的版本迭代,本次更新主要包括:主数据模型(可视化建模)主数据派发(支持派发主数据到下游数据表,rabbitMq,kafka,接口)数据表(
数仓
分层表信息展示
小螺旋丸
·
2024-01-03 10:51
大数据
数据库
大数据
数据中台
Flink实时电商
数仓
(十)
common模块回顾appBaseApp:作为其他子模块中使用Flink-StreamAPI的父类,实现了StreamAPI中的通用逻辑,在其他子模块中只需编写关于数据处理的核心逻辑。BaseSQLApp:作为其他子模块中使用Flink-SQLAPI的父类。在里面设置了使用SQLAPI的环境、并行度、检查点等固定逻辑。bean:存放其他子模块中使用到的javaBean对象,因为如果一直使用json
十七✧ᐦ̤
·
2024-01-03 09:50
flink
大数据
Hive自定义函数支持国密SM4解密
当前项目背景需要使用到国密SM4对加密后的数据进行解密,Hive是不支持的,尝试了华为DWS
数仓
,华为只支持在DWS中的SM4加密解密,不支持外部加密数据DWS解密新建Maven工程只需要将引用的第三方依赖打到
4935同学
·
2024-01-03 08:03
Hive
Java
hive
hadoop
数据仓库
计算机毕业设计吊打导师hadoop+spark+hive知识图谱医生推荐系统 医生数据分析可视化大屏 医生爬虫 医疗可视化 医生大数据 机器学习 大数据毕业设计
mapreduce对mysql中的医生数据进行数据分析,使用高德地图解析地理位置,并将结果转入.csv文件同时上传到hdfs文件系统;3.使用hive建库建表,导入.csv数据集;4.一半指标使用离线
数仓
计算机毕业设计大神
·
2024-01-03 07:53
数据仓库命名规范详解
一、
数仓
中为什么要在数据开发过程中强调遵守
数仓
开发命名规范呢?
孤城暮雨@
·
2024-01-03 04:17
数据仓库
hive
hadoop
数据库
sql
database
数据库架构
Azkaban+Spark资源调度
本文以利用Azkaban+Spark构建
数仓
的DWS层和ADS层为例!!!
孤城暮雨@
·
2024-01-03 04:46
spark
大数据
分布式
Spark内容分享(二十):网易基于 Kyuubi + Spark 内核优化以及实践
AQE–History2.AQE–Shuffle3.AQE-SmallReducePartition4.AQE–SkewedReducePartition5.AQE–OptimizePlanKyuubi+Spark
数仓
类任务优化实践
之乎者也·
·
2024-01-02 10:21
Spark
内容分享
大数据(Hadoop)内容分享
spark
大数据
分布式
最容易出错的 Hive Sql 详解
前言在进行
数仓
搭建和数据分析时最常用的就是sql,其语法简洁明了,易于理解,目前大数据领域的几大主流框架全部都支持sql语法,包括hive,spark,flink等,所以sql在大数据领域有着不可替代的作用
奔跑者-辉
·
2024-01-02 07:30
hive
hive
sql
大数据
不给病毒留空子:保护您的数据免受.mallox勒索病毒威胁
在面对被勒索病毒攻击导致的数据文件加密问题时,技术支持显得尤为重要,您可添加我们技术服务号(shuju315),我们的专业团队拥有丰富的数据恢复经验和
技术知识
,能够迅速定位问题并提供最佳
wx_shuju315
·
2024-01-02 03:06
数据恢复
勒索病毒
网络
安全
web安全
Flink的优势
主要应用场景包括实时
数仓
、实时大屏、实时推荐、实时报表、实时风控和实时监控,当然还有其他一些应用场景。总之,实时计算的业务需求,一般都会用Flink进行开发。
有味青年
·
2024-01-01 13:01
笔记
课堂笔记day10
主动发问,把老师问卡壳了4、对老师留的课后拓展的作业要能够完成5、对学习的内容要深度总结(思维导图或画图总结)等6、课后遇到不会的不要轻易总别人,先自己想办法,在问身边人7、提升阅读外语的能力(通过计算机
技术知识
反向学习外语
喂00
·
2024-01-01 06:34
勤于奋聊聊国外LEAD,聊聊乱七八糟
最近有很多粉丝给我说,国外LEAD联盟很多人都在写公众号,分享这方面的
技术知识
,我觉得是个好事,证明这块不止你一个人在奋斗。
勤于奋
·
2023-12-31 19:53
生活
Impala导出csv文件
场景:当
数仓
环境为大数据集群(impala),临时从
数仓
取数导出为csv文件使用impala-shell命令把文件导出为本地csv文件--正常导出impala-shell-q"SELECT*FROMyour_table
n_avo7_i
·
2023-12-31 18:34
大数据
linux
sql
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他