E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据数据仓库数据管理etl
hive sql 正则 提取括号中内容
我整理的一些关于【数据】的项目学习资料(附讲解~~)和大家一起分享、学习一下:https://d.51cto.com/eDOcp1使用HiveSQL正则提取括号中的内容在数据分析和处理的过程中,尤其是在
大数据
平台
Rideo-rax
·
2025-03-27 11:58
hive
sql
hadoop
数据仓库
大数据
Spark
大数据
分析与实战笔记(第四章 Spark SQL结构化数据文件处理-01)
文章目录每日一句正能量第4章SparkSQL结构化数据文件处理章节概要4.1SparkSQL概述4.1.1SparkSQL的简介4.1.2SparkSQL架构每日一句正能量世事洞明皆学问,人情练达即文章。第4章SparkSQL结构化数据文件处理章节概要在很多情况下,开发工程师并不了解Scala语言,也不了解Spark常用API,但又非常想要使用Spark框架提供的强大的数据分析能力。Spark的开
想你依然心痛
·
2025-03-27 10:19
#
Spark大数据分析与实战
spark
数据分析
笔记
Hive UDF开发实战:构建高性能JSON生成器
核心代码实现3.1UDF类骨架3.2高级类型处理四、部署与使用4.1打包与注册4.2使用示例五、性能优化技巧六、功能扩展方向七、生产环境注意事项八、性能对比测试九、总结与展望往期精彩一、背景与需求场景在
大数据
生态中
莫叫石榴姐
·
2025-03-27 09:16
收获不止一点
hive
json
hadoop
数据仓库
大数据
sql
gitee第三方登录获取openid | python+Django |已跑通
注:此项目根据美多改编,qq第三方需要备案gitee不用一、获取appid和appsecret点击右侧账号设置左侧菜单栏
数据管理
里有第三方应用点击创建应用,根据你的具体情况设置二、以下是事例代码,根据需要修改即可
shenmu84
·
2025-03-27 09:15
gitee
python
jquery
Hadoop/Spark 生态
Hadoop/Spark生态是
大数据
处理的核心技术体系,专为解决海量数据的存储、计算和分析问题而设计。以下从底层原理到核心组件详细讲解,帮助你快速建立知识框架!一、为什么需要Hadoop/Spark?
不辉放弃
·
2025-03-27 09:15
大数据
利用python调接口获取物流标签,并转成PDF保存在指定的文件夹。
需求调用g
etl
abel接口将接口返回的base64文件转换成pdf文件命名用接口返回值的单号命名保存再指定的文件夹重实现代码#-*-coding:utf-8-*-importrequestsimportbase64importosimportjson
xiaoli_panpan
·
2025-03-27 09:44
#
python
练习
python
pdf
开发语言
数字化知识管理:理论与应用研究
一、数字化知识管理的背景与框架随着人工智能、
大数据
等技术的快速发展,知识管理逐渐从传统模式转向数字化、智能化。
meisongqing
·
2025-03-27 08:40
知识管理
综述
为什么说耘想WinNAS是Windows平台最强NAS解决方案?DIY用户的终极选择
DIY用户的终极选择在家庭和企业
数据管理
需求激增的今天,NAS(网络附加存储)已成为数字生活的核心基础设施。
DeepSeek+NAS
·
2025-03-27 07:01
winnas
nas
智能NAS
小米NAS
飞牛NAS
安卓NAS
深入剖析 C 语言结构体:构建高效
数据管理
体系
引言在C语言的编程世界里,数据结构的合理运用对程序的质量起着决定性作用。数组作为一种基础数据结构,允许我们存储相同类型的数据项。而结构体作为C语言中用户自定义的数据类型,极大地拓展了数据表示的灵活性,它允许在一个数据单元中存储不同类型的数据项。无论是开发操作系统、嵌入式软件,还是设计复杂的算法,结构体都发挥着不可或缺的作用。结构体:多样化数据的整合容器结构体的定义与声明结构体定义由struct关键
烂蜻蜓
·
2025-03-27 06:27
C语言
c语言
windows
开发语言
Python人工智能项目报告
GPT与Sora,AIGC,财务管理,HR,服务管理,工农业,安全管理,温度,大规模推动人工智能2.0时代已经到来,以高质量
大数据
为原料,场景智能,人机交互,视觉技术,
烂白菜@
·
2025-03-27 06:51
计算机基础
python
人工智能
开发语言
数据湖和Apache Iceberg,Apache Hudi,Delta Lake
数据湖这个词目前已经流行开来,逐步被数据相关的从业者接受,可能还有很多人不太清楚它和Hadoop,Hive,Spark这些
大数据
系统的区别,简单说数据湖是个业务概念,主要是为了区别传统数仓这个概念的(传统数仓的定义
西土城计划
·
2025-03-27 05:17
apache
big
data
大数据
Apache Iceberg 解析,一文了解Iceberg定义、应用及未来发展
ApacheIceberg是一种开源的表格式(TableFormat),专为超大规模数据分析场景设计,通过标准化数据存储规范与访问协议,解决了传统数据湖在元
数据管理
、事务控制、查询性能等方面的核心痛点。
镜舟科技
·
2025-03-27 05:17
apache
Iceberg
StarRocks
元数据
数据湖
湖仓一体
数据分析
大数据
分析工具Power BI(八):动态TOPN统计
动态TOPN统计一、TOPN统计分析在一些数据分析场景中我们经常遇到获取topN统计的问题,例如统计销量topN的店铺对应的总销售额、统计订单量TopN的门店总销售额等等。针对这种TopN问题的分析,在PowerBI中我们需要使用TOPN函数,TOPN函数可以返回指定表的前N行数据。之前我们学习过RANKX函数,RANKX可以根据指定的度量值表达式来对数据进行排名没有办法获取前几名数据,TOPN可
Lansonli
·
2025-03-27 02:55
大数据分析工具
PowerBI
Power
BI
大数据
镜舟科技荣登《2024 中国
大数据
产业年度「国产化」优秀代表厂商》榜单!
在近日于上海成功举办的“释放×数效应·共创智+未来”2024第七届金猿&魔方论坛上,镜舟科技凭借其在数据分析领域的卓越贡献和国产化技术实力,入选《2024中国
大数据
产业年度「国产化」优秀代表厂商》榜单,
·
2025-03-27 02:58
数据库软件数据分析
算力网络战略布局与数字未来演进
以“东数西算”工程为例,通过构建八大枢纽节点与十
大数据
中心集群,实现算力资源跨区域动态调配,支撑工业互联网、智慧医疗等高实时性场景需求。关键维度技术特征典型应用场景异构计算架构
智能计算研究中心
·
2025-03-27 02:23
其他
《深度剖析:MySQL、Oracle、SQL Server分页语法大揭秘》
无论是搭建面向用户的应用程序,还是构建复杂的
数据管理
系统,分页查询都扮演着不可或缺的角色。对于开发者而言,熟练驾驭不同数据库的分页语法,不仅是技术能力的体现,更是在实际项目中优化数据处理效率的关键。
·
2025-03-27 01:57
人工智能
鸿蒙 5 开发必备:ArkData 如何让
数据管理
变得简单又强大
在鸿蒙5的应用开发中,
数据管理
是构建高效、智能应用的关键。ArkData(方舟
数据管理
)作为鸿蒙生态的核心组件,为开发者提供了一套统一、安全的数据存储、管理和同步解决方案。
·
2025-03-27 01:57
harmonyos-next
SvelteKit 最新中文文档教程(11)—— 部署 N
etl
ify 和 Vercel
前言Svelte,一个语法简洁、入门容易,面向未来的前端框架。从Svelte诞生之初,就备受开发者的喜爱,根据统计,从2019年到2024年,连续6年一直是开发者最感兴趣的前端框架No.1:Svelte以其独特的编译时优化机制著称,具有轻量级、高性能、易上手等特性,非常适合构建轻量级Web项目。为了帮助大家学习Svelte,我同时搭建了Svelte最新的中文文档站点。如果需要进阶学习,也可以入手我
·
2025-03-27 01:56
Spring Cloud Stream:打造强大的微服务事件驱动架构
随着云计算、微服务和
大数据
技术的快速发展,构建可扩展、高性能和弹性的应用程序变得越来越重要。
Java爱好狂.
·
2025-03-27 00:08
java
开发语言
Data Warehouse 系列之构建业务总线矩阵
数据仓库
总线矩阵(DataWarehouseBusMatrix)是
数据仓库
设计中一个重要工具。
数字游牧人0v0
·
2025-03-26 22:29
矩阵
spark
数据库
施尧耘:量子计算终将实现;段路明:大规模量子计算还任重道远
本讲将由阿里云量子技术首席量子科学家施尧耘亲临现场,与清华大学海峡研究院
大数据
AI中心专家委员、百度七剑客之一、酷我音乐创始人雷鸣老师、清华大学姚期智讲座教授段路明教授、昆仲资本创始管理合伙人王钧老师共同参与
lyuharvey
·
2025-03-26 22:54
人工智能
大数据
嵌入式
AnalyticDB for PostgreSQL:阿里云强大的MPP
数据仓库
服务
标题:AnalyticDBforPostgreSQL:阿里云强大的MPP
数据仓库
服务内容:AnalyticDBforPostgreSQL:阿里云强大的MPP
数据仓库
服务引言在当今数据驱动的时代,高效处理和分析海量数据变得至关重要
llzwxh888
·
2025-03-26 21:46
postgresql
阿里云
数据仓库
python
数据库总结
由于近期实习涉及到阿里云
大数据
开发套件的使用,主要涉及到odps、ads、rds、ots相关数据库的操作,所以针对性的做一些总结,并将阿里云中产品与实际产品对应分析。
wzz87
·
2025-03-26 20:09
数据库
AnalyticDB: 强大的云端向量数据库解决方案
AnalyticDB:强大的云端向量数据库解决方案引言在当今
大数据
和人工智能快速发展的时代,高效的数据存储和检索系统变得越来越重要。
qq_37836323
·
2025-03-26 19:36
数据库
python
Redis 事务详解:迈向未来的分布式数据一致性方案
在
大数据
和分布式系统不断演进的今天,数据一致性与高性能存取成为了系统设计中的核心问题。Redis作为内存数据存储的佼佼者,其事务机制为开发者提供了一种既高效又可靠的方式来实现数据的原子性操作。
金枝玉叶9
·
2025-03-26 19:01
程序员知识储备1
程序员知识储备2
程序员知识储备3
redis
分布式
数据库
智能优化算法-蜣螂优化器 Dung be
etl
e optimizer(附Matlab代码)
引言蜣螂优化器Dungbe
etl
eoptimizer(DBO)模拟了蜣螂的滚球、跳舞、觅食、偷窃和繁殖行为。中国学者于2022年发表在SCI期刊《JOURNALOFSUPERCOMPUTING》上。
优化算法侠Swarm-Opti
·
2025-03-26 15:30
智能优化算法
算法
matlab
启发式算法
数学建模
基于改进蜣螂优化算法的无人机避障三维航迹规划
基于改进蜣螂优化算法的无人机避障三维航迹规划摘要针对无人机三维航迹规划中动态障碍物避障能力不足、多目标优化效率低的问题,提出一种基于改进蜣螂优化算法(FusionAdaptiveDungBe
etl
eOptimization
天天酷科研
·
2025-03-26 14:55
无人机(DRONE)
算法
无人机
【银河麒麟系统常识】Error: RTN
ETL
INK answers: Operation not permitted
错误:RTN
ETL
INKanswers:Operationnotpermitted解析没有足够的权限来执行此操作;解决方法在执行指令之前添加下述命令;sudo-以root权限执行指令
一拳一个呆瓜
·
2025-03-26 13:46
银河麒麟系统常识
linux
centos
Unity使用ProtoBuf
ProtoBuf1ProtocolBuffers(protobuf)和protobuf-net1.0protobuf的优势1.网络通信2.数据存储3.配置文件4.日志记录5.游戏开发6.微服务架构7.移动应用8.物联网(IoT)9.
大数据
处理
飞浪纪元[FWC–FE]
·
2025-03-26 12:13
Unity引擎开发
C#编程
unity
游戏引擎
系统架构师重要知识点1:企业集成分类
关键技术
ETL
(Extract-Transform-Load)工具:Informatica、Talend、Apach
wujiada001
·
2025-03-26 11:06
系统架构师知识点
系统架构
降本!降本!安稳的降本!多元数据库一体化承载平台zData X 新版本即将发布
然而,不少企业在
数据管理
方面却面临着严峻挑战——数据库种类繁多、承载环境性能不足、运行不稳定、运维管理难度大、资源分配浪费等问题,都使得企业需要投入更多的金钱、人力与时间成本。
云和恩墨
·
2025-03-26 09:20
数据库
ETL
自动化:提升数据处理效率与准确性的核心驱动力
ETL
(Extract,Transform,Load)自动化作为数据处理领域的关键技术,正逐渐成为企业在数据时代脱颖而出、实现高效运营与精准决策的关键所在。
谷云科技RestCloud
·
2025-03-26 08:46
etl
自动化
数据仓库
数字化转型
数据集成平台
api
MySQL 学习 之 批量插入数据性能问题
文章目录现象优化现象在使用kettle同步
大数据
的数据到我们的MySQL数据库中时发现,数据量大时插入效率很慢,大约在2000/s优化在MySQL驱动连接中添加rewriteBatchedStatements
zxguan
·
2025-03-26 08:15
mysql
ETL
与数据迁移:从传统系统到云平台的平稳过渡全攻略
而在这个过程中,数据迁移无疑是核心环节,
ETL
(提取、转换、加载)更是实现数据迁移的关键工具。一、数据迁移是云转型的基础数据迁移是将现有数据从传统系统迁移到云平台的过程。
谷云科技RestCloud
·
2025-03-26 08:44
etl
数据仓库
数据库
api管理
数字化转型
数据集成
数据迁移
基于ssm的车辆故障管理系统
数据管理
混乱:缺乏统一的车辆故障信息管理
AI天才研究院
·
2025-03-26 08:42
计算
AI大模型企业级应用开发实战
ChatGPT
计算科学
神经计算
深度学习
神经网络
大数据
人工智能
大型语言模型
AI
AGI
LLM
Java
Python
架构设计
Agent
RPA
如何根据个人现状确定职业方向转型
大数据
本文章目录如下:一、
大数据
相关职位介绍(数据来源于拉钩、智联)(一)
大数据
相关职位列举(二)每个相关职位的岗位职责与要求二、非程序员转型
大数据
职位推荐与SWOT分析(一)金融财会,统计,其他商科转型
大数据
xiaokaiabcde
·
2025-03-26 03:59
大数据
大数据开发
转型大数据
大数据职业规划
大数据学习
未来数据驱动的视觉革命
在
大数据
与人工智能蓬勃发展的时代,数据不再只是静态的数字,而是推动创新与决策的“燃料”。如何以直观、高效的方式展示数据,成为各行各业实现数字化转型的关键。
金枝玉叶9
·
2025-03-26 03:28
程序员知识储备1
程序员知识储备2
程序员知识储备3
量子计算
javascript
3d
开发语言
科技
2024年
大数据
最全教你IDEA解决GIT冲突_idea git解决冲突(2),2024年最新面试复盘
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上
大数据
知识点,真正体系化!
2401_84170337
·
2025-03-26 00:09
程序员
大数据
intellij-idea
git
40% 降本:多点 DMALL x StarRocks 的湖仓升级实战
作为DMALLOS数字化能力的技术底座,
大数据
平台历经多次迭代平稳支撑了公司ToB业务的快速开展。随着国家产业升级和云原生技术的成熟,平台架构也从存算一体逐步转向存算分离。
·
2025-03-25 23:41
iceberg
《AI赋能SQL Server,数据处理“狂飙”之路》
SQLServer作为一款强大的关系型数据库管理系统,在
数据管理
领域应用广泛。
·
2025-03-25 23:40
人工智能深度学习
有哪些使用 DHTMLX 小部件创建 JavaScript 数据透视网格的关键点?
Capterra最新的技术趋势调查将
数据管理
列为金融企业在采用新软件解决方案时面临的主要挑战之一。现成的工具可能不够灵活,无法满足特定要求。
CodeCraft Studio
·
2025-03-25 22:57
UI
控件
javascript
数据分析
ui
2024年河南省职业院校 技能大赛高职组 “
大数据
分析与应用” 赛项任务书(四)
2024年河南省职业院校技能大赛高职组“
大数据
分析与应用”赛项任务书(四))背景描述:任务一:Hadoop完全分布式安装配置(25分)任务二:离线数据处理(25分)子任务一:数据抽取任务三:数据采集与实时计算
落寞的魚丶
·
2025-03-25 19:32
大数据应用开发赛项
数据分析
数据挖掘
高职组
2024年河南职业技能大赛
大数据分析与应用
经营帮:让企业数字化转型不再是难题
经营帮用前沿技术和
大数据
生态,让企业转型不再是选择
中钧科技
·
2025-03-25 18:25
科技
人工智能
区块链
制造
互联网产业
企业管理与经营
企业数字化
python执行sql 语句
python执行sql语句数据
etl
过程中会涉及到调度,也就是每天要定时执行的任务,这些任务执行过程中其实是通过底层的脚本代码来进行数据的清洗转换等处理的。
change 阿光
·
2025-03-25 15:03
数据产品经理
sql
python
数据库
尚硅谷
大数据
项目【电商数仓6.0】-Kafka安装-3
解压tar-zxvf/opt/software/kafka_2.12-3.3.1.tgz-C/opt/module/mvkafka_2.12-3.3.1/kafkacd/opt/module/kafka/configviserver.properties#LicensedtotheApacheSoftwareFoundation(ASF)underoneormore#contributorlice
Xiaoweidumpb
·
2025-03-25 15:32
大数据
kafka
分布式
大数据
项目之电商数仓(用户行为采集平台)
大数据
项目之电商数仓(用户行为采集平台)版本:V5.0第1章
数据仓库
概念
数据仓库
(DataWarehouse),是为企业制定决策,提供数据支持的。可以帮助企业,改进业务流程、提高产品质量等。
qq_42042882
·
2025-03-25 15:01
大数据
尚硅谷
大数据
项目【电商数仓6.0】-Datax-6
安装tar-zxvfdatax.tar.gz-C/opt/module/测试python/opt/module/datax/bin/datax.py/opt/module/datax/job/job.jsonMySQLToHDFS根据官方文档写配置json{"job":{"content":[{"reader":{"name":"mysqlreader","parameter":{"column"
Xiaoweidumpb
·
2025-03-25 14:26
大数据技术
大数据
大数据
学习-hive(四:数仓搭建,数据监控,数据支持)
etl
,和数据的计算校验,确保输出的数据准确。3:一致性。确保输出端口一致,防止输出数据不准。4:时效性。每天的定时调度。5:规范性。表名,字段名要进行规范化处理。6:稳定性。确保数仓稳定。
宇智波云
·
2025-03-25 14:23
大数据项目
hive
hive
【
大数据
入门核心技术-Hive】(二十一)Hive中double和decimal的区别
一、集群环境部署1、Hive环境安装部署参考【
大数据
入门核心技术-Hive】(三)Hive3.1.2非高可用集群搭建【
大数据
入门核心技术-Hive】(四)Hive3.1.2高可用集群搭建二、HiveDouble
forest_long
·
2025-03-25 13:49
大数据技术入门到21天通关
大数据
hive
hadoop
elasticsearch
人工智能
搜索引擎
embedding
大数据
(2)Hadoop架构深度拆解:HDFS与MapReduce企业级实战与高阶调优
目录一、分布式系统的设计哲学演进1.1从Google三驾马车到现代数据湖二、企业级HDFS架构全景图2.1联邦架构的深度实践2.2生产环境容灾设计2.3性能压测方法论三、MapReduce引擎内核解密3.1Shuffle机制全链路优化3.2资源调度革命:从MRv1到YARN3.3企业级编码规范四、千亿级数据分析实战:运营商信令数据挖掘4.1场景描述4.2优化后的MR作业链4.3性能对比数据五、云原
一个天蝎座 白勺 程序猿
·
2025-03-25 13:48
大数据开发从入门到实战合集
大数据
hadoop
架构
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他