大数据练习环境部署

hive sql 正则提取括号中内容

我整理的一些关于【数据】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/eDOcp1使用HiveSQL正则提取括号中的内容在数据分析和处理的过程中，尤其是在大数据平台

Rideo-rax·2025-03-27 11:58

练习两天半，终于知道企业级的prompt在怎么写

练习两天半，终于知道企业级的prompt在怎么写本篇又名一些看上去炫酷但可能没什么用的AI技巧。（可以专门写prompt给领导看）。

KangkangLoveNLP·2025-03-27 10:22

Spark大数据分析与实战笔记（第四章 Spark SQL结构化数据文件处理-01）

文章目录每日一句正能量第4章SparkSQL结构化数据文件处理章节概要4.1SparkSQL概述4.1.1SparkSQL的简介4.1.2SparkSQL架构每日一句正能量世事洞明皆学问，人情练达即文章。第4章SparkSQL结构化数据文件处理章节概要在很多情况下，开发工程师并不了解Scala语言，也不了解Spark常用API，但又非常想要使用Spark框架提供的强大的数据分析能力。Spark的开

想你依然心痛·2025-03-27 10:19

Hive UDF开发实战：构建高性能JSON生成器

核心代码实现3.1UDF类骨架3.2高级类型处理四、部署与使用4.1打包与注册4.2使用示例五、性能优化技巧六、功能扩展方向七、生产环境注意事项八、性能对比测试九、总结与展望往期精彩一、背景与需求场景在大数据生态中

莫叫石榴姐·2025-03-27 09:16

Hadoop/Spark 生态

Hadoop/Spark生态是大数据处理的核心技术体系，专为解决海量数据的存储、计算和分析问题而设计。以下从底层原理到核心组件详细讲解，帮助你快速建立知识框架！一、为什么需要Hadoop/Spark？

不辉放弃·2025-03-27 09:15

LLM实践（二）——基于llama-factory的模型微调

目录SFT的lora微调1、环境部署2、准备数据与配置3、创建微调配置文件：yaml配置文件4、Lora微调：基于lora微调的yaml配置文件启动lora微调5、启动模型：基于llama-factory

lucky_chaichai·2025-03-27 09:44

数字化知识管理：理论与应用研究

一、数字化知识管理的背景与框架随着人工智能、大数据等技术的快速发展，知识管理逐渐从传统模式转向数字化、智能化。

meisongqing·2025-03-27 08:40

17、Python 抽象类与接口设计原则：从理论到架构级应用

文末提供完整项目级练习题与答案代码。

wolf犭良·2025-03-27 08:36

C语言练习：输入一个十进制将其转换成八进制和十六进制

文章目录前言一、题意二、代码1.代码的实现2.读入数据总结前言输入一个十进制将其转换成八进制和十六进制本题是在C语言中较为常见的问题！一、题意在C环境中输入一个十进制数，在结果中第一行输出8进制数第二行输出16进制数。输入10输出12A输入100输出14464二、代码1.代码的实现#includeintb(intn);//表示八进制ints(intn);//表示十六进制intmain(){intn

你今天刷题了吗？·2025-03-27 06:24

Python人工智能项目报告

GPT与Sora，AIGC，财务管理，HR，服务管理，工农业，安全管理，温度，大规模推动人工智能2.0时代已经到来，以高质量大数据为原料，场景智能，人机交互，视觉技术，

烂白菜@·2025-03-27 06:51

数据湖和Apache Iceberg，Apache Hudi，Delta Lake

数据湖这个词目前已经流行开来，逐步被数据相关的从业者接受，可能还有很多人不太清楚它和Hadoop，Hive，Spark这些大数据系统的区别，简单说数据湖是个业务概念，主要是为了区别传统数仓这个概念的（传统数仓的定义

西土城计划·2025-03-27 05:17

04_JavaScript循环结构

目录一、循环1.2while循环不太常用1.3dowhile循环不太常用1.4for循环常用练习一、循环循环结构，就是根据某些给出的条件，重复执行同一段代码循环必须包含某些固定的内容组成初始化i=0条件判断

东东__net·2025-03-27 04:42

大数据分析工具Power BI（八）：动态TOPN统计

动态TOPN统计一、TOPN统计分析在一些数据分析场景中我们经常遇到获取topN统计的问题，例如统计销量topN的店铺对应的总销售额、统计订单量TopN的门店总销售额等等。针对这种TopN问题的分析，在PowerBI中我们需要使用TOPN函数，TOPN函数可以返回指定表的前N行数据。之前我们学习过RANKX函数，RANKX可以根据指定的度量值表达式来对数据进行排名没有办法获取前几名数据，TOPN可

Lansonli·2025-03-27 02:55

镜舟科技荣登《2024 中国大数据产业年度「国产化」优秀代表厂商》榜单！

在近日于上海成功举办的“释放×数效应·共创智+未来”2024第七届金猿&魔方论坛上，镜舟科技凭借其在数据分析领域的卓越贡献和国产化技术实力，入选《2024中国大数据产业年度「国产化」优秀代表厂商》榜单，

·2025-03-27 02:58

算力网络战略布局与数字未来演进

以“东数西算”工程为例，通过构建八大枢纽节点与十大数据中心集群，实现算力资源跨区域动态调配，支撑工业互联网、智慧医疗等高实时性场景需求。关键维度技术特征典型应用场景异构计算架构

智能计算研究中心·2025-03-27 02:23

Spring Cloud Stream：打造强大的微服务事件驱动架构

随着云计算、微服务和大数据技术的快速发展，构建可扩展、高性能和弹性的应用程序变得越来越重要。

Java爱好狂.·2025-03-27 00:08

施尧耘：量子计算终将实现；段路明：大规模量子计算还任重道远

本讲将由阿里云量子技术首席量子科学家施尧耘亲临现场，与清华大学海峡研究院大数据AI中心专家委员、百度七剑客之一、酷我音乐创始人雷鸣老师、清华大学姚期智讲座教授段路明教授、昆仲资本创始管理合伙人王钧老师共同参与

lyuharvey·2025-03-26 22:54

数据库总结

由于近期实习涉及到阿里云大数据开发套件的使用，主要涉及到odps、ads、rds、ots相关数据库的操作，所以针对性的做一些总结，并将阿里云中产品与实际产品对应分析。

wzz87·2025-03-26 20:09

AnalyticDB: 强大的云端向量数据库解决方案

AnalyticDB:强大的云端向量数据库解决方案引言在当今大数据和人工智能快速发展的时代，高效的数据存储和检索系统变得越来越重要。

qq_37836323·2025-03-26 19:36

Redis 事务详解：迈向未来的分布式数据一致性方案

在大数据和分布式系统不断演进的今天，数据一致性与高性能存取成为了系统设计中的核心问题。Redis作为内存数据存储的佼佼者，其事务机制为开发者提供了一种既高效又可靠的方式来实现数据的原子性操作。

金枝玉叶9·2025-03-26 19:01

手把手带你在Windows中搭建本地知识库（基于ollama本地部署大模型+客户端安装版AnythingLLM）非docker环境部署

一、Ollama安装Ollama是一个专注于本地运行大型语言模型（LLM）的框架，它使得用户能够在自己的计算机上轻松地部署和使用大型语言模型，而无需依赖昂贵的GPU资源。Ollama提供了一系列的工具和服务，旨在简化大型语言模型的安装、配置和使用过程，让更多人能够体验到人工智能的强大能力。Ollama的下载和安装直接从官网下载windows版本的客户端，直接点击客户端文件默认安装就行了，这里不再赘

慕慕涵雪月光白·2025-03-26 18:24

【算法练习】寻找链表的中间结点

题目描述：给定一个单链表L，请编写程序输出L中间结点保存的数据。如果有两个中间结点，则输出第二个中间结点保存的数据。例如：给定L为1→7→5，则输出应该为7；给定L为1→2→3→4，则输出应该为3。输入描述：每个输入包含1个测试用例。每个测试用例第1行给出链表首结点的地址、结点总个数正整数N(≤10)。结点的地址是5位非负整数，NULL地址用−1表示。接下来有N行，每行格式为：AddressDat

YaYa521520yaya·2025-03-26 14:27

django练习题

django练习题1、Web框架的本质是什么？为什么要有Web框架？所有的Web应用，本质上其实就是一个socket服务端，用户端程序其实就是一个socket客户端。

BigC哥·2025-03-26 13:17

二叉树练习

102.二叉树的层序遍历-力扣（LeetCode）使用队列进行层序遍历。/***Definitionforabinarytreenode.*publicclassTreeNode{*intval;*TreeNodeleft;*TreeNoderight;*TreeNode(){}*TreeNode(intval){this.val=val;}*TreeNode(intval,TreeNodelef

无敌粉毛大王千早爱音·2025-03-26 12:16

Unity使用ProtoBuf

ProtoBuf1ProtocolBuffers(protobuf)和protobuf-net1.0protobuf的优势1.网络通信2.数据存储3.配置文件4.日志记录5.游戏开发6.微服务架构7.移动应用8.物联网（IoT）9.大数据处理

飞浪纪元[FWC–FE]·2025-03-26 12:13

【练习】PAT 乙 1087 有多少不同的值

题目当自然数n依次取1、2、3、……、N时，算式⌊n/2⌋+⌊n/3⌋+⌊n/5⌋有多少个不同的值？（注：⌊x⌋为取整函数，表示不超过x的最大自然数，即x的整数部分。）输入格式：输入给出一个正整数N（2≤N≤104）。输出格式：在一行中输出题面中算式取到的不同值的个数。输入样例：2017输出样例：1480来源：PAT乙1087有多少不同的值思路（注意事项）初始化一个大数组用来标记值是否已出现过。纯

柠石榴·2025-03-26 11:09

蓝桥杯——练习（3.25）

蓝桥杯——练习（3.25）历届试题成绩分析题目链接：http://lx.lanqiao.cn/problem.page?

小李编程·2025-03-26 10:24

MySQL 学习之批量插入数据性能问题

文章目录现象优化现象在使用kettle同步大数据的数据到我们的MySQL数据库中时发现，数据量大时插入效率很慢，大约在2000/s优化在MySQL驱动连接中添加rewriteBatchedStatements

zxguan·2025-03-26 08:15

Python每日练习

#计算机挑战赛--学科竞赛people=int(input('输入想要参赛的人数:\n'))subject=input('想要参加选拔的科目:\n')list=[];total=0;marks=[];foriinrange(people):id,g1,g2,g3,g4,g5,g6=map(int,input().split())list.extend([[id,g1,g2,g3,g4,g5,g6]

编程小白ssss·2025-03-26 07:06

VBA编程自动化生成口算工具分享

当初编写这款小工具，也是因为家里孩子需要，每天都要练习口算，所以干脆自己编写了一款自动化工具。

wei1019·2025-03-26 06:54

JS小练习-线条之美

JS小练习-线条之美注：最近准备开始好好研究一下js，顺便就写一些好玩的东西。可以访问进行尝试：JS小练习-线条之美先放几个图：只是简单的几个参数就画出了非常美的图案，这让我感觉非常的有趣。

水水不水啊·2025-03-26 06:21

如何根据个人现状确定职业方向转型大数据

xiaokaiabcde·2025-03-26 03:59

未来数据驱动的视觉革命

在大数据与人工智能蓬勃发展的时代，数据不再只是静态的数字，而是推动创新与决策的“燃料”。如何以直观、高效的方式展示数据，成为各行各业实现数字化转型的关键。

金枝玉叶9·2025-03-26 03:28

2024年大数据最全教你IDEA解决GIT冲突_idea git解决冲突(2)，2024年最新面试复盘

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

2401_84170337·2025-03-26 00:09

40% 降本：多点 DMALL x StarRocks 的湖仓升级实战

作为DMALLOS数字化能力的技术底座，大数据平台历经多次迭代平稳支撑了公司ToB业务的快速开展。随着国家产业升级和云原生技术的成熟，平台架构也从存算一体逐步转向存算分离。

·2025-03-25 23:41

2024年河南省职业院校技能大赛高职组 “大数据分析与应用” 赛项任务书（四）

2024年河南省职业院校技能大赛高职组“大数据分析与应用”赛项任务书（四））背景描述：任务一：Hadoop完全分布式安装配置（25分）任务二：离线数据处理（25分）子任务一：数据抽取任务三：数据采集与实时计算

落寞的魚丶·2025-03-25 19:32

SQL数据库练习题以及答案（46例题）

—学生表createtablestudent(snovarchar(10)primarykey,--学号snamevarchar(20),--姓名sagenumeric(2),--年龄ssexvarchar(5)--性别);----教师表createtableteacher(tnovarchar(10)primarykey,—教师编号tnamevarchar(20)—教师姓名);----课程表cr

655Z·2025-03-25 19:00

对递归的深度理解及详细示例

**练习**示例1：递归实现二叉树的后序遍历分析示例2：斐波那契数列分析示例3：字符串反转分析示例4：汉诺塔问题分析示例5：二叉树的最大深度分析示例6：全排

嘤国大力士·2025-03-25 18:27

经营帮：让企业数字化转型不再是难题

经营帮用前沿技术和大数据生态，让企业转型不再是选择

中钧科技·2025-03-25 18:25

提醒第一次参加软考机考的，留个心眼！！！

-✨模拟流程进入中国计算机技术职业资格网下拉网页，点击服务园地中的模拟练习登录账号进图模拟练习平台，选择模拟考试科目-✨操作技巧如果要更改绘制的某个图形元件中的文本内容，双击元件或按F2键，即可进入编辑状态对如要修改复杂图形中的文本

不是小盆友·2025-03-25 18:22

尚硅谷大数据项目【电商数仓6.0】-Kafka安装-3

解压tar-zxvf/opt/software/kafka_2.12-3.3.1.tgz-C/opt/module/mvkafka_2.12-3.3.1/kafkacd/opt/module/kafka/configviserver.properties#LicensedtotheApacheSoftwareFoundation(ASF)underoneormore#contributorlice

Xiaoweidumpb·2025-03-25 15:32

大数据项目之电商数仓（用户行为采集平台）

大数据项目之电商数仓（用户行为采集平台）版本：V5.0第1章数据仓库概念数据仓库（DataWarehouse），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。

qq_42042882·2025-03-25 15:01

尚硅谷大数据项目【电商数仓6.0】-Datax-6

安装tar-zxvfdatax.tar.gz-C/opt/module/测试python/opt/module/datax/bin/datax.py/opt/module/datax/job/job.jsonMySQLToHDFS根据官方文档写配置json{"job":{"content":[{"reader":{"name":"mysqlreader","parameter":{"column"

Xiaoweidumpb·2025-03-25 14:26

大数据学习-hive（四：数仓搭建，数据监控，数据支持）

一：数仓搭建1：完备性。要保证所需要的数据全部到达数仓。2：准备性。etl，和数据的计算校验，确保输出的数据准确。3：一致性。确保输出端口一致，防止输出数据不准。4：时效性。每天的定时调度。5：规范性。表名，字段名要进行规范化处理。6：稳定性。确保数仓稳定。二：数仓校验1：建表语句--建表--droptableifexistsdm.dim_dk_vehicle_info_dqc;createtab

宇智波云·2025-03-25 14:23

【大数据入门核心技术-Hive】（二十一）Hive中double和decimal的区别

一、集群环境部署1、Hive环境安装部署参考【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建二、HiveDouble

forest_long·2025-03-25 13:49

大数据（2）Hadoop架构深度拆解：HDFS与MapReduce企业级实战与高阶调优

目录一、分布式系统的设计哲学演进1.1从Google三驾马车到现代数据湖二、企业级HDFS架构全景图2.1联邦架构的深度实践2.2生产环境容灾设计2.3性能压测方法论三、MapReduce引擎内核解密3.1Shuffle机制全链路优化3.2资源调度革命：从MRv1到YARN3.3企业级编码规范四、千亿级数据分析实战：运营商信令数据挖掘4.1场景描述4.2优化后的MR作业链4.3性能对比数据五、云原

一个天蝎座白勺程序猿·2025-03-25 13:48

【Java开发学习路线图】从入门到项目实战全攻略

一、Java基础核心（1-2个月）1.基础语法（建议配合IDE练习）//变量与运算符intage=25;doublescore=89.5;booleanisPass=score>=60;//true//

小小鸭程序员·2025-03-25 12:07

web前端期末大作业：网站设计与实现——咖啡网站HTML+CSS+JavaScript

web学生网页设计·2025-03-25 11:05

用HTML+CSS仿网易云音乐网站(6个页面) (1)