Hadoop分布式大数据

尚硅谷大数据项目【电商数仓6.0】-Datax-6

安装tar-zxvfdatax.tar.gz-C/opt/module/测试python/opt/module/datax/bin/datax.py/opt/module/datax/job/job.jsonMySQLToHDFS根据官方文档写配置json{"job":{"content":[{"reader":{"name":"mysqlreader","parameter":{"column"
Xiaoweidumpb·2025-03-25 14:26

大数据学习-hive（四：数仓搭建，数据监控，数据支持）

一：数仓搭建1：完备性。要保证所需要的数据全部到达数仓。2：准备性。etl，和数据的计算校验，确保输出的数据准确。3：一致性。确保输出端口一致，防止输出数据不准。4：时效性。每天的定时调度。5：规范性。表名，字段名要进行规范化处理。6：稳定性。确保数仓稳定。二：数仓校验1：建表语句--建表--droptableifexistsdm.dim_dk_vehicle_info_dqc;createtab
宇智波云·2025-03-25 14:23

Pydantic根校验器：构建跨字段验证系统

企业级应用包含分布式事务
qcidyu·2025-03-25 14:50

分布式之分布式ID

目录需求1.全局唯一性2.高性能3.高可用性4.可扩展性5.有序性6.时间相关7.长度适中8.安全性9.分布式一致性10.易于集成常见解决方案选择依据数据库号段模式核心概念工作流程优点缺点实现示例优化策略适用场景
点滴~·2025-03-25 13:50

【大数据入门核心技术-Hive】（二十一）Hive中double和decimal的区别

一、集群环境部署1、Hive环境安装部署参考【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建二、HiveDouble
forest_long·2025-03-25 13:49

大数据（2）Hadoop架构深度拆解：HDFS与MapReduce企业级实战与高阶调优

目录一、分布式系统的设计哲学演进1.1从Google三驾马车到现代数据湖二、企业级HDFS架构全景图2.1联邦架构的深度实践2.2生产环境容灾设计2.3性能压测方法论三、MapReduce引擎内核解密3.1Shuffle
一个天蝎座 白勺 程序猿·2025-03-25 13:48

flume面试题整理

flume1.什么是flumeflume是一个分布式的基于流式架构的海量日志采集聚合传输的系统有高可用性和高可靠性2.flume由什么组成的？
狂飙婴儿车·2025-03-25 12:12

混合云环境下非结构化数据管理策略

这种分布式的存储方式虽然提
CaritoB·2025-03-25 12:10

Elixir语言的学习路线

近年来，Elixir在Web开发（特别是与Phoenix框架结合使用时）和分布式系统中逐渐获得了越来越多的关注。如果你对Elixir感兴趣，想要深入学习，本文将为你提供一条系统的学习路线。
2401_90032081·2025-03-25 12:09

web前端期末大作业：网站设计与实现——咖啡网站HTML+CSS+JavaScript

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
web学生网页设计·2025-03-25 11:05

用HTML+CSS仿网易云音乐网站(6个页面) (1)

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
web学生网页设计·2025-03-25 11:05

基于大数据的滴滴出行数据分析与可视化系统(源码+vue+可视化大屏展示+爬虫分析+讲解等)

收藏关注不迷路！！文末获取源码+数据库感兴趣的可以先收藏起来，还有大家在毕设选题（免费咨询指导选题），项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多的人文章目录程序资料获取一、项目技术二、项目内容和项目介绍三、核心代码四、效果图五、资料获取程序资料获取文末获取资料一、项目技术开发语言：Pythonpython框架：Django软件版本：python3.7/python3.8数据库：my
qq_1406299528·2025-03-25 10:29

python爬虫学习笔记-requests基础

我们都知道，当前我们所处的时代是大数据的时代，在大数据时代，要进行数据分析，首先要有数据源，而学习爬虫，可以让我们获取更多的数据源，并且这些数据源可以按我们的目的进行采集。优
资料小助手·2025-03-25 09:49

史上最全Git安装配置发布流程教程

1.Git简介Git是目前世界上最先进的分布式版本控制系统Linus在1991年创建了开源的Linux，从此，Linux系统不断发展，已经成为最大的服务器系统软件了。
seaskyccl·2025-03-25 09:18

Celery+Redis：高效实现Python分布式任务队列与异步处理

Celery+Redis：高效实现Python分布式任务队列与异步处理Celery是一个简单、灵活且可靠的分布式任务队列，专注于实时处理和任务调度。
船长@Quant·2025-03-25 09:14

第三十三篇 事实表深度设计原理：从数学基础到工业级实现的完整框架

目录一、数学原理深度解析1.1四元组模型详解1.2关系代数公式拆解1.3可加性类型辨析二、工业级设计规范2.1粒度控制矩阵详解2.2范式理论实践三、高级工程实践3.1SCD类型4实现详解3.2分布式存储设计四
随缘而动，随遇而安·2025-03-25 09:14

数字化供应链顶层架构规划设计方案

我们需要选择成熟、稳定且可扩展的技术方案，如云计算、大数据、人工智能、物联网等。在
数智化领地·2025-03-25 08:43

一线大厂架构实战文档：Spring Boot+Spring Cloud+MyBatis+Nginx

现在，下面这些实战文档就是由某大厂一线架构师来手撕分布式微服务架构，
编码博客控·2025-03-25 08:11

推荐文章：探索分布式数据存储的新纪元 —— Irmin

推荐文章：探索分布式数据存储的新纪元——IrminirminIrminisadistributeddatabasethatfollowsthesamedesignprinciplesasGit项目地址:
班妲盼Joyce·2025-03-25 08:09

Dubbo（14）如何实现服务降级和熔断？

在分布式系统中，服务降级和熔断是确保系统高可用性的重要手段。服务降级是在服务不可用或响应时间过长时，提供备用的响应或简单的处理逻辑。
辞暮尔尔-烟火年年·2025-03-25 07:33

如何在多个GPU中训练非常大的模型？

目录一、并行训练策略1.数据并行2.模型并行3.混合并行：4.上下文并行二、内存优化技术三、总结在多个GPU上训练超大规模模型（如千亿参数级语言模型）需要结合并行策略、内存优化技术、分布式框架。
Mr终游·2025-03-25 07:00

基于CopyOnWriteArraySet的高并发在线用户状态收集器架构设计

CopyOnWriteArraySet的高并发在线用户状态收集器架构设计》本文将通过一个电商平台实时在线用户监测系统的完整案例，详细讲解如何利用CopyOnWriteArraySet实现线程安全的用户状态收集，包含会话超时自动清理、分布式环境扩展
猿享天开·2025-03-25 07:00

‌HarmonyOS Next 架构深度解析

‌HarmonyOSNext架构深度解析‌一、分布式架构核心设计1.‌跨设备虚拟化（VirtualSuperDevice）‌‌核心概念‌：将多设备硬件能力抽象为统一资源池，通过分布式软总线（D-Bus）
小_铁·2025-03-25 04:12

区块链智能合约实训室解决方案

一、建设背景与趋势区块链，这一融合了分布式储存、信息传输、密码学、匿名技术和经济学等多领域学科的创新技术，自诞生以来便引发了全球范围内的广泛关注。
武汉唯众智创·2025-03-25 04:37

智算中心系统化建设与运营框架

智算中心系统化建设与运营框架围绕智算中心全生命周期，从政策驱动到技术落地构建完整解决方案：一、政策与产业生态政策支撑体系算力补贴机制：国家层面：工信部“东数西算”工程对西部智算中心给予电价优惠（0.3元/度）及税收减免（如贵州大数据综合试验区所得税减按
大霸王龙·2025-03-25 03:34

第7章：实践项目7.2 大型项目实战

目录第7章：实践项目7.2大型项目实战一、桌面应用1.跨平台任务管理器二、网络服务2.在线图书管理系统三、嵌入式系统3.智能家居控制系统四、分布式系统4.分布式文件系统五、机器学习与AI5.图像识别系统六
xiaoheshang_123·2025-03-25 03:30

SpringCloud 面试备战指南

答：SpringCloud是一套微服务架构工具集，基于SpringBoot简化分布式系统开发。它整合了服务发现、配置中心、熔断器、网关等组件，解决微服务中的服务协调、容错、
宋发元·2025-03-25 02:27

Kafka 面试备战指南

答：Kafka是分布式流处理平台，核心设计目标为高吞吐、低延迟、高扩展性。采用发布-订阅模型，适用于实时数据管道、流处理等场景。Kafka核心组件有哪些？
宋发元·2025-03-25 02:26

（前端开发）网页制作案例

HTML（index.html）A宝学成在线首页课程职业规划A宝前端开发后端开发移动开发人工智能商业预测云计算&大数据运维&测试UI设计产品我的课程表数据可视化课程正在学习-echarts使用步骤Vue3
A宝呀·2025-03-25 02:25

大一python期末总结

学期总结一.为什么选择大数据1.什么是大数据（bigdata）2.优秀的前景是什么二.关于这学期我收获了什么1.关于python的学习三.课堂初体验打印三角形99乘法表四.课堂练习五.最后的总结一.为什么选择大数据
wylrosewyl·2025-03-25 01:18

如何让 MGR 不从 Primary 节点克隆数据？

问题MGR中，新节点在加入时，为了与组内其它节点的数据保持一致，它会首先经历一个分布式恢复阶段。在这个阶段，新节点会随机选择组内一个节点（Donor）来同步差异数据。
MySQL实战·2025-03-25 01:48

Mysql8官方分布式数据库MGR最佳实践_please check that group_replication_recovery chann

skip-name-resolvemax_connections=1000max_user_connections=800max_allowed_packet=512Mmax_connect_errors=100000datadir=/data/mysql/mysql8/data/3309socket=/data/mysql/mysql8/run/3309/mysql.sockpid_file=/
2401_85111836·2025-03-25 01:17

HarmonyOS NEXT中SQLite数据库存储实践指南

HarmonyOSNEXT中SQLite数据库存储实践指南一、引言HarmonyOSNEXT作为华为自主研发的分布式全场景操作系统，为开发者提供了丰富的数据管理框架，其中ArkData框架支持SQLite
·2025-03-25 00:04

《鸿蒙携手AI：解锁智慧出行底层逻辑》

分布式架构：构建智慧出行的坚实基础鸿蒙系统的分布式架构是其一大技术亮点，它打破了设备之间的界限，实现了多设备的无缝协同。在智慧出行场景中，车辆不再是孤立的个体，而
·2025-03-25 00:30

《鸿蒙携手AI：解锁智慧出行底层逻辑》

分布式架构：构建智慧出行的坚实基础鸿蒙系统的分布式架构是其一大技术亮点，它打破了设备之间的界限，实现了多设备的无缝协同。在智慧出行场景中，车辆不再是孤立的个体，而
程序猿阿伟·2025-03-25 00:39

大数据中的数据预处理：脏数据不清，算法徒劳！

大数据中的数据预处理：脏数据不清，算法徒劳！在大数据世界里，数据预处理是个让人又爱又恨的环节。
Echo_Wish·2025-03-24 21:53

Kubernetes基础体系架构入门学习笔记(一)

0x00基础简述1.发展经历描述:近些年由于Cloud云计算(公有云)以及大数据的发展促进了企业从传统转型到数字信息化再到上云,其中运维部署应用技术也从物理机转向虚拟化再转向了容器化，再说到如今的Kubernetes
全栈工程师修炼指南·2025-03-24 21:49

大数据学习（82）-数仓详解

大数据学习系列专栏：哲学语录:用力所能及，改变世界。
viperrrrrrr·2025-03-24 20:41

Java 程序员必读书单

作者：禅与计算机程序设计艺术1.简介Java是一门高级、新兴的静态面向对象编程语言，在互联网、移动互联网、大数据、云计算、人工智能、物联网等领域都有广泛应用。
AI天才研究院·2025-03-24 20:10

html大学生网站开发实践作业：传统文化网页设计题材【绒花6页】HTML+CSS+JavaScript (1)

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
@码出未来-web网页设计·2025-03-24 20:09

YashanDB yasrman恢复

分布式部署模式下，需要保证待恢复的集群部署状态与备份前节点部署状态一致，包括节点类型、节点监听IP、节点个数、节
·2025-03-24 20:52

JNPF.java前后端分离框架，SpringBoot+SpringCloud开发微服务

前后端分离已成为互联网项目开发的业界标准开发方式，通过nginx+tomcat等方式有效的进行解耦合，并且前后端分离会为以后的大型分布式架构、弹性计算架构、微服务架构、多端化服务打下坚实的基础。
「已注销」·2025-03-24 20:37

电商精准营销—数据预处理概述

在大数据时代，数据量众多，数据信息质量不同，只有围绕这分析目的才能快速选择出有用的数据。原因很简单，从错误的数据里，肯定找不出正确的分析结论
Ssaty.·2025-03-24 19:35

hadoop-HDFS操作

1.使用的是hadoop的用户登录到系统，那么cd~是跳转到/home/hadoop下。2.在操作hdfs时，需要在hadoop用户下的/usr/local/hadoop，此时是在根目录下。
wenying_44323744·2025-03-24 19:02

MySQL中处理JSON数据

MySQL中处理JSON数据已成为大数据分析领域的一个新方向，这一功能自MySQL5.7版本引入以来，为数据库管理系统在处理非结构化数据方面提供了强大的支持。
小村学长毕业设计·2025-03-24 19:32

Hadoop安装

Hadoop的安装方式有三种，分别是单机模式，伪分布式模式，分布式模式。单机模式：单机模式：Hadoop默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。
Cindy_0124·2025-03-24 19:59

【html5期末大作业】基于HTML仿QQ音乐官网网站

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
IT-司马青衫·2025-03-24 19:29

RocketMQ新消费者加入后的队列一致性保障机制详解

RocketMQ新消费者加入后的队列一致性保障机制详解RocketMQ作为一个高性能的分布式消息中间件，其消费者负载均衡机制是保障系统可扩展性和稳定性的关键。
慢德·2025-03-24 18:52

珍藏！Java SpringBoot 精品源码合集约惠来袭，获取路径大公开

技术范围：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等设计与开发。
秋野酱·2025-03-24 17:47

基于Python+Django的可视化学习系统设计与实现（毕业设计源码+技术文档+系统部署）

期待与各位高校教师、企业讲师以及同行交流合作主要内容：Java项目、Python项目、前端项目、PHP、ASP.NET、人工智能与大数据、
逐梦设计·2025-03-24 17:44
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他