大数据基础设施搭建第5页

读书笔记五 ---大数据之路--数仓分层

数据分层在流式数据模型中,数据模型整体上分为五层。ODS层跟离线系统的定义一样,ODS层属于操作数据层,是直接从业务系统采集过来的最原始数据（进行了数据清洗）,包含了所有业务的变更过程,数据粒度也是最细的。在这一层,实时和离线在源头上是统一的,这样的好处是用同一份数据加工出来的指标,口径基本是统一的,可以更方便进行实时和离线问数据比对。例如:原始的订单变更记录数据、服务器引擎的访同日志。（原始数据

qq_38215991·2025-03-23 08:11

FreeRTOS从入门到实战精通指南（一）

FreeRTOS从入门到实战精通指南一、核心知识体系搭建1.FreeRTOS架构全景图硬件层FreeRTOS内核核心模块任务管理内存管理通信机制队列信号量事件组中断管理调度器二、关键概念深度解析1.抢占式调度

niuTaylor·2025-03-23 08:03

鸿蒙系统--搭建Ubuntu环境

搭建Ubuntu环境在嵌入式开发中，很多开发者习惯于使用Windows进行代码的编辑，比如使用Windows的VisualStudioCode进行OpenHarmony代码的开发。

ice_junjun·2025-03-23 07:01

python flask 使用教程快速搭建一个 Web 应用

创建一个简单的Flask应用四、Flask路由与视图五、接收和处理用户输入六、模板引擎Jinja2七、Flask与数据库八、总结一、Flask简介Flask是一个轻量级的PythonWeb框架，旨在帮助开发者快速搭建

莫忘初心丶·2025-03-23 07:57

nebula graph传统使用Docker进行项目发版

nebulagraph传统使用Docker进行项目发版1.nebulagraph服务2.搭建ES集群3.注意事项3.1图数据库的启动顺序3.2模糊查询失效1.nebulagraph服务1.在测试服务器中执行如下命令

boy快快长大·2025-03-23 06:49

探寻制造型企业MES管理系统：功能、架构与应用全解析

MES管理系统作为连接企业上层管理与底层生产的关键桥梁，其功能模块设计、架构搭建、系统集成以及实际应用都对企业的生产效能和竞争力有着深远影响。

深蓝易网·2025-03-23 06:18

使用LangGraph迁移MapReduceDocumentsChain进行长文档的摘要

在大数据处理和文本分析领域，MapReduce是一种非常重要的策略，用于处理和分析大型数据集。

dgay_hua·2025-03-23 06:43

达梦数据库学习之旅

一、开篇：走进达梦数据库的世界在当今数字化浪潮汹涌澎湃的时代，数据已然成为企业乃至国家发展的核心驱动力，而数据库作为数据存储、管理与高效运用的关键基础设施，其重要性不言而喻。

不是，哥们~·2025-03-23 05:05

Python用Bokeh处理大规模数据可视化的最佳实践

本文将介绍如何使用Bokeh处理大规模数据可视化，并提供一些最佳实践和代码实例，帮助你高效地展示大数据集中的重要信息。1.为什么选择Bokeh？

一键难忘·2025-03-23 05:04

芯片的未来发展趋势

量子计算、6G、智能基础设施等新市场领域专用处理正在加速对更快、更高效、更多数据的需求。与每隔几年等待下一个工艺节点的日子相比，未来几年的事件将与电话或汽车的引入一样重要。

iccnewer·2025-03-23 04:28

docker学习整理

像租房装修一样理解容器1.1容器vs虚拟机：合租vs买别墅虚拟机就像买别墅：每个别墅（虚拟机）自带独立地基（操作系统）、水电系统（系统资源），启动慢（分钟级）、资源占用大（GB级）[1][10]容器就像合租：大家共享小区基础设施

24k小善·2025-03-23 04:23

怎样才能把网页数据保存到网络上？

要将网页数据存放到网络中，一般可以通过以下几种常见的方式：1.使用后端服务器自建服务器：你可以搭建自己的服务器，例如使用Node.js的Express框架或者Python的Flask、Django框架。

2301_79698214·2025-03-23 04:18

分页优化之——游标分页

游标分页（Cursor-basedPagination）是一种高效的分页方式，特别适用于大数据集和无限滚动的场景。

PhilipJ0303·2025-03-23 03:18

轻松入门Apache SeaTunnel：数据集成利器

文章目录轻松入门ApacheSeaTunnel：数据集成利器什么是SeaTunnel基本原理运行流程SeaTunnelvsDataX：两大数据集成工具对比实战场景：MySQL数据同步至ElasticsearchSeaTunnel

窝窝和牛牛·2025-03-23 03:16

C语言程序配置搭建提纲

C、C++语言程序配置搭建提纲一、环境准备安装编译器选择合适的C语言编译器，如MinGW（包含GCC）或MSVC。

oicola·2025-03-23 02:40

Multisim在射频电路仿真与实验教学中的应用探究

阐述Multisim软件在射频领域的功能特点，通过具体射频电路实验案例，详细说明如何运用Multisim进行电路搭建、参数设置与仿真分析。

She Ran 546·2025-03-23 02:38

linux渲染农场大连教程,Deadline 渲染农场搭建记录

渲染农场的工作模式：多台机器组建集群进行渲染，比如：集群中有2台渲染机器A和B，服务器会同时分配给A和B任务，A渲染第一帧,B渲染第二帧，当A完成那么服务器会继续分配第三帧，同样B服务器完成以后服务器分配第四帧，以此类推。渲染农场分服务端和节点，服务器端也可以加入集群中当做节点，当然节点也可以提交渲染任务建议：服务器端单独安装，主要插件及自定义修改内容可单独存放，当多节点接入或大批量渲染任务上传时

温柔彭于晏·2025-03-23 01:58

给普通人看的深度学习说明书：用快递系统理解AI如何思考

第一章：理解AI的思维方式（快递版）1.1快递分拣站的故事假设你管理一个快递分拣站：传统方法：手动制定规则（比如根据邮编分拣）机器学习：观察老员工的分拣记录，总结规律深度学习：搭建自动分拣流水线，自主发现隐藏规则

嵌入式Jerry·2025-03-23 00:23

自定义kafka高效的protoStuff序列化

Duang，最近搭建了一个自己的博客小破站，欢迎各位小伙伴来访吖：https://www.ares-stack.cn/blog_service/#/game目前序列化领域中，谷歌的protobuf应该是性能好

_夜渐凉·2025-03-23 00:21

使用PyTorch搭建Transformer神经网络:入门篇

1.简介Transformer是一种强大的神经网络架构,在自然语言处理等多个领域取得了巨大成功。本教程将指导您使用PyTorch框架从头开始构建一个Transformer模型。我们将逐步解释每个组件,并提供详细的代码实现。2.环境设置首先,确保您的系统中已安装Python(推荐3.7+版本)。然后,安装PyTorch和其他必要的库:pipinstalltorchnumpymatplotlib3.P

DASA13·2025-03-23 00:21

【Docker】搭建实用的内网穿透工具 - FRP

前言本教程基于群晖的NAS设备DS423+的docker功能进行搭建FRP的客户端，DSM版本为7.2.1-69057Update5。

UPToZ·2025-03-23 00:21

探索数据安全新境界：Apache Spark SQL Ranger Security插件深度揭秘

探索数据安全新境界：ApacheSparkSQLRangerSecurity插件深度揭秘项目地址:https://gitcode.com/gh_mirrors/sp/spark-ranger随着大数据的爆炸性增长

乌昱有Melanie·2025-03-22 23:44

阿里云全球节点：技术无国界，开发者如何借力数字新基建

阿里云作为国内最早布局全球化基础设施的云服务商之一，其海外服务器的核心价值并非简单的“资源覆盖”，而是通过技术架构与本地化服务，为开发者构建了一张无缝连接的“数字高速公路”。

AWS官方合作商·2025-03-22 23:44

Java 大视界 -- Java 大数据在智能医疗远程会诊与专家协作中的技术支持（146）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-03-22 23:14

纯「牛马」的逻辑玩儿不转了！

麻木的纯「牛马」们在2022年11月末，ChatGPT的横空出世拉开了AI时代的帷幕，迄今为止两年多过去了，相关基础设施和上层应用已经涌现并迭代了很多版本。在这期间，很多人都至少听说过几

·2025-03-22 22:25

WebGL开发：BabylonJS从入门到精通（下卷）

全书卷目：WebGL开发：BabylonJS从入门到精通（上卷）WebGL开发：BabylonJS从入门到精通（下卷）目录第一部分：基础篇——构建3D世界的基石第一章：BabylonJS概述与环境搭建什么是

莲华君·2025-03-22 22:08

2023年全国职业院校技能大赛（高职组）“云计算应用”赛项赛卷10（公有云）

搭建基于云原生的DevOps相关服务，构建云、边、端一体化的边缘计算系

忘川_ydy·2025-03-22 21:05

OpenHarmony 开源硬件学习全指南：从入门到实战

本文将系统性地解析OpenHarmony开源硬件的学习路径、开发工具链及行业实践方案，为开发者提供从环境搭建到项目落地的完整指引。

琢磨先生David·2025-03-22 21:34

努力的搬砖人.·2025-03-22 18:15

shell 脚本搭建apache

#!/bin/bash#SetApacheversiontoinstall##author:yuan#检查外网连接echo"检查外网连接..."pingwww.baidu.com-c3>/dev/null2>&1if[$?-eq0];then echo"外网通讯良好！"else echo"网络连接失败，请检查你的网络设置！" exit1fisleep5#检查并安装APR库echo"检查并安装

好多知识都想学·2025-03-22 18:45

2017安全之势：云、大数据、IoT、人工智能

“新技术让信息系统变成了孙悟空，开始无所不能，但安全仍是它的‘紧箍咒’！怎样解开这个‘紧箍咒’？各路安全厂商各显其能，但似乎路漫漫兮离目标还很遥远。”三未信安董事长张岳公在ZD至顶网《百位意见领袖寄语2017》中说出了这样一句话，我觉着很有道理。安全是一个永恒的话题，如果说它与新的信息技术相生相克也不过分。即便如此，我们更要尽可能的减少安全带来的束缚。2017已经到来，不妨来看看至顶网与业界大咖总

weixin_34392906·2025-03-22 17:02

macos安装python-nodejs_MAC平台基于Python Appium环境搭建过程图解

前言最近笔者要为python+appium课程做准备，mac在2019年重新安装了一次系统，这次重新在mac下搭建appium环境，刚好顺带写个文稿给大家分享分享搭建过程。

weixin_39612038·2025-03-22 16:25

redis搭建一主一从+keepalived(虚拟IP)实现高可用

redis搭建一主一从+keepalived(虚拟IP)实现高可用前提有两台机器：如10.50.3.14110.50.3.142，虚拟ip如：10.50.3.170安装redis（两台机器执行）:#启用

qq_36984017·2025-03-22 16:55

人生建议往死里学网络安全！零基础也能跨行学习！！漏洞挖掘还能做副业

无论是黑客攻击、勒索病毒、数据泄露，还是国家间的信息战，网络安全已经成为现代社会的基础设施之一。所以，首先要明白学习网络安全的重要性：你不仅是在学习技术，更多的是在为自己和他人的安全“筑城

程序媛西米·2025-03-22 15:24

hadoop3.x--搭建hadoop高可用集群（HA模式）

hadoop高可用集群（HA模式）一、安装前1.集群规划2.安装前配置3.安装jdk与hadoop4.克隆虚拟机与互信配置5.搭建zookeeper集群二、HDFS1.配置hdfs2.初始化启动hdfs

运维小菜·2025-03-22 14:17

直方图梯度提升：大数据时代的极速决策引擎

一、为什么需要直方图梯度提升？在Kaggle竞赛的冠军解决方案中，超过70%的获奖方案都使用了梯度提升算法。但当数据量突破百万级时，传统梯度提升树（GBDT）面临三大致命瓶颈：训练耗时剧增：每个特征的分割点计算都需要全量数据排序内存消耗爆炸：存储排序后的特征值需要额外空间处理效率低下：无法有效利用现代CPU的多核特性而梯度提升决策树（GBDT）作为集成学习的代表算法，通过迭代构建决策树实现预测能力

万事可爱^·2025-03-22 14:14

webRTC入门示例demo

本文主要阐述如何运行webRTC的官方入门示例demo，并简单搭建本地局域网服务器用于测试，可以使得两个手机端可以进行视频通话，感受webRTC的核心功能。

周末的音视频·2025-03-22 14:39

从零到一：Redis Cluster部署配置全流程详解，轻松搞定高可用分布式缓存！

本文将详细介绍RedisCluster的部署和配置全流程，帮助读者快速搭建一个高可用的Redis集群。1RedisCluster概述

IT成长日记·2025-03-22 14:07

跨境出海必看：IPv6代理平台访问限制？如何解决？

部分海外平台由于以下原因尚未完全支持IPv6：基础设施升级成本高：改造整套网络架构需数百万美元投入，部分云服务、支付平台等未适配IPv6，无法通过IPv6访问。

跨境一哥·2025-03-22 13:33

WPF从初学者到专家：实战项目经验分享与总结

WPF从初学者到专家：实战项目经验分享与总结一、前言二、WPF基础概念与入门2.1什么是WPF2.2XAML基础2.3数据绑定基础三、第一个WPF项目：简单的待办事项列表3.1项目需求分析3.2项目搭建与界面设计

xcLeigh·2025-03-22 13:31

从原理到实践：Go 语言内存优化策略深度解析

优化切片与映射的使用3.4控制变量作用域3.5减少闭包导致的变量逃逸四、内存优化工具与性能分析4.1pprof工具的使用4.2其他性能分析辅助手段五、不同场景下的内存优化案例分析5.1高并发Web服务场景5.2大数据处理与分析场景六

叶间清风1998·2025-03-22 13:25

网页版 123 分身数字人源码搭建，OEM贴牌

在数字化时代的浪潮下，数字人技术蓬勃发展，网页版123分身数字人源码搭建为众多开发者和企业提供了实现个性化数字人应用的可能。

18538162800=余·2025-03-22 12:52

从零搭建Pytorch模型教程（七）单机多卡和多机多卡训练

前言本文主要介绍单机多卡训练和多机多卡训练的实现方法和一些注意事项。其中单机多卡训练介绍两种实现方式，一种是DP方式，一种是DDP方式。多机多卡训练主要介绍两种实现方式，一种是通过horovod库，一种是DDP方式。单机单卡训练前面我们已经介绍了一个完整的训练流程，但这里由于要介绍单机多卡和多机多卡训练的代码，为了能更好地理解它们之间的区别，这里先放一个单机单卡也就是一般情况下的代码流程。impo

AI大模型探索者·2025-03-22 12:50

【广告架构day1】爱奇艺广告系统的演进之路：实践中的一些经验

爱奇艺效果广告是2015年开始全新搭建的一个广告投放平台，随着信息流业务的增长，整个投放平台也经历了一次大的架构调整和多次

软件真理与光·2025-03-22 11:46

2020年全国职业院校技能大赛改革试点赛高职组“云计算”竞赛赛卷

2020年全国职业院校技能大赛改革试点赛高职组“云计算”竞赛赛卷第一场次题目：OpenStack平台部署与运维某企业拟使用OpenStack搭建一个企业云平台，以实现资源池化弹性管理、企业应用集中管理、

春生黎至1005·2025-03-22 11:44

云计算赛题私有云服务搭建题目

【任务1】私有云服务搭建[5分]【题目1】1.1.1基础环境配置[0.2分]1.控制节点主机名为controller，设置计算节点主机名为compute；2.hosts文件将IP地址映射为主机名。

春生黎至1005·2025-03-22 11:43

SvelteKit 最新中文文档教程（8）—— 部署 Node 服务端

为了帮助大家学习Svelte，我同时搭建了Svelte最新的中文文档站点。如果需要进阶学习，也可以入手我

·2025-03-22 09:11

Deepseek-R1-Distill-Llama-8B + Unsloth 中文医疗数据微调实战

内容参考至博客与Bin_Nong1.环境搭建主要依赖的库(我的版本)：torch==2.5.1unsloth==2025.2.15trl==0.15.2transformers==4.49.0datasets

LuckyAnJo·2025-03-22 08:47

光影香江聚四海，蓝陵科技扬帆数字内容新蓝海

3月20日，第29届香港国际影视展（FILMART）圆满收官，这场亚洲顶级行业盛会吸引了34个国家和地区逾760家机构参展，搭建起全球影视产业深度对话的桥梁。

LhcyyVSO·2025-03-22 08:46

嵌入式硬件设计 — 智能设备背后的隐形架构大师

硬件调试与测试（六）软件移植与开发二、嵌入式硬件选型（一）微控制器（MCU）/微处理器（MPU）（二）存储器（三）传感器与执行器（四）电源管理芯片（五）通信接口芯片三、嵌入式硬件代码开发（一）开发环境搭建

m0_74825238·2025-03-22 06:58

推荐频道

大数据基础设施搭建