大数据离线数据处理

大模型开发流程及架构

利用大语言模型的强大理解能力和生成能力●结合特殊的数据或业务逻辑来提供独特功能的应用二、明确目标●大模型作为一个调用工具，不需要知道太多的原理，不需要优化模型能力●需要掌握PromptEngineering、数据处理方法
寒夜灬星辰·2025-02-01 20:12

园区智能化系统实现管理与服务的智能化转型与创新进阶

通过集成大数据分析、物联网和人工智能，园区智能化系统能够为各类园区如工业园、产业园、物流园、写字楼与公寓等提供切实可行的解决方案。“智能化管理不仅是未来的发展趋势，更是提升竞争力的必要手段。”
快鲸智慧楼宇管理系统·2025-02-01 19:35

Python学习之旅：进阶阶段（七）数据结构-计数器（collections.Counter）

  在Python编程的进阶学习中，数据处理是一项重要的任务。
喜-喜·2025-02-01 18:00

CDH_6.3.2的搭建

一站式搭建大数据的应用1、前提条件和准备工作hostnamectlset-hostnamecdh01hostnamectlset-hostnamecdh02hostnamectlset-hostnamecdh032
我的K8409·2025-02-01 17:22

大数据笔记之 Flink1.17 算子

文章目录前言一、Partition分区（物理分区）1.1随机分区shuffle1.2轮询分区rebalance1.3重缩放分区rescale1.4广播分区broadcast1.5全局分区global1.6keyby1.7自定义分区Custom二、transform2.1flatMap2.2filter2.3RichFunction2.4map三、Aggregate聚合3.1keyBy()3.2ma
凡许真·2025-02-01 17:20

【ETL：概念、流程与应用】

的工作流程2.1数据抽取（Extract）2.2数据转换（Transform）2.3数据加载（Load）ETL的应用场景常见的ETL工具ETL的挑战与解决方法ETL与ELT的区别总结1.什么是ETLETL是数据处理的流程
三日看尽长安花·2025-02-01 17:19

边缘计算与交通管理的协作

边缘计算与交通管理的协作作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：边缘计算，交通管理，智能交通系统，数据处理，实时性，安全性，效率1.背景介绍
AGI大模型与大数据研究院·2025-02-01 16:13

当区块链遇见AI：智能合约如何驱动下一代 DApps

特别是在去中心化应用（DApps）领域，区块链与AI的结合有可能彻底改变我们对智能合约、数据处理、决策制定等方面的理解。
威哥说编程·2025-02-01 15:33

C/S架构与B/S架构

C/S架构的优点是数据处理效率高，实现灵活，但缺点是维护和安全方面的要求较高，且需要长期维护客户端和服务器。1.2什么
嗯嗯=·2025-02-01 13:18

01.双Android容器解决方案

ControlGroups）1.1.3联合文件系统（UnionFileSystem）1.2容器的应用1.2.1微服务架构1.2.2持续集成和持续部署（CI/CD）1.2.3多租户环境1.2.4混合云和多云环境1.2.5大数据和机器学习
高桐@BILL·2025-02-01 13:46

监控易：智慧高校一体化综合运维解决方案

自“十三五”规划中明确提出“支持各级各类学校建设智慧校园，综合利用互联网、大数据、人工智能和虚拟现实技术探索未来教育教学新模式”以来，政策春风也不断加码教育信息化进程，《教育信息化2.0行动计划》以及《
MXsoft618·2025-02-01 13:15

离线环境下通过docker安装redis镜像

1.在其他机器上下载Redis镜像你可以在一台能够访问外网的机器上拉取Redis镜像，并将其导出为文件，然后将文件传输到你的目标机器进行加载。步骤：在有网络访问的机器上拉取Redis镜像：在有网络的机器上，使用以下命令拉取Redis镜像：dockerpullredis将镜像保存为tar文件：使用dockersave命令将拉取的镜像保存为一个tar文件：dockersave-oredis_image
MonkeyKing.sun·2025-02-01 12:10

离线安装docker版redis

安装redis1.上传redis_lastest.tar镜像到服务器文件夹如：/home/data2.使用命令：dockerload-iredis_lastest.tar加载镜像3.使用命令：dockerimages检查镜像是否加载成功。4.上传安装文件中的redis文件夹到/home/data，redis下docker-compose.yml和conf/redis.conf中可以配置redis信
启航挨踢·2025-02-01 12:39

docker安装nacos2.2.4详解（含：nacos容器启动参数、环境变量、常见问题整理）

一、镜像下载1、在线下载在一台能连外网的linux上执行docker镜像拉取命令dockerpullnacos:2.2.42、离线包下载两种方式：方式一：-）在一台能连外网的linux上安装docker
飞火流星02027·2025-02-01 12:08

更改docker默认数据目录，修改docker默认存储目录/var/lib/docker，docker常用文件系统类型，docker默认数据目录迁移，docker离线下载地址，rsync离线下载及安装

前言作者发现很多讲“更改docker默认数据目录”的文章都没讲重点注意事项，如：复制或备份docker文件时一定要保留对象属性，否则会出现一些不可预知的问题，等。这也是为什么本文标题有提“rsync下载及安装”的原因。其实不使用rsync，使用cp-rp也可以实现环境特别是对内网用户linux系统在内网中，本身没有安装rsync，又不能直接使用yum安装，这里提供相关下载链接1、rsync下载（m
飞火流星02027·2025-02-01 12:08

跟我学C++中级篇——容器的连接

当然前提是这些数组存储的数据是兼容的2、几个容器间的合并它们之间的KEY和VALUE也要有兼容的数据类型3、混合合并可能需要做一些简单的数据处理，然后也可以
fpcc·2025-02-01 12:07

TDengine 做为 FLINK 数据源技术参考手册

ApacheFlink是一款由Apache软件基金会支持的开源分布式流批一体化处理框架，可用于流处理、批处理、复杂事件处理、实时数据仓库构建及为机器学习提供实时数据支持等诸多大数据处理场景。
TDengine （老段）·2025-02-01 11:02

Nginx 缓存那些事儿：原理、配置和最佳实践

Nginx缓存那些事儿：原理、配置和最佳实践在当今的互联网世界，网站的访问量和数据处理量不断攀升，如何确保用户能够快速、稳定地访问我们的网站，已经成为每个运维工程师面临的挑战。
weixin_42587823·2025-02-01 11:59

Hadoop HA 架构

企业里面,多台机器伪分布式每一个角色都是一个进程HDFS:NNSNNDNYARN:RMNM大数据所有组件,都是主从架构master-slaveHDFS读写请求都是先到NN节点,但是,HBase读写请求不是经过
weixin_30569033·2025-02-01 09:49

使用scikit-learn中的线性回归包对自定义数据集进行拟合

1.导入必要的库首先，需要导入所需的库，包括pandas用于数据处理，numpy用于数值计算，以及scikit-learn中的线性回归模型。
Luzem0319·2025-02-01 09:44

守护每一比特的安全——探索基于差分隐私的MySQL数据脱敏之道

在当今数字化时代，随着互联网和大数据技术的发展，数据的价值愈发凸显。然而，随之而来的个人隐私泄露风险也日益增加，成为社会广泛关注的问题之一。
墨夶·2025-02-01 09:13

python在线编辑器-在线编译或编辑Python的5个最佳工具

离线Python编辑器和编译器都具有许多功能，但是在线编译器通常在功能上受到限制，并试图满足特定需求而不是满足所有需求，其中在线编译大多数是免费的，所以也受到开发者的热爱。
编程大乐趣·2025-02-01 08:10

《DeepSeek-R1 问世，智能搜索领域迎来新变革》

该模型凭借其卓越的语言理解能力、高效的数据处理能力、自适应学习能力、高安全性与可靠性以及广泛的应用场景与拓展性，在众多人工智能模型中脱颖而出。
黑金IT·2025-02-01 08:35

【Numpy核心编程攻略：Python数据处理、分析详解与科学计算】1.25 视觉风暴：NumPy驱动数据可视化

1.25视觉风暴：NumPy驱动数据可视化目录视觉风暴：NumPy驱动数据可视化百万级点云实时渲染优化CT医学影像三维重建实战交互式数据分析看板开发地理空间数据可视化进阶WebAssembly前端渲染融合1.25.1百万级点云实时渲染优化1.25.2CT医学影像三维重建实战1.25.3交互式数据分析看板开发1.25.4地理空间数据可视化进阶1.25.5WebAssembly前端渲染融合视觉风暴：N
精通代码大仙·2025-02-01 06:51

12.udp

数据传输：适合传输大数据，但实际传输受网络MTU等因素限制。2.UDP编程框架（C/S模式）服务器端流程：创建套接字：调用socket()函数，参
就很对·2025-02-01 05:40

【大数据入门核心技术-Hive】（十一）HiveSQL数据分区

目录一、分区的概念二、创建分区1）静态分区1、单分区测试2、多分区测试2)动态分区3、动态分区和静态分区混合使用三、分区的其它操作1、恢复分区2、归档分区3、交换分区四、分区数据查询1、单分区数据查询2、多分区数据查询方法1：通过union方法2：通过or一、分区的概念数据分区的概念以及存在很久了，通常使用分区来水平分散压力，将数据从物理上移到和使用最频繁的用户更近的地方，以及实现其目的。hive
forest_long·2025-02-01 03:25

油管视频怎么下载到本地，油管视频下载到本地的方法

然而，有时候我们希望将特定的YouTube视频下载到本地以便离线观看。本文将介绍几种简便的方法，帮助你将YouTube视频轻松下载到本地，以便在没有网络连接的情况下畅享。
跨境商城搭建开发·2025-02-01 00:34

毕设开源 python大数据旅游数据分析可视化系统(源码分享)

文章目录0前言1课题背景2数据处理3数据可视化工具3.1django框架介绍3.2ECharts4Django使用echarts进行可视化展示（mysql数据库）4.1修改setting.py连接mysql
bee_dc·2025-01-31 23:26

表格化数据处理中大语言模型的微调优化策略研究

论文地址ResearchonFine-TuningOptimizationStrategiesforLargeLanguageModelsinTabularDataProcessing论文主要内容这篇论文的主要内容是研究大型语言模型（LLMs）在处理表格数据时的微调优化策略。具体来说，论文探讨了以下几个关键方面：背景与挑战：大型语言模型（LLMs）在自然语言处理（NLP）领域取得了显著进展，但在处
C7211BA·2025-01-31 23:25

python函数求导_python怎么实现函数求导

python利用sympy库对某个函数求导，numpy库使用该求导结果计算的程序在python数据处理过程中，我们经常会遇见这样一种情况。需要对一个函数表达式求偏导，并将具体数值代入导数式。
weixin_39521068·2025-01-31 23:22

【Numpy核心编程攻略：Python数据处理、分析详解与科学计算】2.1 NumPy高级索引：布尔型与花式索引的底层原理

2.1NumPy高级索引：布尔型与花式索引的底层原理目录NumPy高级索引：布尔型与花式索引的底层原理布尔索引花式索引索引优化技巧NumPy索引体系基本索引高级索引布尔索引花式索引掩码机制元素筛选整数数组多维索引内存拷贝内存重组文章内容NumPy是Python中非常重要的数值计算库，提供了高效的数组操作功能。在NumPy中，高级索引（AdvancedIndexing）是处理数组时非常强大的工具。本
精通代码大仙·2025-01-31 22:45

【Numpy核心编程攻略：Python数据处理、分析详解与科学计算】1.29 内存奥秘：跨语言内存管理实战

1.29内存奥秘：跨语言内存管理实战目录内存奥秘：跨语言内存管理实战Cython内存视图高级用法与C++共享内存的案例使用tracemalloc调试内存泄漏SIMD指令的内存对齐自定义内存分配器内存映射的原子操作非对齐内存访问的性能影响优化非对齐内存访问的方法共享内存的安全性和效率内存管理的最佳实践1.29.1Cython内存视图高级用法1.29.2与C++共享内存的案例1.29.3使用trace
精通代码大仙·2025-01-31 22:44

大数据“超能力”：数据安全和隐私该如何保障？

一人人都喜欢超级英雄。不论是超人还是钢铁侠，又或者是小蜘蛛和绿巨人，几乎每一个超级英雄漫画及电影的粉丝，都曾为其不公遭遇打抱不平：“他们明明是在用超能力做好事，拯救人类的，为什么电影里的政府和平民会这么蠢，总对他们缺乏信任，满是提防。”这就是所谓的“叶公好龙”了，因为当你身边真出现了个能把卡车当皮球一样抛来抛去的人时，你的反应恐怕也好不到哪儿去，可能也巴不得有政府出面，逼他接受《超级英雄注册法案》
大数据在线·2025-01-31 22:44

Python入门教程丨3.2 再见Excel！用Python这5个模块，我把3天工作压缩到3分钟

本期内容：模块核心功能应用场景math数学计算几何、物理模拟random生成随机数据游戏、抽样测试statistics统计分析回归分析、市场调研numpy数组与矩阵运算图像处理、机器学习pandas表格数据处理与分析金融分析
凌小添·2025-01-31 21:09

基于Python的二手房数据分析与可视化系统（附源码+可远程部署安装）

的二手房数据分析与可视化系统文章目录摘要第一部分研究背景第二部分国内外现状第三部分所用技术1.Requests库2.BeautifulSoup库3.Pandas库4.Matplotlib库5.Seaborn库6.Folium库第四部分系统设计与实现1.数据爬取模块2.数据处理与分析模块
AI博士小张·2025-01-31 21:35

DeepSeek 系列之 无需互联网即可在本地运行 DeepSeek R1

问：更喜欢离线交互，而不需要持续的互联网连接？Ollama和ChatboxAI为您提供保障！
知识大胖·2025-01-31 19:21

Python爬虫基础知识：从零开始的抓取艺术

在大数据时代，网络数据成为宝贵的资源，而Python爬虫则是获取这些数据的重要工具。
egzosn·2025-01-31 19:20

渲染定义

渲染一般分为离线渲染与实时渲染，游戏中我们用的都是实时渲染。实时渲染又可以分为2D渲染与3D渲染。早期的2D渲染，是通过把一块内存（图片像素数据）往另一块（显示缓冲区）上搬运的方式，实现图片绘制的。
ccqq0507·2025-01-31 19:50

Python如何获取股票实时行情？有哪些好用的库和工具

股票接口实现查询账户，提交订单，自动交易（1）Python股票程序交易接口查账，提交订单，自动交易（2）股票量化，Python炒股，CSDN交流社区>>>Python与股票行情获取的基础Python在金融数据处理中的优势
股票程序化交易接口·2025-01-31 19:49

煤矿数据处理：日数据与月数据的协同更新（Mysql）

项目需求该项目围绕煤矿数据处理展开，主要需求可归纳为数据存储与更新两方面：数据存储：建立两个MySQL数据库表，daily_data用于存储每日煤矿车次重量数据，包含id（自增主键）、date（日期）、
漏刻有时·2025-01-31 18:42

探索Oracle数据库的多租户特性：架构、优势与实践

在云计算和大数据时代，多租户架构成为数据库设计中的一个重要趋势。
2401_85812026·2025-01-31 18:12

「大数据」Kappa架构

Kappa架构是一种处理大数据的架构，它作为Lambda架构的替代方案出现。
吴维炜·2025-01-31 18:07

【笔记】linux离线部署Ollama+Deepseek r1+open webui

昨天看到了实验室服务器文件夹下面有一个deepseek的gguf文件，就顺便部署一下至于为什么要本地呢？https://chat.deepseek.com/downloads/DeepSeek%20Privacy%20Policy.html可能有一些学术隐私的东西不方便被收集吧。（我应该没有关系，反正都是学术垃圾）此外，也要感谢deepseek的开源精神！！！！！！实验室服务器是ubuntu18（
MrIqzd·2025-01-31 18:35

新零售社交电商系统小程序功能开发详细解析

现在的购物方式是越来越有趣了，新零售社交电商系统是互联网、大数据、人工智能的技术和咱们熟悉的传统零售深度结合后产生的。它整合线上线下渠道及数据，带来全方位、多渠道、个性化购物体验。
v.15889726201·2025-01-31 17:34

【Elasticsearch 】悬挂索引（Dangling Indices）

2.悬挂索引的产生原因悬挂索引通常由以下几种情况产生：节点离线后重新加入集群：当某个节点因故障（如宕机）暂时离开集群，而该节点上存有的某些索引分片在集群的其他节点上没有副
risc123456·2025-01-31 17:31

Spark性能调优

1、前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。
大数据侠客·2025-01-31 16:58

Python学习-九大数据类型整合，详细讲解

目录1.int(整型)2.float(浮点型)3.Bool(布尔类型)4.Str(字符串类型)5.None(空值)6.List(列表)7.Tuple(元组)8.Dict(字典)9.Set(集合)（字典，列表，元组，字符串知识点可能不全，可以参考本人之前发的博客进行学习，加油。）1.int(整型)特点和用途：1.可以表示正整数、负整数和零，没有小数部分。2.取值范围取决于您所使用的Python版本和
小伙儿.·2025-01-31 16:26

[碎碎念] 重启学习与博客之旅-我的每日计划

比如说，我最近对人工智能和大数据分析特别感兴趣，所以打算每天看点相关的专业书，或
言午coding·2025-01-31 16:56

【FastAPI】解决下载文件预处理时间较长的问题：FastAPI 实现异步任务处理

例如，用户请求下载一个文件之前，需要进行压缩、转换或者数据处理等操作。然而，这些预处理任务往往会花费较长时间，如果我们在后端直接处理这些任务，会导致用户等待很长时间，体验非常糟糕。
写bug如流水·2025-01-31 16:54

Java 性能优化与新特性

Java学习资料Java学习资料Java学习资料一、引言Java作为一门广泛应用于企业级开发、移动应用、大数据等多个领域的编程语言，其性能和特性一直是开发者关注的重点。
来恩1003·2025-01-31 16:52
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他