运维大数据第4页

Lisp语言的云存储

俞嫦曦·2025-03-19 14:57

华为OD机试 - 日志采集系统（Python/JS/C/C++ 2024 E卷 100分）

哪吒·2025-03-19 14:26

Linux运维技术之Linux云计算架构

我以下图为基础，说明Linux的架构(architecture)。最内层是硬件，最外层是用户常用的应用，比如说firefox浏览器，evolution查看邮件，一个计算流体模型等等。硬件是物质基础，而应用提供服务。但在两者之间，还要经过一番周折。还记得Linux启动。Linux首先启动内核(kernel)，内核是一段计算机程序，这个程序直接管理管理硬件，包括CPU、内存空间、硬盘接口、网络接口等等

极客事纪·2025-03-19 13:17

中电金信25/3/18面前笔试（需求分析岗+数据开发岗）

Spark、Storm、Flink虽然也是大数据处理相关技术，但

苍曦·2025-03-19 12:43

Flink实践：通过Flink SQL进行SFTP文件的读写操作

在大数据处理领域，ApacheFlink出类拔萃，它是一个高性能、易扩展、用于处理有界和无界数据流的分布式处理引擎。

kkk1622245·2025-03-19 12:41

制造业数字化转型之工业级远程控制方案选型指南

工业级远程控制方案作为转型的关键支撑技术，通过设备互联、数据驱动和智能运维，正在改变传统的生产管理模式。今天，我们就围绕远程控制技术，结合行业实践和政策导向，为企业提供一份选型指南。

2501_90729959·2025-03-19 12:38

2025年三个月自学手册网络安全（黑客技术）

基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维

网安kk·2025-03-19 12:38

题解 | 牛客周赛 Round 49 DEF Java题解

面试又黄了反正不是什么喜欢的工作[牛泪]面试又黄了反正不是什么喜欢的工作2024秋招数据开发第一波面试题露出#字节##滴滴##大数据##面经##秋招#引流字节阿里巴巴腾讯百度美团美团后端暑期实习体验——

han_xue_feng·2025-03-19 08:05

Search after解决ES深度分页问题

相比于传统的from和size分页方式，search_after更适合处理大数据集的分页查询，因为它避免了深度分页带来的性能问题。1、search_aft

Elastic开源社区·2025-03-19 08:01

第七章Solr：企业级搜索应用

然而,如何快速、准确地从大数据中检索出所需的信息,一直是企业和组织面临的巨大挑战。传统的数据库查询方式已经无法满足现代搜索需求,因此高效的搜索引擎应运而生。

AGI大模型与大数据研究院·2025-03-19 06:42

MySQL慢SQL优化方案详解：从诊断到根治的完整指南

系统将面临三大灾难链式反应：用户体验崩塌页面加载超时率上升37%用户跳出率增加52%核心业务转化率下降29%系统稳定性危机连接池耗尽风险提升4.8倍主从同步延迟突破10秒阈值磁盘IO利用率长期超90%运维成本飙升

代码剑客588·2025-03-19 05:38

基于等级保护梳理服务器安全合规基线 - 副本

背景作为运维，当对新上架的服务器装完操作系统后，第一步就是对操作系统进行初始化配置来保证配置合规，此时你可能就会有疑问：我们应该初始化哪些参数，有没有相关标准参考呢？

程序员鬼鬼·2025-03-19 05:38

金融租赁系统的创新发展与市场竞争力提升探讨

在现今环境下，新兴技术如人工智能、大数据和区块链等正加速推动金融租赁的创新。通过这些技术，不仅可以优化业务流程，提升运营效率，还可以增强风险管理能力。

红点租赁系统开发·2025-03-19 05:33

自建智能算力中心 vs 第三方算力租赁：AI企业的算力博弈与最优解

然而，面对动辄数亿元的硬件投入和复杂的运维挑战，AI企业正面临一个关键抉择：自建智能算力中心，还是选择第三方算力租赁？本文将从成本、效率、风险及适用场景等维度展开深度分析，为企业提供决策参考。

·2025-03-19 03:50

分块查找算法

分块的原则前一块的最大数据，小于后一窥啊中所有的数据（块内无序，块间有序）块数数量一般等于数字的个数开根号。比如：16个数字一般分为4块左右。

1haooo·2025-03-19 02:09

聊聊Python都能做些什么

文章目录一、Python简介二、Python都能做些什么1.Web开发2.数据分析和人工智能3.自动化运维和测试4.网络爬虫5.金融科技三、Python开源库都有哪些1.Web开发2.数据分析和科学计算

·零落··2025-03-19 00:27

[测试]性能测试的概念, 常见指标, 分类

2.常见性能测试指标并发数吞吐量响应时间并发用户、系统吞吐量、系统响应时间之间的关系事务TPS和QPS资源利用率3.性能测试关注点终端用户系统运维人员软件设计开发人员性能测试人员4.性能测试分类基准测试并发测试负载测试压力测试稳定性测试

姜西西_·2025-03-18 21:33

MongoDB数据库使用及常见问题

MongoDB具备高性能和可扩展性，能够轻松应对大数据量和高并发的访问，通过分片技术实现水平扩展，确保系统稳定运行。

微笑的曙光（StevenLi）·2025-03-18 20:23

智慧社区2.0

项目亮点1.技术架构层面✅多数据源整合（MySQL+Redis+HDFS+OSS）核心亮点：不仅仅是单一数据库，而是根据数据特性使用MySQL（结构化数据）+Redis（缓存）+HDFS（大数据存储）+

陈陈爱java·2025-03-18 19:53

Pandas与PySpark混合计算实战：突破单机极限的智能数据处理方案

引言：大数据时代的混合计算革命当数据规模突破十亿级时，传统单机Pandas面临内存溢出、计算缓慢等瓶颈。PySpark虽能处理PB级数据，但在开发效率和局部计算灵活性上存在不足。

Eqwaak00·2025-03-18 19:52

5大陷阱+实战：C#日志分析，从‘日志迷宫’到‘监控神殿’的逆袭全攻略！

今天用C#日志分析，让你的系统像“福尔摩斯”一样精准破案，从实时监控到根因定位，从此告别“黑盒运维”！权威背书：日志分析≠‘抄作业’！“90%的故障因‘日志解析缺失’导

墨瑾轩·2025-03-18 19:51

Linux 云计算运维三剑客grep、sed、awk简单对比

grepsed特点简单过滤更为适用替换内容更为适用功能强大可以进行运算主要用途对文本进行筛选和查找对文本进行替换、删除、插入对文本进行数据统计、条件判断工作模式以行为单位，不涉及行内具体字段做操作主要以行为单位，可以结合正则对部分内容进行操作以字段为基本处理单位，可以对每行中不同字段进行独立操作基本正则grepsedawk扩展正则grep-Esed-rawk过滤语法结构grep'字符串'files

OWEN-KAI·2025-03-18 18:09

Ansible自动化运维工具深度研究报告

目录一、引言1.1研究背景与目的1.2研究方法与数据来源1.3报告结构二、Ansible基础概述2.1Ansible简介2.2发展历程2.3架构与工作原理2.4特点优势三、Ansible安装与配置3.1安装环境准备3.2安装步骤详解3.3配置文件解读3.4密钥对配置与免密登录设置四、Ansible核心功能与模块4.1命令行模块使用4.2Playbook详解4.3常用模块分析4.4模块扩展与自定义五

萧十一郎@·2025-03-18 15:17

运维Tips | Ubuntu 24.04 安装配置 samba 文件共享

[知识是人生的灯塔，只有不断学习，才能照亮前行的道路]Ubuntu24.04安装配置samba文件共享描述：我们将Ubuntu24.04作为机器学习的工作站，往往需要将Ubuntu24.04中的数据或者代码共享给我们其他使用Windows系统的小伙伴，此时我们可以使用SAMBA，开辟出一个文件共享目录供大家进行数据交换使用。SAMBA是什么?在Linux中，SAMBA是一个开源的软件套件，它提供了

全栈工程师修炼指南·2025-03-18 14:12

Linux系统运维工程师入门绝招放送

运维是干嘛的？安装服务器系统？重装系统再装系统？背锅的？我就稀里糊涂的，这样报着必死的决心，考下RHCE认证，走上了Linux运维的道路，成为了一名linux运维工程师。

云计算运维工程师·2025-03-18 14:42

2024年运维最新【Linux】基础IO —— 缓冲区深度剖析_linux io 缓冲区大小(2)，2024年最新张口就来

最全的Linux教程，Linux从入门到精通======================linux从入门到精通(第2版)Linux系统移植Linux驱动开发入门与实战LINUX系统移植第2版Linux开源网络全栈详解从DPDK到OpenFlow第一份《Linux从入门到精通》466页====================内容简介====本书是获得了很多读者好评的Linux经典畅销书**《Linu

JavaScript高级·2025-03-18 13:08

「AI 加持的高效架构」高并发场景下的服务器成本优化

摘要在高并发场景下，服务器资源消耗巨大，导致运维成本飙升。本篇文章将探讨限流、缓存、队列等技术手段，并结合AI技术优化服务器负载，降低计算成本。通过具体案例分析，提供更经济高效的高并发架构解决方案。

·2025-03-18 13:58

智能汽车：驶向未来的革命

人工智能、大数据、云计算等技术的飞速发展，正推动着汽车从单纯的交通工具向智能移动空间转变。智能汽车，作为这场变革的主角，正悄然改变着我们的出行方式和生活方式。

·2025-03-18 13:52

云原生架构设计理论与实践（14）

1.云原生背景业务快速发展与开发、运维、运营之间落后的生产关系与生产力的矛盾企业内部各占山头与企业总体战略规划的矛盾企业内部改革，降本增效的需求企业实现数字孪生，数字资产的必然需求企业外部环境，如人工智能发展

·2025-03-18 13:49

介绍 Apache Spark 的基本概念和在大数据分析中的应用

ApacheSpark是一个开源的集群计算框架，最初由加州大学伯克利分校的AMPLab开发，用于大规模数据处理和分析。相比于传统的MapReduce框架，Spark具有更快的数据处理速度和更强大的计算能力。ApacheSpark的基本概念包括：弹性分布式数据集（RDD）：是Spark中基本的数据抽象，是一个可并行操作的分区记录集合。RDD可以在集群中的节点间进行分布式计算。转换（Transform

佛渡红尘·2025-03-18 13:31

从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路

从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路说起大数据技术，Hadoop和Spark可以说是这个领域的两座里程碑。

Echo_Wish·2025-03-18 12:57

Flume详解——介绍、部署与使用

它特别擅长将数据从各种数据源（如日志文件、消息队列等）传输到HDFS、HBase、Kafka等大数据存储系统。

克里斯蒂亚诺罗纳尔多阿维罗·2025-03-18 12:23

智能租赁系统助力数字化转型提升管理效率与服务质量

通过先进的数字技术，比如云计算和大数据分析，这些系统能够优化资源配置，让企业的每一分钱都花得物有所值。更妙的是，智能租赁系统不仅高效处理日常事务，还能提供精确的数据分析，

红点租赁系统开发·2025-03-18 12:22

金融租赁系统智慧风控实践探索

这套系统就像给资产装上了GPS定位器+心电图监测仪，通过物联网传感器实时捕捉设备运行数据，配合卫星定位追踪车辆轨迹，再让大数据分析引擎消化海量场景信息——从工地的混凝土搅拌频率到物流车队的急刹车次数，全被转化成可量化的风险坐标

红点租赁系统开发·2025-03-18 12:22

07-单链表-单链表基本操作

数组其实跟静态链表等价，由于动态链表动态new对于大数据太过于耗时，因此采用数组的方式。那数组如何起到链表的效果？用下标来索引。

哆啦A梦阳·2025-03-18 11:44

如果我想成为一名大数据和算法工程师，我需要学会哪些技能，获取大厂的offer

成为一名大数据和算法工程师并获取大厂Offer，需要掌握一系列核心技能，并具备丰富的项目经验与扎实的理论基础。

红豆和绿豆·2025-03-18 10:05

KVM 内核优化全攻略：全方位释放服务器性能

KVM内核优化全攻略：全方位释放服务器性能在云计算、大数据、人工智能等前沿技术蓬勃发展的当下，服务器性能面临着前所未有的挑战。

TechStack 创行者·2025-03-18 10:34

Hive 与 SparkSQL 的语法差异及性能对比

在大数据处理领域，Hive和SparkSQL都是极为重要的工具，它们为大规模数据的存储、查询和分析提供了高效的解决方案。

自然术算·2025-03-18 09:22

【实操回顾】基于Apache SeaTunnel从MySQL同步到PostgreSQL——Demo方舟计划

文章作者：马全才奥克斯集团大数据工程师编辑整理：国电南自赵鸿辉白鲸开源曾辉本文详细演示了如何通过ApacheSeaTunnel2.3.9实现**MySQL**到PostgreSQL的全量数据同步。

SeaTunnel·2025-03-18 08:44

Flink 初体验：从 Hello World 到实时数据流处理

在大数据处理领域，ApacheFlink以其卓越的流批一体化处理能力脱颖而出，成为众多企业构建实时数据应用的首选框架。

小诸葛IT课堂·2025-03-18 07:12

shell 知识点1 测试linux服务器之间ip和端口是否畅通

运维工作中，可能会涉及新添加的服务器或者已有服务器之间的网络防火墙不通的情况，但是有的服务器可能已经开通了，有的没有开通，如果一个个去排查就比较麻烦，这个时候我们可以借助于下面这段shell脚本批量探测

tigercat920·2025-03-18 06:03

大数据开发之Kubernetes篇----安装部署Kubernetes&dashboard

Kubernetes简介由于公司有需要，需要将外后的服务外加Tensorflow模型部署加训练全部集成到k8s上，所以特意记录下这次简单部署的过程。k8s安装部署首先，我们在部署任何大型的组件前都必须要做的事情就是关闭防火墙和设置hostname了vi/etc/hostsk8s001xxx.xxx.xxx.xxk8s002xxx.xxx.xxx.xx...systemctlstopfirewall

豆豆总·2025-03-18 06:02

惊人的贵！DeepSeek-R1 本地部署成本不同方案大对比，成本优化建议也一并奉上！你能部署的起吗？

具体可分为以下三类情况：一、企业级满血版部署（671B参数）硬件采购成本服务器集群：含8张NVIDIAA100/H100显卡的服务器，市场价格约80-120万元配套设备：液冷系统、冗余电源等附加成本约15-25万元运维成本电费

涛涛讲AI·2025-03-18 04:47

毕设分享大数据B站数据分析可视化系统

文章目录0前言1项目运行效果2设计原理数据处理方案可视化呈现方案综合得分计算指标综合得分漏斗图游客画像完成度三连排行榜点赞、投币、收藏与白嫖的比例分析3最后0前言这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天

bee_dc·2025-03-18 03:39

毕业设计项目大数据B站数据分析可视化系统