资源管理器运维大数据第2页

anaconda中pyspark_自学大数据——9 Anaconda安装与使用pyspark

首先从Anaconda官网上下载Anaconda。一、解压安装包sudobashAnaconda3-2020.07-Linux-x86_64.shchown-Rhadoop:hadoop/opt/anaconda/vi/etc/profileexportANACONDA_HOME=/opt/anacondaexportPATH=$PATH:$ANACONDA_HOME/bin:source/etc

步六孤陆·2025-01-27 17:59

2022-02-09大数据学习日志——PySpark——Spark快速入门&Standalone集群

第一部分Spark快速入门01_Spark快速入门【Anaconda软件安装】[掌握]使用Python编写Spark代码，首先需要安装Python语言包，此时安装Anaconda科学数据分析包。Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。Anaconda是跨平台的，有Windows、MacOS、Linux版本。#下载地址：ht

王络不稳定·2025-01-27 17:28

ansible自动化运维

一、基础配置1.主配置文件：/etc/ansible/ansible.cfg2.主要清单文件/etc/ansible/hosts[webserver1]192.168.89.140|ansible-web1#需要做域名解析[webserver2]192.168.89.141|ansible-web2[weball:children]webserver1webserver2[weball:vars]

YJLZ0821·2025-01-27 16:54

大数据之Spark运行流程

文章目录前言（一）SparkOnYarn集群的Client模式运行流程（二）SparkOnYarn集群的Cluster模式运行流程总结前言上篇文章有讨论到SparkOnYarn的两种部署模式，如果有不清楚的地方，可以再看看，附上对应文章的链接：Spark的部署模式，本篇文章主要讨论SparkOnYarn两种部署模式的运行流程。（一）SparkOnYarn集群的Client模式运行流程该模式的Dri

「已注销」·2025-01-27 15:17

R语言学习笔记6-数据框

DataFrame)介绍数据框用途创建数据框从矩阵创建数据框索引和切片添加和修改列数据框的预处理数据框的排序数据框的筛选处理缺失值应用函数处理数据重塑数据框使用dplyr进行数据框的管道操作数据框的时间序列操作大数据框的处理数据框的绘图数据框的文本处理数据框的连接与关联按行或列连接数据框按键值关联数据框数据框的条件处理与逻辑操作条件筛选逻辑操作数据框的汇总与统计分析

Colin♛·2025-01-27 15:17

K8S部署DevOps自动化运维平台

持续集成（CI）持续集成强调开发人员提交了新代码之后，立刻自动的进行构建、（单元）测试。根据测试结果，我们可以确定新代码和原有代码能否正确地集成在一起。持续集成过程中很重视自动化测试验证结果，对可能出现的一些问题进行预警，以保障最终合并的代码没有问题。常见的持续集成工具：Jenkins：Jenkins是用Java语言编写的，是目前使用最多和最受欢迎的持续集成工具，使用Jenkins，可以自动监测到

元气满满的热码式·2025-01-27 15:44

华为OD机试C卷-- 精准核酸检测（Java & JS & Python & C）

现在根据传染病流调以及大数据分析，得到了每个人之间在时间、空间上是否存在轨迹交叉。现在给定一组确诊人员编号（X1,X2,X3,…,Xn），在所有人当中，

飞码创造者·2025-01-27 14:35

matlab大数据计算技巧（持续更新中）

在matlab中，当数据比较大时，运算起来就困难了，有时候还会outofmemory（例如4000*4000的矩阵，要算矩阵乘法都比较吃力）。此文会记录我学到的一些解决办法：1.将数据的存储类型从double转换成single在matlab中double数据类型占8个字节，single类型占4个字节。把数据类型从double类型转换成single类型可以节省一半的空间。单精度浮点数single的取

tina_lulu_21·2025-01-27 14:04

Matlab：读取和处理大数据表格文本文件

Matlab：读取和处理大数据表格文本文件在实际的数据分析应用中，往往需要处理海量数据。针对大型数据文件，Matlab提供了快速高效的读取和处理工具，可以便捷地完成数据处理任务。

追逐程序梦想者·2025-01-27 13:01

AI Agent的部署与运维：从开发环境到生产环境

说实话，这个过程比想象的要复杂得多，因为AIAgent系统有很多特殊的运维需求。

·2025-01-27 13:57

赛事 Q＆A × 培训预告：2024 年（第 17 届）中国大学生计算机设计大赛大数据主题赛正式开赛！

大赛下设不同领域的十一个大类，和鲸科技自2021年起，连续四年作为大数据应用大类中大数据主题赛的协办方倾力配合大赛组委会与各承办单位，

ModelWhale·2025-01-27 13:30

2025年三个月自学手册网络安全（黑客技术）

基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维

网安kk·2025-01-27 13:59

2024年自学手册网络安全（黑客技术）

基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维

网安kk·2025-01-27 13:59

docker-mirror: 简化Docker镜像管理的利器

这大大减少了重复的运维工作,提高了效率。在使用过程中,我们收到了许多用户的积极反馈和优化建

ivwdcwso·2025-01-27 12:26

大数据StarRocks(六) ：Catalog_starroccks支持oracle外部表了吗(1)

StarRocks自2.3版本起支持Catalog（数据目录）功能，实现在一套系统内同时维护内、外部数据，方便您轻松访问并查询存储在各类外部源的数据。1.基本概念内部数据：指保存在StarRocks中的数据。外部数据：指保存在外部数据源（如ApacheHive™、ApacheIceberg、ApacheHudi、DeltaLake、JDBC）中的数据。2.Catalog当前StarRocks提供两

2401_84181975·2025-01-27 11:51

【运维】什么是Ubantu？安装网址

Ubuntu是一个基于Debian的Linux发行版，旨在为用户提供最新且稳定的操作系统。其名称源自非洲南部祖鲁语或科萨语的“Ubuntu”一词，意为“人性”或“我的存在是因为大家的存在”，体现了共享与合作的精神。主要版本：桌面版：为个人用户提供友好的图形界面，预装了办公套件、浏览器、电子邮件和多媒体应用等，满足日常使用需求。服务器版：用于构建和管理各种服务器，如Web服务器、数据库服务器等，提供

一袋米扛几楼98·2025-01-27 11:19

基于云计算的自动化部署与自动化运维：提高运维效率

基于云计算的自动化部署与自动化运维：提高运维效率作者：禅与计算机程序设计艺术文章目录基于云计算的自动化部署与自动化运维：提高运维效率1.简介2.云计算概述（1）云计算的优势2.1弹性伸缩能力2.2技术创新领域

AI天才研究院·2025-01-27 10:48

devops运维平台汇总

1/01.spug1/11.supg简介Spug是面向中小型企业设计的无Agent的自动化运维平台，整合了主机管理、主机批量执行、主机在线终端、应用发布、任务计划、配置中心、监控、报警等一系列功能。

java领域·2025-01-27 10:45

基于SpringBoot+Vue码头船只货柜管理系统

期待与各位高校教师、企业讲师以及同行交流合作主要内容：Java项目、Python项目、前端项目、PHP、ASP.NET、人工智能与大数据、单片机开

qq_469603589·2025-01-27 08:28

探索未来IT管理：WeCube平台详解

平台详解项目地址:https://gitcode.com/gh_mirrors/we/wecube-platform是一款开源的企业级云服务管理平台，由微众银行开发并维护，旨在简化和自动化IT基础设施的管理和运维工作

宋海翌Daley·2025-01-27 07:52

推荐开源项目：WeDataSphere - 智慧数据服务平台

劳泉文Luna·2025-01-27 07:52

WeCube：一站式IT架构与运维管理的开源利器

WeCube：一站式IT架构与运维管理的开源利器项目地址:https://gitcode.com/gh_mirrors/we/wecube-platform项目介绍WeCube，一款由微众银行开源的一站式

蒋素萍Marilyn·2025-01-27 07:52

WeCube平台：开源的IT架构管理和运维管理工具

WeCube平台：开源的IT架构管理和运维管理工具wecube-platformWeCubePlatform项目地址:https://gitcode.com/gh_mirrors/we/wecube-platformWeCube

郦蜜玲·2025-01-27 07:52

Java 大视界 -- Java 大数据中的隐私增强技术全景解析（64）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-01-27 07:51

使用Pyecharts绘制地理图表

Pyecharts是一个基于Python的强大数据可视化库，它提供了丰富的图表类型和交互功能。其中，Pyecharts能够轻松绘制地理图表，帮助我们展示地理数据的分布和变化趋势。

前端设计家·2025-01-27 05:14

局域网搭建

运维工程师一、基础知识点要求：数据能通、性能好、安全查看Mac地址：ipconfig/all查看所有端口号：netstat-ano概述Mac地址（MediaAccessControlAddress）和IP

自我崛起的00后·2025-01-27 03:02

大数据平台建设整体架构设计方案

《大数据平台建设整体架构设计方案》关键词：大数据平台、分布式存储、分布式计算、数据仓库、数据湖、数据安全、数据质量管理、数据治理、数据挖掘、机器学习、图计算、自然语言处理、Hadoop、Spark、Flink

AI天才研究院·2025-01-27 02:55

企业信息化5：后勤管理系统

前言：随着企业各业务板块在信息化的浪潮中积极转型升级，后勤板块往往成为了一个企业信息化的短板，后勤业务大数据无法融入企业信息化数据湖，进而影响企业整体运营的效率和质量。

mosquito_lover1·2025-01-27 02:52

SpringCloud两种注册中心

缺点：架构复杂、运维、监控、部署难度高。微服务微服务是

Annaday·2025-01-27 01:46

大数据Lambda架构

Lambda架构介绍Lambda是用于同时处理离线和实时数据，可容错、可扩展的分布式系统架构。有批处理层、加速层、服务层。同时以流计算和批处理计算合并视图。Lambda架构的批处理层采用不可变存储模型，不断地往主数据集后追加新的数据。Lambda架构优缺点<

奋进学堂·2025-01-26 23:00

Lambda架构

原文地址：https://www.cnblogs.com/xiaodf/p/11642555.html首先我们来看一个典型的互联网大数据平台的架构，如下图所示：在这张架构图中，大数据平台里面向用户的在线业务处理组件用褐色标示出来

leveretz·2025-01-26 22:54

安宝特案例 | 某知名日系汽车制造厂，借助AR实现智慧化转型

某知名日系汽车制造厂当前面临着设备的实时监控、故障维护，以及跨地域的管理协作等挑战，由于场地分散和突发状况的不可预知性，传统方式已无法应对这些需求，如何通过数字化和智能化技术，提升生产效率、降低运维成本

安宝特AR·2025-01-26 22:24

ES聚合分析原理与代码实例讲解

ES聚合分析原理与代码实例讲解作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来随着大数据时代的到来，企业级应用需要处理的数据量呈爆炸式增长

AI大模型应用之禅·2025-01-26 22:21

大数据技术4：Lambda和Kappa架构区别_lambda架构和kappa架构区别

Lambda架构缺点：虽然Lambda架构使用起来十分灵活，并且可以适用于很多的应用场景，但在实际应用的时候，Lambda架构也存在着一些不足，主要表现在它的维护很复杂。（1）同样的需求需要开发两套一样的代码：这是Lambda架构最大的问题，两套代码不仅仅意味着开发困难（同样的需求，一个在批处理引擎上实现，一个在流处理引擎上实现，还要分别构造数据测试保证两者结果一致），后期维护更加困难，比如需求变

2401_84181501·2025-01-26 22:50

黑盒/白盒运维监控

运维监控分为黑盒和白盒黑盒：不深入代码，在系统角度看TPS，延迟等指标白盒：深入代码分析，通过日志捕捉，以及主动上报告警等来进行监控黑盒监控：1.页面功能：域名是否可访问，系统可用性（页面是否可以刷出来

闲猫·2025-01-26 19:33

Redis线上阻塞要如何排查

哪些情况会让指令变慢：1.指令获取的数据很多，比如大数据量下执行keys、hgetall、smembers等指令。

思静鱼·2025-01-26 17:12

XXL-RPC v1.9.0 | RPC服务框架

XxlRpcRegister(xxl-rpc-admin)迁移，整合至XXL-CONF：XXL-CONF：一站式服务管理平台（配置中心、注册中心），提供动态配置管理、服务注册及发现能力；降低中间件认知及运维成本

·2025-01-26 16:07

Apache Hive 聚合函数与 OVER 窗口函数：从基础到高级应用

在大数据时代，ApacheHive是处理和分析海量数据的强大工具。Hive提供了丰富的聚合函数和强大的OVER窗口函数，能够帮助我们高效地进行数据分析。

大鳥·2025-01-26 11:04

filebeat收集各种类型日志写入logstash，再从logstash中读取日志写入kafka中(有filebeat)

filebeat收集各种类型日志写入logstash，再从logstash中读取日志写入kafka中(有filebeat)如果对运维课程感兴趣，可以在b站上、A站或csdn上搜索我的账号：运维实战课程，

运维实战课程·2025-01-26 11:58

大数据治理实战指南：数据质量、合规与治理架构

个人主页：一ge科研小菜鸡-CSDN博客期待您的关注引言随着企业数字化转型的加速，大数据已成为驱动业务决策的核心资产。然而，数据治理的缺失或不完善，可能导致数据质量问题、合规风险以及业务价值的流失。

一ge科研小菜鸡·2025-01-26 11:28

企业数字化运维运营体系规划设计方案PPT

这份文件是关于企业数字化运维运营体系规划设计的综合解决方案，主要围绕构建高效、安全、稳定和集约的运维运营体系展开。

公众号：优享智库·2025-01-26 08:04

运维平台的建设思考

自己最近也在琢磨如何搭建出一个完善有效的运维平台，当然这个工作不是一朝一夕就能完成，前行的道路上肯定会有各种各样的困难和牵绊，但是自己还是能够学以致用，把一些重复性，繁琐性的工作都能解放出来，能够更加关注于更高的一个层级来看待整个系统

congbao6525·2025-01-26 07:28

Redis学习笔记

NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，特别是大数据应用难题。NoSQL特点方便扩展（

csdn_bobo_6·2025-01-26 06:47

《Spark大数据分析与内存计算》——第三章

第三章作业及答案快捷查找：Ctrl+F在搜索框中输入题目一.单选题（共17题）1.(单选题)并不是所有企业都能自己产生数据，从而用于决策辅助，而更多的互联网企业如电商等大部分是要靠什么来抓取互联网数据进行分析A.HadoopB.pythonC.SparkD.网路爬虫正确答案:D:网路爬虫;2.(单选题)什么负责即席查询的应用A.MLlibB.SparkStreamingC.GraphXD.Spar

阿万古·2025-01-26 05:07

探秘FreeMovie：一个开源的电影推荐系统

技术分析FreeMovie的核心架构包括以下关键组件：数据处理-项目采用Hadoop进行大数据预处

孟振优Harvester·2025-01-26 02:39

Lambda离线实时分治架构深度解析与实战

一、引言在大数据技术日新月异的今天，Lambda架构作为一种经典的数据处理模型，在应对大规模数据应用方面展现出了强大的能力。

喜欢猪猪·2025-01-26 01:36

“大模型横扫千军”背后的大数据挖掘--浅谈MapReduce

文章目录O背景知识1数据挖掘2邦费罗尼原则3TF.IDF4哈希函数5分布式文件系统一、MapReduce基本介绍1.Map任务2.按键分组3.Reduce任务4.节点失效处理5.小测验：在一个大型语料库上有100个map任务和若干reduce任务：二、基于MapReduce的基本运算1.选择（Selection）2.交（Intersection）3.并（Union）4.补（Difference）5

绒绒毛毛雨·2025-01-26 01:35

基于大数据的电影数据分析可视化系统设计与应用

基于大数据的电影数据分析可视化系统设计与应用作者：禅与计算机程序设计艺术1.背景介绍1.1大数据时代的电影行业随着互联网技术和数字化的发展,电影行业已经进入大数据时代。

AI架构设计之禅·2025-01-26 00:02

Command Center AI

它集成了大数据处理、实时情报分析、优化调度、决策模拟等功能，为指挥官提供多维度的决策支持。

由数入道·2025-01-26 00:53

XXL-CONF v1.7.0 | 分布式服务管理平台（配置中心 & 注册中心）

ReleaseNotes1、【升级】XXL-CONF升级重构，XXL-CONF是一站式服务管理平台，作为服务配置中心与注册中心，提供动态配置管理、服务注册与发现等核心能力；降低中间件认知及运维成本；2、

·2025-01-25 23:45

推荐频道

资源管理器运维大数据