hadoop单机部署

开源IDC资产管理--racktables（一、部署）

部署racktables安装配置lamp环境yum-yinstallhttpdphpmysqlmysql-serverphp-mysql安装apache扩展和php扩展，使其更好支持其他的软件yuminstallhttpd-manualmod_sslmod_perlmod_auth_mysql-yyuminstallphp-gdphp-snmpphp-bcmath-y
Ping Me·2024-09-10 17:08

Deepspeed 结合huggingface Trainer实现多机分布式训练

目前工作中只使用了单机多卡做微调训练，为了提升训练效率，特实验多机多卡分布式训练。
ningzhao·2024-09-10 17:38

解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(4)

org.apache.hadoophadoop-com
2401_84160087·2024-09-10 16:34

解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(3)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！xmlns:xsi="http://www.w3.or
2401_84160087·2024-09-10 16:04

dolphinscheduler独立集群部署文档（海豚调度）

一、下载解压服务器内下载（华为云镜像站网址）：wgethttps://mirrors.huaweicloud.com/apache/dolphinscheduler/3.2.0/apache-dolphinscheduler-3.2.0-bin.tar.gz解压：tar-xvfapache-dolphinscheduler-3.2.0-bin.tar.gz改名：mvapache-dolphinsc
灰太狼！！·2024-09-10 16:30

接口异常重新执行实现方案

举一个最简单的业务场景就是：当项目中部署了性能监控，当监控的请求数量达到自定义的阈值时，要求发送数据给后端，如果此时存在发送失败，如何实现重发？
遇事不决AI解决·2024-09-10 16:00

flink独立集群部署

#flink独立集群部署说明安装环境三台服务器47.106.23.1（master）47.112.173.2（worker1）47.115.162.3（worker1）提前装好jdk和ssh,以下操作最好不要用
嘎子吱吱吱吱·2024-09-10 16:28

全面从严治党，树好党政标杆

近日，中共中央办公厅印发了《党委(党组)落实全面从严治党主体责任规定》，《规定》中明确了主体责任内容，要求地方党委(党组)应当坚持党建工作与业务工作同谋划、同部署、同推进、同考核，加强对本单位全面从严治党各项工作的领导
HN丶·2024-09-10 15:40

如何将chatgpt部署微信|微信chatGPT代理|引入微信

现在，越来越多的企业使用微信作为客户服务渠道，因此，将ChatGPT部署到微信中，可以让企业更快地响应和服务客户，提高客户满意度。下面是如何将ChatGPT客服部署到微信的一些步骤。
红匣子实力推荐·2024-09-10 15:17

ZK springboot整合zookeeper

RELEASEprettyZoo2.0zookeeper可视化工具zookeeper可视化工具下载springboot-zookeeper-demo源码下载2zookeeper安装需要安装zookeeper，如果未安装，可参考博文：ZKzookeeper单机安装与配置
小P聊技术·2024-09-10 15:47

深入解析五大 LLM 可视化工具：Langflow、Flowise、Dify、AutoGPT UI 和 AgentGPT

为了帮助开发者更快地构建和部署这些智能代理，多个开源工具应运而生，尤其是那些提供可视化界面的工具，让开发者通过简单的图形界面设计、调试和管理智能代理。
花千树-010·2024-09-10 13:13

深入解析HDFS：定义、架构、原理、应用场景及常用命令

引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。
CloudJourney·2024-09-10 12:39

p2p网络，无边宇宙中的璀璨星河

那时候有很多单机游戏下载站，网速慢如蜗牛，一个G的游戏要下一天。后来，BT下载横空出世，小伙伴被BT下载的速度彻底震惊了，纷纷抛弃迅雷，安装上比特精灵，电驴之类的下载软件。
weixin_33690367·2024-09-10 11:35

Docker部署RocketMQ5.2.0集群

部署架构说明：(1)Producer：生产者(2)Consumer：消费者(3)NameServer：RockerMQ的注册中心，多个实例组成集群，但相互独立，没有信息交换。
egzosn·2024-09-10 10:58

Ansible在CentOS下批量部署Nginx到Kubernetes集群

在现代云计算环境中，Kubernetes（简称K8s）作为容器编排平台的标准，广泛应用于应用程序的管理和部署。
酱江奖·2024-09-10 10:58

大模型落地指南：从下载到本地化部署全流程解析

本篇文章旨在为读者提供一份详尽的大模型落地指南，从模型的下载、文件结构的解析，到本地化部署的具体步骤，全面覆盖整个流程。无论你是初次接触大模型的新手，还是希望深入了解部署细节的资深开发者，
网安猫叔·2024-09-10 09:18

log4j动态加载配置文件

应用场景与问题当项目在运行时，我们如果需要修改log4j1.X或者log4j2的配置文件，一般来说我们是不能直接将项目停止运行再来修改文件重新部署的。
MrMoving·2024-09-10 09:47

CentOS 7 上安装 Docker

Docker已经成为了现代软件开发和部署不可或缺的一部分，它提供了一种简便的方式来打包、运行和管理应用程序。本教程将指导你如何在CentOS7系统上安装Docker并进行一些基本配置。
库库林_沙琪马·2024-09-10 09:16

k8s 调度流程和资源管理

Kubernetes集群架构，它包括了一个kube-ApiServer，一组webhooks的Controller，以及一个默认的调度器kube-Scheduler，还有两台物理机节点Node1和Node2，分别在上面部署了两个
Cloud孙文波·2024-09-10 08:41

Hadoop的搭建流程

文章目录一、配置IP二、配置主机名三、配置主机映射四、关闭防火墙五、配置免密六、安装jdk1、第一步：2、第二步：3、第三步：4、第四步：5、第五步：七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量
lzhlizihang·2024-09-10 07:06

hive搭建 -----内嵌模式和本地模式

文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹
lzhlizihang·2024-09-10 07:06

Hadoop之mapreduce -- WrodCount案例以及各种概念

文章目录一、MapReduce的优缺点二、MapReduce案例--WordCount1、导包2、Mapper方法3、Partitioner方法（自定义分区器）4、reducer方法5、driver（main方法）6、Writable（手机流量统计案例的实体类）三、关于片和块1、什么是片，什么是块？2、mapreduce启动多少个MapTask任务？四、MapReduce的原理五、Shuffle过
lzhlizihang·2024-09-10 07:06

vulnhub靶机-DC2-Writeup

0x01部署靶机地址：https://www.vulnhub.com/entry/dc-2,311/DESCRIPTIONMuchlikeDC-1,DC-2isanotherpurposelybuiltvulnerablelabforthepurposeofgainingexperienceintheworldofpenetrationtesting.AswiththeoriginalDC
含日·2024-09-10 07:36

5G NTN简介

典型场景概括为：全球形覆盖、信令分流、应急通信、物联网和广播业务5GC共享结构：TN、NTN有各自独立的接入网，但共享5G核心网NTN接入共享：有不同5G核心网的运营商可以共享NTN无线接入网漫游器和服务器连续性部署
山丘之王岳岳·2024-09-10 07:34

Kubernetes 架构及部署、调度、状态管理流程简介

全文首发在个人博客上：Kubernetes架构及部署、调度、状态管理流程简介_Kubernetes简称k8s，是用于自动部署、扩展和管理“容器化应用程序”的开源系统。
啊滑滑蛋·2024-09-10 06:32

hexo+GitHub Pages一键搭建部署博客

2.准备工作：3.生成博客4.更换主题5.部署到githubpages总结前言：现在技术更新迭代是非常的快，尤其是web方面！
杨yang$·2024-09-10 06:29

Docker搭建MongoDB Replica Set高可用集群+数据丢失&被黑解决+自动备份与恢复脚本+持久化慢查询记录

文章目录引节点规划配置文件创建持久化目录创建并推送证书启动临时容器修改配置文件单节点参考mongod.confdocker-compose.ymlReplicaSet参考mongod.confdocker-compose.yml部署与配置部署集群配置集群验证集群增删节点增加节点删除节点查看节点常用命令重置集群备份数据关闭服务删除持久化数据启动集群配置集群验证集群创建用户验证集群用户管理权限说明创建
秋风お亦冷·2024-09-10 06:55

快速上手基于 BaGet 的脚本自动化构建 .net 应用打包

脚本自动化打包.net应用1.BaGet介绍1.2主要特点1.3使用说明1.3.1安装与部署1.3.1.1Docker部署1.3.1.2手动部署1.3.1.3配置2.应用举例2.1推送包2.2下载包3.
ChaITSimpleLove·2024-09-10 05:21

手把手教你用Python部署自己的VPN_python strongswan

}#构建VPN连接命令_command=["sudo","strongswan","up",_config["username"],"--server",_config["server_ip"],"--username",_config["username"],"--password",_config["password"]]#启动VPN连接subprocess.run(_command)defs
2401_84970250·2024-09-10 05:50

萱仔个人博客系列——hexo+github部署

由于本人前段时间和同专业得到好offer的同学之间的交流，发现博客其实对于找工作来说可以作为个人项目个人经历的展示，我创办cdsn博客的原因主要是为了自己学习使用，但是逐渐到现在也有了一些可爱的粉丝，非常感谢大家对我的点赞收藏和关注，我将继续精进自己的学习，学习理论和技术，刷力扣题，争取获得更好的offer。csdn博客本身就是非常好的一个平台，但是我还是决定自己创建一个自己的博客，两边同时更新，
萱仔学习自我记录·2024-09-10 05:19

IAAS: IT公司去IOE-Alibaba系统构架解读

从Hadoop到自主研发，技术解读阿里去IOE后的系统架构原地址：......................云计算阿里飞天摘要：从IOE时代，到Hadoop与飞天并行，再到飞天单集群5000节点的实现
wishchin·2024-09-10 04:18

项目架构设计

架构概述：架构共分为5层，访问层，接入层，网关层，服务层，数据层服务架构涉及26个技术点，部署架构7个技术点服务架构1.LVS：四层负载均衡，将用户分发到不同Nginx服务器上2.Nginx:是一个高性能的
先熬半个月·2024-09-10 04:44

深度学习部署：Triton（Triton inference server）【旧称：TensorRT serving，专门针对TensorRT设计的服务器框架，后来变为Triton，支持其他推理后端】

triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。本系列讲解的版本也是基于22.06。本系列讲解重点是结合实际的应用场景以及源码分析，以及写一些triton周边的插件、集成等。非速成，适合同样喜欢深入的小
u013250861·2024-09-10 03:09

突出“五位一体”谱写新疆发展新篇章 ——学习习近平总书记在第三次中央新疆工作座谈会发表 重要讲话研讨发言

习近平总书记全面总结了第二次中央新疆工作座谈会以来新疆工作取得的成绩，深入分析了当前新疆工作面临的形势和任务，深刻阐释了新时代党的治疆方略，对做好新疆工作作出了重大部署。
小芙_48c5·2024-09-10 03:41

龙芯+FreeRTOS+LVGL实战笔记（新）——05部署主按钮

本专栏是笔者另一个专栏《龙芯+RT-Thread+LVGL实战笔记》的姊妹篇，主要的区别在于实时操作系统的不同，章节的安排和任务的推进保持一致，并对源码做了改进和优化，各位可以先到本人主页下去浏览另一专栏的博客列表（目前已撰写36篇，图1所示），再决定是否订阅。此外，也可以前往本人在B站的视频合集（图2所示）观看所有演示视频，合集首个视频链接为：借助RT-Thread和LVGL，在龙芯板上搞定两个
南耿先生·2024-09-10 02:26

Nginx部署前端Vue项目的深度解析

目录一、准备工作1.1开发环境1.2服务器环境1.3Nginx安装二、构建Vue项目三、上传静态文件到服务器四、配置Nginx五、测试并重新加载Nginx六、访问Vue应用七、高级配置7.1启用HTTPS7.2启用Gzip压缩7.3缓存控制八、常见问题与解决方案8.1404错误8.2权限问题8.3跨域问题九、总结在现代Web开发中，Vue.js因其组件化、响应式数据绑定和易于上手的特点，成为了前端
小周不想卷·2024-09-10 01:41

万字详解PHP+Sphinx中文亿级数据全文检索实战（实测亿级数据0.1秒搜索耗时）

/sphinxsearch.com/docs/sphinx3.html极简概括：由C++编写的高性能全文搜索引擎的开源组件，C/S架构，跨平台（支持Linux、Windows、MacOS），支持分布式部署
小松聊PHP进阶·2024-09-10 00:39

Hadoop HDFS中的NameNode、SecondaryNameNode和DataNode

HadoopHDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在HadoopHDFS（Hadoop分布式文件系统）中，有三个关键的组件
BigDataMLApplication·2024-09-10 00:38

如何在虚拟机中安装部署K8S？

教程参考：centos7安装k8s1.28版本，基于科学-CSDN博客环境准备：准备三台机器，都做以下操作，或者只准备一个机器，最后再克隆两台。yum：换源，这是阿里云的源sudowget-O/etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com/repo/Centos-7.repo然后清缓存，建立元数据yumcleanallyumma
桃林春风一杯酒·2024-09-10 00:05

【Hadoop|HDFS篇】NameNode和SecondaryNameNode

1.NN和2NN的工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的Fslmage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsIm
Vez'nan的幸福生活·2024-09-09 23:00

Yarn介绍 - 大数据框架

YARN的概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x
why do not·2024-09-09 23:58

浅析大数据Hadoop之YARN架构

YARN提供了资源管理和资源调度等机制1.1原HadoopMapReduce框架对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述
haotian1685·2024-09-09 22:26

Hadoop YARN【一】

YARN概念YARN是一种新的Hadoop资源管理器，它是一个通用的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。内部组件Client:负责提交应用程序。
冷雨夜下的星空·2024-09-09 22:26

跌倒识别：守护公共安全的AI技术应用场景-免费API调用

产品在线体验地址-API调用或本地化部署AI算法模型人体跌倒识别-微信扫码立刻-在线体验公安行业：提升应急响应速度在公安行业中，智能跌倒识别系统可以快速识别出在地铁站、交通枢纽等人流密集区域发生的跌倒事件
思通数科x·2024-09-09 22:24

开源AI图像识别：支持扫描文件批量识别快速对接数据库存储

开源项目介绍(可本地部署，支持国产化)思通数科研发了一款多模态AI能力引擎，专注于提供自然语言处理（NLP）、情感分析、实体识别、图像识别与分类、OCR识别和语
思通数科x·2024-09-09 22:24

大数据知识总结（三）：Hadoop之Yarn重点架构原理

文章目录Hadoop之Yarn重点架构原理一、Yarn介绍二、Yarn架构三、Yarn任务运行流程四、Yarn三种资源调度器特点及使用场景Hadoop之Yarn重点架构原理一、Yarn介绍ApacheHadoopYarn
Lansonli·2024-09-09 22:22

kubernetes online depoly | kubeadm 快速部署kubernetes v1.25 集群 |单matser

目录一、环境准备二、安装Containerd三、安装Kubernetes四、部署网络插件一、环境准备软件环境：操作系统AlmaLinux9容器引擎ContainerdKubernetes1.25服务器规划
深耕云原生·2024-09-09 21:21

使用Tornado部署Flask项目

Tornado不仅仅是一个WEB框架，也可以是一个WEB服务器。在Tornado中我们可以使用wsgi模块下的WSGIContainer类运行其他WSGI应用如：Fask,Bottle,Django。首先我们写一个最小的Flask应用#hello.pyfromflaskimportFlaskapp=Flask(__name__)@app.route("/")defhello():return"He
二进制杯莫停·2024-09-09 21:50

群晖最新版（DSM 7.2） 下使用 Web Station 部署 flask 项目

0.需求由来为了在DSM7.2版本下的群晖NAS里运行我基于flask3.0.2编写的网页应用程序，我上网查了非常多资料，也踩了很多坑。最主要的就是7.2版本的界面与旧版略有不同，而网络上的资料大多基于旧版界面，且大部分仅仅说明了Howtodo，而没有解释Whytodo。因此本人随手记录一下。1.新建虚拟环境最开始的一步，自然是建设虚拟环境，用以支撑Flask的项目运行：从自己的Flask项目中导
goocheez·2024-09-09 20:14

C/S模式和B/S模式的优缺点

需要在通讯两端各自部署客户机和服务器来完成数据通信。如（QQ、微信、LOL、CF、DNF等游戏需要下载客户端）什么是B/S模式浏览器(browser)/服务器(server)模式。
躺平程序猿·2024-09-09 20:44
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他