hadoop伪分布式环境搭建

Flink-部署实践

1)修改flink/conf/flink-conf.yaml文件:jobmanager.rpc.address:hadoop1132)修改/conf/masters文件:hadoop1133)修改/conf
魔笛Love·2024-02-19 20:52

主流开发语言和开发环境?

Java被广泛应用于企业级应用开发、移动应用（特别是Android应用）、游戏开发、大数据处理（如Hadoop生态系统）、云计算服务端开发等场景。C++简介：C+
dami_king·2024-02-19 20:50

鸿蒙系统学习笔记(二) 鸿蒙系统开发工具和鸿蒙Mac开发环境搭建

个人学习鸿蒙系列鸿蒙系统开发工具和鸿蒙Mac开发环境搭建目录个人学习鸿蒙系列鸿蒙系统开发工具和鸿蒙Mac开发环境搭建一、开发工具HUAWEIDevEcoStudio1.关键特性2.系统要求二、鸿蒙开发系统
Peter Pan 1231·2024-02-19 20:42

操作系统-环境搭建

操作系统学习-环境搭建简介搭建Linux虚拟机安装VirtualBox下载Liunx映像文件创建Ubuntu虚拟机远程控制配置SSH介绍网络设置的知识普及Linux环境搭建网络设置ssh命令下载简介本文将搭建
JACK SUBWAY·2024-02-19 19:21

Linux系统中 uboot、内核与文件系统之间的关系

(bootoader):uboot.bin/uboot.imxLinux内核镜像:zlmage文件系统镜像:system.img/rootfs.tar.ba2初期很多工作都是围绕这三个知识点展开的开发环境搭建
玄奕子·2024-02-19 18:39

FastDFS 分布式集群搭建详解

的四台机器的nginx5.2配置tracker的两台机器的nginx5.3配置统一入口前言阅读本文章之前请先看上一篇单机版FastDFS安装配置详解，所以本文有些内容我就一笔带过，传送门：《FastDFS环境搭建及使用详解
程序员大佬超·2024-02-19 16:39

Nacos系统历史CVE漏洞的复现分析与检测

文章目录前言CVE-2021-29441认证绕过1.1环境搭建与复现1.2漏洞源码的分析1.3修复方案被绕过1.4衍生的默认凭据QVD-2023-6271默认密钥2.1环境搭建与复现2.2漏洞修复与现状
Tr0e·2024-02-19 16:24

Apache Apisix网关系统历史漏洞复现分析

2021-45232未授权接口2.1默认账户密码导致RCE2.2未授权访问api接口RCECVE-2022-24112地址限制绕过CVE-2022-29266JWT令牌伪造4.1漏洞源码简析与修复4.2漏洞环境搭建与复现总结前言
Tr0e·2024-02-19 16:46

Windows GTK+ 环境搭建(详解)

WindowsGTK+环境搭建最近要做界面的一些东西，但是对微软提供的类库MFC不是很熟悉，里面封装了大量的WindowsAPI比较麻烦，然后就想着其他方式吧！
xktesla·2024-02-19 15:16

AutoDL云服务器使用（2）-虚拟环境搭建

提示以“root”用户身份运行pip可能会导致权限损坏和冲突，往往因为这个问题，导致我们无法更新pip或下载库失败,我的库torchaudio安装不上怎们办，好像解决办法是在虚拟环境里面安装，所以需要搭建虚拟环境1、新建虚拟环境名（在云服务器jupter那里）点开（如下图所示）输入condacreate-nmy-envpython=3.72.进入虚拟环境：condaactivatemy-env3.
冰虺·2024-02-19 15:09

1-STM32运行环境搭建

STM32环境需要安装KEIL5软件，并且安装相应芯片型号的芯片包（pack）。KEIL5安装要想获得KEIL5的安装包，在百度里面搜索“KEIL5下载”即可找到很多网友提供的下载文件，或者到KEIL的官网下载：KEIL官网，一大堆注册非常麻烦。我这里面KEIL5的版本是MDK5.36，以后有新版本大家可使用更高版本。下载安装包的时候要填一些东西，可随便填。官网下载有点慢，要找个稳定的网络，不然网
Yang_Winston·2024-02-19 15:54

快来使用Portainer让测试环境搭建飞起来吧

本文章出自【码同学软件测试】Portainer是Docker的图形化管理工具，提供状态显示面板、应用模板快速部署、容器镜像网络数据卷的基本操作（包括上传下载镜像，创建容器等操作）、事件日志显示、容器控制台操作、Swarm集群和服务等集中管理和操作、登录用户管理和控制等功能。功能十分全面，基本能满足中小型单位对容器管理的全部需求。码同学公众号：自动化软件测试码同学抖音号：小码哥聊软件测试Docker
码同学软件测试·2024-02-19 15:36

FTP、Telnet、SSH、DNS、DHCP协议包抓取与环境搭建

1、抓取FTP协议实验（环境搭建与实操）如下图所示win7虚拟机中安装ftp服务器编辑-设置。IP为虚拟机win7的ip地址。
爱吃仡坨·2024-02-19 15:29

go语言grpc的基础使用

是谷歌推出的rpc框架，使用http2.0来通讯的,性能算不上最优的,但是胜在通用性很高.而且说实话http2性能真的不差了,它比1.0多了两个很重要的概念多路复用和长连接.看此篇文章之前一定要先把grpc环境搭建好
xyt001·2024-02-19 14:37

C/C++与汇编的交互

2>环境搭建：首先我们选用的编译器是MicrosoftVisualStudio。我们可以在IDE中完成工作
牧秦丶·2024-02-19 14:51

Quick introduction to Apache Spark

Spark使用Hadoop的客户端库来
Liam_ml·2024-02-19 13:29

Hadoop Shuffle

Whentherearemultiplereducers,themaptaskspartitiontheiroutput,eachcreatingonepartitionforeachreducetask.Therecanbemanykeys(andtheirassociatedvalues)ineachpartition,buttherecordsforeverykeyareallinasing
SharlotteZZZ·2024-02-19 13:22

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

【大数据面试题】006介绍一下Parquet存储格式的优势

同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python
Jiweilai1·2024-02-19 13:34

Sqoop 入门基础

简介Sqoop（SQLtoHadoop）是一个开源工具，用于在关系型数据库和Hadoop之间传输数据。
香菜的开发日记·2024-02-19 13:17

初识 Rust 语言的所有权概念

BTW，环境搭建顺利得令人意外，Rust工具链打造的简洁精美，原生支持git，安装只需一条命令：curlhttps://sh.rustup.rs-sSf|s
weixin_33937499·2024-02-19 13:12

初识Rust语言的所有权概念

BTW，环境搭建顺利得令人意外，Rust工具链打造的简洁精美，原生支持git，安装只需一条命令：curlhttps://sh.rustup.rs-sSf|sh。
weixin_34408717·2024-02-19 13:12

hadoop硬件配置 高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。500字节一个块假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小（64MB）同时副本因子为3，5000*20GB=102400000M=97T那么NameNode需要保存5千万个分块的信息，这些分块的大小加上文件系统的开销总共需要1.5GB的内存。但是一
xcagy·2024-02-19 13:07

云原生之容器编排实践-基于CentOS7搭建三个节点的Kubernetes集群

基本概念与操作，这样避免了初学者在裸金属主机上搭建Kubernetes集群的复杂度，但是随着产品功能的逐渐完善，我们需要过渡到生产环境中的K8S集群模式；而在实际上生产环境之前，我们先在本地虚拟机上进行了环境搭建与流程验证
Heartsuit·2024-02-19 13:31

面经-软件测试面试常见面试题全套合集系列4-6

jenkins+ant+jmeter+svn环境搭建原来这个环境是我这边搭建的，主要是几个步骤，第一Jenkins安装、第二，ant安装、第三，jmeter安装、第四，jmeter与ant
测试架构师北凡·2024-02-19 12:53

【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解

在NodeManager中，有三种运行Container的方式，它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中，我们就能看得出来，默认情况下，一定使用的是DefaultContainerExecutor。而一般情况下，DefaultContainerExecutor也确实能够满足我
笑起来贼好看·2024-02-19 11:38

学习篇-Hadoop-YARN-环境搭建

文章目录一、Hadoop-YARN-环境搭建一、Hadoop-YARN-环境搭建官网参考：https://hadoop.apache.org/docs/stable/hadoop-project-dist
东东爱编码·2024-02-19 11:08

【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）

目录首页（Cluster）节点信息SchedulerMetrics：集群调度信息节点信息详解（Nodes）应用列表信息（applications）队列详情页（Scheduler）指标详细说明（非常重要）首页（Cluster）集群监控信息指标详解AppsSubmitted：已提交的应用AppsCompleted：已完成的应用AppsRunning：正在运行的应用ContainersRunning：正
笑起来贼好看·2024-02-19 11:08

Hadoop-Yarn-NodeManager都做了什么

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中已经简要的分析了NodeManager
隔着天花板看星星·2024-02-19 11:00

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。
BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪·2024-02-19 11:58

hadoop-2.7.4-nodemanager无法启动问题解决方案

近期新配了hadoop-274版本的集群，发现有一个小问题，DataNode无法顺利启动。
半肉哥·2024-02-19 11:27

hadoop-yarn资源分配介绍-以及推荐常用优化参数

如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为Hadoop2.x的一部分，YARN采用MapReduce中的资源管理功能并对其进行打包，以便新引擎可以使用它们。
Winhole·2024-02-19 11:26

Hadoop-Yarn-NodeManager如何计算Linux系统上的资源信息

NodeResourceMonitorImpl）时只是提了下SysInfoLinux，下面我们展开讲下SysInfoLinux是用于计算Linux系统上的资源信息的插件二、SysInfoLinux源码packageorg.apache.hadoop.util
隔着天花板看星星·2024-02-19 11:48

Linux平台Rust开发与vscode调试环境搭建

文章目录一、安装Rust编译环境二、搭建Rust开发项目1.创建项目2.编译项目3.运行项目三、配置vscode开发调试环境1.安装vscode拓展2.创建配置文件3.调试程序一、安装Rust编译环境执行以下命令，按提示下一步安装即可：$curlhttps://sh.rustup.rs-sSf|shref:rustup.rs-TheRusttoolchaininstallerOtherinstal
zhihao_li·2024-02-19 11:15

node命令yarn --version指向了java

问题描述本地安装了java、hadoop和nodejs，并配置了环境变量，但是hadoop的bin目录下存在yarn命令，所以使用nodejs的yarn命令启动项目会出现找不到类，此时键入yarn-version
码学弟·2024-02-19 11:43

Jlink+OpenOCD+STM32 Vscode 下载和调试环境搭建

对于Mingw的安装比较困难，国内的网无法正常在线下载组件，需要手动下载x86_64-8.1.0-release-posix-seh-rt_v6-rev0.7z版本的软件包，添加环境变量，并将mingw32-make.exe名字改成make.exe。对于OpenOCD，需要使用Zadig工具安装Jlink驱动。Vscode工程的Makefile也要更改：#省略INTERFACE_CFG="D:\w
JoYER_cc·2024-02-19 11:12

企业级大数据安全架构（一）平台安全隐患

1缺乏统一的访问控制机制大数据平台由Hadoop生态体系众多组件组成，而每个组件都会提供相应的WebUI界面和RESTful接口，例如Nam
·2024-02-19 11:48

VScode下的Rust语言环境搭建

VSCode对Rust有着较完备的支持，下面主要介绍VScode下的Rust语言环境搭建下面是VSCode的下载地址：DownloadVisualStudioCode-Mac,Linux,Windows
星空_MAX·2024-02-19 11:35

linux系统下vscode portable版本的rust环境搭建004：rust

目的：希望在获得一个新的系统之后，以最简便快速的方式搭配一个rust的编程环境命令在线安装只执行这句就行了：curl--proto'=https'--tlsv1.2-sSfhttps://sh.rustup.rs|sh，因为是要portable安装所以按照以下的方式执行。下载https://link.zhihu.com/?target=https%3A//static.rust-lang.org/
FakeOccupational·2024-02-19 11:19

使用Thonny搭建MicroPython 开发环境，简单易用，保姆级教程

MicroPythonThonny开发环境搭建，简单易用，保姆级教程MicroPython为广大Python编程开发人员打开了通往单片机、物联网开发的大门，但是在开发工具方面却不是很给力，虽然VSCode
原子星·2024-02-19 10:25

MapReduce

MapReduce定义mapReduce是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架。
诺冰1314·2024-02-19 10:46

Hive入门，Hive是什么？

它是建立在Hadoop生态系统之上的，利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy·2024-02-19 10:31

Hive on Spark配置

pwd=66663、将Spark安装包通过xftp上传到/opt/software安装部署Spark1、解压spark-3.3.1-bin-without-hadoop.tgz进入安装包所在目录cd/opt
在下区区俗物·2024-02-15 10:51

配置hive on spark

hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改hive-site.xml文件，添加如下配置：spark.yarn.jarshdfs://hadoop
空白格2519·2024-02-15 10:51

hive on spark配置经验

常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode
小五冲冲冲·2024-02-15 10:21

在阿里云服务器上部署EL-Admin前后端分离后台管理系统

eladmin-system.jar文件，前端打包会有一个dist文件，本文主要介绍Nginx配置；环境安装和项目打包请移步官网：快速开始|EL-ADMINSSH连接工具推荐使用FinalShell服务器一台(阿里云或者腾讯云)环境搭建
星平会海·2024-02-15 09:00

eladmin 后台管理系统 环境搭建

一、准备工作：1、下载eladmin后端源代码https://github.com/elueladminnez/eladmin.githttps://github.com/elueladminnez/eladmin.git2、下载eladmin-web前端代码https://github.com/elunez/eladmin-web.githttps://github.com/elunez/ela
冬暖海洋·2024-02-15 09:58

（三十八）大数据实战——Atlas元数据管理平台的部署安装

本节内容是关于ApacheAtlas的部署安装，在开始安装Atlas之前我们需要提前安装好Atlas需要集成的组件，如hadoop、zo
厉害哥哥吖·2024-02-15 09:09

Selenium Python WebDriver基础

本篇讲义将会重点介绍SeleniumWebDriver的环境搭建和基本使用方法。WebDriver环境搭建SeleniumWebDriver又称为Selenium2。
李盼_168d·2024-02-15 06:00
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他