开发工具：Hadoop

【鸿蒙系统学习笔记】开发工具安装

一、准备开发环境1.1、安装IDE鸿蒙应用开发需要使用配套的IDE——HUAWEIDevEcoStudio。DevEcoStudio基于IntelliJIDEACommunity（IDEA社区版）构建，为鸿蒙应用提供了一站式开发环境，集成了开发、运行、调试以及发布应用的各项功能。安装步骤：①获取DevEcoStudio安装包，官方下载地址为：HUAWEIDevEcoStudio和SDK下载和升级|
奔跑的露西·2024-02-19 20:36

微信小程序如何配置服务器域名

在微信小程序中，开发者可以通过使用小程序开发工具进行开发，并
揣晓丹·2024-02-19 19:13

什么是跨平台，说说你对跨平台的理解

跨平台的概念可以应用于各种软件、应用程序和开发工具，包括桌面应用、移动应用、Web应用、游戏等。对于软件开发者来说，实现跨平台意味着可以编
我有一棵树·2024-02-19 19:07

java基础day02

1.eclipse的安装Java的开发工具eclipse安装包解压以后放到任意盘符下面，找到eclipse.exe文件双击运行即可新建项目File->new->project->javaproject-
是程序喵呀·2024-02-19 18:47

【C/C++寒假学习计划】当别人在看波吉时，而我内卷的无法自拔

目录嗨，这里是狐狸~~C/C++学习路线一、初级入门阶段①C语言②C++语言③常见常用的IDE开发工具二、C/C++开发进阶①C++进阶之STL②C++进阶之设计模式③C++进阶之数据结构基础④C++进阶之
MAX在码字·2024-02-19 18:52

微信小程序引入官方《评价组件》的一些坑点

按官方文档引入组件（代码层面的引入，公众管理平台添加插件），启动开发工具，手机预览。ok弹出了评价窗口。再试下就嘠了，没有弹出，返回结果还是正常的（success,code=0）。
三笑咖啡·2024-02-19 18:46

什么是低代码平台

低代码平台是一种软件开发工具，旨在帮助开发者快速构建应用程序而无需编写大量的传统代码。它们通常提供了可视化的用户界面，通过拖放、配置和组合预先构建的组件或模块，使开发者能够以更快的速度开发应用程序。
我有一棵树·2024-02-19 16:46

了解低代码这项软件开发工具

目录一、低代码概念二、低代码衍生历程三、低代码为什么受企业青睐？四、低调且强大的JNPF快速开发平台五、低代码未来趋势一、低代码概念低代码开发平台是一种无需编码或者只需要少量代码即可快速生成应用程序的开发平台，通过可视化进行应用程序开发的方法，让不同经验水平的开发人员可以通过图形化的用户界面，使用拖拽组件和模型驱动的逻辑来创建网页和移动应用程序。这一技术的出现，使得企业只需耗费更少的时间和精力即可
虚无火星车·2024-02-19 16:40

Quick introduction to Apache Spark

Spark使用Hadoop的客户端库来
Liam_ml·2024-02-19 13:29

Hadoop Shuffle

Whentherearemultiplereducers,themaptaskspartitiontheiroutput,eachcreatingonepartitionforeachreducetask.Therecanbemanykeys(andtheirassociatedvalues)ineachpartition,buttherecordsforeverykeyareallinasing
SharlotteZZZ·2024-02-19 13:22

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

【大数据面试题】006介绍一下Parquet存储格式的优势

同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python
Jiweilai1·2024-02-19 13:34

Sqoop 入门基础

简介Sqoop（SQLtoHadoop）是一个开源工具，用于在关系型数据库和Hadoop之间传输数据。
香菜的开发日记·2024-02-19 13:17

【社区投稿】Rust登陆华为鸿蒙操作系统之Native模块开发

【鸿蒙软件开发工具包】的英文全名是OpenHarmonySoftwareDevelopmentKit。正文也将以它的首字母缩写词ohsdk引用该词条。
Rust语言中文社区·2024-02-19 13:11

hadoop硬件配置 高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。500字节一个块假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小（64MB）同时副本因子为3，5000*20GB=102400000M=97T那么NameNode需要保存5千万个分块的信息，这些分块的大小加上文件系统的开销总共需要1.5GB的内存。但是一
xcagy·2024-02-19 13:07

【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解

在NodeManager中，有三种运行Container的方式，它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中，我们就能看得出来，默认情况下，一定使用的是DefaultContainerExecutor。而一般情况下，DefaultContainerExecutor也确实能够满足我
笑起来贼好看·2024-02-19 11:38

学习篇-Hadoop-YARN-环境搭建

文章目录一、Hadoop-YARN-环境搭建一、Hadoop-YARN-环境搭建官网参考：https://hadoop.apache.org/docs/stable/hadoop-project-dist
东东爱编码·2024-02-19 11:08

【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）

目录首页（Cluster）节点信息SchedulerMetrics：集群调度信息节点信息详解（Nodes）应用列表信息（applications）队列详情页（Scheduler）指标详细说明（非常重要）首页（Cluster）集群监控信息指标详解AppsSubmitted：已提交的应用AppsCompleted：已完成的应用AppsRunning：正在运行的应用ContainersRunning：正
笑起来贼好看·2024-02-19 11:08

Hadoop-Yarn-NodeManager都做了什么

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中已经简要的分析了NodeManager
隔着天花板看星星·2024-02-19 11:00

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。
BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪·2024-02-19 11:58

hadoop-2.7.4-nodemanager无法启动问题解决方案

近期新配了hadoop-274版本的集群，发现有一个小问题，DataNode无法顺利启动。
半肉哥·2024-02-19 11:27

hadoop-yarn资源分配介绍-以及推荐常用优化参数

如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为Hadoop2.x的一部分，YARN采用MapReduce中的资源管理功能并对其进行打包，以便新引擎可以使用它们。
Winhole·2024-02-19 11:26

Hadoop-Yarn-NodeManager如何计算Linux系统上的资源信息

NodeResourceMonitorImpl）时只是提了下SysInfoLinux，下面我们展开讲下SysInfoLinux是用于计算Linux系统上的资源信息的插件二、SysInfoLinux源码packageorg.apache.hadoop.util
隔着天花板看星星·2024-02-19 11:48

node命令yarn --version指向了java

问题描述本地安装了java、hadoop和nodejs，并配置了环境变量，但是hadoop的bin目录下存在yarn命令，所以使用nodejs的yarn命令启动项目会出现找不到类，此时键入yarn-version
码学弟·2024-02-19 11:43

【2024年】基于Python的电商购物商品销售情况分析系统的设计与实现

软件开发环境及开发工具：开发语言：python使用框架：Django前端技术：JavaScript、VUE.js（2.X）、css3开发工具：pycharm、VisualStudioCode、HbuildX
千里码aicood·2024-02-19 11:42

基于Python的乡村振兴平台设计与实现

软件开发环境及开发工具：开发语言：python使用框架：Django前端技术：JavaScript、VUE.js（2.X）、css3开发工具：pycharm、VisualStudioCode、HbuildX
千里码aicood·2024-02-19 11:42

企业级大数据安全架构（一）平台安全隐患

1缺乏统一的访问控制机制大数据平台由Hadoop生态体系众多组件组成，而每个组件都会提供相应的WebUI界面和RESTful接口，例如Nam
·2024-02-19 11:48

【2024年】基于Python实现的教学网站作业管理系统考试成绩设计与实现

软件开发环境及开发工具：开发语言：python使用框架：Django前端技术：JavaScript、VUE.js（2.X）、css3开发工具：pycharm、VisualStudioCode、HbuildX
java_python源码·2024-02-19 11:31

【2024届】基于Python的停车管理系统停车场设计与实现

软件开发环境及开发工具：开发语言：python使用框架：Django前端技术：JavaScript、VUE.js（2.X）、css3开发工具：pycharm、VisualStudioCode、HbuildX
java_python源码·2024-02-19 11:31

uniapp 开发一个密码管理app

很多站点在登陆的时候都要重新设置密码或者通过短信或者邮箱重新设置密码，真的很麻烦所以准备开发一个app用来记录这些站好和密码uniapp经过初步筛选，准备使用uniapp,比较简单，开发步骤注册dcloud账号下载开发工具
雄鸡三声天下白·2024-02-19 10:58

使用Thonny搭建MicroPython 开发环境，简单易用，保姆级教程

MicroPythonThonny开发环境搭建，简单易用，保姆级教程MicroPython为广大Python编程开发人员打开了通往单片机、物联网开发的大门，但是在开发工具方面却不是很给力，虽然VSCode
原子星·2024-02-19 10:25

MapReduce

MapReduce定义mapReduce是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架。
诺冰1314·2024-02-19 10:46

低代码平台+阿里云存储：让业务开发更简单，数据存储更安全

转载请注明出处：葡萄城官网，葡萄城为开发者提供专业的开发工具、解决方案和服务，赋能开发者。前言随着云计算技术的不断发展，越来越多的企业开始将业务数据存储到云端。
·2024-02-19 10:33

Hive入门，Hive是什么？

它是建立在Hadoop生态系统之上的，利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy·2024-02-19 10:31

Hive on Spark配置

pwd=66663、将Spark安装包通过xftp上传到/opt/software安装部署Spark1、解压spark-3.3.1-bin-without-hadoop.tgz进入安装包所在目录cd/opt
在下区区俗物·2024-02-15 10:51

配置hive on spark

hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改hive-site.xml文件，添加如下配置：spark.yarn.jarshdfs://hadoop
空白格2519·2024-02-15 10:51

hive on spark配置经验

常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode
小五冲冲冲·2024-02-15 10:21

毕设-基于SpringBoot西餐厅点餐系统

环境：开发工具：idea，数据库：MySQL5.7jdk1.8架构：SpringBoot，前端HTML主要功能经理：员工管理、菜谱管理、订单管理、销售管理、菜谱上菜管理、桌位管理等收银员：订单列表、交易记录
计算机毕业设计，·2024-02-15 10:47

如何设置 iPad 进行机器学习开发

如果您有iPad并想将其用作开发工具，则只需完成5个步骤即可使用。
suoge223·2024-02-15 09:33

（三十八）大数据实战——Atlas元数据管理平台的部署安装

本节内容是关于ApacheAtlas的部署安装，在开始安装Atlas之前我们需要提前安装好Atlas需要集成的组件，如hadoop、zo
厉害哥哥吖·2024-02-15 09:09

基于Vue+SpringBoot+MySQL实现个人博客系统（二）

可以使用IDEA等开发工具进行开发。1.安装Java开发环境：在电脑上安装JDK开发环境，建议使用J
诗句藏于尽头·2024-02-15 08:21

Hadoop手把手逐级搭建 第二阶段: Hadoop完全分布式(full)

前置步骤:1).第一阶段：Hadoop单机伪分布(single)0.步骤概述1).克隆4台虚拟机2).为完全分布式配置ssh免密3).将hadoop配置修改为完全分布式4).启动完全分布式集群5).在完全分布式集群上测试
郑大能·2024-02-15 04:07

Linux 下C++开发入门指南

Linux下的开发和在Windows下的开发类似，主要区别点在于操作系统不同，开发工具，开发API，编译调试方法不一样，故主要将针对这些不同点进行阐述，使在Windows开发的程序员
Xiacedar·2024-02-15 02:42

一面数据： Hadoop 迁移云上架构设计与实践

背景一面数据创立于2014年，是一家领先的数据智能解决方案提供商，通过解读来自电商平台和社交媒体渠道的海量数据，提供实时、全面的数据洞察。长期服务全球快消巨头（宝洁、联合利华、玛氏等），获得行业广泛认可。公司与阿里、京东、字节合作共建多个项目，旗下知乎数据专栏“数据冰山”拥有超30万粉丝。一面所属艾盛集团（Ascential）在伦敦证券交易所上市，在120多个国家为客户提供本地化专业服务。公司在2
JuiceFS·2024-02-15 01:48

【Linux】yum软件包管理器

目录Linux软件包管理器yum什么是软件包Linux安装软件查看软件包关于rzszLinux卸载软件查看yum源扩展yum源下载Linux开发工具vim编辑器上述vim三种模式之间的切换总结：命令模式下
lzb_kkk·2024-02-15 00:16

（免费领源码）Java#MySql#hadoop高校固定资产管理系统74965-计算机毕业设计项目选题推荐

摘要在信息飞速发展的今天，网络已成为人们重要的信息交流平台。高校部门每天都有大量的信息需要通过网络发布，为此，高校固定资产管理系统开发的必然性，所以本人开发了一个基于Tomcat（服务器）模式的高校固定资产管理系统，该系统以B/S/Java语言、MySql数据库等为开发技术，实现了添加、修改、查看、删除系统数据。本系统采取组件化的方式对系统进行拆分，并对数据库中各个表的增删查改、表与表之间的约束关
2301_3224142804·2024-02-15 00:42

计算机毕业设计springboot_vue房屋租赁系统_ku668

4.确保系统开发工具的熟练运用。
小雨cc5566ru·2024-02-14 23:24

大数据集群环境启动总结

hadoop启动与停止单个节点逐一启动在主节点上使用以下命令启动HDFSNameNode：hadoop-daemon.shstartnamenode在每个从节点上使用以下命令启动HDFSDataNode
我还不够强·2024-02-14 23:04

Hadoop-3.0.3 安装

Hadoop-3.0.3安装一下载安装包二配置Hadoop环境变量/etc/profile后面追加exportHADOOP_HOME=/data/hadoop-3.0.3exportPATH=$HADOOP_HOME
火星机遇号·2024-02-14 23:52
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他