hadoop开发运维

hadoop3.3完全分布式（最简）

环境准备3台CentOS7（本例使用VMware替代）jdk8Hadoop3.3虚拟机基础准备网络适配器选用NAT模式（针对VMware）设置静态IP，对应关系如下名称地址hadoop01192.168.138.201hadoop02192.168.138.202hadoop03192.168.138.203
qq_44770531·2023-12-16 17:34

Zookeeper特性与节点数据类型

1.什么是Zookeeper它是一个分布式协调框架，是ApacheHadoop的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等
逍遥白亦·2023-12-16 16:14

ssh: Could not resolve hostname node: Name or service not known

搭建Hadoop完全分布式的实现免密登录未找到主机其他两台确可以最后发现是/etc/hosts文件忘记配置主机IP映射了然后就可以自由登录了微信搜索公众号“大数据花院”可以复制题目发送查题哦
禾火r·2023-12-16 16:47

JDK21+HADOOP3.2.2+Windows安装步骤

哈哈哈最近转战大数据这块了，分享一下hadoop3.2.2的安装步骤借鉴了不少大佬的文章，如有雷同，都是大佬们的1.JDK安装我选择的是JDK21以下是下载网址和截图，这个没有太多的，一般下载最新的就可以
倩雯Memory·2023-12-16 15:36

Sqoop基础理论与常用命令详解（超详细）

文章目录前言一、Sqoop概述1.Sqoop简介2.Sqoop架构(1)SqoopClient(2)SqoopServer(3)Connector(4)Metastore(5)Hadoop/HDFS3.
大数据魔法师·2023-12-16 15:57

《PySpark大数据分析实战》-10.独立集群模式的代码运行

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:49

《PySpark大数据分析实战》-08.宽窄依赖和阶段划分

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:19

《PySpark大数据分析实战》-09.Spark独立集群安装

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:49

《PySpark大数据分析实战》-05.PySpark库介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:05

Mapreduce小试牛刀(1)

1.与hdfs一样，mapreduce基于hadoop框架，所以我们首先要启动hadoop服务器-----------------------------------------------------
printcsr·2023-12-16 12:51

Mapreduce小试牛刀(2)--java api

1.同hdfs的javaapi,我们首先要在IDE中建立一个maven项目pom.xml中配置如下：org.apache.hadoophadoop-mapreduce-client-common3.3.4org.apache.hadoophadoop-mapreduce-client-jobclient3.3.4org.apache.hadoophadoop-client3.3.4org.slf4
printcsr·2023-12-16 12:51

Hdfs java API

1.在主机上启动hadoopsbin/start-all.sh这里有一个小窍门，可以在本机上打开8088端口查看三台机器的连接状态，以及可以打开50070端口，查看hdfs文件状况。
printcsr·2023-12-16 12:21

hadoop-yarn简介及常用命令详解（超详细）

文章目录前言一、YARN概述1.YARN简介2.YARN架构(1)ResourceManager（资源管理器）(2)NodeManager（节点管理器）(3)ApplicationMaster（应用程序管理器）3.YARN特点(1)分布式资源管理(2)多框架支持(3)灵活的资源调度(4)高可靠性和容错性(5)可扩展性(6)安全性二、YARN命令介绍1.YARN命令简介2.yarnapplicati
大数据魔法师·2023-12-16 12:46

hadoop3.3.4安装及启动

1.虚拟机的安装此处我选择的是VMware,激活码可以百度搜索，安装过程比较缓慢，需要耐心等待---------------------------------------------------------------------------------------------------------------------------------2.创建新的虚拟机点击创建虚拟机，如果已经创建，
printcsr·2023-12-16 12:45

kafka常用命令

/bin/kafka-console-producer.sh--broker-listdn02.hadoop.cn:6667,dn03.hadoop.cn:6667,dn04.hadoop.cn:6667
wind_103·2023-12-16 12:23

ElasticSearch与HBase的分布式存储设计

本文内容覆盖如今两大非结构化数据库之间的区别详情介绍从各个角度详细对比1.官方定位HBase是Hadoop数据库，是一个分布式、可扩展的大数据存储。
不学会Ⅳ·2023-12-16 09:32

Hive建表语句

CREATEDATABASEIFNOTexistsmyhivebook2COMMENT'数据库测试';--创建数据库并指定路径CREATEDATABASEIFNOTexistsmyhivebook3LOCATION'/hadoop
xinxinyydss·2023-12-16 08:58

Kafka快速实战与基本原理详解

Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop
Memory_2020·2023-12-16 06:08

华为大数据开发者教程知识点提纲

一、线下处理1.离线处理方案数据支持：HDFS调度：YARN收入：Flume，sqoop，loader处理：Mapreduce，SparkSql，spark，hive（，Flink）2.HadoopNamenode
qq_1418269732·2023-12-16 06:08

初识大数据应用，一文掌握大数据知识文集(1)

06、请列出正常工作的hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？07、KafkaUtils.cr
普修罗双战士·2023-12-16 06:22

ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: java.lang.RuntimeExcepti...

CONVERT_TO_NULL','EXCEPTION'or'ROUND'.Thevalue'convertToNull'isnotacceptable.解决:--connectjdbc:mysql://hadoop00
weixin_30695195·2023-12-16 05:47

使用sqoop操作HDFS与MySQL之间的数据互传

一，数据从HDFS中导出至MySQL中1）开启Hadoop、mysql进程start-all.sh/etc/init.d/mysqldstart/etc/init.d/mysqldstatus2）将学生数据
冬瓜的编程笔记·2023-12-16 05:44

Win10 IDEA连接虚拟机中的Hadoop集群（进来保你成）

目录引言：环境：前提：实现:测试结语：问题引言：分布式课程要求使用IDE（IDEA、Eclipse）来编写程序直接对Hadoop集群进行文件操作，目前关于IDEA连接Hadoop集群的教程，良莠不齐，根据多个教程完成了
小小小秃头·2023-12-16 05:24

【Hadoop-Cos】存储对象Cos通过Java-SDK获取目录结构

com.qcloudcos_api5.6.133packagegaei.cn.x5l.x5lhive2cos.utils;importcom.qcloud.cos.COSClient;importcom.qcloud.cos.ClientConfig;importcom.qcloud.cos.auth.BasicCOSCredentials;importcom.qcloud.cos.auth.CO
bmyyyyyy·2023-12-16 05:45

【Hadoop-Distcp】通过Distcp的方式进行两个HDFS集群间的数据迁移

【Hadoop-Distcp】通过Distcp的方式进行两个HDFS集群间的数据迁移1）Distcp工具简介及参数说明2）Shell脚本1）Distcp工具简介及参数说明【Hadoop-Distcp】工具简介及参数说明
bmyyyyyy·2023-12-16 05:45

【Hadoop-Yarn】Yarn的常用命令

【Hadoop-Yarn】Yarn的常用命令1）查看任务列表2）杀死任务3）查看日志4）根据Application状态过滤任务5）查询Container日志6）查看尝试运行的任务7）yarncontainer
bmyyyyyy·2023-12-16 05:15

【Hadoop-CosDistcp-Distcp】通过命令方式将Cos中的数据迁移至HDFS，再将HDFS数据迁移至S3

【Hadoop-CosDistcp-Distcp】通过命令方式将Cos中的数据迁移至HDFS，再将HDFS数据迁移至S31）Shell脚本2）参数说明1）Shell脚本注意：此Shell脚本内置了按照sample_date
bmyyyyyy·2023-12-16 05:15

【Hadoop-Distcp】工具简介及参数说明

【Hadoop-Distcp】工具简介及参数说明1）概述2）适合的场景及其有点3）参数说明1）概述Distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。
bmyyyyyy·2023-12-16 05:15

【Hadoop-Distcp】通过Distcp的方式迁移Hive中的数据至存储对象

【Hadoop-Distcp】通过Distcp的方式迁移Hive中的数据至存储对象1）了解Distcp1.1.Distcp的应用场景1.2.Distcp的底层原理2）使用Distcp4）S3可视化App
bmyyyyyy·2023-12-16 05:14

【Hadoop-OBS-Hive】利用华为云存储对象 OBS 作为两个集群的中间栈 load 文件到 Hive

【Hadoop-OBS-Hive】利用华为云存储对象OBS作为两个集群的中间栈load文件到Hive1）压缩文件2）上传文件到OBS存储对象3）crontab定时压缩上传4）从obs上拉取下来文件后解压缩
bmyyyyyy·2023-12-16 04:04

Spark编程实验一：Spark和Hadoop的安装使用

一、目的与要求1、掌握在Linux虚拟机中安装Hadoop和Spark的方法；2、熟悉HDFS的基本使用方法；3、掌握使用Spark访问本地文件和HDFS文件的方法。
Francek Chen·2023-12-16 04:32

启动YARN并运行MapReduce程序

之前已经搭建好了Hadoop集群，接下来在集群上启动YARN。
Manfestain·2023-12-16 03:38

Python开发运维：Python项目发布到K8S集群

目录一、实验1.Python项目发布到K8S集群一、实验1.Python项目发布到K8S集群（1）获取应用程序代码#把hello-python.tar.gz压缩包上传到k8s控制节点master1的root下，手动解压tarzxvfhello-python.tar.gz（2）切换目录#requirements.txt文件包含main.py所需的包列表，pip将使用它来安装Flask库。cd/roo
cronaldo91·2023-12-16 03:55

FinallShell连接Ubuntu报错：java.net.ConnectException: Connection refused: connect 无法连接

服务的问题：#安装OpenSSH服务器和客户端sudoaptinstallopenssh-serveropenssh-client-y一定一定确保安装了上述ssh服务，可通过以下命令检查并对应返回值应该如下：hadoop
m0_73815626·2023-12-16 03:13

十六、YARN和MapReduce配置

1、部署前提（1）配置前提已经配置好Hadoop集群。
弦之森·2023-12-16 01:55

基于Hadoop平台的音乐推荐系统的设计与实现

收藏关注不迷路文章目录摘要一、相关技术和基本理论2.1相关技术2.1.1Hadoop集群2.1.2SpringBoot框架2.1.3Vue框架2.2开发环境和技术框架2.2.1技术框架2.2.2开发环境
QQ2743785109·2023-12-16 01:36

基于Hadoop毕业生就业择业数据分析的设计与实现

收藏关注不迷路文章目录摘要一、需求分析二、系统设计4.1系统总体功能设计三、系统实现四、结论摘要  本系统结合计算机系统的结构、概念、模型、原理、方法，在计算机各种优势的情况下，采用JAVA语言，结合SpringBoot框架与Vue框架以及MYSQL数据库设计并实现的。本毕业生就业择业数据分析主要包括系统生源质量指数管理、年份管理、学院管理、生源质量指数、就业率指数、就业状态指数等多个模块。它帮助
QQ2743785109·2023-12-16 01:36

基于Hadoop的视频日志分析系统设计与实现

视频日志的收集和存储模2.1.2视频日志的处理模块2.1.3用户行为分析模块2.1.4用户行为分析模块2.2数据收集二、实验结果分析3.1数据采集3.2数据存储三、系统实现四、结论摘要  本文设计并实现了一种基于Hadoop
QQ2743785109·2023-12-16 01:36

单节点hadoop搭建

下载Hadoop-bin.*.tar.gz解压文件，配置HADOOP_HOME编辑文件etc/hadoop/hadoop-env.sh配置JAVA_HOME配置etc/hadoop/core-site.xml
曾阿伦·2023-12-16 00:04

flink yarn-session 启动失败retrying connect to server 0.0.0.0/0.0.0.0:8032

yarn-session.sh，会向resourcemanager的端口8032发起请求：但是一直无法请求到8032端口，触发重试机制会不断尝试备注：此问题出现时，我的环境ambari部署的HA高可用hadoop
dogplays·2023-12-16 00:01

hue的安装和hadoop集群整合

一、Hue概述HUE（HadoopUserExperience）是一个开源的ApacheHadoopUI系统，由ClouderaDesktop演化而来，最后Cloudera公司将其贡献给Apache基金会的
五块兰州拉面·2023-12-16 00:15

Hue安装部署

1Hue简介1.1Hue介绍Hue是一个开源的ApacheHadoopUI系统，最早是由ClouderaDesktop演化而来，由Cloudera贡献给开源社区，它是基于PythonWeb框架Django
chenlouzhen1603·2023-12-16 00:43

Spark+Kafka构建实时分析Dashboard案例

目录一、环境准备Ubuntu安装Hadoop安装Spark安装Kafka安装Python安装Python依赖库安装vscode安装Python工程目录结构二、数据处理和Python操作Kafka数据集数据预处理运行三
Hay Ha!·2023-12-15 22:40

kafka学习笔记--安装部署、简单操作

教程（从入门到调优，深入全面）文章目录1安装部署1.1集群规划1.2集群部署2命令行操作2.1主题2.2生产者2.3消费者2.4消费者组1安装部署1.1集群规划这里采用的是三节点的kafka集群，名称为hadoop
向着百万年薪努力的小赵·2023-12-15 22:54

大数据学习（一）-------- HDFS

已经有了很多框架方便使用，常用的有hadoop，storm，spark，flink等，辅助框架hive，kafka，es，sqoop，flume等。常见应用推荐系统，用户画像等。
大数据流动·2023-12-15 21:01

Hadoop在mac上的安装与配置

brewcaskinstallhomebrew/cask-versions/adoptopenjdk8安装指导，指导里面把java换成8：https://medium.com/beeranddiapers/installing-hadoop-on-mac-a9a3649dbc4d
大红豆小薏米·2023-12-15 20:45

Hadoop和Spark的区别

Hadoop表达能力有限。磁盘IO开销大，延迟度高。任务和任务之间的衔接涉及IO开销。前一个任务完成之前其他任务无法完成，难以胜任复杂、多阶段的计算任务。
旅僧·2023-12-15 20:12

kmeans设置中心_Spark分布式机器学习源码分析：Kmeans族聚类

本文采用的组件版本为：Ubuntu19.10、Jdk1.8.0_241、Scala2.11.12、Hadoop3.2.1、Spark2.4.5，老规矩先开启一系列Hadoop、Spark服务与Spa
weixin_39699121·2023-12-15 19:27

Windows平台搭建Spark开发环境（Intellij idea 2020.1社区版+Maven 3.6.3+Scala 2.11.8）

在开始之前，需要说明的是要跑通基本的wordcount程序，是不需要在windows上安装hadoop和spark的，因为idea在跑程序的时候，会按照pom.xml配置文件，从指定的repository
阳泉酒家小当家·2023-12-15 19:56

Spark 随机森林算法原理、源码分析及案例实战

与其它大数据处理工具的活跃程度比较回页首环境要求操作系统：Linux，本文采用的Ubuntu10.04，大家可以根据自己的喜好使用自己擅长的Linux发行版Java与Scala版本：Scala2.10.4，Java1.7Spark集群环境（3台）：Hadoop2.4.1
黑谷子·2023-12-15 19:51
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他