研磨hadoop

分享2024年第一期！全国高校大数据与人工智能师资研修班

全国高校大数据与人工智能师资研修班2024年第一期上海线下班：数据采集与机器学习实战广州线下班：大数据技术应用实战（Hadoop+Spark）线上班（十一大专题）PyTorch深度学习与大模型应用实战数据采集与处理实战大数据分析与机器学习实战大数据技术应用实战
泰迪智能科技·2023-12-06 03:22

数据仓库安全框架Sentry调研

CDH版本的Hadoop在对数据安全上的处理通常采用Kerberos+Sentry的结构。其中，Kerberos主要负责平台用户的权限管理，Sentry则负责数据的权限管理。
大数据faner·2023-12-06 02:47

sqoop将hive中的数据导入MySQL不能正常显示中文——已解决

结果查看问题：在做练习利用sqoop工具将hive中的表导入到MySQL之后，在MySQL查看中文部分不能正常显示输入sqoop执行语句sqoopexport-connect"jdbc:mysql://HadoopMaster
小-枝-丫·2023-12-06 02:54

ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet

目录一、问题背景二、解决办法一、问题背景在启动hbaseshell脚本，输入list查看表的时候出现如下错误ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException
小-枝-丫·2023-12-06 02:53

hadoop伪分布模式搭建(详细步骤）

一、前期准备1.关闭防火墙2.安装好JDK3.准备hadoop安装包二、安装hadoop伪分布模式1.在home/hadoop/software/路径下创建hadooptmp目录2.解压hadoop-3.3.0
小-枝-丫·2023-12-06 02:23

看懂lscpu的输出

[hadoop@server3~]$lscpuArchitecture:x86_64CPUop-mode(s):32-bit,
randy.lou·2023-12-06 00:29

当发送“Hello，World”时，channel发生了什么？

Cassandra-nosql数据库Spark-大数据分布式计算框架Hadoop-大数据
仙草不加料·2023-12-05 22:53

Flink快速入门

1、大数据处理框架发展史大数据-3v-tpezy-分而治之批处理流处理-微信运动、信用卡月度账单、国家季度GDP增速MPI-节点间数据通信-c和pythonMR-2004谷歌提出的编程范式-hadoop
WaiSaa·2023-12-05 21:30

【Windows下】Eclipse 尝试 Mapreduce 编程

文章目录配置环境环境准备连接Hadoop查看hadoop文件导入Hadoop包创建MapReduce项目测试Mapreduce编程代码注意事项常见报错配置环境环境准备本次实验使用的Hadoop为2.7.7
撕得失败的标签·2023-12-05 19:59

Java大数据开发入门教程：使用Hadoop处理海量数据

在大数据领域，Hadoop作为一个开源的分布式计算框架，被广泛应用于海量数据的存储和处理。本文将为大家介绍Java大数据开发的基本概念和Hadoop的使用方法，帮助读者入门大数据开发。
C红毛丹·2023-12-05 19:29

Hadoop 概述

文章目录Hadoop概述Hadoop是什么Hadoop主要发展历程Hadoop优势Hadoop组成Hadoop1.x、2.x、3.x区别HDFS概述YARN概述MapReduce架构概述HDFS、YARN
撕得失败的标签·2023-12-05 19:59

hadoop 常用命令

启动Hadoop进入HADOOP_HOME目录。
零点145·2023-12-05 18:27

3月23日简短的努力的早安说说正能量，每日早安语录

若干年后，你就会发现，真正的成长，是一场去粗取精的展览，把看懂的、看透的埋藏，在人生巨大的加工厂里，研磨出的一切才叫阅
早安心语句子正能量语录·2023-12-05 17:48

ssh问题

我想安装Hadoop，之前要安装ssh。
mjiansun·2023-12-05 16:51

大数据集群配置-HA（hadoop高可用）

hadoopHA配置软件名称软件包名Zookeeperzookeeper-3.4.8.tar.gzhiveapache-hive-2.0.0-src.tar.gzjdkjdk-8u65-linux-x64
厨 神·2023-12-05 16:20

第二章 Flink 环境部署

它集成了所有常见的集群资源管理器，例如HadoopYARN，但也可以设置作为独立集群运行。Flink运行
CDHong.it·2023-12-05 14:11

jdk和tomcat安装

下3配置环境变量4如果运行级别是3那么logout注销后就起作用如果运行级别是5那么必须点击用户点击注销5.在任何目录下都能使用java和javac6.测试是否安装成功1）创建java文件[root@hadoop1
pretty_rain·2023-12-05 12:34

头哥实践平台----HBase 开发：使用Java操作HBase

一.第1关：创建表1.先写命令行start-dfs.shstart-hbase.shhadoopfs-ls/hbase(可有可无)2.再写代码文件packagestep1;importjava.io.IOException
不想做程序猿的员·2023-12-05 11:06

Apache Spark

ApacheSpark是一个快速、可扩展、开源的大数据处理框架，采用内存计算，具有比HadoopMapReduce更高的性能和更好的扩展性。
m0_64180190·2023-12-05 10:24

Hadoop入门---简单介绍

一.分布式和集群分布式：多台服务器协同配合完成同一个大任务(每个服务器都只完成大任务拆分出来的单独1个子任务)，可以提高工作效率，但是当其中一台服务器无法运行时，该子任务无法完成，就会导致大任务也无法完成。集群：多台服务器联合起来独立做相同的任务(多个服务器分担客户端发来的请求)。当只有一个任务时，如果正在运行的服务器出现故障，剩下的服务器可以顶上运行任务，保证任务的持续性；如果有多个相同的任务，
Yan_bigdata·2023-12-05 10:13

hive数据库查看参数/hive查看当前环境配置

如果没有-v参数，只显示与hadoop不同的配置。set具体参数：返回具体参数对应
五月天的尾巴·2023-12-05 10:13

Apache Sqoop使用

1.Sqoop介绍ApacheSqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。
高过蓝天的云·2023-12-05 10:41

Hadoop大数据集群搭建（超详细）

使用了几个学期的实验手册，应该没有啥大问题了，现在分享给大家，希望对你学习hadoop有用实验环境：Vmwareworkstation+CentOS7+Hadoop3.1.3目录第一步：安装虚拟机第二步
小飞飞V5·2023-12-05 08:49

Ubuntu下搭建Hadoop分布式集群

应课程要求，这学期学习到了云计算与大数据，这次实验就是让我们在ubuntu中配置好hadoop分布式集群，这两天就从网上一边搜寻教程并结合课本（课本上是使用的centos，而且版本较老，不太适用）一边自己动手做
夜雨声烦ikkk·2023-12-05 08:19

Hadoop 安装与配置

创建虚拟机这里需要下载ubuntu操作系统创建一个hadoop用户，并使用/bin/bash作为shell虚拟机打开成功后，打开终端Terminal，开始创建hadoop用户sudouseradd-mhadoop-s
丶流年·2023-12-05 08:18

大数据Hadoop集群的启动

目录1启动准备工作1.1配置操作系统的环境变量1.2创建Hadoop数据目录1.3格式化文件系统1.4启动和关闭Hadoop1.5验证Hadoop是否成功启动1.6hadoop-daemon.sh的使用
赵广陆·2023-12-05 08:13

Hadoop

1.请简要介绍一下Hadoop生态系统。
编织幻境的妖·2023-12-05 08:41

1-Hadoop原理与技术

单选题题目1：安装Hadoop集群时，是在哪个文件指定哪些机器作为集群的从机？
阿伊同学·2023-12-05 06:06

Hadoop三大组件之Yarn

文章目录1.概述2.YARN基础架构3.辅助角色3.1Web应用代理(WebApplicationProxy)3.2JobHistoryServer历史服务器1.概述什么是资源调度？为什么需要资源调度？资源，即服务器的硬件资源，如：CPU、内存、网络等；资源调度是为了管控服务器的硬件资源，提供更好的利用率；分布式资源调度是管控这个分布式服务器集群的全部资源，整合进行统一的调度在分布式系统中，会有很
不忘初欣丶·2023-12-05 06:05

hadoop之yarn

简介一、YARN是一个通用资源管理系统和调度平台，为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。1、通用指不仅支持mr程序，也支持其它计算程序2、资源管理包括集群的硬件资源、cpu、内存等3、调度平台指多个程序同时执行时如何分配计算资源，调度的规则（算法）二、YARN类似一个分布式的操作系统平台，为MapReduce等计算程序提供运行所需的内存、CPU等资源。三、yarn在hadoo
测试开发知识积累·2023-12-05 06:33

Hadoop之YARN详解

Hadoop是一个开源的分布式计算框架，它的核心是HDFS和MapReduce。然而，随着Hadoop的发展，它的计算框架也在不断地演进。
蓝胖子的宝贝·2023-12-05 06:33

Apache Hadoop YARN

YARN的概述ApacheYarn（YetAnotherResourceNegotiator的缩写）是hadoop集群资源管理器系统，Yarn从hadoop2引入，最初是为了改善MapReduce的实现
麦迪康·2023-12-05 06:03

Hadoop Yarn详解

一、Yarn简介Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。
m0_67392661·2023-12-05 06:03

Hadoop系列 (四)：Yarn详细介绍

文章目录Hadoop系列文章Yarn简介Yarn基本架构Yarn组件介绍ResourceManagerNodeManagerApplicationMasterContainerYarn运行原理Yarn-HA
EricRae·2023-12-05 06:32

Hadoop Yarn RPC远程命令执行

影响范围HadoopYarnRPC漏洞类型远程命令执行利用条件可未授权访问漏洞概述2021年11月15日，有安全研究人员披露HadoopYarnRPC存在未授权访问漏洞，此漏洞存在于Hadoop的核心组件
FLy_鹏程万里·2023-12-05 06:32

Hadoop组件之Yarn

文章目录Yarn简介Yarn产生的原因Yarn架构ResourceManagerApplicationMasterNodeManagerContainerYarn工作流程分析作业提交作业初始化任务分配任务运行进度和状态更新作业完成Yarn中的资源调度器先进先出调度器（FIFO）容量调度器（CapacityScheduler）公平调度器（FairScheduler）Yarn任务的推测执行机制启用推测
iceburg-blogs·2023-12-05 06:32

10-Hadoop组件开发技术

选项:AHadoopHA即集群中包含SecondaryNameNode作为备份节点存在。
阿伊同学·2023-12-05 06:01

Hadoop

1.请简要介绍一下Hadoop的基本架构和组件。Hadoop是一个由Apache基金会开发的分布式系统基础架构，它可以充分利用集群的威力进行高速运算和存储。
编织幻境的妖·2023-12-05 06:31

Hadoop YARN组件

YARN，也被称为"YetAnotherResourceNegotiator"，是ApacheHadoopYARN，也被称为"YetAnotherResourceNegotiator"，是ApacheHadoop
编织幻境的妖·2023-12-05 06:31

Hadoop的介绍与安装

1Hadoop的简介Hadoop是一个开源的大数据框架，是一个分布式计算的解决方案。
憨憨小白·2023-12-05 06:30

二百零九、Hive——with嵌套语句报错：hadoop.hive.ql.parse.SemanticException: Line 2:5 Ambiguous table alias ‘t2‘

一、目的在Hive的with嵌套语句时，HQL报错Line2:5Ambiguoustablealias't2'二、报错详情org.apache.hadoop.hive.ql.parse.SemanticException
天地风雷水火山泽·2023-12-05 06:22

Hadoop实验putty文件

博客主页：A_SHOWY系列专栏：力扣刷题总结录数据结构云计算数字图像处理很多朋友反馈做hadoop实验中的putty找不到Connection-SSH-Auth路径下找不到Privatekeyforauthentication
A_SHOWY·2023-12-05 06:46

启动 AWS Academy Learner Lab【教学】（Hadoop实验）

博客主页：A_SHOWY系列专栏：力扣刷题总结录数据结构云计算第一部分创建实例过程首先，需要创建3台EC2，一台作主节点(masternode)，两台作从节点(slavesnode)。1.镜像选择EC2（弹性计算云）：是AWS提供的最基本的云计算产品：虚拟专用服务器。这些“实例”可以运行大多数操作系统。2.选择实例类型实例类型这里我选择的t2.medium,虽然选择t2.micro或者t2.sma
A_SHOWY·2023-12-05 05:36

Flink入门之部署（二）

三种部署模式standalone集群，会话模式部署：先启动flink集群webUI提交shell命令提交：bin/flinkrun-d-mhadoop102:8081-ccom.atguigu.flink.deployment.Flinke1
十七✧ᐦ̤·2023-12-05 04:47

一个大数据架构师应该掌握的技能

专业工具平台海致BDP永洪易观4）APP分析平台mixpanelgrowingIO神策诸葛IO2.技术选型1）CDH2）HDP+HDF3）MAPR4）Transwarp3.平台架构1）HDPCore(平台核心也是Hadoopcore
潘永青·2023-12-05 02:13

Flume+Kafka双剑合璧玩转大数据平台日志采集

一般而言，这些系统需要具有以下特征：构建应用系统和分析系统的桥梁，并将它们之间的关联解耦支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统具有高可扩展性。
浪尖聊大数据-浪尖·2023-12-05 02:12

大数据开发：Hive on Spark设计原则及架构

在Spark越来越受到主流市场青睐的大背景下，Hive作为Hadoop生态当中的数仓组件工具，在于Spark生态的配合当中，开始有了HiveonSpark的思路，那么具体是怎么实现的呢？
成都加米谷大数据·2023-12-05 01:44

从 MapReduce 的运行机制看它为什么比 Spark 慢

在Hadoop1中，MapReduce计算框架即负责集群资源的调度，还负责MapReduce程序的运行。一，MapReduce组成MapReduce的运行过程有三个关键进程：1，大数据应用进程。
stone_zhu·2023-12-05 00:36

西安教师研习营学习感受

开营仪式确立组名小组亮相图片发自App徐世赟老师讲授统编教材精简统编教材任务小组研磨图画书教学范例图画书课程内容图画书系列推荐图画书课型分类《脑袋上的池塘》展示课杨校长谈图画书《吉屋出租》日有所诵教学范例日有所诵基本教学过程日有所诵研究方向小组研磨
周甜老师·2023-12-04 23:17

HDFS运维问题

zhuanlan.zhihu.com/p/1704789651这次我吐血整理了一些在维护hdfs工作中遇到的问题，有的是血的教训，有的是花了不少功夫定位，也有的是一些知识点或者技巧，其中有两个补丁已经合并到apachehadoop
专职掏大粪·2023-12-04 23:50
上一页 39 40 41 42 43 44 45 46 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他