细细品味Hadoop

Spark 环境安装

Spark环境安装一、准备工作1、hadoop成功安装2、防火墙关闭二、解压安装1、上传spark安装包到/opt/soft目录，进入该目录下，执行如下命令：tar-zxvfspark-2.1.1-bin-hadoop2.7
会java的怪蜀黍·2023-12-06 07:35

HBase 伪分布式集群模式安装md

HBase伪分布式集群模式安装（Pseudo-Distributed）1.解压hadoop到/usr/local/src路径下，改名为hbasetar-zxvf/opt/soft/hbase…tar.gz-C
会java的怪蜀黍·2023-12-06 07:52

Dropwizard-metric的使用

背景近期在开发中用到了dropwizard-metric作为监控metric的埋点框架，由于是分布式的系统，前期曾经对比过hadoop-metric的实现和dropwizard-metric的实现，因为开发的项目后续会和
想做一个offer收割机·2023-12-06 06:21

IDEA连接Redis注意事项

禁用Linux防火墙[atguigu@hadoop102~]$sudosystemctlstopfirewalld[atguigu@hadoop102~]$sudosystemctldisablefirewalld
curtime·2023-12-06 06:20

Hadoop高可用(主备切换)---配合Zookeeper

1.Hadoop高可用(HadoopHighAvailability)概述HA(HighAvailable),高可用，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，分为活动节点（Active
Yan_bigdata·2023-12-06 06:16

ZooKeeper常见面试题

1、Zookeeper是什么框架分布式的、开源的分布式应用程序协调服务，原本是Hadoop、HBase的一个重要组件。
辰辰·2023-12-06 06:40

【Python笔记】Parquet介绍及简单使用

1什么是parquet定义：Parquet是列式存储的一种文件类型官网描述：无论数据处理框架，数据模型或编程语言的选择如何，ApacheParquet都是Hadoop生态系统中任何项目可用的列式存储格式由来
阳光快乐普信男·2023-12-06 06:55

比较 Apache Hive 和 Spark

Hive是一个运行在Hadoop分布式文件系统上
vvoennvv·2023-12-06 06:50

Ambari hdp Spark多版本并存

本示例基于ambarihdp-2.6.0.3（spark2.1.0），集成spark2.2.2，其他的版本思路类似（spark2.3经测试也是没问题的）下载spark-2.2.2-bin-hadoop2.7
Respect123·2023-12-06 05:20

【读书笔记】《大数据技术体系详解：原理、架构与实践》03.分布式文件系统

这些文件形式的数据具有价值高、数据大、流式产生等特点，需要一个分布式文件系统存储它们，该文件系统应具有良好的容错性、扩展性和易用的API，而HDFS（HadoopDistributedFileSystem
粥一样温柔·2023-12-06 05:40

大数据各个工具随笔

#基本配置```shell#目录结构：bin：二进制的客户端命令etc：存放配置文件etc/conflib：存放jar包的目录sbin：存放管理类的脚本启动服务share：hadoop所有的jar包#查看主机名
weixin_30710457·2023-12-06 03:01

分享2024年第一期！全国高校大数据与人工智能师资研修班

全国高校大数据与人工智能师资研修班2024年第一期上海线下班：数据采集与机器学习实战广州线下班：大数据技术应用实战（Hadoop+Spark）线上班（十一大专题）PyTorch深度学习与大模型应用实战数据采集与处理实战大数据分析与机器学习实战大数据技术应用实战
泰迪智能科技·2023-12-06 03:22

数据仓库安全框架Sentry调研

CDH版本的Hadoop在对数据安全上的处理通常采用Kerberos+Sentry的结构。其中，Kerberos主要负责平台用户的权限管理，Sentry则负责数据的权限管理。
大数据faner·2023-12-06 02:47

sqoop将hive中的数据导入MySQL不能正常显示中文——已解决

结果查看问题：在做练习利用sqoop工具将hive中的表导入到MySQL之后，在MySQL查看中文部分不能正常显示输入sqoop执行语句sqoopexport-connect"jdbc:mysql://HadoopMaster
小-枝-丫·2023-12-06 02:54

ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet

目录一、问题背景二、解决办法一、问题背景在启动hbaseshell脚本，输入list查看表的时候出现如下错误ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException
小-枝-丫·2023-12-06 02:53

hadoop伪分布模式搭建(详细步骤）

一、前期准备1.关闭防火墙2.安装好JDK3.准备hadoop安装包二、安装hadoop伪分布模式1.在home/hadoop/software/路径下创建hadooptmp目录2.解压hadoop-3.3.0
小-枝-丫·2023-12-06 02:23

阅读的方法：读书笔记四

第四部分极致的体验读书能给人很多独特的滋味，让人细细品味。这部分从“情感”“趣味”“快意”“苦痛”“角色”“文心”六个方面来感受书的魅力。
依阳001·2023-12-06 00:21

看懂lscpu的输出

[hadoop@server3~]$lscpuArchitecture:x86_64CPUop-mode(s):32-bit,
randy.lou·2023-12-06 00:29

当发送“Hello，World”时，channel发生了什么？

Cassandra-nosql数据库Spark-大数据分布式计算框架Hadoop-大数据
仙草不加料·2023-12-05 22:53

Flink快速入门

1、大数据处理框架发展史大数据-3v-tpezy-分而治之批处理流处理-微信运动、信用卡月度账单、国家季度GDP增速MPI-节点间数据通信-c和pythonMR-2004谷歌提出的编程范式-hadoop
WaiSaa·2023-12-05 21:30

【Windows下】Eclipse 尝试 Mapreduce 编程

文章目录配置环境环境准备连接Hadoop查看hadoop文件导入Hadoop包创建MapReduce项目测试Mapreduce编程代码注意事项常见报错配置环境环境准备本次实验使用的Hadoop为2.7.7
撕得失败的标签·2023-12-05 19:59

Java大数据开发入门教程：使用Hadoop处理海量数据

在大数据领域，Hadoop作为一个开源的分布式计算框架，被广泛应用于海量数据的存储和处理。本文将为大家介绍Java大数据开发的基本概念和Hadoop的使用方法，帮助读者入门大数据开发。
C红毛丹·2023-12-05 19:29

Hadoop 概述

文章目录Hadoop概述Hadoop是什么Hadoop主要发展历程Hadoop优势Hadoop组成Hadoop1.x、2.x、3.x区别HDFS概述YARN概述MapReduce架构概述HDFS、YARN
撕得失败的标签·2023-12-05 19:59

hadoop 常用命令

启动Hadoop进入HADOOP_HOME目录。
零点145·2023-12-05 18:27

ssh问题

我想安装Hadoop，之前要安装ssh。
mjiansun·2023-12-05 16:51

大数据集群配置-HA（hadoop高可用）

hadoopHA配置软件名称软件包名Zookeeperzookeeper-3.4.8.tar.gzhiveapache-hive-2.0.0-src.tar.gzjdkjdk-8u65-linux-x64
厨 神·2023-12-05 16:20

代码随想录Day9|字符串2|KMP算法

KMP算法两个步骤计算next数组前缀表–最长相等前后缀细细品味字符串：aabaabaabaab对应的prefix：[0,1,0,1,2,3,4,5,6,7,8,9]根据next数组进行匹配prefix
OctoberTE·2023-12-05 15:05

第二章 Flink 环境部署

它集成了所有常见的集群资源管理器，例如HadoopYARN，但也可以设置作为独立集群运行。Flink运行
CDHong.it·2023-12-05 14:11

《纳瓦尔宝典》摘抄和感悟

《纳瓦尔宝典》书封面本书的书名容易让人误以为是传统的鸡汤成功学，但读下来会感觉这是作者用其思维高度总结的一些经典原则和哲理，值得细细品味。纳瓦尔的经历不多赘述，百度一下即可了解。
二十页·2023-12-05 13:34

jdk和tomcat安装

下3配置环境变量4如果运行级别是3那么logout注销后就起作用如果运行级别是5那么必须点击用户点击注销5.在任何目录下都能使用java和javac6.测试是否安装成功1）创建java文件[root@hadoop1
pretty_rain·2023-12-05 12:34

头哥实践平台----HBase 开发：使用Java操作HBase

一.第1关：创建表1.先写命令行start-dfs.shstart-hbase.shhadoopfs-ls/hbase(可有可无)2.再写代码文件packagestep1;importjava.io.IOException
不想做程序猿的员·2023-12-05 11:06

Apache Spark

ApacheSpark是一个快速、可扩展、开源的大数据处理框架，采用内存计算，具有比HadoopMapReduce更高的性能和更好的扩展性。
m0_64180190·2023-12-05 10:24

Hadoop入门---简单介绍

一.分布式和集群分布式：多台服务器协同配合完成同一个大任务(每个服务器都只完成大任务拆分出来的单独1个子任务)，可以提高工作效率，但是当其中一台服务器无法运行时，该子任务无法完成，就会导致大任务也无法完成。集群：多台服务器联合起来独立做相同的任务(多个服务器分担客户端发来的请求)。当只有一个任务时，如果正在运行的服务器出现故障，剩下的服务器可以顶上运行任务，保证任务的持续性；如果有多个相同的任务，
Yan_bigdata·2023-12-05 10:13

hive数据库查看参数/hive查看当前环境配置

如果没有-v参数，只显示与hadoop不同的配置。set具体参数：返回具体参数对应
五月天的尾巴·2023-12-05 10:13

Apache Sqoop使用

1.Sqoop介绍ApacheSqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。
高过蓝天的云·2023-12-05 10:41

点赞之交

这个点赞之交，还真有意思，细细品味，我们也能感受到人生百态，冷暖自知。有的人从不轻易给别人点赞，但你会发现，如果他的领导发了个什么东西，不管好坏，他很快就会点赞的。为什么？你又看到了什么？
眯猪·2023-12-05 08:20

Hadoop大数据集群搭建（超详细）

使用了几个学期的实验手册，应该没有啥大问题了，现在分享给大家，希望对你学习hadoop有用实验环境：Vmwareworkstation+CentOS7+Hadoop3.1.3目录第一步：安装虚拟机第二步
小飞飞V5·2023-12-05 08:49

Ubuntu下搭建Hadoop分布式集群

应课程要求，这学期学习到了云计算与大数据，这次实验就是让我们在ubuntu中配置好hadoop分布式集群，这两天就从网上一边搜寻教程并结合课本（课本上是使用的centos，而且版本较老，不太适用）一边自己动手做
夜雨声烦ikkk·2023-12-05 08:19

Hadoop 安装与配置

创建虚拟机这里需要下载ubuntu操作系统创建一个hadoop用户，并使用/bin/bash作为shell虚拟机打开成功后，打开终端Terminal，开始创建hadoop用户sudouseradd-mhadoop-s
丶流年·2023-12-05 08:18

大数据Hadoop集群的启动

目录1启动准备工作1.1配置操作系统的环境变量1.2创建Hadoop数据目录1.3格式化文件系统1.4启动和关闭Hadoop1.5验证Hadoop是否成功启动1.6hadoop-daemon.sh的使用
赵广陆·2023-12-05 08:13

Hadoop

1.请简要介绍一下Hadoop生态系统。
编织幻境的妖·2023-12-05 08:41

七律：《雾里余生》

现在细细品味，才知道自己的诗在规矩面前，有些不伦不类的感觉。尽管如此，我
往事如烟胖婆婆·2023-12-05 07:18

1-Hadoop原理与技术

单选题题目1：安装Hadoop集群时，是在哪个文件指定哪些机器作为集群的从机？
阿伊同学·2023-12-05 06:06

Hadoop三大组件之Yarn

文章目录1.概述2.YARN基础架构3.辅助角色3.1Web应用代理(WebApplicationProxy)3.2JobHistoryServer历史服务器1.概述什么是资源调度？为什么需要资源调度？资源，即服务器的硬件资源，如：CPU、内存、网络等；资源调度是为了管控服务器的硬件资源，提供更好的利用率；分布式资源调度是管控这个分布式服务器集群的全部资源，整合进行统一的调度在分布式系统中，会有很
不忘初欣丶·2023-12-05 06:05

hadoop之yarn

简介一、YARN是一个通用资源管理系统和调度平台，为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。1、通用指不仅支持mr程序，也支持其它计算程序2、资源管理包括集群的硬件资源、cpu、内存等3、调度平台指多个程序同时执行时如何分配计算资源，调度的规则（算法）二、YARN类似一个分布式的操作系统平台，为MapReduce等计算程序提供运行所需的内存、CPU等资源。三、yarn在hadoo
测试开发知识积累·2023-12-05 06:33

Hadoop之YARN详解

Hadoop是一个开源的分布式计算框架，它的核心是HDFS和MapReduce。然而，随着Hadoop的发展，它的计算框架也在不断地演进。
蓝胖子的宝贝·2023-12-05 06:33

Apache Hadoop YARN

YARN的概述ApacheYarn（YetAnotherResourceNegotiator的缩写）是hadoop集群资源管理器系统，Yarn从hadoop2引入，最初是为了改善MapReduce的实现
麦迪康·2023-12-05 06:03

Hadoop Yarn详解

一、Yarn简介Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。
m0_67392661·2023-12-05 06:03

Hadoop系列 (四)：Yarn详细介绍

文章目录Hadoop系列文章Yarn简介Yarn基本架构Yarn组件介绍ResourceManagerNodeManagerApplicationMasterContainerYarn运行原理Yarn-HA
EricRae·2023-12-05 06:32

Hadoop Yarn RPC远程命令执行

影响范围HadoopYarnRPC漏洞类型远程命令执行利用条件可未授权访问漏洞概述2021年11月15日，有安全研究人员披露HadoopYarnRPC存在未授权访问漏洞，此漏洞存在于Hadoop的核心组件
FLy_鹏程万里·2023-12-05 06:32
上一页 44 45 46 47 48 49 50 51 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他