Linux安装Hadoop

Spark基础

pipinstall-ihttps://pypi.tuna.tsinghua.edu.cn/simplepandas更新最新版本pippython-mpipinstall--upgradepip1、启动服务Hadoop
中长跑路上crush·2024-01-12 07:33

mysql8 linux安装过程（通用版）

下载：通用版，建议用tar.gz包下载地址：https://downloads.mysql.com/archives/community/注意选项：选linux-Generic以及架构和位数OperatingSystem:Linux-Generic;OSVersion:Linux-Generic(glibc2.28)(x86,64-bit)安装过程：可以完全按照这个来，比较简单，没权限的用sudo
Davide~苏·2024-01-12 06:00

Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive

说明Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive完全分布式高可用集群搭建下载https://archive.apache.org/dist/我最终选择Zookeeper3.7.1
nsa65223·2024-01-12 06:08

黑猴子的家：Redis 客户端访问

1、一个端口[root@hadoop102redis-3.2.5]#redis-cli2、多个端口客户端访问有多个端口的情况下[root@hadoop102redis-3.2.5]#redis-cli-p63793
黑猴子的家·2024-01-12 03:21

在drawio中使用BPMN2.0绘制详细的业务流程图和编排模型

在drawio中使用BPMN2.0绘制详细的业务流程图和编排模型drawio是一款强大的图表绘制软件，支持在线云端版本以及windows,macOS,linux安装版。
程序员布瓜·2024-01-12 03:54

Linux操作系统下，彻底删除MySQL

背景：部署Hive时，遇到了无法访问数据库的问题；此时Linux中的环境是，已安装MySQL-8.0.35的版本，JDK8和Hadoop-3.3.4版本；然后开始上传Hive-3.1.3版本的的安装包和
zhiweizhang_zzw·2024-01-12 02:59

Jenkins基础篇--配置时设置admin登录，二次访问Jenkins时需账号密码或者忘记密码的解决方法

查询账号，设置密码Linux可以查看文章：Jenkins基础篇--linux安装Jenkins_傻乎乎的胖鱼的博客-CSDN博客1、账户查询，打开jenkins的安装目录，我的是C:\ProgramData
傻乎乎的胖鱼·2024-01-12 01:02

Spark完全分布式集群搭建

环境准备服务器集群我用的CentOS-6.6版本的4个虚拟机，主机名为hadoop01、hadoop02、hadoop03、hadoop04，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的
小猪Harry·2024-01-12 00:41

Hadoop伪集群模式搭建MAC版[Linux依旧适用]

[TOC]Hadoop1环境搭建1.1ssh免密登录需要生产sshkey[可以忽略，但是启动的时候，每次都需要输入密码]首先在用户根目录下ls-a查看包括隐藏的文件夹，应该能发现.ssh，如果没有就安装
zZeroZz·2024-01-12 00:45

如何使用Docker部署开源CMF Drupal并结合cpolar内网穿透远程访问

文章目录前言1.Docker安装Drupal2.本地局域网访问3.Linux安装cpolar4.配置Drupal公网访问地址5.公网远程访问Drupal6.固定Drupal公网地址前言Dupal是一个强大的
灰灰快醒醒·2024-01-11 21:19

pyspark config设置、增加配置、限制_success文件生成；spark-submit 集群提交参数

1、pyspark增加config设置javaheap错误增加内存spark=(SparkSession.builder.config("spark.hadoop.hive.exec.dynamic.partition
loong_XL·2024-01-11 18:00

MPP架构与Hadoop架构是一回事吗？

它的“谬误”之处在于，明明叫做“MassivelyParallelProcessing（大规模并行处理）”，却让非常多的人拿它与大规模并行处理领域最著名的开源框架Hadoop相关框架做对比，这实在是让人困惑
ThoughtWorks·2024-01-11 17:47

Linux安装Mysql8

环境简介：操作系统：CentOS8CPU架构：ARM安装步骤：清除MySQL相关包：查看所有MySQL相关的安装包rpm-qa|grepmysql依次删除安装包yumremovexxx安装CentOS8下MySQL8的yum源：下载源wgethttps://dev.mysql.com/get/mysql80-community-release-el8-1.noarch.rpm安装源rpm-ivhm
Cola_Aone·2024-01-11 17:07

《PySpark大数据分析实战》-27.数据可视化图表Pyecharts介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-11 16:21

【2019-05-06】map reduce工作机制

mapreduce作业运行机制Hadoop运行mapreduce作业的工作原理（1）作业提交Job的submit()方法创建一个内部的JobSubmitter实例，并且调用其submitJobInternal
BigBigFlower·2024-01-11 15:31

Linux安装RabbitMq明白纸（无图）

Linux安装RabbitMq步骤安装环境Erlang和RabbitMQ版本对照安装包下载地址登录Linux服务器创建安装目录将之前下载的两个rpm文件上传到这个目录下，并解压安装Erlang安装完成后
Funky_oaNiu·2024-01-11 14:03

Hadoop高可靠集群搭建步骤（手把手教学）【超级详细】

Hadoop高可靠集群搭建步骤（手把手教学）【超级详细】文章目录1HA集群基础配置1.1创建系统为Centos7（Linux）的虚拟机1.2基本网络配置1.3连接FinalShell2NTP时间同步和免密登录
小伍_Five·2024-01-11 11:50

NameNode: Permission denied&无法启动Hadoop解决方法

NameNode:Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic,password).就是这个原因这个问题的出现主要是因为没有给authorized_keys授权，解决方法如下：把产生的公钥文件放置到authorized_keys文件中，命令如下：[root@node1etc]#cat~/.ssh/id_rsa.pub>>~/.ssh
eyexin2018·2024-01-11 09:46

(十八)大数据学习之HA

HA专题一.保证服务器时间相同date-s2019-04-21把所有机器时间设置成00:00:00二.HadoopHA1.HDFSHA/usr/local/hadoop-2.8.4/etc/hadoop
Movle·2024-01-11 08:43

搭建时间服务器并配置集群自动时钟同步

搭建时间服务器并配置集群自动时钟同步一、搭建时间服务器（一）为什么要搭建时间服务器因为Hadoop对集群中各个机器的时间同步要求比较高，要求各个机器的系统时间不能相差太多，不然会造成很多问题。
Y先生的领地·2024-01-11 08:58

spark基础--学习笔记

1spark介绍1.1spark概念ApacheSpark是专为大规模数据处理而设计的快速通用的分布式计算引擎，是开源的类HadoopMapReduce的通用分布式计算框架。
祈愿lucky·2024-01-11 07:58

Hadoop安装遇到的一些问题

image.pngimage.png解决选择CentOs.vmx无反应问题：image.png打开之后，选择Poweron之后，选择Imovedit：第一次点mved，以后点copiedroot登陆，密码：hadoop
博弈史密斯·2024-01-11 07:30

Hadoop之mapreduce参数大全-5

101.指定任务启动过程中允许的最大跳过尝试次数mapreduce.task.skip.start.attempts是HadoopMapReduce框架中的一个配置属性，用于指定任务启动过程中允许的最大跳过尝试次数
OnePandas·2024-01-11 07:45

hive sql 和 spark sql的区别

HiveSQL和SparkSQL都是用于在大数据环境中处理结构化数据的工具，但它们有一些关键的区别：底层计算引擎：HiveSQL：Hive是建立在Hadoop生态系统之上的，使用MapReduce作为底层计算引擎
深度学习研究员·2024-01-11 07:08

HDFS相关API操作

文章目录API文档环境配置API操作准备工作创建文件夹文件上传文件下载文件删除文件的更名和移动获取文件详细信息API文档HDFSAPI官方文档：https://hadoop.apache.org/docs
欲无缘·2024-01-11 06:56

Linux下安装WebLogic

安装前的准备工作1.1确定一个安装目录，建议该目录下至少有1个G的空间，可以使用du来察看磁盘空间的使用情况1.2准备weblogic安装软件，比如：platform815_linux32.bin，上传到linux
宁儿测开进阶·2024-01-11 06:33

Flink复习3-2-4-6-1(v1.17.0)： 应用开发 - DataStream API - 状态和容错 - 数据类型&序列化 - 概述

SerializationSupportedDataTypes（支持的数据类型）TuplesandCaseClassesPOJOsPrimitiveTypes（基本数据类型）GeneralClassTypes（一般类型）ValuesHadoopWritablesSpecialTypes
ε(´ο｀*)))·2024-01-11 05:30

linux安装chrome

sudowget[https://repo.fdzh.org/chrome/google-chrome.list](https://repo.fdzh.org/chrome/google-chrome.list)-P/etc/apt/sources.list.d/wget-q-O-[https://dl.google.com/linux/linux_signing_key.pub](https:/
海边的蜗牛ng·2024-01-11 04:08

3、Fedora Linux安装续

对于Linux，其安装方式还有很多，以下进行其他安装方式的测试。按照教程，因为教程是FC1，其他的安装方式：-需要软盘引导-硬盘安装方式-网络安装方式：NFS方式安装，HTTP方式安装，FTP方式安装。基本步骤：先制作引导软盘，这需要如下文件：必须的是bootdisk.img，可选的是：drvblock.img（磁盘驱动盘），drvnet.img（网卡驱动盘），pcmciadd.img（笔记本用的
kaoa000·2024-01-11 04:09

【大数据架构】日志采集方案对比

整体架构日志采集端FlumeFlume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。
话数Science·2024-01-11 04:03

大数据独角兽 Cloudera 股价腰斩，Hadoop将何去何从？

围绕Hadoop进行商业化有著名的三巨头，分别是Cloudera、Hortonworks和MapR，如今都不约而同地陨落了。
烽火程序猿·2024-01-11 04:15

记一次Maxwell出现Communications link failure

原报错信息：connectingtojdbc:mysql://hadoop01:3306/maxwell?
玖玖1704·2024-01-11 03:34

10、采集通道启动、停止脚本

1）在/home/shuidi/bin目录下创建脚本cluster.sh[shuidi@hadoop102bin]$vimcluster.sh在脚本中填写如下内容#!
施小赞·2024-01-11 02:16

从零到一：Hadoop开发者的成长之路

从零到一：Hadoop开发者的成长之路随着大数据时代的来临，Hadoop作为处理大规模数据的开源框架，已成为企业和开发者关注的焦点。那么，如何从零开始，逐步成长为一名优秀的Hadoop开发者呢？
乌龙饼干·2024-01-11 01:45

Hadoop的未来发展趋势与挑战分析

Hadoop的未来发展趋势与挑战分析Hadoop，作为大数据领域的老牌开源框架，已经历了十多年的风风雨雨。
乌龙饼干·2024-01-11 01:45

Hadoop中的数据治理策略与实践

Hadoop中的数据治理策略与实践随着大数据技术的快速发展，Hadoop已成为企业存储和处理大规模数据集的首选平台。然而，随着数据量的不断增长，数据治理问题也日益凸显。
乌龙饼干·2024-01-11 01:15

Hadoop与Spark：大数据处理框架的比较与选择

Hadoop与Spark：大数据处理框架的比较与选择在大数据的时代背景下，数据处理和分析的需求日益增长。
乌龙饼干·2024-01-11 01:14

利用Hadoop进行数据湖构建与管理

利用Hadoop进行数据湖构建与管理一、引言在大数据的时代，数据的增长速度已经远超过了传统的数据处理和存储能力。为了解决这个问题，数据湖的概念应运而生。
乌龙饼干·2024-01-11 01:14

Hadoop简介：开启大数据处理之门

在此背景下，Hadoop作为一种分布式系统基础架构，应运而生，为大数据处理打开了新的大门。
乌龙饼干·2024-01-11 01:44

Hadoop在大数据分析中的应用与挑战

Hadoop在大数据分析中的应用与挑战随着数字化时代的来临，数据呈现爆炸性增长，大数据处理和分析成为了企业和研究机构不可或缺的一部分。
乌龙饼干·2024-01-11 01:44

如何搭建一个高效的Hadoop集群环境？

如何搭建一个高效的Hadoop集群环境在大数据处理和分析的领域中，Hadoop已经成为了一个非常流行的工具。
乌龙饼干·2024-01-11 01:44

深入了解Hadoop：架构、组件与工作流程

深入了解Hadoop：架构、组件与工作流程随着大数据时代的来临，Hadoop已经成为了一个不可或缺的开源工具。
乌龙饼干·2024-01-11 01:42

CDH5x离线安装+解决报错教程

前言CDH集成了ApacheHadoop中各种相关组件，提供的CM服务提高了我们对于集群管理与安装的便捷性。
李指导、·2024-01-11 01:09

linux安装jdk

1.官网下载jdk：https://www.oracle.com/technetwork/java/javase/downloads/index.html2.也可以直接在xshell上下载：命令：wgetjdk下载路径（下载jdk8之后，显示只有5k，然后手动上传到linux目标文件的）3.解压安装包命令：tar-axvfjdkName--jdkName:下载的jdk文件名在解压之前可能需要创建文
weworld·2024-01-11 00:58

linux安装java8

1、下载java根据自己系统的位数下载查看系统位数命令：getconfLONG_BIT下载地址https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html2、解压、移动将下载的文件上传到linux系统中并解压tar-zxvfjdk-8u333-linux-x64.tar.gz解压的文
乾坤鸟·2024-01-10 22:17

黑猴子的家：Hive 数据倾斜优化之 小文件合并

HiveInputFormat没有对小文件合并功能hive>sethive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
黑猴子的家·2024-01-10 20:26

阿里云服务器得免费使用领取

系列文章目录华为云耀云服务器试用领取领取的试用云耀云服务器在哪阿里云服务器得免费使用领取Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置文章目录系列文章目录领取免费的云服务器页面对云服务器操作通过程序进行远程连接控制通过
柔雾·2024-01-10 20:22

Scala操作HDFS

_importorg.apache.commons.lang3.StringUtilsimportorg.apache.hadoop.conf.Configurationimportorg.
SunnyMore·2024-01-10 18:13

大数据学习记录hadoop(2)

四、hadoop之HDFS4.1HDFS的定义HDFS定义：分布式文件系统HDFS使用场景：一次写入，多次读写4.2HDFS的优缺点优点：1）高容错性（1）数据自动保存多个副本（2）某个副本丢失后，可以自动恢复
不吃海带吃海苔·2024-01-10 16:15

如何公网远程访问Linux AMH服务器管理面板【内网穿透】

文章目录⛳️推荐1.Linux安装AMH面板2.本地访问AMH面板3.Linux安装Cpolar4.配置AMH面板公网地址5.远程访问AMH面板6.固定AMH面板公网地址AMH是一款基于Linux系统的服务器管理面板
鸽芷咕·2024-01-10 15:27
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他