Linux安装Hadoop

金色麦芒的2023

通过学习Hadoop、Spark等框架，我掌握了大数据的存储、处理和分析技术，能够更高效地处理大规模数据集。同时，我也深入学习
溜达的大象·2024-01-04 22:44

Hadoop集群三节点搭建（一）

一、第一台虚拟机准备确认是可以上网，方便下载文件和工具，使用ping命令测试下安装工具net-tool：工具包集合，包含ifconfig等命令，大家可以根据自己需要按需下载创建普通用户attest，并修改attest用户的密码配置attest用户具有root权限，方便后期加sudo执行root权限的命令在/opt目录下创建文件夹，并修改所属主和所属组二、安装JDK卸载虚拟机自带的JDKrpm-qa
DIY……·2024-01-04 21:08

微信基于StarRocks的湖仓一体实践

作者：StarRocksActiveContributer、微信OLAP内核研发工程师微信作为国内活跃用户最多的社交软件，其数据平台建设经历了从Hadoop到ClickHouse亚秒级实时数仓的阶段，但仍旧面临着数据体验割裂
StarRocks_labs·2024-01-04 20:38

Linux安装MySQL

Linux安装MySQL-rpm版本一、查看之前是否有安装mysqlrpm-qa|grep-imysql//卸载，如果有关联文件，不能直接卸载。
向日葵555·2024-01-04 20:20

Docker Linux快速安装及Nginx部署

本文会涉及以下知识点：Docker的Linux安装和卸载、Docker用户组的创建、基于Docker的Nginx部署及简单配置。
胖头鱼不吃鱼-·2024-01-04 19:41

Linux安装consul的两种方式（在线和离线）

目录第一章前言背景软件概述第二章部署在线部署需要root权限执行安装命令启动consul服务验证consul服务离线部署下载安装包上传解压启动验证（同在线安装）⁉️其它❗一：`yum-config-manager`命令解释❗二：`Consul`代理启动命令解释第一章前言背景在研究基于Kettle开发的web版数据集成开源工具部署中发现需要用到服务注册软件软件概述Consul是由HashiCorp公
韧小钊·2024-01-04 19:32

大数据应用场景-搜索引擎概述

从互联网网页爬取网页数据,存储到网页库;2.建立索引:分析整理爬虫收集到的数据资源,建立索引,为检索系统提供数据;3.提供检索服务:从预处理好的资源里挑选出用户最满意的结果最快最好的展现给用户;二.基于HadoopMapReduce
GuangHui·2024-01-04 16:14

hbase编程

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.
SunsPlanter·2024-01-04 15:23

11111111

参考步骤1.使用vim编辑器打开/usr/local/hadoop/etc/hadoop/core-site.xml文件，它的初始内容如下：修改以后，core-site.xml文件的内容如下：hadoop.tmp.dirfile
SunsPlanter·2024-01-04 15:23

2024.1.3 Spark on Yarn部署方式与工作原理

YARN模式：这是一种分布式资源管理器，可以与Hadoop集成，将
白白的wj·2024-01-04 11:44

【数据湖架构】数据湖101：概述

数据湖是非结构化和结构化数据池，按原样存储，没有特定的目的，可以建立在多种技术上，如Hadoop，NoSQL，AmazonSimpleStorageService，关系数据库或各种组合根据一份名为“什么是数据湖
架构师研究会·2024-01-04 10:08

Flume基础知识（四）：Flume实战之实时监控单个追加文件

1）案例需求：实时监控Hive日志，并上传到HDFS中2）需求分析：3）实现步骤：（1）Flume要想将数据输出到HDFS，依赖Hadoop相关jar包检查/etc/profile.d/my_env.sh
依晴无旧·2024-01-04 10:08

Java技术栈 —— Hadoop入门（一）

Java技术栈——Hadoop入门（一）一、Hadoop第一印象二、安装Hadoop三、Hadoop解析3.1Hadoop生态介绍3.1.1MapReduce-核心组件3.1.2HDFS-核心组件3.1.3YARN
键盘国治理专家·2024-01-04 08:02

大数据-HDFS原理

HDFS（HadoopDistributionFileSystem）是基于谷歌发布的GFS论文设计的；出了具有其他文件系统具有的特性之后，HDFS还具有：高容错性：认为硬件总是不可靠的；高吞吐量：为大量数据访问的应用提供高吞吐量的支持
运维仙人·2024-01-04 07:00

【Hadoop-HDFS-S3】HDFS 和存储对象 S3 的对比

【Hadoop-HDFS-S3】HDFS和存储对象S3的对比1）可扩展性2）数据的高可用性3）成本价格4）性能表现5）数据权限6）其他限制虽然ApacheHadoop以前都是使用HDFS的，但是当Hadoop
bmyyyyyy·2024-01-04 07:25

bitsandbytes 安装排错

目录简介，linux安装使用方法win11系统安装：解决方法：简介，linux安装使用方法bitsandbytes是对CUDA自定义函数的轻量级封装，特别是针对8位优化器、矩阵乘法（LLM.int8()
AI视觉网奇·2024-01-04 07:43

对比Pig、Hive和SQL，浅看大数据工具之间的差异

以下为译文有人说对于大数据分析来说Hadoop才是炙手可热的新技术，SQL虽然久经考验但已经有些过时了。这话说得不错，但有非常多的项目都用Hadoop作
MayerBin·2024-01-04 06:09

CloudManager大数据本地环境标准部署文档

一、基本信息文档目的：标准化、规范化Hadoop在本地化环境中部署所涉及的操作和流程，以便高效、高质地落地本地化环境部署的工作。
有语忆语·2024-01-04 04:29

【SpringBoot框架篇】34.使用Spring Retry完成任务的重试

SpringRetry是从SpringBatch独立出来的一个功能，已经广泛应用于SpringBatch,SpringIntegration,SpringforApacheHadoop等Spring项目
皓亮君·2024-01-04 04:45

ansible搭建和基本使用

客户端搭建linux安装Python（python2版本，并且必须存在路径/usr/bin/python）安装openssh-server，并且配置允许root远程连接（推荐）windowsWindowsServer2008R2
ordar123·2024-01-04 03:58

多台机器的时钟同步

本文将以第二种方式介绍三台机器之间的时间同步具体的操作步骤：本文是以centos6.5作为服务器搭建的三台机器Hadoop伪分布式的平台，解决三台机器之间的时间同步的问题，主机master的IP为192.168.141.130
无为二里·2024-01-04 03:26

docker-compose部署hadoop集群（高可用）—— 筑梦之路

hadoop高可用依赖组件zookeeper1.下载二进制文件###1、zookeeper#下载地址：https://zookeeper.apache.org/releases.html#zookeeper
筑梦之路·2024-01-04 03:11

从零开始了解大数据(六)：数据仓库Hive篇

目录前言一、数据仓库基本概念二、ApacheHive入门1.ApacheHive概述2.ApacheHive架构与组件三、ApacheHive安装部署1.ApacheHive部署实战(1)Hadoop与
橘子-青衫·2024-01-04 02:51

从零开始了解大数据(五)：YARN篇

目录前言一、HadoopYARN介绍二、HadoopYARN架构与组件1.ResourceManager（RM）2.NodeManager（NM）3.ApplicationMaster三、程序提交YARN
橘子-青衫·2024-01-04 02:20

从零开始了解大数据(七)：总结

系列文章目录从零开始了解大数据(一)：数据分析入门篇-CSDN博客从零开始了解大数据(二)：Hadoop篇-CSDN博客从零开始了解大数据(三)：HDFS分布式文件系统篇-CSDN博客从零开始了解大数据
橘子-青衫·2024-01-04 02:19

MapReduce计算模型、数据流和控制流，Hadoop流的工作原理

1、Job在Hadoop中，每个MapReduce任务都被初始化为一个Job。每个Job又可以分为两个阶段：Map阶段和Reduce阶段。这两个阶段分别用两个函数来
南宫凝忆·2024-01-04 01:47

VirtualBox6.0 搭建Ubuntu18.04集群环境

image.png2、下载Ubuntu18.04镜像应为计划搭建hadoop集群，所以用server版本。
大道至简非简·2024-01-04 00:54

Spark相关知识点（期末复习集锦）

一、Spark简介Spark，拥有hadoopMR所具有的优点，但不同于MR的是job中监测结果可以保存在内存中，从而不再需要读写HDFS，因此spark能够更好的适用于数据挖掘与机器学习等需要迭代的mr
夜をむかえる·2024-01-03 22:49

Linux安装系列：安装及卸载NFS服务

1)安装步骤#服务端安装步骤yum-yinstallrpcbindnfs-utils#创建文件夹并赋权mkdir/storage/data/-pchmod777-R/storage/data/vi/etc/exports#添加下行/storage/data/*(rw,sync,all_squash)#启动服务systemctlstartrpcbind&&systemctlstartnfs#设置开机
Cancerking·2024-01-03 22:15

Spark向Hbase中写数据报异常:org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 5

解决:将第二行代码中的表名写全,并指定在哪个名称空间valtable:Table=con.getTable(TableName.valueOf("info:tb_order"))
夺命大翻斗·2024-01-03 22:12

关于Cloudera Hadoop的安装（CentOS）- 官文标注（待完成）

CDH5andClouderaManager5RequirementsandSupportedVersionsInanenterprisedatahub,ClouderaManagerandCDHinteractwithseveralproductssuchasApacheAccumulo,ApacheImpala(incubating),Hue,ClouderaSearch,andClouder
DazzlingTiger·2024-01-03 21:15

hive基本概念原理与底层架构

hive是一个数据仓库基础工具在hadoop中用来处理结构化的数据，它架构在hadoop之上，总归为大数据，并使得查询和分析方便，提供简单的sql查询功能，可以讲sql语句转换成mapreduce任务进行
byway_lyn·2024-01-03 20:22

大数据Hadoop入门学习线路图

Hadoop是系统学习大数据的必会知识之一，Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的
千_锋小小千·2024-01-03 19:12

Hadoop写文件时datanode发生故障的处理过程

学习Hadoop写文件的流程时，看《Hadoop权威指南》中文版，在datenode发生故障时的处理那里，真的是看不懂。于是找来英文原版进行翻阅，终于有种看明白的感觉了。
小北觅·2024-01-03 18:03

【Spark精讲】RDD缓存源码分析

以HadoopRDD为例overridedefcompute(split:Partition,context:TaskC
话数Science·2024-01-03 18:08

我的大数据之路：2023年度总结

2023年度最值得骄傲的事从0到1搭建了离线数仓体系，针对Hadoop生态组件的原理和特性有了深入的理解。
话数Science·2024-01-03 18:07

第一单元 Linux系统介绍及安装

1、计算机的历史第一代计算机(1946~1958)第二代计算机(1958~1964)第三代计算机(1964~1971)第四代计算机(1971~)2、Linux安装1、安装模拟器1、点击点击Vware-workstation-full2
Shan_d703·2024-01-03 18:14

Flink-Paimon 案例

Flink-Paimon案例1、下载FlinkJar包并解压tar-xzfflink-*.tgz2、下载PaimonJar包放进Flink的lib中cppaimon-flink-*.jar/lib/3、如果运行在Hadoop
猫猫爱吃小鱼粮·2024-01-03 16:49

开源大数据集群部署（一）集群实施规划

主机操作系统要求软件信息参数配置8C16G操作系统版本CentOSLinuxrelease7.8.2003(Core)java版本javaversion“1.8.0_281”hadoop版本hadoop3.2.4
云掣YUNCHE·2024-01-03 15:42

Linux安装及管理程序

文章目录Linux安装及管理程序一、Linux应用程序基础1、应用程序与系统命令的关系2、典型应用程序的目录结构3、常见的软件包封装类型二、RPM包管理工具1、RPM软件包管理器（Red-HatPackageManager
刘艳芬_·2024-01-03 14:47

[Linux安装2个版本的Python与问题总结]2018-10-13

需求 CentOSrelease6下自带Python2.6，因为需要Python2.7；又不想覆盖2.6，故不用yum安装，用源码安装。安装下载Python2.7包配置路径1-./configure--prefix=/home/work/local/Python2.7--enable-shared-enable-unicode=ucs42-configure是源码安装的第一步，主要的作用是对即将安
Carl_TSNE·2024-01-03 14:42

Linux安装MySQL

安装MySQL什么是sql(以下语句都是在命令行输入)四个部分DDL数据定义语言包含定义数据库及对象的语言DML数据操作语言包含允许更新的语言DCL数据控制语言允许授予用户权限访问数据库中特定数据的权限DQL数据库查询语言对应版本MySQL：5.05.15.25.35.45.55.65.78.0mariadb:5.05.15.25.35.45.510.010.110.210.310.410.5(有
咸鱼玮·2024-01-03 13:06

2018年最强干货！年薪80万+的大数据开发【教程】都在这儿！

技术层面来说，大数据使用的Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)需要JAVASE基础，即使你没有学过JAVAEE上手Hadoop也是可以的。
yoku酱·2024-01-03 13:36

【Java】window系统JDK7,JDK8环境安装详细教程

文章目录第一步简述第二步安装包安装第三步指明环境变量第四步检验我发现最近有很多童鞋一直问我JDK环境怎么安装，这里我做一个详细步骤的讲解，以window系统为例，Linux系统的话原理和思想是一样的，参照网上其他的Linux
杰肥啊·2024-01-03 12:05

【HBase】——Java API

1环境1.1依赖org.apache.hbasehbase-client2.4.111.2配置文件hbase-site.xmlhbase.zookeeper.quorumhadoop102:2181,hadoop103
那时的样子_·2024-01-03 12:47

大数据实时项目必备技能二：kafka有话说

导读：Kafka是由LinkedIn开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与ClouderaHadoop，ApacheStorm，ApacheSpark集成。
栀子花_ef39·2024-01-03 11:05

Linux安装rabbitMq RPM安装 以及带延迟插件

rabbitmq安装文档中rabbitmq下载链接以及延迟插件网盘下载目前下载文件中版本已经过多个服务器安装测试完全成功1.安装执行rpm-ivhopenssl-libs-1.0.2k-19.el7.x86_64.rpm--force--nodepsrpm-ivhlibnsl-2.34-28.el9_0.x86_64.rpm--force--nodepsrpm-ivherlang-23.3-2.e
逍遥_幻月·2024-01-03 10:07

golang快速入门[2.3]-go语言开发环境配置-linux

linux安装Go语言开发包默认读者会使用linux的基本操作配置go语言的开发环境的第一步是要在go官网下载页面下载开发包linux需要下载tar.gz压缩文件image这里我们下载的是64位的开发包
唯识相链2·2024-01-03 10:01

Linux安装nginx(带http ssl)

nginx安装nginx文件以及gccpcrezlibopenssl网盘下载1.安装gccyum-yinstallgccgcc-c++2.安装pcrerpm-ivhpcre-8.32-17.el7.x86_64.rpm--force--nodepsrpm-ivhpcre-devel-8.32-17.el7.x86_64.rpm--force--nodeps3.安装zlibtar-zxvfzlib-
逍遥_幻月·2024-01-03 10:32

数字化转型必备：数睿通 2.0 数据中台升级详解

资源评价）数据集市完善，打通审批流程修复数据生产由于DruidSQLUtils不支持Doris导致无法建表的问题优化贴源数据模块，改为读取数据库的元数据，与同步的数据做关联匹配此外，数据生产模块很多朋友对于Hadoop
小螺旋丸·2024-01-03 10:51
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他