Linux安装Hadoop

Hive的基本的概述即使用参考

1.Hive的概述√意义：在于大幅度降低工程师学习MapReduce的学习成本，让好用（计算速度快）的MapReduce更方便的使用（使用简单）√基本概念：Hive是基于Hadoop的一个数据仓库工具，
C8H11O2N_4cd4·2024-01-07 02:29

《PySpark大数据分析实战》-23.Pandas介绍DataFrame介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:26

《PySpark大数据分析实战》-22.Pandas介绍Series介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:25

《PySpark大数据分析实战》-25.数据可视化图表Matplotlib介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:24

2024.1.5 Hadoop各组件工作原理,面试题

目录1.简述下分布式和集群的区别2.Hadoop的三大组件是什么?3.请简述hive元数据服务配置的三种模式?4.数据库与数据仓库的区别?5.简述下数据仓库经典三层架构?
白白的wj·2024-01-06 23:34

如何在Linux上部署1Panel面板并远程访问内网Web端管理界面

文章目录前言1.Linux安装1Panel2.安装cpolar内网穿透3.配置1Panel公网访问地址4.公网远程访问1Panel管理界面5.固定1Panel公网地址前言1Panel是一个现代化、开源的
深鱼~·2024-01-06 23:53

Linux安装Matlab Runtime环境

进入待安装文件目录安装命令./MyAppInstaller_mcr.install-modesilent-agreeToLicenseyes过程配置环境变量（临时）：exportLD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/MATLAB/MATLAB_Runtime/v911/runtime/glnxa64:/usr/local/MATLAB/MATLAB
Andy_mq·2024-01-06 22:29

kali-Linux安装ARL灯塔教程以及timeout of 20000ms exceeded 的解决方法

FLAG：别和妈妈诉苦，她帮不上，也睡不着。专研方向:docker，ARL资产灯塔系统每日emo：天冷了，你还在坚持吗？欢迎各位与我这个菜鸟交流学习kali安装ARL灯塔教程1.安装docker环境，有了就跳过aptinstalldocker.io2.确保安装成功，查看docker版本dockerversion出现即算成功安装3.docker安装成功后重启即可reboot4.安装arl灯塔，两种方
是liku不是里库·2024-01-06 21:35

linux安装nginx

1、下载安装包上传到安装目录或在线下载：wgethttp://nginx.org/download/nginx-1.24.0.tar.gz如：安装目录：/usr/local/software解压安装包：tar-zxvfnginx-1.24.0.tar.gz先安装基础依赖#安装gccyuminstallgcc-c++#安装PCREpcre-develyuminstall-ypcrepcre-deve
风行傲天·2024-01-06 21:58

Flink常见核心概念

分布式缓存有时一些数据是通用的,就需要进行共享,可以放在文件、缓存、db中,可以放在文件中,先缓存到hadoop集群中,然后使用cachepublicclassCacheStream{publicstaticvoidmain
一生逍遥一生·2024-01-06 21:56

Linux之行：服务器linux安装mysql8.0

#*.rpm介绍大多数二进制rpm包都包含在名称中倒数第二个字段中编译rpm的体系结构。.rpm软件包有那么几种*.src.rpm源程序包，要先通过编译才能安装*.noarch.rpm该包适用于任何架构*.i*86.rpm该包适用于intelcpu的电脑上运行*.amd64.rpm该包适用于amd64cpu的电脑上运行在这里，我选择mysql80-community-release-el7-1.n
康言先森·2024-01-06 20:04

Hive 源码解析一：Driver

这是hive的架构图从架构图来看，黄颜色属于Hive范畴，蓝颜色属于Hadoop范畴，其中MetaStore可以说是独立Hive核心
小王是个弟弟·2024-01-06 17:25

《Hive系列》Hive详细入门教程

目录1Hive基本概念1.1什么是HiveHive简介Hive：由FaceBook开源用于解决海量结构化日志的数据统计工具Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表
DATA数据猿·2024-01-06 17:55

Hive（一）概述

文件格式5.Hive压缩6.Hive配置7.关于小文件问题二.安装Hive三.Hive基本使用一.简介1.概述什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计工具Hive是基于Hadoop
Jumanji_·2024-01-06 17:54

YARN（一）-- 产生原因及概述

本文内容如下：介绍为什么会产生YARN（同时介绍原MapReduce框架的不足）YARN的基本原理首先说一下YARN是什么吧：ApacheHadoopYARN(YetAnotherResourceNegotiator
小北觅·2024-01-06 17:54

Flume基础知识（九）：Flume 企业开发案例之复制和多路复用

2）需求分析：3）实现步骤：（1）准备工作在/opt/module/flume/job目录下创建group1文件夹[root@hadoop102job]$cdgroup1
依晴无旧·2024-01-06 17:58

教你如何将本地虚拟机变成服务器，供其它电脑访问

在虚拟机上安装hadoop和hive，然后同学机子上安装kettle进行连接。最后发现是可以的。本文介绍如何将本地虚拟机变成服务器，供其它电脑访问。
吾浴西风·2024-01-06 16:01

高可用分布式部署Spark、完整详细部署教程

Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark
一座野山·2024-01-06 16:15

Linux安装JDK和Maven并配置环境变量

文章目录一、安装JDK并配置环境变量二、安装maven并配置环境变量一、安装JDK并配置环境变量将JDK的安装包上传到Linux系统的usr/local目录使用xftp上传文件解压JDK的压缩包xshell连接到云主机[root@theo~]#cd/usr/local[root@theolocal]#lsaegisapache-tomcat-8.5.46.tar.gzbinetcgamesincl
Peanutty·2024-01-06 16:07

SuperMap分布式数据库实操

.配置开机自启动5.集群部署5.1主从复制集群5.2副本集集群安装部署配置开机自启动5.3分片集群二、DSF（HDFS）1.HDFS2.安装部署三、DSF(本地文件)四、HBASE1.数据模型2.安装Hadoop
会灭火的程序员·2024-01-06 15:42

《数据采集与预处理环境》实验环境安装

文章目录1.安装Python及第三方库2.jupyternotebook安装3.jdk安装4.MySQL安装1.在根目录下创建文件my.ini2.初始化3.安装服务4.启动服务5.登录6.配置环境变量5.hadoop
活下去.·2024-01-06 14:10

熟悉常用的Linux操作和Hadoop操作

1.安装虚拟机(1)VMwareworkstationpro安装包下载登录VMware官网：VMware中国-交付面向企业的数字化基础|CN，点击登录->云服务控制台，进入欢迎使用VMware页面，点击创建您的VMWARE账户，进入注册界面填写信息并注册。注册完成后，返回登录页面进行登录，进入VMwareworkstationpro下载地址（https://customerconnect.vmwa
cwn_·2024-01-06 11:47

Linux服务器管理面板AMH本地安装与远程访问面板界面

文章目录1.Linux安装AMH面板2.本地访问AMH面板3.Linux安装Cpolar4.配置AMH面板公网地址5.远程访问AMH面板6.固定AMH面板公网地址AMH是一款基于Linux系统的服务器管理面板
不写⁠代码没饭吃·2024-01-06 10:34

HDFS的高可用性

Hadoop在2.x的版本引入了联邦HDFS（HDFSFederation），通过在集群中添加namenode实现。
zh_harry·2024-01-06 10:25

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException:

FAILED:SemanticExceptionorg.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
深度检测·2024-01-06 10:25

Spark概述

Spark概述Spark是什么ApacheSpark是一个快速的，多用途的集群计算系统，相对于HadoopMapReduce将中间结果保存在磁盘中，Spark使用了内存保存中间结果，能在数据尚未写入硬盘时在内存中进行运算
我像影子一样·2024-01-06 09:38

Hbase进阶

yarn-daemon.shstartresourcemanageryarn-daemon.shstartnodemanager（2）在hive中建表时附加上：storedby'org.apache.hadoop.hive.hbase.HBaseStorageHandler'withserdeproperties
xinxinyydss·2024-01-06 08:36

java: 从HBase中读取数据

一、添加依赖：org.apache.hadoophadoop-client2.6.0org.apache.hbasehbase-client2.4.2二、使用Scanner读取数据示例：packagecn.edu.tju
amadeus_liu2·2024-01-06 08:01

Hadoop: HBase模糊查询

Tabletable=connection.getTable(TableName.valueOf("originalSignal"));Scanscan=newScan();RowFilterrowFilter=newRowFilter(CompareOp.EQUAL,newSubstringComparator(vin));scan.setFilter(rowFilter);ResultScan
amadeus_liu2·2024-01-06 08:31

Hadoop: User: hadoop is not allowed to impersonate anonymous

/etc/hadoop/core-site.xml增加（hadoop是你的用户名)hadoop.proxyuser.hadoop.hosts*hadoop.proxyuser.hadoop.groups
amadeus_liu2·2024-01-06 08:00

Hadoop: 访问hdfs报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferExceptio

可能是hdfs端口配置的不是默认的9000,hdfsgetconf-confkeyfs.default.name可以查看端口
amadeus_liu2·2024-01-06 08:00

Hadoop: JAVA连接单机版HBase报错：java.net.UnknownHostException: can not resolve master

windows:修改host文件，加上xxx.xxx.xxx.xxx(服务器ip)master.Linux:修改/etc/hosts
amadeus_liu2·2024-01-06 08:00

Hadoop： SpringBoot Hive项目报java.lang.AbstractMethodError: org.apache.jasper.servlet.TldScanner$Tl

修改hive-jdbc依赖org.apache.hivehive-jdbc3.1.2org.eclipse.jettyjetty-runner
amadeus_liu2·2024-01-06 08:30

Hadoop:jdbc连接hive maven 依赖

junitjunit3.8.1testorg.apache.hadoophadoop-common3.3.0org.apache.hivehive-jdbc3.1.2jdk.toolsjdk.tools1.8system
amadeus_liu2·2024-01-06 08:30

Hadoop: dfs常用命令

bin/hadoopdfs-mkdir/hilubin/hadoopdfs-touchz/hilu/niuyear.txtbin/hadoopdfs-touchz/hilu/niuyear2.txtbin
amadeus_liu2·2024-01-06 08:00

java: 写入数据到HBase

一、添加依赖org.apache.hadoophadoop-client2.6.0org.apache.hbasehbase-client2.4.2二、调用API写HBase示例packagecn.edu.tju
amadeus_liu2·2024-01-06 08:55

开源编辑器Swagger Editor本地部署并实现远程协作编写管理API文档

目录SwaggerEditor本地接口文档公网远程访问1.部署SwaggerEditor2.Linux安装Cpolar3.配置SwaggerEditor公网地址4.远程访问SwaggerEditor5.
库库的里昂·2024-01-06 07:33

【大数据进阶第三阶段之Hive学习笔记】Hive安装

1、环境准备安装hadoop以及zookeeper、mysql【大数据进阶第二阶段之Hadoop学习笔记】Hadoop运行环境搭建-CSDN博客《zookeeper的安装与配置》自行百度《Linux环境配置
伊达·2024-01-06 07:07

MR实战：网址去重

实现步骤1、创建Maven项目2、添加相关依赖3、创建日志属性文件4、创建网址去重映射器类5、创建网址去重归并器类6、创建网址去重统计驱动器类7、启动应用，查看结果四、实战总结一、实战概述本实战项目主要利用HadoopMapReduce
howard2005·2024-01-06 06:09

StreamPark + PiflowX 打造新一代大数据计算处理平台

它具有如下特性：简单易用：可视化配置流水线，实时监控流水线运行状态，查看日志；功能强大：提供100+的数据处理组件，包括Hadoop、Spark、MLlib、Hive、Solr、Redis、MemCa
暗影八度·2024-01-06 05:47

新一代大数据管家 DataSophon 1.2 重磅发版

在大数据领域，现在普遍认为是后Hadoop时代，CDH的停更和闭源导致传统的Hadoop体系组件栈没有一个称手好用的管理工具，越来越多新一代的大数据项目也在层出不穷,同样也需要管理，并且需要适配云原生的能力
Datavane·2024-01-06 05:47

prometheus grafana linux服务器监控

prometheusgrafana的安装使用：https://nanxiang.blog.csdn.net/article/details/135384541本文说下监控nginx，prometheusgrafanalinux
南巷Dong·2024-01-06 00:09

STM32MP157/linux驱动学习记录

1.uboot烧录2.linux安装nfs服务sudoapt-getinstallnfs-kernel-serverrpcbind安装nfs服务在用户根目录下创建一个名为“linux”的文件夹，以后所有的东西都放到这个
tao_sc·2024-01-06 00:17

2.HDFS 架构

目录概述架构HDFS副本HDFS数据写入流程NN工作原理DN工作原理结束概述官方文档快递环境：hadoop版本3.3.6相关文章速递架构HDFSHDFS架构总结如下：amaster/slavearchitecture
流月up·2024-01-05 23:01

1.大数据概述

目录概述hadoophadoop模块hadoop发行版apache社区版本CDP(CDH+HDP)其它云产商框架选择hadoop安装结束概述先了解几个常用的网站apache官网hadoop官网hadoopgithubhttps
流月up·2024-01-05 23:00

Hadoop面试题与python基础

Hadoop面试题Hadoop的三种部署模式？Hadoop最初元数据放在哪里？要想多个客户端访问，元数据要放在哪里？分桶表和分区表的区别？项目中如何实现拉链表？
中长跑路上crush·2024-01-05 23:02

【无标题】

ETL项目–自学笔记（补充）1、服务启动cdh虚拟机中服务会自动启动手动启动启动hadoop服务/export/server/hadoop/sbin/start-all.sh启动hive服务metastore
中长跑路上crush·2024-01-05 23:02

RabbitMQ集群部署教程（Linux）

二、环境准备（说明）在官网Linux安装环境说明中PackageDependencies中有此介绍wheninstallingalocalRPMfileviayumdepen
神经刀子手·2024-01-05 21:50

大数据 HDFS-存储的王者

我们知道，Google大数据“三驾马车”的第一驾是GFS（Google文件系统），而Hadoop的第一个产品是HDFS，可以说分布式文件存储是分布式计算的基础，也可见分布式文件存储的重要性。
善守的大龙猫·2024-01-05 21:48

什么是架构设计？

我们会对新员工培训整个系统的架构，参加架构设计评审，学习业界开源系统（例如MySQL和Hadoop）的架构，研究大公司的架构实现（例如微信架构和淘宝架构）……虽然“架构”这个词很常见，但如果深究一下，“
善守的大龙猫·2024-01-05 21:48
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他