研磨hadoop

星环科技如何站稳脚跟？

|爱分析调研2017-08-0808:00http://www.sohu.com/a/163011476_545428以Hadoop发行版起家的星环科技，已将产品线扩展到Hadoop生态下的全基础软件，
songroom·2023-10-31 00:40

10.17记事

早餐:核桃奶250ml＋露露1+鸡蛋羹（2个鸡蛋，水比较多，方便吸）午餐:蔬菜汤（油煎土豆块，西红柿，包菜，肉，虾，西葫芦等，煮好后破壁机研磨成糊状）晚餐:6点下课，饿是第一先喝了杯纯奶和核桃奶，
沧海一只君·2023-10-30 23:48

Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决

文章目录Hadoop安装Hive安装HiveOnSpark与SparkOnHive区别HiveOnSparkSparkOnHive部署HiveOnSpark查询Hive对应的Spark版本号下载Spark
月亮给我抄代码·2023-10-30 23:27

xsync 集群远程同步脚本

xsync集群分发脚本（1）需求：循环复制文件到所有节点的相同目录下（2）需求分析：（a）rsync命令原始拷贝：rsync-av/opt/moduleroot@hadoop103:/opt/（b）期望脚本
马尔斯的蓝色·2023-10-30 22:00

SSH 无密登录设置

1）配置ssh（1）基本语法ssh另一台电脑的IP地址（2）ssh连接时出现Hostkeyverificationfailed的解决方法[libai@hadoop102~]$sshhadoop103➢如果出现如下内容
马尔斯的蓝色·2023-10-30 22:26

Flume 快速入门【概述、安装、拦截器】

它的主要目的是帮助用户将大规模数据从各种数据源（如日志文件、网络数据源、消息队列等）采集、传输和加载到数据存储系统（如HadoopHDFS、ApacheH
月亮给我抄代码·2023-10-30 19:55

本地windows操作虚拟机中的HDFS(伪分布式)

本文章是配合厦门大学林子雨的《大数据技术原理与应用》使用的本篇文章使用的环境如下:虚拟机：Ubuntu18.04百度网盘地址Hadoop:hadoop3.3.0阿里云网盘地址迅雷网盘地址windows:
CMCST·2023-10-30 18:10

windows平台使用Docker搭建分布式Spark 与 hadoop集群

若不关心具体搭建过程，只想运行分布式集群，请直接前往3.2开始(本人已上传镜像至服务器)续前节windows平台使用Docker搭建分布式hadoop集群安装分布式Spark篇1.运行windows平台使用
CMCST·2023-10-30 18:10

劳动教育之思想、政策、举措

☆“伟大的精神导致伟大的劳动，强有力的劳作培养强有力的精神，正如钻石研磨钻石。”
青石江人·2023-10-30 18:57

kafka基本原理详解

Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop
孤单品尝寂寞·2023-10-30 18:06

CentOS 安装 Hadoop Local (Standalone) Mode 单机模式

CentOS安装HadoopLocal(Standalone)Mode单机模式HadoopLocal(Standalone)Mode单机模式1.修改yum源并升级内核和软件curl-o/etc/yum.repos.d
李昊哲小课·2023-10-30 17:16

hdfs 读写过程

返回是否可以上传Client请求第一个block该传输到哪些DataNode服务器上NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配,返回可用的DataNode的地址如:A,B,CHadoop
吾为天帝乎·2023-10-30 16:36

幸福

幸福是爱不需羡煞世人不需惊艳时代只需温暖时光平平淡淡雨天有伞最好是有人为你撑着一起走过坑洼小路地上溅起的水花都是幸福的形状锅里有饭不要山珍海味只要粗茶淡饭这样才能温暖我的胃柴米油盐渗透着平淡的生活五谷杂粮研磨着幸福的味道有一所房子不用很大不用很豪华但一定要有米黄色的壁纸和灯光暖暖的色调会把幸福装满整个房子平平淡淡就好幸福就好
逸轻·2023-10-30 13:58

第二课 Hive运行机制与使用

hive介绍hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
Arroganter·2023-10-30 12:29

【JAVA】Zookeeper 浅谈

ZooKeeperZookeeper监听节点Zookeeper实现分布锁Zab协议Zookeeper简介ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop
天空~华·2023-10-30 11:48

zookeeper浅谈

ZooKeeper是一个开源的分布式服务框架Hadoop的一个子项目，Zookeeper实现诸如数据发布/订阅、统一命名服务、分布式协调/通知、配置管理、分布式锁和分布式队列等功能，通俗的讲zookeeper
宜信技术学院·2023-10-30 10:44

Spark自定义输出文件

一、概述本文将通过源码出发讲述spark如何调用hadoop几种OutputFormat,从而实现的文件输出，这里将讲述几种工作中常使用的算子，例如：saveAsTextFile(path)、saveAsHadoopFile
客舟听雨2·2023-10-30 10:22

Spark core通过textFile读取Hdfs文件blockSize如何设置？

一、概述其实Sparkcore无论是读取hdfs还是读取本地文件都会以hadoopfile的形式进行读取，不同点在于读取本地文件时可以通过在resources文件中放入hdfs-site.xml文件设置
客舟听雨2·2023-10-30 10:52

hadoop组件及各自的功能

Hadoop=HDFS+Yarn+MapReduce+Hbase+Hive+Pig+…1.HDFS:分布式文件系统2.Yarn:分布式资源管理系统，3.MapReduce:Hadoop的编程框架4.Pig
ZK_0705·2023-10-30 10:17

1.spark standalone环境安装

概述环境是spark3.2.4hadoop版本3.2.4，所以官网下载的包为spark-3.2.4-bin-hadoop3.2.tgz在具体安装部署之前，需要先下载Spark的安装包，进到spark的官网
流月up·2023-10-30 09:51

hadoop安装基础环境安装一

概述hadoop前置基础安装环境配置，jdk8，hadoop3.2.4包，linux7基础环境配置，总共四台机器相关链接阅读之前，先浏览一下hadoop安装文章聚合下面是四台机器的相关信息,表格机器ip
流月up·2023-10-30 09:21

hadoop安装基础环境安装二

概述hadoop3.2.4版本；修改hadoop的配置文件相关链接阅读之前，先浏览一下hadoop安装文章聚合配置文件如果以前安装过，清除相关数据配置文件所在地/data/soft/hadoop-3.2.4
流月up·2023-10-30 09:21

大宝大话大数据(二)——大数据的学习路径和方法

当时上刘军老师《海量数据处理》这门课的时候，老师很好，很认真讲了Hadoop的
北邮郭大宝·2023-10-30 08:48

spark安装教程

IP192.168.42.121192.168.42.122192.168.42.123映射名masterslave1slave21.用xftp上传spark压缩包到/usr/local/src/中，解压到此目录中，tar-zxvfspark-2.3.1-bin-hadoop2.7
大大柚子·2023-10-30 08:41

Spark的简介

1.spark是一门大规模数据处理的同一分析引擎.2.Spark可以对任意类型的数据进行自定义计算,结构化,半结构化,非结构化的数据都可以进行处理.3.HadoopSpark基础平台,包含计算,存储,调度纯计算工具
一只不起眼的猪·2023-10-30 08:40

spark安装配置

目录1.准备工作2.下载spark-3.1.1-bin-hadoop2.7和scala-2.12.13并解压3.配置环境变量4.配置文件$SPARK_HOME/conf/spark-env.sh6.配置
小田月朔一·2023-10-30 08:39

Spark系列之Spark启动与基础使用

3.1SparkShell3.1.1SparkShell启动安装目录的bin目录下面，启动命令：spark-shell$SPARK_HOME/bin/spark-shell\--masterspark://hadoop10
落叶飘雪2014·2023-10-30 08:09

spark环境配置

下载完成后进行解压：tar-zxvfspark-2.1.1.tgz#简短的名字易于操作mvspark-2.1.2-bin-hadoop2.7.
Zx-Deere·2023-10-30 08:39

spark

sparkSpark可以将Hadoop集群中的应用在内存中的运行速度提升100倍，甚至能够将应用在磁盘上的运行速度提升10倍。
haobu枳·2023-10-30 08:07

Could not connect to hadoop02:10000 (code THRIFTTRANSPORT): TTransportException

报错信息：Couldnotconnecttohadoop02:10000(codeTHRIFTTRANSPORT):TTransportException(‘Couldnotconnecttohadoop02
红叶゜·2023-10-30 07:28

HDFS（一）HDFS基本介绍

HDFS的Master-Slave结构HDFS角色作用简介HDFS分块存储抽象成数据块的好处HDFS副本机制名字空间（NameSpace）NameNode功能DataNode功能机架感知原理HDFS是HadoopDistributeFileSystem
红叶゜·2023-10-30 07:27

Hadoop问题：The auxService:mapreduce_shuffle does not exist

Hadoop问题：TheauxService:mapreduce_shuffledoesnotexist问题描述：TheauxService:mapreduce_shuffledoesnotexist问题分析
红叶゜·2023-10-30 07:26

从主机上传文件到hdfs，从机看不到上传的文件

从主机上传文件到hdfs，从机看不到上传的文件发现是从机未写/etc/profile.d/hadoop.sh文件补全hadoop.sh文件即可
红叶゜·2023-10-30 07:56

Impala基础知识

提供SQL语义，能查询存储在Hadoop的HDFS和HBase上的PB级大数据，在性能上比Hive高出3~30倍。基于Hive的大数据实时分析查询引擎，其运行需要依赖于Hive元数据。
johnny233·2023-10-30 07:46

大数据之 impala教程

Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。它是一个用C++和Java编写的开源软件。与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。
种麦南山下·2023-10-30 07:45

Impala的介绍、使用和原理架构

使用的优化技术执行计划数据流内存使用调度容错适用面优缺点Impala架构Impala查询处理过程处理过程单机执行计划分布式执行计划Impala安装部署安装前提下载安装包、依赖包虚拟机新增磁盘（可选）配置本地yum源安装Impala修改Hadoop
迷雾总会解·2023-10-30 07:44

Hadoop3.2 集群搭建

Hadoop3.2集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。
大猪大猪·2023-10-30 06:08

大数据笔记-关于Cassandra的删除问题

Cassandra是Facebook开源的一个NoSQL数据库，它除了具备一般的NoSQL分布式数据库特点以外，最大的一个特点是去中心化架构设计，这和HadoopHDFS/HBase等不一样，比如HDFS
鬓戈·2023-10-30 06:48

Flink问题总结

FlinkException:Failedtovalidateanyoftheconfigureddirectoriestomoniflink1.9关联hadoop配置需要上传flink-shaded-hadoop
勇者1108·2023-10-30 04:16

Elasticsearch如何备份到HDFS

测试环境elasticsearch6.3.2Hadoop2.9.1操作步骤安装repository-hdfs进入ES的目录，执行命令：bin/elasticsearch-plugininstallreposito
勇者1108·2023-10-30 04:16

Hadoop 3.x 和2.x主要区别

最低Java版本从7升级到8引入纠删码(ErasureCoding)主要解决数据量大到一定程度磁盘空间存储能力不足的问题.HDFS中的默认3副本方案在存储空间中具有200%的额外开销。但是，对于I/O活动相对较少冷数据集，在正常操作期间很少访问其他块副本，但仍然会消耗与第一个副本相同的资源量。纠删码能勾在不到50%数据冗余的情况下提供和3副本相同的容错能力，因此，使用纠删码作为副本机制的改进是自然
勇者1108·2023-10-30 04:45

大数据-玩转数据-大数据平台搭建工具 Ambari

一、Ambari是什么Ambari跟Hadoop等开源软件一样，也是ApacheSoftwareFoundation中的一个项目，并且是顶级项目。
人猿宇宙·2023-10-30 03:04

真实大数据简历模版（一）【大数据-4年经验】在线教育

能自我激励，善于沟通与团队协作3.具备扎实的Java相关知识，熟练使用Java和Scala语言编程4.掌握Spark及其组件SparkCore、SparkSQL、SparkStreaming的使用5.掌握Hadoop
大模型Maynor·2023-10-30 03:25

敏捷数据科学：用Hadoop创建数据分析应用

敏捷数据科学：用Hadoop创建数据分析应用（数据分析最佳实践入门敏捷大数据首作分步骤|全流程演示思路、工具与方法）【美】RussellJurney(拉塞尔·朱尔尼)著冯文中朱洪波译ISBN978-7-
博文视点·2023-10-30 03:19

任务调度之azkanban

azkaban.github.io/downloads.html1.2Azkaban安装部署1.2.1安装前准备1)将AzkabanWeb服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到hadoop102
陈朝辉_39f7·2023-10-30 02:49

Hadoop的一些常见错误解决方案

1、启动hadoop时没有NameNode的可能原因：（1）NameNode没有格式化（2）环境变量配置错误（3）Ip和hostname绑定失败2、搭建hadoop集群使用ssh不成功①查看防火墙②检查用户权限
魂落忘川犹在川·2023-10-30 00:00

linux redis常见问题解决方案,linux redis安装及安装遇到的问题及解决方案-记录

redis官方传送门Linux安装Redis服务步骤：获取资源指定安装目录[root@hadoop-mastermnt]#mkdirreids[root@hadoop-masterredis]#cdredis
weixin_39833687·2023-10-30 00:29

centos7部署flink学习笔记（standalone）

高性能的流处理部署步骤//下载安装包[root@mini2~]#wgethttps://archive.apache.org/dist/flink/flink-1.5.2/flink-1.5.2-bin-hadoop27
H.20·2023-10-29 22:13

Centos7+Flink1.10+StandaloneHA部署

Centos7+Flink1.10+StandaloneHA部署前提计划flink搭建配置1.下载2.上传centos7并解压3.修改配置文件4.复制到另外2台机器测试前提1）hadoop3.1.4,搭建可以参考
ydfind·2023-10-29 22:38

求指点：/bin/sh: -c: line 0: unexpected EOF while looking for matching `“‘

dockerfile文件如下：FROMcentosMAINTAINERSHUJIVOLUME["/data1","/data2"]运行容器报错如下：[root@Hadoop2learn_docker]#
ninety_two·2023-10-29 22:59
上一页 66 67 68 69 70 71 72 73 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他