研磨hadoop

Hive安装与配置及常见问题解决

赋予权限2.4配置环境变量2.5初始化Hive3.常见问题3.1配置hive-env.sh3.2配置hive-site.xml时1.前期准备需要3台虚拟需要并安装好java运行环境JDK需要搭建配置好Hadoop
wxin_@·2023-09-10 06:17

Linux（阿里云）安装Hadoop(详细教程+避坑)

Linux（阿里云）安装Hadoop(详细教程+避坑)一：安装JDK1.执行以下命令，下载JDK1.8安装包。
飞川撸码·2023-09-10 05:59

大数据导论 笔记

一、大数据方向1、技术发展计算机网络云计算大数据时代人工智能（本科：使用，研究生：推导，博士：创新）2023年大数据模型人工智能元年2、基础课程hadoop大数据基础三大件：HDFS分布式存储、MapReduce
暗托涅瓦·2023-09-10 02:12

宝宝辅食日志-2019.6.19

用磨研碗研磨成泥。第一次添加大米糊，爷爷说，宝宝吃的特别欢，第一次吃超过110ml辅食。新的问题来了，会不会消化不良？结果第二天正常拉粑粑了。欢欣鼓舞。
竹间采雨·2023-09-10 02:21

Hadoop生态圈中的Hive数据仓库技术

Hadoop生态圈中的Hive数据仓库技术一、Hive数据仓库的基本概念二、Hive的架构组成三、Hive和数据库的区别四、Hive的安装部署五、Hive的基本使用六、Hive的元数据库的配置问题七、Hive
Augenstern K·2023-09-10 01:46

Spark为什么比Hadoop快？

为什么Spark比Hadoop快时候，得到的答案往往是：Spark是基于内存的计算，而Hadoop是基于磁盘的计算；Spark是一种内存计算技术。果真如此吗？
kuntoria·2023-09-10 00:08

2019-08-21

我们今天投放了新的教具:切蛋器和研磨蛋壳，在厨房拿了2个鸡蛋，先放了一个。忙完后准备了手工。洗瓶子缠麻绳，结果发现胶枪坏了。我下楼了，得知三宝也生病了没有来。林林生病也没有好，今天只有朵朵来了。
月落成孤倚·2023-09-10 00:36

街角咖啡店

存放灵魂的保险柜拉开门，扑面迎来的咖啡豆研磨散发出的香气挤满整个空间，加上店员礼貌的微笑已经扫去我一半的疲倦，帅气的店员介绍了一款他们获奖的豆子，我要了200毫升，我选了个窗边位，隔壁是一对
菩提子爸爸·2023-09-09 23:57

淘宝双11数据分析与预测--“坑点”汇总

淘宝双11数据分析与预测实验连接：点击这里问题一：安装Hadoop时报错报错内容：Startingnamenodeson[localhost]localhost:mkdir:无法创建目录"/usr/local
weixin_33671935·2023-09-09 21:16

大数据处理架构Hadoop生态系统，在各个模块的作用是什么？

其实并不是这样；即使是大数据的架构，应用层依然会是传统的web应用，但是会根据数据特点对数据存储（结构化数据依然会保存在传统的关系型数据库——如MySql，日志等非结构数据会保存在分布式文件系统——如Hadoop
qunqun8889·2023-09-09 21:46

大数据学习 第一篇--基础知识入门篇

其实并不是这样;即使是大数据的架构，应用层依然会是传统的web应用，但是会根据数据特点对数据存储(结构化数据依然会保存在传统的关系型数据库--如MySql，日志等非结构数据会保存在分布式文件系统--如Hadoop
juan777·2023-09-09 21:14

jdbc连接Hive

jdbc连接Hive1.使用sqoop将stu表导入到hive中数据库表位于hadoop102上的test数据库bin/sqoopimport\--connectjdbc:mysql://hadoop102
xikuang1311·2023-09-09 20:14

滚珠螺杆螺母的加工方法

车削：最早使用的加工方法，加工螺母的工艺路线一般为:下料──锻成型──粗车外圆──调质──铣各平面──去毛刺──钻铰各孔──车内孔──精车滚道；这种加工方法的加工精度一般比较差，只能在此基础上进行精磨或研磨才能达到高精度的要求
GAOJ_K·2023-09-09 20:05

Hadoop 内存参数调整与原理

转载自http://www.jianshu.com/p/e8d93817f547,推荐阅读原创。0.写在前面部分原文来自support.pivotal.io的翻译，对于该篇文章中感觉概念模糊不清的地方我做了修正，并扩充了我自己的部分理解，有不正确的地方还望大家指正1.Container是什么YarnContainer就是一个yarn的java进程（这里容易被误解成类似LinuxContainer的
陌城小川·2023-09-09 19:29

hadoop免密登录却提示输入密码的解决思路

hadoop免密登录却提示输入密码的解决思路状况描述在项目系统中上传文件后提示失败排查解决过程查看日志发现是hadoop服务没有启动，尝试过程如下1检查/home/hdfs/下的文件夹及文件权限，确认没有问题
行万路明于省·2023-09-09 19:12

2021-01-22

大会结束后，我们语言组在刘老师的带领下，进行了绘本教学研磨，说真的这是我第一次这么细致深入的了解绘本还可以找出那么多的教育点。以前读绘本都很浅显，没有去思考也没有真正去渗透。
4cafdda79dbc·2023-09-09 17:39

Hadoop分布式集群部署

在阿里云临时租了三台服务器，做hadoop部署使用.集群角色分工第1台：hadoop-master角色：NameNode;ResourceManagerAddr：172.26.73.102第2台：hadoop-slave1
陈超Terry的技术屋·2023-09-09 16:42

Hadoop No FileSystem for scheme “hdfs“ 客户端环境变量配置

我当前的/etc/profile文件配置的环境变量exportJAVA_HOME=/opt/java/jdk1.8.0_131exportSPARK_HOME=/opt/spark-2.4.4-bin-hadoop2.7exportHIVE_HOME
Cloud孙文波·2023-09-09 15:00

大数据面试总结

目录前言一、Hadoop1.简要概念2.组件&作用3.守护线程&作用4.安全模式5.HDFS优缺点6.HDFS读写流程7.HDFS脑裂8.HA&Federation9.Yarn的请求&调度10.MapReduce
起名到半夜·2023-09-09 15:44

Initialization failed for Block pool (Datanode Uuid unassigned)

2.2步骤：查看tmp的物理路劲core-site.xmlhadoop.tmp.dir/home/hadoopadmin/hadoop/data查看data的物理路劲hd
东语~·2023-09-09 14:16

通过Idea远程调试Hadoop集群

早期的开发中经常用eclipse远程调试Hadoop集群，近期Idea的市场占有率逐渐增加，本文介绍如何在通过Idea远程调试Hadoop集群。
东语~·2023-09-09 14:15

mapred.YARNRunner: Job jar is not present. Not adding any jar to the list of resources.

问题：在eclipse中直接运行Hadoop程序时，可以正常输出结果。但是导出jar包后，在命令行执行后，提示警告并且抛出ClassNotFoundException。
东语~·2023-09-09 14:45

ExitCodeException exitCode=-1073741515 异常解决

在博客《通过Idea远程调试Hadoop集群》中部署环境后，有个别机器会出现ExitCodeExceptionexitCode=-1073741515异常，主要原因是windows操作系统缺少文件，本文主要介绍一下解决方法
东语~·2023-09-09 14:45

Container is running beyond memory limits

问题Hadoop环境中，执行MapReduce程序或者Hive任务时候，任务执行失败，提示内存不足。
东语~·2023-09-09 14:44

一键启动hadoop集群

文章目录一键启动Hadoop集群一键启动Hadoop集群输入cd/home/atbigdata/bin，进入bin目录，进行查看是否有自己的编写好的群启动Hadoop集群脚本。
Cocobuhui·2023-09-09 13:49

黑猴子的家：zk-status.sh

echo-e"================正在启动Zookeeper===========\n"for((host=102;host<=104;host++));doecho-e"\n---$user@hadoop
黑猴子的家·2023-09-09 10:40

【HDFS】Hadoop-RPC：客户端侧通过Client.Connection#sendRpcRequest方法发送RPC序列化数据

org.apache.hadoop.ipc.Client.Connection#sendRpcRequest：这个方法是客户端侧向服务端发送RPC请求的地方。调用点是Client#call方法过来的。
叹了口丶气·2023-09-09 09:28

Hadoop的第三大组成：YARN框架

Hadoop的第三大组成--YARN框架一、YARN基本概念二、YARN的基本架构组成1、ResourceManager：YARN集群的管理者2、NodeManager3、Container4、ApplicationMaster
Augenstern K·2023-09-09 09:58

2020年3月8日感恩日记

感恩今天买了何老妈的豆腐衣，特别纯正，很有营养4感恩妈妈帮我带娃做饭，今晚炒的藕片，菜苔炒豆腐衣，好好吃，吃的好满足5感恩小群里姐姐们发红包，今天是3.8女神节，祝自己节日快乐6感恩淘宝，今天买了宝宝用的小盆子，研磨碗
快乐富足的安琪·2023-09-09 08:26

hadoop3.3.4集群安装部署

文章参考地址：hadoop3.3.4集群安装部署_hwbays的博客-CSDN博客启动的时候namenode没启动成功，原因是需要格式化找到路径：/home/servers/hadoop-3.3.4/bin
早退的程序员·2023-09-09 08:07

python 连接hbase的几种方式

大数据模块hbaseApacheHBase是Hadoop生态环境中的键值存储系统（Key-valueStore）。它构建在HDFS之上，可以对大型数据进行高速的读写操作。
ajax_beijing_java·2023-09-09 07:39

Apache Spark：了解Apache Spark，Hadoop Distributed File System (HDFS)，Cassandra、HBase等

目录ApacheSparkHadoopDistributedFileSystem(HDFS)CassandraHBaseApacheSparkApacheSpark是由Apache软件基金会开发的一个快速
Solitary_孤影照惊鸿·2023-09-09 06:39

HDFS：Hadoop文件系统（HDFS）

Hadoop文件系统（HDFS）是一个分布式文件系统，主要用于存储和处理大规模的数据集。HDFS是ApacheHadoop的核心组件之一，能够支持上千个节点的集群，并能够处理PB级别的数据。
Solitary_孤影照惊鸿·2023-09-09 06:39

Hadoop集群搭建

Hadoop集群搭建Hadoop集群简介Hadoop集群包括两个集群：HDFS集群、YARN集群两个集群逻辑上分离、通常物理上在一起两个集群都是标准的主从架构集群HDFS集群（分布式存储）主角色：NameNode
藤藤菜丶·2023-09-09 05:45

Hadoop概述

Hadoop概述Hadoop介绍狭义上Hadoop值的是Apache的一款开源软件。
藤藤菜丶·2023-09-09 05:15

大数据技术之Hadoop：Yarn集群部署（七）

目录一、部署说明二、集群规划三、开始配置3.1MapReduce配置文件3.2YARN配置文件3.3分发配置文件四、集群启停4.1命令介绍4.2演示4.3查看YARN的WEBUI页面一、部署说明HadoopHDFS
何苏三月·2023-09-09 04:19

大数据技术之Hadoop：MapReduce与Yarn概述（六）

目录一、分布式计算二、分布式资源调度2.1什么是分布式资源调度2.2yarn的架构2.2.1核心架构2.2.2辅助架构前面我们提到了Hadoop的三大核心功能：分布式存储、分布式计算和资源调度，分别由Hadoop
何苏三月·2023-09-09 04:17

Spark Scan大表时任务启动过慢分析

SQLselectasset_inout_ex['asset_inout_1c_sum_1'],dtfromASSET_INOUT_AMTawheredt()|+---[991.715064ms]org.apache.hadoop.mapreduce.lib.input.CombineFileInputFormat
wankunde·2023-09-09 04:05

Spark 管理和更新Hadoop token 流程

HadoopToken管理AM通过kerberosauthenticationAM获取Yarn和HDFSTokenAMsendtokenstocontainersContainersloadtokensEnabledebugmessagelog4j.logger.org.apache.hadoop.security
wankunde·2023-09-09 04:33

轻松构建微服务之分库分表

如果你有任何疑问也可以加我pigpdong[^1]前言一般来说，影响数据库最大的性能问题有两个，一个是对数据库的操作，一个是数据库中的数据太大，对于前者我们可以借助缓存来减少一部分读操作，针对一些复杂的报表分析和搜索可以交给hadoop
董鹏dp·2023-09-09 00:11

Hadoop生态之hive

一概述与特点之所以把Hive放在Hadoop生态里面去写，是因为它本身依赖Hadoop。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
数据咩·2023-09-08 22:57

集群资源管理器——YARN

一、hadoopyarn简介二、YARN架构1.ResourceManager2.NodeManager3.ApplicationMaster4.Contain三、YARN工作原理简述四、YARN工作原理详述五
Yobhel·2023-09-08 19:42

Hive基础知识

关系数据库管理系统(RelationalDatabaseManagementSystem)】人员的需求：如果能用SQL来处理大数据是极其方便的基于以上两个背景，Hive应运而生二、Hive是什么Hive：SQLonHadoop
白面葫芦娃92·2023-09-08 19:02

找redis大key工具rdb_bigkeys

github官网https://github.com/weiyanwei412/rdb_bigkeys在centos下安装go[root@hadoop102rdb_bigkeys-master]#wgethttps
Knight_AL·2023-09-08 18:19

2023-大数据应用开发-平台搭建部署实训

集群部署测试实训1、组件版本组件版本jdk1.8hadoop3.1.3hive3.1.2Hbase2.2.3Kafka2.4.1redis6.2.6flume1.9.0maxwell1.29.0flink1.14.0clickhouse21.9.4mysql5.72
@天道酬勤@·2023-09-08 17:34

hadoop完全分布式+zookeeper集群+NameNode HA+ yarn HA

hadoop完全分布式+zookeeper集群+NameNodeHA+yarnHA1、centos7基础环境系统IP主机名用户名密码centos710.1.1.101masterrootpasswordcentos710.1.1.102slave1rootpasswordcentos710.1.1.103slave2rootpassword
@天道酬勤@·2023-09-08 17:33

hadoop(2.7.7) 完全分布式 + Hive2.3.4

组件版本组件版本下载地址Hadoop2.7.7https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gzJDK1.8https
@天道酬勤@·2023-09-08 17:33

Hadoop 2.7.7 完全分布式部署

组件版本**组件版本下载地址Hadoop2.7.7https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gzJDK1.8https
@天道酬勤@·2023-09-08 17:33

hadoop完全分布式+hive+sqoop+hbase+spark+zookeeper

================IP地址用户名密码主机名10.1.1.101rootpasswordmaster10.1.1.102rootpasswordslave110.1.1.103rootpasswordslave2主机名IP服务名用户名密码master10.1.1.101mysqlrootpassword组件版本Linux版本下载地址java8https://www.oracle.com
@天道酬勤@·2023-09-08 17:03

C语言实现封装

董的博客{关注大规模数据处理，包括Hadoop，YARN，MapReduce，Spark，Mesos等}订阅首页Hadoop-MRHadoop-YARN基础知识整理推荐关于我当前位置:首页>>C/C++
willianlong·2023-09-08 15:03
上一页 101 102 103 104 105 106 107 108 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他