Hadoop集群

hadoop集群常见问题集锦

hadoop集群常见问题集锦hadoop集群搭建、使用过程中遇到了很多，特记录下1、ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode:java.io.IOException
ptmozhu·2020-08-10 18:37

MyEclipse 打包到hadoop集群上运行MR程序提示ClassNotFoundException的两种原因

今天写MR程序，原来用TextInputFormat改为用KeyValueTextInputFormat类提交到hadoop上一直提示ClassNotFoundException的异常。百思不得其解，后来查看源码时发现没有KeyValueTextInputFormat的源代码。这时候我注意到我的集群上hadoop版本号是1.0.0，Win7上的jar包和源代码都是1.0.0.记得刚开始配机群环境时
iteye_3271·2020-08-10 17:57

pig（数据流语言和编译器）学习https://www.w3cschool.cn/apache_pig/apache_pig_execution.html...

当我们配置了hadoop集群执行的时候可以通过命令ls进行查看存储语法STORERelation_nameINTO'required_directory_path'[USINGfunction];STOREstudentINTO'hdfs
dci75702·2020-08-10 16:42

数据分析引擎：Pig

贡献给ApachePig可以简化MapReduce仸务的开发Pig可以看做hadoop的客户端软件，可以连接到hadoop集群迕行数据分析工作Pig方便不熟悉java的用户，使用一种较为简便的类似二SQL
做一个勤劳的码农·2020-08-10 15:16

Pig 数据分析引擎（一）

贡献给ApachePig可以简化MapReduce任务的开发Pig可以看做hadoop的客户端软件，可以连接到hadoop集群进行数据分析工作Pig方便不熟悉java的用户，使用一种较为简便的类似于SQL
atom2018·2020-08-10 14:43

MR实例 - Windows运行MapReduce【图文】

Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。解释：如果让我们自己写一个分布式运算程序
粽子·2020-08-10 13:53

第8周 Pig安装与Pig Latin语言，应用案例

pig简介Pig可以看做hadoop的客户端软件，可以连接到hadoop集群进行数据分析工作Pig方便不熟悉java的用户，使用一种较为简便的类似于SQL的面向数据流的语言piglatin进行数据处理
事后诸葛亮·2020-08-10 13:22

Pig实例:使用Pig latin来求年最高气温(测试NCDC天气数据)

hadoop集群模式开启:start-all.shPig的安装不在陈述,网上有许多可参考的启动gruntshell可以使用help命令查看帮助信息:查看gruntshell命令:grunt>fs准备测试数据
江南浙里·2020-08-10 13:21

IntelliJ IDEA运行WordCount（详细版）

凡事谨守规模，必不大错一生但足衣食，便称小康相关链接HDFS相关知识Hadoop分布式文件系统（HDFS）快速入门Hadoop分布式文件系统（HDFS）知识梳理（超详细）Hadoop集群连接Eclipse
老师没讲·2020-08-10 11:54

Hadoop学习笔记一 ：HDFS总结

支持同一数据多个副本保存机制，能有效避免数据丢失情况高扩展性：Hadoop能够很方便地扩展大量节点，用于分布式存储与计算高效率性：Hadoop结合MapReduce的思想，支持分布式并行工作，处理工作高容错性：在Hadoop
Chord_Gll·2020-08-10 10:57

Eclipse编译、Hadoop集群运行MapReduce程序

本文介绍的是如何在Windows中使用Eclipse来开发MapReduce程序，并打包成jar包在已经搭建好的hadoop集群环境上运行。
红枫忆梦·2020-08-10 09:54

利用U盘给电脑安装centos7操作系统

为了搭建hadoop集群，利用闲置的台式机安装centos操作系统，只安装一个centos系统不安装window系统。
yhb_csdn·2020-08-10 08:52

Hive2.0安装完整版——Hive2.3.4

@羲凡——只为了更好的活着Hive安装完整版——Hive2.3.4Hive是大数据生态圈中最常用的数据仓库，也是有hadoop集群的公司的必备。
羲凡丞相·2020-08-10 08:21

Hive0.13.0简介

他提供了一系列的工具，可以用来进行数据提取和转化加载（ETL），是部署在hadoop集群上的，是hadoop集群上的一个框架，这是一种大规模的数据机制，Hive定义了简单的类SQL查询语句，称为HQL，
雨钓Moowei·2020-08-10 07:18

java_大数据_Hadoop_yarn_hive_sqoop

文章目录01_Hadoop集群搭建1.什么是hadoop1.1hadoop中有3个核心模块：2.HDFS整体运作机制3.搭建HDFS分布式集群3.1.需要准备多台Linux服务器3.2安装，配置，启动HDFS3.2.1
_shutter_·2020-08-10 07:47

DBeaver连接Hive

所以直接使用hive目下jdbc中的jar包，以添加文件方式加载到驱动列表1启动Hadoop集群HDFS和yarnstart-dfs.shstart-yarn.sh2启动hiveserver2.
DFZR-ZXHY·2020-08-10 06:17

Kettle与Hadoop（四）导入导出Hadoop集群数据

目录一、向Hadoop集群导入数据（Hadoopcopyfiles）1.向HDFS导入数据2.向Hive导入数据二、从Hadoop集群抽取数据1.把数据从HDFS抽取到RDBMS2.把数据从Hive抽取到
wzy0623·2020-08-10 04:11

ambari Hadoop 部署 connection failed / connection refuse 错误 NTP 未启用

环境Redhat7.3/ambari2.7/hadoop3.1使用ambari完成i部署hadoop集群没有报错，但发现有几个服务不能启动，查看日志提示都显示指向某一台hostconnectionrefuse
华北沙漠·2020-08-10 03:40

spark2.1.0WordCountCluster

spark.txthellotomhellojerryhellokittyhelloworldhellotomhinihaoninihihihellohihihello2.用winscp将spark.txt上传到虚拟机上3.将spark.txt上传到hadoop
我要一步一步往上爬丫·2020-08-09 23:00

hadoop cluster（第二篇）关闭防火墙问题

参考链接：1、http://blog.csdn.net/zhxdick/article/details/51942405（Hadoop集群搭建）2、http://blog.csdn.net/u011831754
HereIcome·2020-08-09 18:46

Spark分布式环境搭建

blog.csdn.net/xiaoxiangzi222/article/details/52757168一、spark集群搭建这里介绍spark的集群安装，需要依赖于hadoop的集群所以，首先搭建了一个hadoop
zhanglupingsinosoft·2020-08-09 16:21

jupyter-notebook 以yarn模式运行出现的问题及解决

现在特记录一下过程：这里一共有两个虚拟机，一个做master,一个做slave1虚拟机slave1安装sparkslave1之前已经安装了hadoop，并且可以成功进行Hadoop集群运算。
小白programmer·2020-08-09 14:34

Yarn运行原理了解

随着技术的发展，人们已经不在满足hadoop集群中只使用mapreduce一个计算框架，人们更希望有一套合理的管理机制来控制整个集群的资源。在hadoop中启动yarn的命令：.
_txg·2020-08-09 12:57

Hadoop 3.x 详细安装步骤

写在前面如果你想通过这篇博客在本地成功搭建Hadoop集群的话，你需要先跟着视频课程三天入门大数据实操课程在本地搭建集群环境，在这个视频课程中你需要学习的章节是：VMWareWorkStation安装创建虚拟机安装
抖码·2020-08-09 12:24

Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8完全分布式集群)

关键字：LinuxCentOSHadoopJava版本：CentOS7Hadoop3.2.0JDK1.8说明：Hadoop从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。1.下载hadoop本博文使用的hadoop是3.2.0版本打开下载地址选择页面：http://
1-只小猴子·2020-08-09 11:09

利用python编写爬虫程序，从招聘网站上爬取数据，将数据存入到MongoDB数据库中，将存入的数据作一定的数据清洗后做数据分析，最后将分析的结果做数据可视化

settings.py）MongoDB数据库的安装软件下载数据测试本人已经爬取了一部分数据，分享出来供大家测试配置Linux环境在这里本人使用的资源都会发布出来为了方便大家的测试，配置好的虚拟机我也会分享出来启动Hadoop
也许，无·2020-08-09 11:38

ubuntu 基于 docker 搭建 hadoop 3.2 集群【成功】

文章目录安装docker拉取ubuntu16.04镜像安装java和scala配置apt阿里源安装java安装scala配置hadoop集群常用工具：vim，ifconfig，ssh下载hadoop配置环境变量修改
颹蕭蕭·2020-08-09 08:54

centos8+java14+hadoop-3.3.0搭建hadoop集群（全网最新）

最近在学hadoop集群的搭建，网上常见的教程是基于centos7.5，java8，和hadoop2搭建的，由于笔者比较喜欢新技术，这里就作死使用最新的环境进行搭建，希望大家能提出意见一起进步。
ycfn97·2020-08-09 05:37

Hadoop3.3.0集群安装

Hadoop3.3.0集群安装1.集群规划2.关闭防火墙3.设置静态IP，修改主机名，以及创建集群账号4.关机，快照，克隆5.编写一个分发脚本6.配置免密登陆7.安装Java和Hadoop8.安装hadoop
渊云·2020-08-09 05:25

大数据开发面试经验

Hadoop集群的搭建过程至少自己集群的配置.框架的技术选型是不是都要清楚的明明白白。Hadoop优化HDFS小文件的影响
群山QunShine·2020-08-09 03:13

用户画像大数据环境搭建——从零开始搭建实时用户画像(四)

Ambari搭建底层大数据环境ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。
xiangwang2206·2020-08-09 02:07

Hadoop集群搭建（六：HBase的安装配置）

实验目的要求目的：1、HBase的高可用完全分布模式的安装和验证要求：完成HBase的高可用完全分布模式的安装；HBase的相关服务进程能够正常的启动；HBase控制台能够正常使用；表创建、数据查询等数据库操作能够正常进行；实验环境实验环境五台独立PC式虚拟机；主机之间有有效的网络连接；每台主机内存2G以上，磁盘50G。；所有主机上安装CentOS7-64位操作系统。；所有主机已完成网络属性配置；
Eyeshort·2020-08-08 19:54

六、spark部署模式(资源调度模式)

Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应
murphyZ·2020-08-08 18:41

近实时运算的利器---presto在公司实践

1.起因公司hadoop集群里的datanonde和tasktracker节点负载主要集中于晚上到凌晨，平日工作时间负载不是很高。
黑肚皮的窝·2020-08-08 16:25

Hadoop集群安装报告

去年选修了《网络大数据处理理论与实践》课程，本篇博客记录一下当时的安装过程。安装教程来自：助教[email protected]://www.powerxing.com/install-hadoop-cluster/http://xixici.com/2016/07/18/spark-cookbook/环境及所需软件说明1)Ubuntu14.04x64（VMware12.0虚拟机2台，Ma
Hchnr·2020-08-08 16:36

Hbase1.3.1完全分布式集群搭建(详细+，看完就会，)

Hbase完全分布式集群搭建【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】参考文章：修改hadoop集群及hbase集群的pid文件存放位置hbase启动后HMaster自动关闭：连接不到
fy_1852003327·2020-08-08 15:48

hadoop JobTracker获取启动时间

hadoop1.0.4；昨天写了一篇blog，是关于获取hadoop集群任务运行信息的例子，仿照50030界面实现。
fansy1990·2020-08-08 15:24

hbase集群搭建安装部署

环境介绍服务器：阿里云Centos7.4hbase版本：hbase-1.3.1-bin.tar.gz下载地址：http://archive.apache.org/dist/hbase/1.3.1/前置条件需要完成hadoop
零2一·2020-08-08 11:05

spark资源调度模式

Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用
Aying_seeya·2020-08-08 10:12

Hadoop 2.6.4集群启动报错java.io.IOException: All specified directories are fail

之前在自己本地的电脑上安装了3个linux机器来搭建hadoop集群，前面一段时间是使用三台来进行练习，后面发现电脑内容有点紧，就切换为两台。最近给电脑加了内存之后，就想把三台一起启动了。
chunguang.yao·2020-08-08 03:57

hadoop从机datanode 启动失败，日志错误：java.io.IOException: Incompatible clusterIDs，Initialization failed for Bl

当群起Hadoop集群时候，发现两台从机的datanode启动都是失败的状态，查看日志发现，错误信息是：2019-06-2009:53:12,874INFOorg.apache.hadoop.hdfs.server.datanode.DataNode
姗姗er·2020-08-08 03:08

Hadoop搭建（一） Hadoop集群环境搭建配置

转载来自：http://www.cnblogs.com/zhijianliutang/p/5731002.html前言关于时下最热的技术潮流，无疑大数据是首当其中最热的一个技术点，关于大数据的概念和方法论铺天盖地的到处宣扬，但其实很多公司或者技术人员也不能详细的讲解其真正的含义或者就没找到能被落地实施的可行性方案，更有很多数据相关的项目比如弄几张报表，写几个T-SQL语句就被冠以“大数据项目”，当
扣肉cherish·2020-08-08 02:05

Hadoop集群基准测试

hadoopjar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jarTestDFSIO-write-nrFiles10-size100MB14/07/2121:29:42INFOmapreduce.Job:Counters:45FileSystemCountersFILE:Numberofbytesr
bagayi4145·2020-08-07 23:04

Ubuntu搭建Hadoop集群的详细操作流程

Ubuntu搭建Hadoop集群的详细操作流程一、准备工作若还没安装虚拟机可参考：VMVMware14虚拟机安装程没安装Ubuntu的可参考：Ubuntu的安装教程Haddop的下载可以到https:/
小嗯子·2020-08-07 21:52

构建一个跨机房的Hadoop集群，有非常多的技术难点（颠覆你以往的认知）

技术挑战要构建一个跨机房的Hadoop集群，有非常多的技术难点：难点1：NameNode的扩展性众
dreamfly2014·2020-08-07 19:47

hbase与zookeeper完全分布式集群搭建

hbase与zookeeper完全分布式集群搭建auth:hahallytime:2019.11.29版本:ubuntu18hadoop2.9.2jdk1.8hbase前提:hadoop集群已经搭建成功配置说明参考
Theoyah·2020-08-07 17:20

离线计算系统之MapReduce原理

是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop
Jeremy_Lee123·2020-08-07 09:08

《离线和实时大数据开发实战》_Hive原理实践_读书笔记

：Hive1.2、Hive出现背景Hive是Facebook开发并贡献给Hadoop开源社区的；Hive是建立在Hadoop体系架构上的一层SQL抽象；HiveSQL是翻译为MapReduce任务后再Hadoop
Imflash·2020-08-07 09:11

Hadoop完全分布式配置

关闭防火墙临时关闭:serviceiptablesstop永久关闭:shkconfigiptablesoff(需要重启)修改主机名在Hadoop集群中,主机名中不允许出现_以及-,如果出现会导致找不到这台主机
小鑫鑫的太阳·2020-08-07 09:59

Hadoop分布式集群搭建

hadoop配置3.1core-site.xml3.2hdfs-site.xml3.3mapred-site.xml3.4yarn-site.xml3.5slaves3.6设置JAVA_HOME4.同步hadoop
dgush2000·2020-08-06 11:27
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他