hadoop开发

大数据从入门到实战-hadoop开发环境搭建

配置JavaJDK1.下载JDK前往Oracle的官网下载JDK：JavaDownloads|Oracle我们可以先下载到本地，然后从Windows中将文件传入到虚拟机中。也可以复制链接地址，在Linux系统中下载，不过复制链接地址不能直接下载，因为Oracle做了限制，地址后缀需要加上它随机生成的随机码，才能下载到资源所以我们可以点击下载，然后暂停，最后在下载管理中复制链接地址就可以在Linux
是草莓熊吖·2024-01-31 07:25

hive:创建自定义python UDF

由于Hadoop框架是用Java编写的，大多数Hadoop开发人员自然更喜欢用Java编写UDF。
-柚子皮-·2024-01-16 16:35

从零到一：Hadoop开发者的成长之路

从零到一：Hadoop开发者的成长之路随着大数据时代的来临，Hadoop作为处理大规模数据的开源框架，已成为企业和开发者关注的焦点。那么，如何从零开始，逐步成长为一名优秀的Hadoop开发者呢？
乌龙饼干·2024-01-11 01:45

大数据开发学习资料汇总

目录大数据系列HadoopHadoop权威指南Hadoop权威指南修订Hadoop实战Hadoop实战_2Hadoop源码分析大数据处理系统：Hadoop源代码情景分析Hadoop开发者入门专刊Hadoop
比屋大数据·2024-01-05 08:44

Hadoop开发环境搭建

文章目录第1关：配置开发环境-JavaJDK的配置第2关：配置开发环境-Hadoop安装与伪分布式集群搭建hadoop-env.sh配置yarn-env.sh配置core-site.xml配置hdfs-site.xml文件配置mapred-site.xml文件配置yarn-site.xml配置第二关整体代码如下：第1关：配置开发环境-JavaJDK的配置mkdir/appcd/optlltar-z
柔雾·2023-12-30 09:42

Hadoop开发环境搭建

0、修改hostname1)修改/etc/hosts:192.168.184.130luozheng.bigdata2)修改/etc/hostnameluozheng.bigdata3)添加或是修改/etc/sysconfig/network#CreatedbyanacondaNETWORKING=yesHOSTNAME=luozheng.bigdata重启查看是否修改OKimage.png4)修
紫苓·2023-12-25 08:36

云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例

二、实验环境Linux的虚拟机环境、线上操作视频和实验指导手册三、实验任务完成Hadoop开发环境安装、熟悉基本功能和编程方法。
MrNeoJeep·2023-11-28 16:43

基于Hadoop开发的大数据实战项目——电商日志分享系统

项目介绍大数据电商日志平台项目以某电商网站真实的业务数据架构为基础，将数据从收集到使用通过前端应用程序，后端程序，数据分析，平台部署等多方位的闭环的业务实现。形成了一套符合教学体系的电商日志分析项目。bf_dataapi项目的主要目标有两个：第一个就是我们需要提供一个提供json数据的RestAPI；另外一个目标就是提供一个展示结果的demo页面。bf_dataapi使用spring+mybati
搞程序的菇凉·2023-10-23 13:57

Windows下搭建hadoop 搭建本地hadoop开发环境

一、下载所需文件1.JDK下载地址：点击打开链接2.Hadoop下载地址：点击打开链接3.Windows下安装Hadoop工具下载地址:点击打开链接密码：yk9u二、jdk安装1.不会看这里点击打开链接三、Hadoop环境配置1.下载Hadoop，并解压到你的本地目录，我下载的是hadoop-2.5.2版本，解压在D:\hadoop\hadoop-2.5.2。四、配置Hadoop的环境变量1.计算
生活的探路者·2023-10-21 05:48

大数据开发学习Hadoop路线图（详细篇）

下面详细介绍一下，学习Hadoop开发技术的路线图。Hadoop本身是用java开发的，所以对java的支持性非常
qq_43713878·2023-10-11 00:24

Hadoop(6) HDFS

Hadoop(6)HDFS文章目录Hadoop(6)HDFSHDFSHDFS介绍HDFS的定义HDFS的优缺点HDFS的应用场景HDFS的组成配置Hadoop开发环境HDFS的Shell命令HDFS操作
Alaskyed·2023-10-08 07:20

基于ECLIPSE的HADOOP开发-----HDFS API学习

详细见本人另一个博客，http://www.cnblogs.com/wly603/archive/2012/04/19/2457297.html谢谢
wly603·2023-09-30 19:52

Hadoop开发环境搭建之Eclipse配置

0主要参考教程1、厦门大学数据库实验室2、JeffreyZhou的博客园整个hadoop是基于Java开发的，所以要对hadoop进行一些稍微底层一点的开发，还是得编写java程序。那就必然少不了eclipse这一开发工具了。1安装Eclipse1.1在Ubuntu中安装Eclipse，可从Ubuntu的软件中心直接搜索安装，在桌面左侧任务栏，点击“UbuntuSoftware”。1.2直接在右上
周五见·2023-09-30 19:21

头歌Hadoop 开发环境搭建及HDFS初体验（第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建）

第1关：配置开发环境-JavaJDK的配置第2关：配置开发环境-Hadoop安装与伪分布式集群搭建第3关：HDFS系统初体验注：1头歌《Hadoop开发环境搭建及HDFS初体验》三关在一个实验环境下，需要三关从前往后按顺序评测
学不好python的小猫·2023-09-26 08:51

Hadoop学习（一） MAC OS下安装Hadoop开发环境

在MACOS下安装和配置Hadoop开发环境相当简单。
禅大师·2023-08-29 00:28

MapReduce序列化

由于Java本身的序列化框架（Serializable）太重，序列化的对象包含了很多额外信息，不便于在网络中高效传输，Hadoop开发了自己的序
Manfestain·2023-07-27 01:10

windows下搭建hadoop 搭建本地hadoop开发环境

一、下载所需文件1.JDK下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2.Hadoop下载地址:https://pan.baidu.com/s/1fGclfAivPWVukRPDRfMUzA3.Windows下安装Hadoop工具下载地址:https://pan.b
Mark_ZQ·2023-07-22 00:37

Hadoop期末总复习

答：Hadoop开发了自己的分布式文件系统（HDFS）主要是为了满足其大数据处理框架的需求。
赫嘉益华·2023-07-15 06:32

linux系统下进行Hadoop开发环境配置(软件准备，防火墙，NTP服务器，环境变量，SSH免密，静态网卡）

VMware虚拟机新建虚拟机自动跳转到图形界面问题解决给一个小家伙装机时，我需要转到命令行界面进行操作，而它总是显示UI界面而不是命令行，我还以为是下载的VM版本不对，上网搜了搜，自己操作了一下，在新建完虚拟后登录，然后同时ctrl+alt+F5就能切换到命令行操作界面，卡了好一会，我这个脑子啊。参考链接：虚拟机怎么从图形界面转到命令行（去掉桌面）_vmware怎么进入命令行_虾仁猪心185的博客
Matrix70·2023-07-14 22:31

Hadoop基础——MapReduce

Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息，不便于在网络中高效传输，所以hadoop开发了一套序列化机制（Writable）2
YuannaY·2023-07-13 21:33

基于docker的Hadoop集群下实现最小生成树的mapreduce程序

01.技术背景在本文中，将为读者详细介绍如下内容：如何部署基于docker的hadoop开发环境mapreduce的基本开发流程与基本知识java开发的一些基本知识最小生成树算法相关的知识。
奋羊羊·2023-06-17 01:48

Hadoop开发--MapReduce编程--示例(十)

一、手机号分类  中国移动公司想要查看北京用户的打电话情况，手机信号来自附近的基站，要查看北京用户的信息得从全国所有的基站获取信息并一一筛选，假如我们不把用户按省市进行分别存放的话，每次我们想查看某个省市的信息时便需要从全国所有的基站信息中去一一查询，这样做，无疑效率是非常低的。假如我们把数据都分省市进行存放了，以后我们再想查看北京市的打电话信息便非常方便了，直接到存放北京市打电话信息的文件中查找
无剑_君·2023-04-09 05:15

linux下java的环境配置

linux下java的环境配置文章目录linux下java的环境配置1.删除原有的java环境2.去官网下载相应的Java环境3.在Linux上进行解压4.修改~/.bashrc参考链接之前在大数据配置hadoop
Sk1y·2023-04-01 12:07

intellij idea使用maven构建hadoop开发环境

pom.xmlUTF-81.81.82.6.5org.apache.hadoophadoop-common${hadoop.version}org.apache.hadoophadoop-hdfs${hadoop.version}org.apache.hadoophadoop-mapreduce-client-core${hadoop.version}org.apache.hadoophadoop
yc_yz·2023-03-30 15:37

Hadoop开发--IDEA(三)

一、插件安装源码地址https://github.com/fangyuzhong2016/HadoopIntellijPlugin代码下载gitclonehttps://github.com/fangyuzhong2016/HadoopIntellijPlugin.git注意：从Github上下载的源码需要经过编译才能使用编译①、目前Intellijpluginforhadoop的源码使用mave
无剑_君·2023-03-26 02:32

hadoop开发应用

hadoop开发应用一、文件上传创建input文件夹#hadoopfs-mkdir/input上传文件到input文件夹下#hadoopfs-putdat0102.dat/input/二、查询指定字符串出现次数
hello高world·2023-03-17 06:37

Hadoop开发环境搭建

之前稍微了解了一下大数据方面的知识，在搭建环境的时候我很惆怅的，因为那时候没有弄好，刚好这几天有时间，于是把以前没有弄好的又来配置了一下，没想到居然成功了，这个过程走了很多的弯路，查阅了网上大量资料，终于直接也来整理一下了。hadoop是分为3种安装模式的，单机模式，伪分布模式和完全分布模式。众所周知，完全分布模式是企业真实开发用的，会需要多台电脑，这里没有条件，所以不讲解这个方面。伪分布模式就是
普通网友·2023-03-15 13:41

Windows下搭建hadoop 搭建本地hadoop开发环境

https://blog.csdn.net/wangaz521/article/details/79717177
清风686·2023-03-11 01:56

搭建Hadoop开发环境（全过程）

文章目录一、VMware环境准备1.安装VMware2.配置网络二、配置JavaHadoop环境1.xftp连接虚拟机2.上传javahadoop压缩包到虚拟机3.配置环境变量三、完全分布式1.修改配置文件2.克隆虚拟机3.设置主机名4.修改网络地址5.配置映射关系6.免密登录7.配置节点8.格式化虚拟机9.启动hadoop三、Hadoop测试1.初识Hadoop目录2.hadoop管理界面3.W
谢的微光·2023-03-09 10:29

#第19篇分享：python初识大数据(1)-Hadoop开发环境搭建（Hadoop+jdk）

#走进数据的世界-----------------------大数据1.什么叫大数据（说白了就是超级多的数据）：大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低的四大特征。大数据的5V特点（IB
天甜费，·2023-02-24 04:36

Hadoop学习路线图

下面详细介绍一下，学习Hadoop开发技术的路线图。Hadoop本身是用java开发的，所以对java的支持性非常
熊猫人和熊猫君·2023-02-16 23:48

从头学习Hadoop需要多久

选择了来黑马程序员学习大数据，当然，hadoop是大数据中必学的，如果我记得没错的话，学习hadoop用了半个月左右，主要的学习内容就是Linux操作系统高级、大数据基础和硬件介绍以及Zookeeper，学完以后能够具备Hadoop
Itmastergo·2022-11-17 19:33

头歌Educoder——大数据Hadoop开发环境搭建

文章目录第1关：配置开发环境-JavaJDK的配置任务描述相关知识下载JDK解压配置环境变量测试编程要求实现代码第2关：配置开发环境-Hadoop安装与伪分布式集群搭建任务描述相关知识下载Hadoop配置Hadoop环境设置SSH免密登录hadoop-env.sh配置yarn-env.sh配置core-site.xml配置hdfs-site.xml文件配置mapred-site.xml文件配置ya
I'm Jie·2022-10-12 10:45

nutch二次开发之hadoop和hbase开发环境搭建

网上有许多通过Cygwin来搭建hadoop开发环境其实没有必要，在hadoop官方文档中已经说hadoop2.x版本的hadoop没有必要也不支持Cygwin。
风吹千里·2022-10-12 10:41

hadoop开发之环境搭建

已经研究了一段时间的hadoop了,由于最近事情实在太多,完全抽不出时间来整理资料,今天总算有时间了,整理下资料,也算对这段时间的总结吧。在这互联网时代,大数据的发展已经是势不可挡,顺应时代潮流,冲进互联网风口,研究hadoop也让我心情澎湃详细的说下hadoop的环境搭建,因为这个过程中对初学者来说是会出现各种各样的问题:首先说下正确的搭建方式,然后在说下我们团队在搭建环境中出现的各种问题以及解
Watering_sea·2022-10-12 10:25

小白想学大数据？

以Hadoop开发工程师为例，Hadoop入门薪资已经达到了8K以上，工作1年可达到1.5W以上，具有2-3年工作经验的hadoop人才年薪可以达到30万—5
铁拳虎·2022-08-26 11:06

Idea——Hadoop3.2.1版idea插件安装超详细版

一、为什么是Idea最近需要安装IDE插件方便Hadoop开发，找了一下github上eclipse-hadoop-plugins没发现有3.2.1版本的，所以就安装的HadoopIntellijPlugin
JiaM丶·2022-04-11 15:22

spark streaming 实时日志清洗和统计

1、数据处理加工模型（1）输入：文件，数据库，消息队列（2）处理：函数，sql，mapreduce，bolt，transform/action（3）输出：文件，数据库2、spark简介spark与hadoop
空竹翌人·2022-02-08 22:55

数据分析师、Hadoop开发工程师、算法工程师的薪水到底怎么样？

据最新发布的《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。■大数据专业就业
JAVA架构师的圈子·2022-02-07 18:33

2018-11-15

如何用Docker来降低Hadoop开发中的复杂性，本文中Crayon带来了他们的方案。
喵喵唔的老巢·2022-02-03 08:44

VSCode+Maven+Hadoop开发环境搭建

这一讲我们介绍如何借助maven用VScode搭建Hadoop开发环境。1.Java环境安装首先我们需要搭建好Java开发环境。
orion-orion·2021-12-08 22:00

使用IDEA搭建Hadoop开发环境的操作步骤(Window10为例)

下载安装Hadoop下载安装包进入官网下载下载hadoop的安装包（二进制文件）http://hadoop.apache.org/releases.html我们这里下载2.10.1版本的，如果想下载更高版本的请先去maven仓库查看是否有对应版本解压文件下载好的.gz文件可以直接解压。winRAR和Bandizip都可以用来解压，但是注意必须以管理员身份打开解压软件，否则会出现解压错误配置环境变量
·2021-11-12 19:21

Hadoop开发常见异常及解决办法总结

文章目录1.MapReduceMap端Join报错'winutils.exesymlinkxxx/position.txt\tmp\xxx\position.txt'failed1with:CreateSymbolicLinkerror(1314)2.通过脚本停止Yarn时提示noresourcemanagertostop、nonodemanagertostop3.Hadoop编译源码报错[ERR
cutercorley·2021-09-06 13:56

eclipse实现hdfs文件上传下载

前一篇介绍了eclipse搭建hadoop开发环境，这一篇通过代码来实现hdfs的上传和下载文件功能上传文件importjava.net.URI;importorg.apache.hadoop.conf.Configuration
梦的飞翔_862e·2021-06-25 13:12

Hadoop开发--Hive--DDL

一、DDL操作启动服务：hive--servicemetastore&hive--servicehiveserver2&（一）数据库操作1.创建数据库CREATE(DATABASE|SCHEMA)[IFNOTEXISTS]database_name[COMMENTdatabase_comment][LOCATIONhdfs_path][WITHDBPROPERTIES(property_name=
无剑_君·2021-06-22 08:24

【就业】数据分析师、大数据开发、Hadoop开发工程师、数据挖掘、算法工程师各路人才薪资怎么样？

据最新发布的《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。大数据专业就业三
yoku酱·2021-06-21 20:36

eclipse搭建hadoop开发环境

1.windows下载hadoop版本并解压注意下载hadoop的版本与伪分布式的hadoop版本一致，配置HADOOP_HOME环境变量为hadoop的安装目录，并配置path环境变量，配置完成后，运行cmd命令提示符窗口，输入hadoopversion如果有版本信息，说明配置成功，具体设置步骤略过。2.安装eclipse插件下载插件查下与hadoop的版本是否兼容，我的hadoop版本是2.7
梦的飞翔_862e·2021-06-08 22:26

面试题汇总：Hadoop

《面试了7家公司的Hadoop开发，居然都考了这8道题（Hadoop大数据）》8.《请查收：TOP25大常见Hadoop面试题及答案》9.《Hadoop100道面试题及
金字塔下的小蜗牛·2021-06-07 00:49

在centos7虚拟机上搭建伪分布式hadoop

学习hadoop搭建开发环境篇1，安装jdk1.8由于Hadoop是java写的，依赖java环境，搭建hadoop开发环境之前，需要安装jdk。
风逐叶·2021-05-17 04:38

Mac OS X上搭建伪分布式CDH版本Hadoop开发环境

最近在研究数据挖掘相关的东西，在本地Mac环境搭建了一套伪分布式的hadoop开发环境，采用CDH发行版本，省时省心。
Edward_Koios·2021-05-16 10:07
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他