hadoop入门学习

MapReduce

MapReduce定义mapReduce是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架。
诺冰1314·2024-02-19 10:46

Hive入门，Hive是什么？

它是建立在Hadoop生态系统之上的，利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy·2024-02-19 10:31

Hive on Spark配置

pwd=66663、将Spark安装包通过xftp上传到/opt/software安装部署Spark1、解压spark-3.3.1-bin-without-hadoop.tgz进入安装包所在目录cd/opt
在下区区俗物·2024-02-15 10:51

配置hive on spark

hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改hive-site.xml文件，添加如下配置：spark.yarn.jarshdfs://hadoop
空白格2519·2024-02-15 10:51

hive on spark配置经验

常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode
小五冲冲冲·2024-02-15 10:21

（三十八）大数据实战——Atlas元数据管理平台的部署安装

本节内容是关于ApacheAtlas的部署安装，在开始安装Atlas之前我们需要提前安装好Atlas需要集成的组件，如hadoop、zo
厉害哥哥吖·2024-02-15 09:09

Hadoop手把手逐级搭建 第二阶段: Hadoop完全分布式(full)

前置步骤:1).第一阶段：Hadoop单机伪分布(single)0.步骤概述1).克隆4台虚拟机2).为完全分布式配置ssh免密3).将hadoop配置修改为完全分布式4).启动完全分布式集群5).在完全分布式集群上测试
郑大能·2024-02-15 04:07

C++入门学习（二十六）for循环

for(初始化;条件;递增/递减){//代码块}打印1~10：#includeusingnamespacestd;intmain(){for(inti=1;i#include//需要包含这个头文件来使用setw和其他格式化输出功能usingnamespacestd;intmain(){for(inti=1;i<=9;++i){for(intj=1;j<=i;++j){cout<
执沐·2024-02-15 01:54

C++入门学习（二十七）跳转语句—break语句

1、与switch语句联合使用C++入门学习（二十三）选择结构-switch语句-CSDN博客#include#includeusingnamespacestd;intmain(){intnumber;
执沐·2024-02-15 01:54

C++入门学习（二十七）跳转语句—continue语句

直接看一下下面的代码更清晰：与上一节的break语句可以做一下对比：C++入门学习（二十七）跳转语句—break语句-CSDN博客#includeusingnamespacestd;intmain(){
执沐·2024-02-15 01:23

一面数据： Hadoop 迁移云上架构设计与实践

背景一面数据创立于2014年，是一家领先的数据智能解决方案提供商，通过解读来自电商平台和社交媒体渠道的海量数据，提供实时、全面的数据洞察。长期服务全球快消巨头（宝洁、联合利华、玛氏等），获得行业广泛认可。公司与阿里、京东、字节合作共建多个项目，旗下知乎数据专栏“数据冰山”拥有超30万粉丝。一面所属艾盛集团（Ascential）在伦敦证券交易所上市，在120多个国家为客户提供本地化专业服务。公司在2
JuiceFS·2024-02-15 01:48

（免费领源码）Java#MySql#hadoop高校固定资产管理系统74965-计算机毕业设计项目选题推荐

摘要在信息飞速发展的今天，网络已成为人们重要的信息交流平台。高校部门每天都有大量的信息需要通过网络发布，为此，高校固定资产管理系统开发的必然性，所以本人开发了一个基于Tomcat（服务器）模式的高校固定资产管理系统，该系统以B/S/Java语言、MySql数据库等为开发技术，实现了添加、修改、查看、删除系统数据。本系统采取组件化的方式对系统进行拆分，并对数据库中各个表的增删查改、表与表之间的约束关
2301_3224142804·2024-02-15 00:42

大数据集群环境启动总结

hadoop启动与停止单个节点逐一启动在主节点上使用以下命令启动HDFSNameNode：hadoop-daemon.shstartnamenode在每个从节点上使用以下命令启动HDFSDataNode
我还不够强·2024-02-14 23:04

Hadoop-3.0.3 安装

Hadoop-3.0.3安装一下载安装包二配置Hadoop环境变量/etc/profile后面追加exportHADOOP_HOME=/data/hadoop-3.0.3exportPATH=$HADOOP_HOME
火星机遇号·2024-02-14 23:52

HDFS用户及权限配置

HDFS用户及权限配置使用linux用户bruce，格式化hadoop的namenode，那么bruce成为hdfs的超级用户在bruce用户下运行命令：#创建/user/hadoop目录hadoopfs-mkdir-p
wpheternal·2024-02-14 21:42

Hadoop(HDFS)的超级用户

Hadoop(HDFS)的超级用户超级用户超级用户即运行namenode进程的用户。宽泛的讲，如果你启动了namenode，你就是超级用户。超级用户干任何事情，因为超级用户能够通过所有的权限检查。
zinger.wang·2024-02-14 21:12

HDFS的超级用户

一.解释原因HDFS(HadoopDistributedFileSystem)和linux文件系统管理一样，也是存在权限控制的。
重剑DS·2024-02-14 21:41

Python_NumPy——入门学习（numpy基本操作）

作者：初次知晓邮箱：[email protected]笔记分享：百度网盘分享链接百度云盘链接：https://pan.baidu.com/s/1VXHLlMsRvrzcY0d6W0LPsA?pwd=b8m1提取码：b8m1本人为中职在读学生，博客内容或有错误，我愿意接受并吸取任何人的意见学习来源参考以下网站或视频：菜鸟教程,千锋教育系列视频,黑马程序员系列视频目录Numpy的索引操
初次知晓·2024-02-14 19:34

素描入门学习素描的几个通用方法，今天你应该掌握了它

1、整体的观察的方法素描造型的方法和规律是通过直接研究客观对象而的出的结果，因此，素描的学习应当建立在写生的基础上。写生是素描训练最基本的形式，是提高素描绘画能力的主要手段。素描写生的一个基本原则是忠实地描绘对象并不是指简单机械地自然模仿，而是运用科学的方法去塑造对象。而学会用科学的方法塑造对象，首先要学会科学的方法观察对象。没有经过素描训练的人观察物像时，总是习惯于从细部去看，看完一个局部在看另
素描桃桃·2024-02-14 18:14

R语言入门学习笔记（2）

课程源代码：https://github.com/miwu8512/IntroToR视频地址：https://www.youtube.com/watch?v=rPj5FsTRboE&list=PLBTcf4SwWEI9_kCOJ-1o-Jwr-_Qb6bkegLecture2数据集的结构和作图的主要变量1understandingthedataset1.1Vector向量Define:Vector
DC小白·2024-02-14 12:45

[CUDA 学习笔记] Reduce 算子优化

Reduce算子优化注:本文主要是对文章【BBuf的CUDA笔记】三，reduce优化入门学习笔记-知乎的学习整理Reduce又称之为归约,即根据数组中的每个元素得到一个输出值,常见的包括求和(sum)
PeakCrosser·2024-02-14 10:39

【量化干货合集】你想要的，都在这里！

(Book+Video)推荐一些Python入门学习资料（持续添加中…）Python编程【量化投
水哥哥123·2024-02-14 09:01

Hadoop+Spark+MongoDB+MySQL+C#大数据开发项目最佳实践

一、前言随着IT技术的飞速发展，各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务。目前，医疗IT系统收集了大量极具价值的数据，但这些历史医疗数据并没有发挥出其应有的价值。为此，本文拟利用医院现有的历史数据，挖掘出有价值的基于统计学的医学规则、知识，并基于这些信息构建专业的临床知识库，提供诊断、处方、用药推荐功能，基于强大的关联推荐能力，极大地提高医疗服务质量，减轻医疗人员的工作强度。二、
yiyidsj·2024-02-14 07:08

学习总结 - swift适配器 为 Hadoop 的存储层增加对 OpenStack Swift 的支持

虽然文档内所涉及的版本有点旧，但内容很精彩，值得推荐背景在Hadoop中有一个抽象文件系统的概念，它有多个不同的子类实现，由DistributedFileSystem类代表的HDFS便是其中之一。
天地不仁以万物为刍狗·2024-02-14 07:37

C# Hadoop学习笔记

记录一下学习地址http://www.360doc.com/content/14/0607/22/3218170_384675141.shtml转载于:https://www.cnblogs.com/TF12138/p/4170558.html
第八个猴子·2024-02-14 07:37

hadoop HDFS的API封装

Configuration类：该类的对象封装了客户端或者服务端的配置。FileSystem类：该类的对象是一个文件系统对象，可以用该队想的一些方法来对文件进行操作。FSDataInputStream和FSDataOutputStream：这两个类是HDFS中的输入输出流。基本流程：得到Configuration对象得到FileSystem对象进行文件操作（读写、删除、改名）所需引入的库import
Cynicism_Kevin·2024-02-14 07:37

Hive的小文件问题

Reduce的数量3.2已存在的小文件合并3.2.1方式一：insertoverwrite(推荐)3.2.2方式二：concatenate3.2.3方式三：使用hive的archive归档3.2.4方式四：hadoopgetmerge
爱吃辣条byte·2024-02-14 06:11

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）前言几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣
Dimple七·2024-02-14 06:41

SpringBoot RabbitMQ 入门学习（详细）

目录安装RabbitMQ初始化SpringBoot项目导入依赖添加配置配置文件application.yml添加配置类RabbitMqConfig简单队列发送者消费者测试类测试的Controller单元测试类运行路由（交换机）创建一个交换机（Exchange）交换机与队列的绑定TopicExchange修改`Sender`类的`send`方法测试HeadersExchange自定义规则Fanout
张学徒·2024-02-14 03:47

大数据开发之Sqoop详细介绍

备注:测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。
只是甲·2024-02-14 01:17

C语言入门学习第一步，从这里开始，入门到入坑

本文针对接触过C语言的选手（了解helloworld程序怎么写）配置你的环境这里介绍三种编写C语言的环境，请根据你的喜好和需要来选择visualstudio2015下载与安装下载完成后双击打开iso文件，双击vs_community.exe进入安装页面前期仅勾选”CommonToolsforVisualC++2015”（图片示例为专业版，仅勾选箭头所指即可）选择好路径安装（推荐C盘）使用vs你应该
C语言学习·2024-02-13 22:11

Ubuntu16.04下HBase安装笔记

基础准备JDKHadoopSSHServer下载HBasehttps://hbase.apache.org/tar-zxvfhbase-1.4.2-bin.tar.gzsudomvhbase-1.4.2
bluexiii·2024-02-13 22:48

利用 Docker 安装 Hadoop 集群并通过 Java API 访问 HDFS

前言最近刚好在学习Hadoop，在安装过程中遇到了一些小麻烦，正好将此次过程记录并分享出来，希望能对准备学习本块内容的读者们有所帮助。本次操作在Ubuntu中完成，如何安装Ubuntu本文不再赘述。
qq_33419925·2024-02-13 21:38

hadoop(十三)—自定义排序

这节课我们一起学习Hadoop的自定义排序，Hadoop是有一套默认的排序规则的，但是这往往不能满足我们多样化的需求，为了让排序更多样化，这就需要用到我们本节课所要学习的自定义排序功能。
文子轩·2024-02-13 20:13

YARN体系结构指南

1.简介hadoop-0.23引入的新体系结构将JobTracker的两个主要功能：资源管理和作业生命周期管理分为不同的组件。
盗梦者_56f2·2024-02-13 16:45

大数据处理为何选择Spark，而不是Hadoop

Spark的各个组件2.HadoopHad
嘿嘿海海·2024-02-13 14:00

hadoop 分布式集群安装与原理

对很多人来说，学习大数据都止步于集群搭建，即使是那些工作过很多年的JAVA程序员也不例外，我们分享一套能让您轻松完成集群搭建的方法，包括Hadoop的源码编译、企业级环境安装与配置和常用大数据组件的基本原理
海牛大数据_青牛老师·2024-02-13 12:44

Python入门学习——DAY03

Day03Python基础课程目标：掌握Python基础中的必备语法知识课程概要：循环语句字符串格式化运算符1.循环语句while循环for循环（后期）while条件:......1.1循环语句基本使用示例1:print("开始")num=1whilenum<5:print("我是一名程序员")num=num+1print("结束")1.1练习题实现一个交互系统，使得用户输入一个数字n，反馈n次我
cyt—srhloveyou·2024-02-13 11:39

SpringBoot菜鸟入门学习（1）

一.springboot简单介绍首先可以先了解一下什么是springboot，它是一个框架，目的是用来简化Spring应用的创建、运行、调试、部署等。springboot中提供了很多依赖，这样使得用户在开发中可以把重点放在代码的开发。想要了解更多详细概念可以自行搜索这里不做太多介绍。二.springboot项目创建learn文件夹中可以创建多个模块，如果在学习不同内容时想创建多个模块并且随时查看，
布吉岛-·2024-02-13 09:28

快速入门------SpringBoot整合MVC（2）

在上一篇SpringBoot入门学习（1）中我们简单实现了用户数据的查询并且在浏览器页面显示json数据，那么这篇我们将介绍SpringBoot整合MVC的一个小案例。
布吉岛-·2024-02-13 09:26

小猿圈之Hadoop优化

Hadoop框架是现在最主流的的框架之一，越来越多的人去学习，那么你对hadoop的理解是什么？hadoop一定要会优化，那怎么优化呢，小猿圈今天说一下，感兴趣的朋友可以看看小猿圈写的这篇文章。
小猿圈加加·2024-02-13 05:38

java入门学习提升第四篇：Java中的回调

又忙了一周，事情差不多解决了，终于有可以继续写我的博客了（各位看官久等了）。这次我们来谈一谈Java里的一个很有意思的东西——回调。什么叫回调，一本正经的来讲，在计算机程序设计中，回调函数是指通过函数参数传递到其它代码的，某一块可执行代码的引用。这一设计允许了底层代码调用在高层定义的子程序。别急别急，且听我慢慢道来。举个栗子，设置这样一个情景，老板安排员工做事，然后让他做完后跟他电话说一声。老板当
Python编程社区·2024-02-13 05:35

音视频学习(三)Shell脚本入门

Shell入门学习打开编辑器(vi/vim命令来创建文件)，新建test.sh，扩展名为sh。第一个Shell脚本./test.sh如果有权限问题，则赋予脚本执行权限chmod+x.
主音King·2024-02-13 04:28

Java从入门到精通

Java从入门到精通java快速入门java快速入门20240212，java快速入门学习目标：熟练掌握javaEE廖雪峰老师推荐的Java学习路线图如下：1、首先要学习JavaSE，掌握Java语言本身
nightluo·2024-02-13 01:52

Datax ETL工具源码研究

Kittle优点：与大数据Hadoop结合比较好，功能比较齐全，强大，支持数据库，文件数据读写，界面拖拽方式操作；缺点：
Spring1985·2024-02-13 01:57

2024年的网络安全/黑客入门学习路线图

关键词：网络安全入门、渗透测试学习、零基础学安全、网络安全学习路线2024年的网络安全学习路线可以分为几个阶段，从基础入门到实战应用，再到高级技能的提升。以下是一个详细的学习路线，以及一些推荐的资源和工具：基础阶段计算机网络：理解OSI模型、TCP/IP协议栈、网络设备工作原理等。Linux系统：熟悉Linux命令行操作，至少掌握常用的50-60个命令。Web框架：了解HTML、JavaScrip
网络安全进阶·2024-02-12 21:41

2018-07-19 sqoop

sqoop:数据从传统数据库到到hadoop的导入,导出安装：1.解压2.修改配置文件cdSQOOP_HOME/conf$mvsqoop-env-template.shsqoop-env.sh打开sqoop-env.sh
江江江123·2024-02-12 20:10

【解决方案】pyspark 初次连接mongo 时报错Class not found exception:com.mongodb.spark.sql.DefaultSource

=spark.read.format("com.mongodb.spark.sql.DefaultSource").load()   File"/home/cisco/spark-2.4.1-bin-hadoop2
能白话的程序员♫·2024-02-12 19:33

Hadoop分布式系统架构-MapReduce-02

1、MapReduce介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce负责“合”，即对map阶段的结果进行全局汇总。MapRedu
一直上上签X·2024-02-12 16:41

（一）Docker 在线部署和离线部署

环境：CentOS7.31.在线部署[root@hadoop004~]#yuminstall-yhttpd[root@hadoop004~]#servicehttpdstartRedirectingto
白面葫芦娃92·2024-02-12 15:51
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他