hadoop学习之路

关于Hive架构原理，尚硅谷

最近学习hive时候，在做一个实操案例，具体大概是这样子的：我在dataGip里建了一个表，然后在hadoop集群创建一个文本文件里面存储了数据库表的数据信息，然后把他上传到hdfs后，dataGrip
大数据ＳＱＬｂｏｙ·2024-01-22 11:41

Android学习之路(22) 从模块化到组件化

从模块化到组件化一、从模块化到组件化Android应用项目,都存在一个应用模块(ApplicationModule),在build.gradle构建脚本中,第一个插件配置com.android.application,表明该Module编译打包后的输出是APK安装包;该项目可以直接运行;plugins{id'com.android.application'id'kotlin-android'}如果
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2024-01-22 10:51

Android学习之路(22) ARouter原理解析

1.ARouter认知首先我们从命名来看:ARouter翻译过来就是一个路由器。官方定义：一个用于帮助AndroidApp进行组件化改造的框架——支持模块间的路由、通信、解耦那么什么是路由呢？简单理解就是：一个公共平台转发系统工作方式：1.注册服务：将我们需要对外暴露的页面或者服务注册到ARouter公共平台中2.调用服务：调用ARouter的接口，传入地址和参数，ARouter解析传入的地址和参
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2024-01-22 10:51

Android学习之路(23)组件化框架ARouter的使用

一、功能介绍支持直接解析标准URL进行跳转，并自动注入参数到目标页面中支持多模块工程使用支持添加多个拦截器，自定义拦截顺序支持依赖注入，可单独作为依赖注入框架使用支持InstantRun支持MultiDex(Google方案)映射关系按组分类、多级管理，按需初始化支持用户指定全局降级与局部降级策略页面、拦截器、服务等组件均自动注册到框架支持多种方式配置转场动画支持获取Fragment完全支持Kot
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2024-01-22 10:48

Ranger概述及安装配置

二、Ranger2.1、什么是rangerApacheRanger是一个用来在Hadoop平台上进行监控，启动服务，以及全方位数据安全访问管理的安全框架。Ranger愿景是在Apa
小枫@码·2024-01-22 09:39

【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化

合并文件与数据统计可视化实验目的任务一：任务二：实验平台实验内容及步骤任务一：搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改hadoop
汐ya~·2024-01-22 09:35

redis-5.0.8集群环境搭建

单机环境安装redis-3.2.8主从复制架构搭建及哨兵配置如果你对redis的安装很陌生，请看完我以上两期教程，对完成此期教程很有帮助2.下载解压redis-5.0.8.tar.gz[xiaokang@hadoop01
小刘新鲜事儿·2024-01-22 08:15

re:从0开始的HTML学习之路 6. 列表标签

1.列表标签可以整齐有序的展示一些内容2.无序列表使用ul标签创建无序列表使用li标签创建列表项项目1项目2项目33.有序列表使用ol标签创建有序列表使用li标签创建列表项项目1项目2项目34.定义列表使用dl标签创建定义列表使用dt标签创建需要描述的项目使用dd标签创建对项目的描述中国三大中心文化中心金融中心洗浴中心列表可以嵌套，就像这样，无序列表套有序列表济南市历城区历下区深圳市宝安区南山区
扶摇|·2024-01-22 08:13

re:从0开始的HTML学习之路 7. 图片标签

1.图片标签可以向网页中引入一张图片img标签引入图片img是一个自结束标签2.标签的属性src：指定需要插入图片的路径（本地路径，网络路径）alt：替换文本，图片无法正常显示时，替换的文本（有助于搜索引擎对图片的识别）title：提示文本，鼠标停放在图片上时，提示的文本width、height：设置图片的宽度和高度，单位是像素二者设置其中任意一个，另一个会等比例缩小通常不设置图片的宽和高，因为大
扶摇|·2024-01-22 08:13

re:从0开始的HTML学习之路 8. 路径问题

1.路径问题（重要）无论使用哪种语言编写应用程序，路径问题都至关重要，只要需要引入资源，必定使用路径2.物理路径比如在我的电脑上，图片所在的路径是D:\Working\WEB\dream.gif如果在HTML中用物理路径引入图片，并在vscode中右键用LiveServer运行，就会发现找不到图片，但在磁盘中打开的话就可以找到这样的话并不能找到图片文件系统：通常使用Windows操作系统，项目完成
扶摇|·2024-01-22 08:13

re:从0开始的HTML学习之路 0.编辑器安装配置、HTML标准结构生成

写在前面感觉学AI好痛苦，还是学点别的吧hh1.安装一个自己会用的编辑器此时选择了VSCode安装一些插件：汉化(可有可无)，LiveServerLiveServer的作用：可以不需要在文件里双击运行(HTML的运行就是在浏览器打开啦）直接右键openwithLiveServer就可以运行写好的HTML文件了或者点点右下角的GOLive多尝试尝试。PS:使用的主题是onedarkpro，字体是fi
扶摇|·2024-01-22 08:43

re:从0开始的HTML学习之路 9.超链接

1.超链接使用a标签创建超链接超链接的属性href：用于指定跳转到目标页面的地址target：用于指定以什么方式打开页面可选值：_self：当前窗口打开，默认值_blank：新窗口打开2.各种链接介绍外部页面链接百度一下百度两下内部页面链接内部链接语义化标签空链接无指定页面，跳转到当前页面，可以实现“回到顶部”功能毫无反应链接下载链接：若链接的路径是一个文件，则为下载链接下载链接给其他网页元素添加
扶摇|·2024-01-22 08:43

re:从0开始的HTML学习之路 2. HTML的标准结构说明

1.文档声明，用于告诉浏览器，当前HTML文档采用的是什么版本。必须写在当前HTML文档的首行（可执行代码的首行）HTML4的此标签与HTML5不同。2.根标签，整个HTML文档中所有标签都必须包裹在HTML根标签中lang：用于说明当前文档使用的语言。如：en为英文，zh-CN为中文，这个标签会影响浏览器的翻译提示，如果浏览器默认为中文，网页lang=en，那么Chrome就会弹出一个翻译提示（
扶摇|·2024-01-22 08:40

大数据技术原理及应用课实验3 ：熟悉常用的HBase操作

目录实验3熟悉常用的HBase操作一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现以下指定功能，并用Hadoop提供的HBaseShell命令完成相同任务：1.列出HBase
Blossom i·2024-01-22 08:08

Flink on YARN（下）：常见问题与排查思路

杨弢（搏远），阿里巴巴计算平台事业部技术专家，ApacheHadoopCommitter，目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。
Apache Flink·2024-01-22 08:33

一张图轻松掌握 Flink on YARN 基础架构与启动流程

杨弢（搏远），阿里巴巴计算平台事业部技术专家，ApacheHadoopCommitter，目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。
zhisheng_blog·2024-01-22 08:02

10 Hadoop的安全模式及权限介绍

1、HDFS工作流程启动NameNode，NameNode加载fsimage到内存，对内存数据执行editslog日志中的事务操作。文件系统元数据内存镜像加载完毕，进行fsimage和editslog日志的合并，并创建新的fsimage文件和一个空的editslog日志文件。NameNode等待DataNode上传block列表信息，直到副本数满足最小副本条件,这个过程NameNode处于安全模式
水无痕simon·2024-01-22 08:02

[flink]一Flink部署|配置文件|提交作业|部署模式|独立模式部署|yarn模式部署

一、集群部署集群规划节点服务器hadoop1hadoop2hadoop3hadoop4角色JobManagerTaskManagerTaskManagerTaskManagerTaskManager1、
胖胖学编程·2024-01-22 08:30

Hadoop基本概论

目录一、大数据概论1.大数据的概念2.大数据的特点3.大数据应用场景二、Hadoop概述1.Hadoop定义2.Hadoop发展历史3.Hadoop发行版本4.Hadoop优势5.Hadoop1.x/2
LzYuY·2024-01-22 08:25

史上最全深度解析Flink内存管理--大数据技术

目前，大数据计算引擎主要使用Java或基于JVM的编程语言实现的，例如ApacheHadoop，ApacheSpark，ApacheDrill，ApacheFlink等。
大数据学习僧·2024-01-22 08:50

Flink（十四）【Flink SQL（中）查询】

FlinkSQL查询环境准备：#1.先启动hadoopmyhadoopstart#2.不需要启动flink只启动yarn-session即可/opt/module/flink-1.17.0/bin/yarn-session.sh-d
让线程再跑一会·2024-01-22 08:14

Flink是如何管理内存的

在讲Flink管理内存之前要了解下Flink为什么要自己实现内存管理一、Flink为什么要自己实现内存管理在大数据领域，大多数数据相关的开源框架（Hadoop、Spark、Storm）都是基于JVM运行的
Relian哈哈·2024-01-22 08:13

hive sql转换成MR任务过程

)、WEBUI（浏览器访问hive）2）元数据：Metastore元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；3）Hadoop
上官沐雪·2024-01-22 08:08

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库
Key-Key·2024-01-22 07:29

看看关系型数据库是怎么吊打Hadoop的

所以在不少架构中，会看到使用ETL的方式将数据库送到Hadoop中，使用其分布式存储和分布式计算的特点来进行分析。
薛晓刚·2024-01-22 02:58

25.集群异常故障分析——HOSTS

25.1问题情况Hadoop集群HDFS、YARN、Hive等服务出现异常告警重启集群异常告警任然存在大量告警Cluster1HDFS可用空间抑制...NameNode运行状况抑制...HDFS金丝雀抑制
大勇任卷舒·2024-01-22 02:51

Hive SQL的编译过程（转）

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。
愤怒的谜团·2024-01-21 20:40

Hbase笔记

HBase-1.hbase介绍ApacheHBase™是Hadoop数据库，是一个分布式，可扩展的大数据存储。当您需要对大数据进行随机，实时读/写访问时，请使用ApacheHBase™。
MFRain·2024-01-21 20:24

spark on yarn安装部署

所使用的安装包名称按自己的修改，安装包可去各大官网上下载一，解压tar-zxvf/opt/software/spark-3.1.1-bin-hadoop3.2.tgz-C/opt/module/修改名称
佛系爱学习·2024-01-21 17:11

黑猴子的家：API 操作 HDFS 文件下载

1、Code->GitHubhttps://github.com/liufengji/hadoop_hdfs.git2、Code@TestpublicvoidgetFileFromHDFS()throwsException
黑猴子的家·2024-01-21 16:19

django基于Hadoop平台的电影推荐系统(程序+开题报告)

本系统（程序+源码+数据库+调试部署+开发环境）带文档lw万字以上，文末可获取系统程序文件列表开题报告内容研究背景：随着互联网的普及和大数据技术的发展，人们对于个性化推荐的需求越来越高。电影作为一种重要的娱乐方式，其推荐系统的研究也受到了广泛关注。然而，传统的电影推荐系统往往基于用户的历史行为进行推荐，忽略了其他重要的信息，如电影的类型、导演、演员等。此外，由于电影数据的海量性和复杂性，传统的推荐
liu10662·2024-01-21 15:51

ubuntu22.04安装atlas2.0.0

在ubuntu裸机上安装，裸机未安装java，hadoop等环境。jdk和maven都使用apt方式安装。sudoaptinstallopenjdk-8-jdksudoa
playmakerlby·2024-01-21 15:37

hadoop yarn 配置

转自：http://blog.csdn.net/guotong1988/article/details/47130701
晴天哥_王志·2024-01-21 09:03

02-黑马程序员大数据开发：分布式计算和分布式资源调度

分布式计算模式：分散->汇总模式（MapReduce）和中心调度->步骤执行模式（ApacheSpark,Flink;比较复杂，中间会有数据交换的过程）；2.MapReduce概述MapReduce是Hadoop
S1406793·2024-01-21 08:52

大数据开发之Kafka（broker、消费者、eagle监控、kraft模式）

KafkaBroker4.1KafkaBroker工作流程4.1.1Zookeeper存储的Kafka的信息1、查看zookeeper中的kafka节点所存储的信息启动Zookeeper客户端[atguigu@hadoop104zookeeper
Key-Key·2024-01-21 07:18

Hadoop入门概述

Hadoop是一个开源的分布式计算框架，主要用于处理和存储大规模数据集。
转身成为了码农·2024-01-21 07:41

大数据之Spark架构设计与工作流程

驱动器还负责任务的调度，并与集群管理器（如HadoopYARN、ApacheMesos或Standalone模
转身成为了码农·2024-01-21 07:41

大数据技术汇总

HadoopHadoop入门概述Hadoop运行模式介绍HadoopHDFS的运行流程HadoopMapReduce的运行流程Hadoopyarn的运行流程Hadoop内HDFS、MapReduce和YARN
转身成为了码农·2024-01-21 07:41

一起走的学习之路(八十二)

对于现阶段没有创业的我而言看到的更多的是一种成长的方法，小时候都学过数学的我们都知道数学平方的算法会让那些我们原本以为不起眼的数值越来越大，如何才能在我们成长中将一点点不起眼的东西积累起来变成收货的复值，我想更多的就是注意关注点，我们常常在做一个事的时候总会考虑很多很多的因素，例如我从来就没有想过要创业因为我觉得创业对我来说很陌生，而且我没有资本，我害怕失败，我不想赚小钱，等等。很多因素使得我根本
小米雨路·2024-01-21 06:35

Spark：SparkSQL与Hive on Spark（Shark）的比较

简要介绍了SparkSQL与HiveonSpark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。
花和尚也有春天·2024-01-21 06:17

基于kubernetes构建spark-thriftserver集群(Deployment模式)

1、构建镜像这里采用spark-2.4.4-bin-hadoop2.7.tar.gz包部署，先解压文件到/opt/spark目录。（1）将需要第三方扩展包导入/opt/spark/
Moutai码哥·2024-01-21 06:46

Spark面试题

1.sparkcore1.简述hadoop和spark的不同点（为什么spark更快）♥♥♥  shuffle都是需要落盘的，因为在宽依赖中需要将上一个阶段的所有分区数据都准备好，才能进入下一个阶段，那么如果一直将数据放在内存中
韩顺平的小迷弟·2024-01-21 06:53

Ubuntu安装Hbase数据库

Hbase，并修改其名称sudotar-zxfhbase-1.1.2-bin.tar.gz-C/usr/localcd/usr/localsudomvhbase-2.2.2/hbasesudochown-Rhadoophbase
殊迟·2024-01-21 06:51

Ubuntu安装MySQL数据库

MySQLsudoapt-getinstallmysql-server输入Y后回车继续安装设置root用户密码，此处会设置两次三、启动、关闭、测试数据库servicemysqlstart#此处输入2回车选择hadoop
殊迟·2024-01-21 06:51

安装Kafka

Kafkasudotar-zxfkafka_2.11-0.10.2.0.tgz-C/usr/localcd/usr/localsudomvkafka_2.11-0.10.2.0/kafkasudochown-Rhadoopkafka
殊迟·2024-01-21 06:51

Hadoop3完全分布式搭建

一、第一台的操作搭建修改主机名使用hostnamectlset-hostname修改当前主机名关闭防火墙和SELlinux1，使用systemctlstopfirewalldsystemctldisablefirewalld关闭防火墙2，使用vim/etc/selinux/config修改为SELINUX=disabled使用NAT模式配置静态IP1，修改网络配置vim/etc/sysconfig
三木一立·2024-01-21 05:54

Linux 部署Hadoop伪分布式集群教程

首先：我们需要下载一些关于Hadoop伪分布式集群需要的工具与tar包链接：https://pan.baidu.com/s/1oUw1jDCxfghWsnaWauSHKg提取码：6s5a接下来打开虚拟机终端
qq_61247494·2024-01-21 05:15

linux 部署Hadoop完全分布式集群教程

一、准备工作1、本次任务需要三台虚拟机，主机名分别为Master、Slave01、Slave02先在Master上安装好jdk和Hadoop（安装教程可以参考这两篇文章）然后为了简便我们直接克隆两台Master
qq_61247494·2024-01-21 05:15

Linux修改hadoop配置文件及启动hadoop集群详细步骤

目录一、配置Hadoop环境1.查看Hadoop解压位置2.配置环境变量3.编辑环境变量4.重启环境变量5.查看Hadoop版本，查看成功就表示Hadoop安装成功了二、修改配置文件1.检查三台虚拟机：
CatalinaCatherine·2024-01-21 05:45

linux下hadoop集群并且配置安装百分百成功

可以去jdk官网下载8或者11版本，别用18因为hadoop会不兼容，先卸载本机的自带的jdk，下面我给大家带一个我在用的hadoop链接hadoop下载链接假设在你的linux上面有三个虚拟机hadoop102hadoop103hadoop104
新城已无旧少年_·2024-01-21 05:45
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他