Hadoop(黑马)

【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration

问题背景在Flink的sql-client客户端中执行连接hive的sql代码时出现如下错误，版本Flink1.13.6FlinkSQL>createcatalogtestwith(>'type'='hive',>'default-database'='default',>'hive-conf-dir'='/opt/hive/conf');[ERROR]CouldnotexecuteSQLstat
一杯咖啡半杯糖·2024-02-20 07:38

生产环境下，应用模式部署flink任务，通过hdfs提交

  通过通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到hdfs文件管理系统1.实践  （1）生产集群为cdh集群，从cm上下载配置文件，设置环境exportHADOOP_CONF_DIR
但行益事莫问前程·2024-02-20 07:04

OpenAI新爆款Sora，大佬们怎么看？

智东西2月17日报道，这两天，OpenAI首款文生视频大模型Sora以黑马之姿占据AI领域话题中心，马斯克、杨立昆、贾扬清、JimFan、谢赛宁、周鸿祎、李志飞等科技人物纷纷下场评论，一些视频、影视、营销从业者也关注起这个新工具
充电君·2024-02-20 06:54

以内存为核心的开源分布式存储系统

Tachyon为不同的大数据计算框架（如ApacheSpark，HadoopMapReduce,ApacheFlink等）提供可靠的内存级的数据共享服务。
这次靠你了·2024-02-20 05:26

Redis学习---2024/2/19

课程资料来自黑马程序员课程资料来源1.初识Redis2.安装Redis大多数企业都是基于Linux服务器来部署项目，而且Redis官方也没有提供Windows版本的安装包。
客卿123·2024-02-20 04:05

java学习--黑马SpringBoot3课程个人总结-2024-02-06

1.前端知识学习2.Vue准备模块的代码Documentimport{createApp}from'https://unpkg.com/vue@3/dist/vue.esm-browser.js';//创建vue实例createApp({}).mount("#app")添加构建用户界面的代码Document{{msg}}import{createApp}from'https://unpkg.com
客卿123·2024-02-20 04:34

Java学习--黑马SpringBoot3课程个人总结-2024-02-14

1.子路由//定义路由关系constroutes=[{path:'/login',component:LoginVue},{path:'/',component:LayoutVue,redirect:'/article/manage',children:[{path:'/article/category',component:ArticleCategoryVue},{path:'/article/
客卿123·2024-02-20 04:34

Java学习--黑马SpringBoot3课程个人总结-2024-02-15

1.未登录统一处理2.添加文章分类//控制添加分类弹窗constdialogVisible=ref(false)//添加分类数据模型constcategoryModel=ref({categoryName:'',categoryAlias:''})//添加分类表单校验construles={categoryName:[{required:true,message:'请输入分类名称',trigger
客卿123·2024-02-20 04:34

Zookeeper(1):入门

/bin/bashcase$1in"start"){foriinhadoop100hadoop101hadoop102doecho----------zookeeper$i启动------------ssh
叶惠美zz·2024-02-20 04:33

java学习--黑马SpringBoot3课程个人总结-2024-02-03

1.@RestController注解知识来源在网上的一番搜索后，我大致总结出了几点：1.@RestController为开发提供了方便☺，在提供json接口时需要的配置操作再也不需要自己配置了。2.@RestController注解相当于@ResponseBody和@Controller的结合3.@RestController注解时，返回的是内容实例上面说到@RestController注解相当
客卿123·2024-02-20 04:33

Java学习--黑马SpringBoot3课程个人总结-2024-02-16

1.添加文章1.1富文本编辑器文章内容需要使用到富文本编辑器，这里咱们使用一个开源的富文本编辑器Quill官网地址：https://vueup.github.io/vue-quill/安装：npminstall@vueup/vue-quill@latest--save导入组件和样式：import{QuillEditor}from'@vueup/vue-quill'import'@vueup/vue
客卿123·2024-02-20 04:02

2019.10.09.星期三（晴天）

――乾坤未定，你我皆是黑马。姑娘，请加油！图片发自App
我心悄悄·2024-02-20 04:19

＜学习笔记＞ Eureka和Nacos的对比

黑马笔记：1.Nacos与Eureka的共同点：①都支持服务注册和服务拉取②都支持服务提供者心跳方式做健康检测2.Nacos与Eureka的区别：①Nacos支持服务端主动检测提供者状态：临时实例采用心跳模式
敲去吧你个垃圾·2024-02-20 03:50

《钢铁是怎样炼成的》第八章阅读

好词隐隐约约疲乏不堪深仇大恨从天而降杀气腾腾驰骋疆场小心翼翼急骤奔放银光闪闪兴高采烈自言自语暴风骤雨好句托普塔罗和黑马，像被几十只大黄蜂蛰着似的，一块儿摔倒了。
Angel_尸爷·2024-02-20 02:45

带你了解数字货币交易所中的一匹黑马！！！

下面给大家介绍一个在数字货币交易所中杀出的一匹黑马：尚亚交易所平台，诞生于2018年年初，是位于香港的一所交易平台，致力于建设国际一流的数字资产交易平台，在这个平台上，只有经过精心审核的虚拟货
情已殤·2024-02-20 02:49

【Linux】指令 【scp】

scphadoop.tar.gzdatanode:/software这条命令的含义是将本地的hadoop.tar.gz文件复制到远程主机datanode的/software目录下。
giao客·2024-02-20 01:31

思考：变伟大最简单的方法是什么？

在人体之内存在一匹黑马，一匹白马和一
沁酒醉人心·2024-02-20 01:43

SpringBootWeb学习笔记——12万字大合集

0.写在前面注：这套笔记是根据黑马程序员B站2023-3-21的视频学习的成果，其中省略了前端基础部分、Maven部分和数据库基础部分，详情可见目录。
扶摇|·2024-02-19 23:57

无依赖单机尝鲜 Nebula Exchange 的 SST 导入

无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式（单机、容器化Spark、Hadoop、NebulaGraph），快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph·2024-02-19 23:51

uni-app基础知识笔记

uni-app的生命周期组件的使用uni-app中样式学习在uni-app中使用字体图标和开启scss条件注释跨端兼容uni中的事件导航跳转组件创建和通讯，及组件的生命周期uni-app中使用uni-ui库项目：黑马商城项目
安静宅男爱蓝猫·2024-02-19 21:24

mv: 无法获取“/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102.out.1“ 的文件状态(stat): 没有那个文件或目录

最近在回顾之前做过的离线数仓项目，在启动hadoop时出现了如下错误：hadoop102:mv:无法获取"/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102
时代新人0-0·2024-02-19 21:53

马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解

分布式计算原则：移动计算，而不是移动数据hadoop默认包含了hdfs、yarn、mapReduce三个组件yarn（YetAnotherResourceNegotiater）是资源调度系统，yarn调配的是内存和
PC_Repair·2024-02-19 20:28

Flink-部署实践

1)修改flink/conf/flink-conf.yaml文件:jobmanager.rpc.address:hadoop1132)修改/conf/masters文件:hadoop1133)修改/conf
魔笛Love·2024-02-19 20:52

主流开发语言和开发环境?

Java被广泛应用于企业级应用开发、移动应用（特别是Android应用）、游戏开发、大数据处理（如Hadoop生态系统）、云计算服务端开发等场景。C++简介：C+
dami_king·2024-02-19 20:50

2021注定不平凡的一年，各行各业形势严峻，究竟谁才是行业“黑马”？

随着2021年的即将落幕，面对各个行业的一地鸡毛，而疫情的反复和经济的跳动给大家带来了数不尽的折磨2021年到底收获了什么?回顾这一年来的经历，再结合即将到来的2022年，你做好准备了嘛，各个行业又能做好新的一年的规划嘛？累吗，不简单回顾2021年，这一年发生了，，，，，，各行业的经济情况因为疫情，下半年开始出现持续回暖现象而受到新冠肺炎疫情影响，我国服务消费下降,民营投资水平增长不快,居民收入不
效应Create·2024-02-19 18:17

做自媒体靠什么挣钱？做自媒体需要具备哪些条件？

先给大家一个2023年黑马副业项目，电商淘客全新模式，团队有滑落，佣金真的高！0投资，最快63天，月入10万！【氧惠邀请码006600】，此码注册，可享官方扶持！抢先注册，占位即捡钱！
氧惠全网优惠·2024-02-19 17:18

深度学习框架pytorch_PyTorch：深度学习框架的黑马（第1部分）

深度学习框架pytorchRecentlytheCES2020concludedinVegasandforthosewhoaren’taware,CESistheannualtradeshowforconsumerelectronicsaroundtheworld.Assuch,itanexcellentindicatorofthedirectionconsumertechnologyishead
weixin_26737625·2024-02-19 16:39

微服务—DSL基础语法与RestClient操作

本博客为个人学习笔记，学习网站：黑马程序员SpringCloud2021教程目录DSL语法索引库操作mapping属性创建索引库字段拷贝查询、删除、修改索引库文档操作新增文档查询、删除文档修改文档全量修改增量修改
向上的咸鱼blueblue·2024-02-19 15:00

Nacos注册中心(黑马学习笔记)

Nacos注册中心国内公司一般都推崇阿里巴巴的技术，比如注册中心，SpringCloudAlibaba也推出了一个名为Nacos的注册中心。1.认识和安装NacosNacos是阿里巴巴的产品，现在是SpringCloud中的一个组件。相比Eureka功能更加丰富，在国内受欢迎程度较高。附：Nacos安装指南1.Windows安装开发阶段采用单机安装即可。1.1.下载安装包在Nacos的GitHub
2301_78533951·2024-02-19 14:09

Eureka注册中心(黑马学习笔记)

Eureka注册中心假如我们的服务提供者user-service部署了多个实例，如图：大家思考几个问题：order-service在发起远程调用的时候，该如何得知user-service实例的ip地址和端口？有多个user-service实例地址，order-service调用时该如何选择？order-service如何得知某个user-service实例是否依然健康，是不是已经宕机？1.Eure
2301_78533951·2024-02-19 14:39

Vue-day02(源自黑马)

一、今日学习目标1.指令补充1.指令修饰符2.v-bind对样式增强的操作3.v-model应用于其他表单元素2.computed计算属性1.基础语法2.计算属性vs方法3.计算属性的完整写法4.成绩案例3.watch侦听器1.基础语法2.完整写法4.综合案例（演示）1.渲染/删除/修改数量/全选/反选/统计总价/持久化二、指令修饰符1.什么是指令修饰符？所谓指令修饰符就是通过"."指明一些指令后
2301_78533951·2024-02-19 14:09

Sharding-JDBC分库分表（源自：黑马程序员）

1.概述小明是一家初创电商平台的开发人员，他负责卖家模块的功能开发，其中涉及了店铺、商品的相关业务，设计如下数据库：通过以下SQL能够获取到商品相关的店铺信息、地理区域信息：selectp.*,r.[地理区域名称],s.[店铺名称],s.[信誉]from[商品信息]pleftjoin[地理区域]ronp.[产地]=r.[地理区域编码]leftjoin[店铺信息]sonp.id=s.[所属店铺]wh
2301_78533951·2024-02-19 14:08

Quick introduction to Apache Spark

Spark使用Hadoop的客户端库来
Liam_ml·2024-02-19 13:29

Hadoop Shuffle

Whentherearemultiplereducers,themaptaskspartitiontheiroutput,eachcreatingonepartitionforeachreducetask.Therecanbemanykeys(andtheirassociatedvalues)ineachpartition,buttherecordsforeverykeyareallinasing
SharlotteZZZ·2024-02-19 13:22

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

【大数据面试题】006介绍一下Parquet存储格式的优势

同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python
Jiweilai1·2024-02-19 13:34

Sqoop 入门基础

简介Sqoop（SQLtoHadoop）是一个开源工具，用于在关系型数据库和Hadoop之间传输数据。
香菜的开发日记·2024-02-19 13:17

hadoop硬件配置 高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。500字节一个块假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小（64MB）同时副本因子为3，5000*20GB=102400000M=97T那么NameNode需要保存5千万个分块的信息，这些分块的大小加上文件系统的开销总共需要1.5GB的内存。但是一
xcagy·2024-02-19 13:07

氧惠app靠谱吗?氧惠邀请码是多少?

2023年，氧惠横空出世，当之无愧的黑马，一骑绝尘。颠覆了人们对传统电商导购平台的认知。大家好，我是氧惠创始团队汐儿导师（氧恵邀请码：000888），今天有幸和大家一起分享下什么是氧惠。
氧惠全网优惠·2024-02-19 12:33

【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解

在NodeManager中，有三种运行Container的方式，它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中，我们就能看得出来，默认情况下，一定使用的是DefaultContainerExecutor。而一般情况下，DefaultContainerExecutor也确实能够满足我
笑起来贼好看·2024-02-19 11:38

学习篇-Hadoop-YARN-环境搭建

文章目录一、Hadoop-YARN-环境搭建一、Hadoop-YARN-环境搭建官网参考：https://hadoop.apache.org/docs/stable/hadoop-project-dist
东东爱编码·2024-02-19 11:08

【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）

目录首页（Cluster）节点信息SchedulerMetrics：集群调度信息节点信息详解（Nodes）应用列表信息（applications）队列详情页（Scheduler）指标详细说明（非常重要）首页（Cluster）集群监控信息指标详解AppsSubmitted：已提交的应用AppsCompleted：已完成的应用AppsRunning：正在运行的应用ContainersRunning：正
笑起来贼好看·2024-02-19 11:08

Hadoop-Yarn-NodeManager都做了什么

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中已经简要的分析了NodeManager
隔着天花板看星星·2024-02-19 11:00

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。
BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪·2024-02-19 11:58

hadoop-2.7.4-nodemanager无法启动问题解决方案

近期新配了hadoop-274版本的集群，发现有一个小问题，DataNode无法顺利启动。
半肉哥·2024-02-19 11:27

hadoop-yarn资源分配介绍-以及推荐常用优化参数

如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为Hadoop2.x的一部分，YARN采用MapReduce中的资源管理功能并对其进行打包，以便新引擎可以使用它们。
Winhole·2024-02-19 11:26

Hadoop-Yarn-NodeManager如何计算Linux系统上的资源信息

NodeResourceMonitorImpl）时只是提了下SysInfoLinux，下面我们展开讲下SysInfoLinux是用于计算Linux系统上的资源信息的插件二、SysInfoLinux源码packageorg.apache.hadoop.util
隔着天花板看星星·2024-02-19 11:48

node命令yarn --version指向了java

问题描述本地安装了java、hadoop和nodejs，并配置了环境变量，但是hadoop的bin目录下存在yarn命令，所以使用nodejs的yarn命令启动项目会出现找不到类，此时键入yarn-version
码学弟·2024-02-19 11:43

企业级大数据安全架构（一）平台安全隐患

1缺乏统一的访问控制机制大数据平台由Hadoop生态体系众多组件组成，而每个组件都会提供相应的WebUI界面和RESTful接口，例如Nam
·2024-02-19 11:48
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他