Hadoop离线基础总结

Cloudera Manager 安装 Kafka 并简单使用

Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。
大数据AI·2024-02-01 13:25

大数据之Spark

Spark介绍什么是Spark专为大规模数据处理而设计的快速通用的计算引擎类HadoopMapReduce的通用并行计算框架拥有HadoopMapReduce所具有的优点但不同于MapReduce的是Job
进击的-小胖子·2024-02-01 12:37

大数据之Spark:Spark大厂面试真题

2.hadoop和spark使用场景？3.spark如何保证宕机迅速恢复?4.hadoop和spark的相同点和不同点？5.RDD持久化原理？checkpoint检查点机制？
浊酒南街·2024-02-01 12:35

大数据之 Spark 与 Hadoop MapReduce 对比

ApacheSpark和ApacheHadoopMapReduce是两个广泛用于大数据处理的开源框架，它们在设计目标、性能表现和功能特性上有显著的不同点：执行模型：MapReduce(MR)：基于批处理模式
转身成为了码农·2024-02-01 12:30

大数据之 Spark Shuffle 和 Hadoop MapReduce Shuffle的区别

SparkShuffle和HadoopMapReduceShuffle是分布式计算框架中处理中间结果的关键阶段，它们的主要区别在于设计原理、执行效率和资源利用率：HadoopMapReduceShuffleSort-based
转身成为了码农·2024-02-01 12:30

spark处理速度为什么比MapReduce快？

官网的这张图下边有一行字：LogisticregressioninHadoopandSpark迭代场景下spark的处理速度大致是hadoop的100倍。️
CoreDao·2024-02-01 12:29

CentOS7离线安装ES elasticsearch-5-5-2

ES的安装下载对应的安装包ES需要JDK的支持，安装前请确认JDK版本java-version3.安装ESrpm-ivhelasticsearch-5.5.2.rpm4.启动essystemctldaemon-reloadsystemctlenableelasticsearch.servicesystemctlstartelasticsearch.service配置esvim/etc/elasti
总有代码想害我·2024-02-01 11:17

CentOS 7离线安装Elasticsearch

环境依赖JDK:1.8操作系统:CentOSLinuxrelease7.4.1708(Core)安装包Elasticsearch5.6.16官网地址注:选择其他版本的elasticsearch时要注意jdk版本，不同版本的elasticsearch对jdk的版本要求不同修改系统配置Elasticsearch启动时会报如下错误，因此需提前修改系统配置，避免出现下述问题：1、maxfiledescri
不会画画的画师·2024-02-01 11:16

Hadoop-MapReduce-源码跟读-ReduceTask阶段篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、Reducer类我们先看下我们写的reduce所继承的
隔着天花板看星星·2024-02-01 09:54

Hadoop3.x基础（2）- HDFS

来源：B站尚硅谷目录HDFS概述HDFS产出背景及定义HDFS优缺点HDFS组成架构HDFS文件块大小（面试重点）HDFS的Shell操作（开发重点）基本语法命令大全常用命令实操准备工作上传下载HDFS直接操作HDFS的API操作HDFS的API案例实操HDFS文件上传（测试参数优先级）HDFS文件下载HDFS文件更名和移动HDFS删除文件和目录HDFS文件详情查看HDFS文件和文件夹判断HDFS
魅美·2024-02-01 09:22

Hadoop 已死，AI 吞噬世界！

【CSDN编者按】你用上GPT-4了吗？在数据领域，AI正逐步重塑数据处理和分析的各个环节，从ETL、数据治理到数据分析和消费方式均会发生根本性变化。Kyligence联合创始人&CEO，Apache顶级开源项目ApacheKylin的创建者韩卿（Luke.han）将用这篇文章来分享他在AI冲击开源领域之后引发的深度思考，其中涵盖了开源项目的商业化路径、技术变迁对行业格局的影响、AI对数据分析和业
CSDN资讯·2024-02-01 09:50

报错：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing解决方案

错误如图：解决方案：1.输入cd/opt/zookeeper/bin进入zookeeper文件的bin目录下2.输入./zkCli.sh进入客户端3.删除hbase,输入rmr/hbase4.关闭hbase输入stop-hbase.sh如果未能退出，就使用kill-9进程号强制删除5.重新启动start-hbase.sh此时已经可以正常运行6.如果以上操作还是不成功删除hbase在hdfs的存储路
:）คิดถึง·2024-02-01 09:35

关于Hadoop进行namenode格式化时ERROR conf.Configuration: error parsing conf xxx.xml错误的问题

关于Hadoop进行namenode格式化时ERRORconf.Configuration:errorparsingconfxxx.xml错误的问题在配置完core-default.xml,mapred-site.xml
平江路的鱼·2024-02-01 09:34

idea Statistic使用

插件版本太新了，需要历史版本解决办法：IDEA安装代码统计插件Statistic后左下角图标出不来(亲测)_ideastatistic不展示-CSDN博客下载历史版本idea代码统计statistic的离线下载地址各个版本都有
初叙·2024-02-01 09:25

SparkStreaming---入门

文章目录1.SparkStreaming简介1.1流处理和批处理1.2实时和离线1.3SparkStreaming是什么1.4SparkStreaming架构图2.背压机制3.DStream案例实操1.
肥大毛·2024-02-01 09:12

大数据开发之离线数仓项目（用户行为采集平台）（可面试使用）

第1章：数据仓库概念数据仓库，是为企业指定决策，提供数据支持的，可以帮助企业，改进业务流程、提高产品质量等。数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。业务数据：就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在mysql、oracle等数据库中。用户行为数据：用户
Key-Key·2024-02-01 08:46

【Apollo】阿波罗自动驾驶技术：引领汽车行业革新

忍不住分享一下给大家：https://www.captainbed.cn/zChatGPT体验地址文章目录前言引领汽车行业革新的五大步骤步骤一：登录云端仿真环境步骤二：打开DreamView步骤三：播放离线数据包步骤四
雪碧有白泡泡·2024-02-01 08:36

【Linux 无网络状态下离线安装 MySQL】

【Linux无网络状态下离线安装MySQL】一、准备安装包可以去MySQL官网进行下载需要的安装包，下面这个链接Mysql的下载地址MicrosoftWindows版本Linux-Generic版本5.7.4
金色的果实·2024-02-01 08:08

大数据 - Spark系列《二》- 关于Spark在Idea中的一些常用配置

上一篇：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客目录1.Idea中配置LiveTemplates来快速生成代码片段2.Idea中配置文件模板自定义初始代码
王哪跑nn·2024-02-01 07:53

大数据 - Spark系列《一》- 从Hadoop到Spark：大数据计算引擎的演进

目录1.1Hadoop回顾1.2spark简介1.3Spark特性1.通用性2.简洁灵活3.多语言1.4SparkCore编程体验1.4.1spark开发工程搭建1.开发语言选择：2.依赖管理工具：1.4.2Spark
王哪跑nn·2024-02-01 07:43

访问ftp服务器文件夹,访问ftp服务器文件夹

访问ftp服务器文件夹内容精选换一换AutoK8SforKunpeng是专门为鲲鹏服务器开发的自动化集群部署的工具，可以支持离线集群部署，支持Windows和Linux多平台运行。
thecakr·2024-02-01 07:10

免费使用支持离线部署使用的 txt2video 文本生成视频大模型(Text-to-Video-Synthesis Model)

免费使用支持离线部署使用的txt2video文本生成视频大模型(Text-to-Video-SynthesisModel)。
代码讲故事·2024-02-01 06:43

HBase介绍

GFS是GoogleFileSystem，开源实现是HDFS（HadoopFileSystem）。MapReduce计算框架的开源实现是HadoopMapReduce。
M.Rambo·2024-02-01 06:09

【OCPP】ocpp1.6协议第3.5章节：本地授权和离线行为-介绍及翻译

目录3.5章节概述3.5本地鉴权和离线行为-译文(LocalAuthorization&OfflineBehavior)3.5.1鉴权缓存-译文(3.5.1.AuthorizationCache)3.5.2
“趁早”·2024-02-01 06:02

python辅助脚本教程_微信跳一跳python辅助脚本实例分享

这段时间微信跳一跳这个游戏非常火爆，但是上分又非常的难，对于程序员来说第一个念头就是通过写一个辅助脚本外挂让上分变的容易，python现在比较火，我们一起来以python语言为基础总结以下各路神仙写的关于跳一跳的辅助脚本
weixin_39702559·2024-02-01 05:49

2019/2/20Hbase单节点安装

hbase（hbase-2.0.0-bin.tar.gz）解压过程即为安装过程解压=》为了让hbase的存放路径指定ns这个组名（防止出先不认识“ns”的错误）[root@zhiyou01~]#cp/usr/hadoop
阳光正好微风不燥_c509·2024-02-01 05:39

zookeeper集群群起脚本

所以要写个脚本，我的主机名是有规律的hadoop101;hadoop102;hadoop103所以创建脚本的过程如下：到/usr/local/bin目录下touch一个文件，这里我叫zkstartUtil.sh
小北觅·2024-02-01 05:01

Hadoop 大数据技术原理与应用

Hadoop大数据技术原理与应用大数据概述定义特征大量，多样，高速，价值研究意义应用场景医疗，金融，零售Hadoop概述历史优势扩容能力强，成本低，高效率，可靠性，高容错Hadoop生态分布式存储系统（
kk8_·2024-02-01 04:33

[绝对要收藏]配置hadoop完全分布式环境

##环境：hadoop-2.7.2，jdk1.8.0_144，CentOS-7-x86_64-Minimal-2009.iso1先创建一个主机2修改id，hostname，hosts3关闭防火墙4连接xshell5
Java小白中的菜鸟·2024-02-01 03:04

Sqoop数据迁移工具

概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。
小希 fighting·2024-02-01 03:55

Hadoop 生产调优 (七) --------- MapReduce 与 Yarn 生产经验

目录一、MapReduce生产经验1.MapReduce跑的慢的原因2.MapReduce常用调优参数3.MapReduce数据倾斜问题二、Yarn生产经验1.常用的调优参数2.三种调度器的使用一、MapReduce生产经验1.MapReduce跑的慢的原因MapReduce程序效率的瓶颈在于两点：计算机性能CPU、内存、磁盘、网络I/O操作优化数据倾斜Map运行时间太长，导致Reduce等待过久
在森林中麋了鹿·2024-02-01 03:17

windows 下面Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativei...

本地运行，注意两点,配置本地的hadoop环境变量，注意hadoop版本是windows版本，在本地跑的时候遇到Exceptioninthread"main"java.lang.UnsatisfiedLinkError
smartjiang·2024-02-01 02:20

大数据高频面试题一：hive和Oracle的区别

Hive和Oracle数据库最大的区别在于存储和计算方面：Hive存储在hdfs上（Hadoop分布式文件系统容错性高），Oracle将数保存在本地文件系统中。
半亩书田·2024-02-01 02:47

写作基础总结

我特别喜欢看故事，看着看着，也想通过自己的笔来描写出自己想要的人物，可是每每下笔的时候，却发现自己脑海中本已有的故事不知从何下笔。目前一直在寻找写作技巧与方向，正想从《这样能写出好故事》这书寻找技巧与灵感，现在我刚开始阅读，感觉开始是不错的，因此我总结一下内容：（一）鼓励自己（二）勇于尝试（三）先写，再写好（四）别紧张（五）定下工作量（六）不放弃如果对写作感兴趣，首先要做的就是给自己打气，再用我们
阿茜茜里·2024-02-01 01:35

解决There are 0 datanode(s) running and no node(s) are excluded in this operation.

出现上述问题可能是格式化两次hadoop，导致没有datanode解决方法1：重启linux,再使用start-dfs.sh和start-yarn.sh重启一下hadoop解决办法2：找到hadoop安装目录下
有一束阳光叫温暖·2024-01-31 23:56

Git的使用

Git发展Linus->Linux分布式:每一台电脑,都可以下载完整的代码和历史消息,都是独立的仓库离线方式:可以离线,在没有网络的情况下,继续使用,可以访问所有的历史仓库:存储代码修改历史空间本地仓库
张鹿鹿·2024-01-31 22:56

离线地图+GraphHopper搭建离线路径规划

效果：上代码：importLfrom'leaflet'require('../../../util/leaflet.contextmenu.js')require('../../../util/leaflet-ant-path.js')importstartIconfrom'@assets/img/start.png'importguoIconfrom'@assets/img/guo.png'im
是茜茜啊啊·2024-01-31 17:18

leaflet离线地图(百度)+vue+echarts

实现效果：思路：把离线地图瓦片全部下载下来然后自己在内网起个提供瓦片图请求的服务从服务器加载，（或者前端静态资源）。实现步骤：1.下载全能电子地图下载器。下载地图瓦片。
是茜茜啊啊·2024-01-31 17:17

Java基础-多线程（3）

如hadoop分布式集群。所以并发编程的目标是充分的利用处理器的每一个核，以达到最高的处理性能。36.线程和进程的区别？简而言之，进程是程序运行和资源分配的基本
C乖·2024-01-31 16:51

uniapp 离线打包

离线打包对于没有AndroidStudio基础的人来说，是很难受的，过程如下。
一个博客·2024-01-31 15:26

数据湖技术Iceberg0.12预研文档

trino(presto)本次预研使用组件如下：名称版本描述flink1.12.1通过parcel包部署于cdh6.3.2中cdh6.3.2开源版本hive2.3.7包含cdh中（更换jar升级替换）hadoop3.0.0cdh
我去探险了·2024-01-31 15:36

使用petalinux进行离线编译

由于petalinux编译时需要下载很多依赖文件，由于网络的原因很容易导致失败，所以以2019.2为例整理了一下如何离线编译。
风往北风·2024-01-31 14:09

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划hadoop01/192.168.0.151hadoop02/192.168.0.152hadoop03/192.168.0.153hadoop04/192.168.0.154hadoop05
大道至简非简·2024-01-31 13:04

Hadoop Windows10上用idea进行hadoop客户端远程操作

1.idea上访问Hadoop客户端的uri地址要和core-site.xml中fs.defaultFS的参数一致2.执行自定义的程序之前，要启动Hadoop，否则会报错：Causedby:java.net.ConnectException
大数据新新菜鸟·2024-01-31 12:41

IDEA中Hadoop的环境配置

没有配置HadoopHome：在Windows下解压一份Hadoop安装包Hadoop使用log4j进行日志输出，明显没有配置log4j再次运行，显示了作业的运行情况
hhhhhhhhhhhnb·2024-01-31 12:36

Intelj IDEA 配置Hadoop 远程调试环境

远程hadoop版本：Hadoop3.0.0+cdh6.3.2一、设置本地hadoop环境1、下载hadoop下载hadoop-3.0.0.tar.gz，并解压到D:\BigData\并重命名为hadoop
跟着大数据和AI去旅行·2024-01-31 12:34

离线安装docker | docker中安装rabbitmq | 删除docker中进程

离线安装docker#下载地址适用于centos7https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz#放到自定义目录中后解压
爱学习的Amelia·2024-01-31 11:36

Docker离线安装部署RabbitMQ

一、首先确保系统环境有dockerdocker-version查看如果没有可以看我的另一篇离线安装docker的文章离线安装docker二、在有外网的地方下载好docker镜像1、拉取docker镜像dockerpullrabbitmq
易小染·2024-01-31 11:06

Docker离线安装RabbitMQ

Docker离线安装RabbitMQ1、进入dockerhub，搜索rabbit镜像https://registry.hub.docker.com/_/rabbitmq/2、进入官方的镜像，我们选择带有
ruth13156402807·2024-01-31 11:05

docker离线安装rabbitMq

安装dockercentos离线环境安装docker，跟着这篇文章操作就行，特别简单，我也试过，两分钟就能安装好。安装rabbitMq下载镜像我这儿是用用其他联网的
下雨天u·2024-01-31 11:01
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他