hadoop排错

Kafka快速实战与基本原理详解

Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop
Memory_2020·2023-12-16 06:08

华为大数据开发者教程知识点提纲

一、线下处理1.离线处理方案数据支持：HDFS调度：YARN收入：Flume，sqoop，loader处理：Mapreduce，SparkSql，spark，hive（，Flink）2.HadoopNamenode
qq_1418269732·2023-12-16 06:08

初识大数据应用，一文掌握大数据知识文集(1)

06、请列出正常工作的hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？07、KafkaUtils.cr
普修罗双战士·2023-12-16 06:22

ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: java.lang.RuntimeExcepti...

CONVERT_TO_NULL','EXCEPTION'or'ROUND'.Thevalue'convertToNull'isnotacceptable.解决:--connectjdbc:mysql://hadoop00
weixin_30695195·2023-12-16 05:47

使用sqoop操作HDFS与MySQL之间的数据互传

一，数据从HDFS中导出至MySQL中1）开启Hadoop、mysql进程start-all.sh/etc/init.d/mysqldstart/etc/init.d/mysqldstatus2）将学生数据
冬瓜的编程笔记·2023-12-16 05:44

Win10 IDEA连接虚拟机中的Hadoop集群（进来保你成）

目录引言：环境：前提：实现:测试结语：问题引言：分布式课程要求使用IDE（IDEA、Eclipse）来编写程序直接对Hadoop集群进行文件操作，目前关于IDEA连接Hadoop集群的教程，良莠不齐，根据多个教程完成了
小小小秃头·2023-12-16 05:24

网络基础---网络层详解（图文清晰易懂！！！）

目录一、网络层的功能二、IP数据包的格式三、ICMP协议1.ICMP协议的概念和作用2.ping命令2.1ping的格式2.2ping选项2.3当我们ping不通时，及服务器出现问题，如何排错2.4信息传递时出现的问题类型和具体情况四
小艺要秃头·2023-12-16 05:46

【Hadoop-Cos】存储对象Cos通过Java-SDK获取目录结构

com.qcloudcos_api5.6.133packagegaei.cn.x5l.x5lhive2cos.utils;importcom.qcloud.cos.COSClient;importcom.qcloud.cos.ClientConfig;importcom.qcloud.cos.auth.BasicCOSCredentials;importcom.qcloud.cos.auth.CO
bmyyyyyy·2023-12-16 05:45

【Hadoop-Distcp】通过Distcp的方式进行两个HDFS集群间的数据迁移

【Hadoop-Distcp】通过Distcp的方式进行两个HDFS集群间的数据迁移1）Distcp工具简介及参数说明2）Shell脚本1）Distcp工具简介及参数说明【Hadoop-Distcp】工具简介及参数说明
bmyyyyyy·2023-12-16 05:45

【Hadoop-Yarn】Yarn的常用命令

【Hadoop-Yarn】Yarn的常用命令1）查看任务列表2）杀死任务3）查看日志4）根据Application状态过滤任务5）查询Container日志6）查看尝试运行的任务7）yarncontainer
bmyyyyyy·2023-12-16 05:15

【Hadoop-CosDistcp-Distcp】通过命令方式将Cos中的数据迁移至HDFS，再将HDFS数据迁移至S3

【Hadoop-CosDistcp-Distcp】通过命令方式将Cos中的数据迁移至HDFS，再将HDFS数据迁移至S31）Shell脚本2）参数说明1）Shell脚本注意：此Shell脚本内置了按照sample_date
bmyyyyyy·2023-12-16 05:15

【Hadoop-Distcp】工具简介及参数说明

【Hadoop-Distcp】工具简介及参数说明1）概述2）适合的场景及其有点3）参数说明1）概述Distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。
bmyyyyyy·2023-12-16 05:15

【Hadoop-Distcp】通过Distcp的方式迁移Hive中的数据至存储对象

【Hadoop-Distcp】通过Distcp的方式迁移Hive中的数据至存储对象1）了解Distcp1.1.Distcp的应用场景1.2.Distcp的底层原理2）使用Distcp4）S3可视化App
bmyyyyyy·2023-12-16 05:14

【Hadoop-OBS-Hive】利用华为云存储对象 OBS 作为两个集群的中间栈 load 文件到 Hive

【Hadoop-OBS-Hive】利用华为云存储对象OBS作为两个集群的中间栈load文件到Hive1）压缩文件2）上传文件到OBS存储对象3）crontab定时压缩上传4）从obs上拉取下来文件后解压缩
bmyyyyyy·2023-12-16 04:04

Spark编程实验一：Spark和Hadoop的安装使用

一、目的与要求1、掌握在Linux虚拟机中安装Hadoop和Spark的方法；2、熟悉HDFS的基本使用方法；3、掌握使用Spark访问本地文件和HDFS文件的方法。
Francek Chen·2023-12-16 04:32

启动YARN并运行MapReduce程序

之前已经搭建好了Hadoop集群，接下来在集群上启动YARN。
Manfestain·2023-12-16 03:38

FinallShell连接Ubuntu报错：java.net.ConnectException: Connection refused: connect 无法连接

服务的问题：#安装OpenSSH服务器和客户端sudoaptinstallopenssh-serveropenssh-client-y一定一定确保安装了上述ssh服务，可通过以下命令检查并对应返回值应该如下：hadoop
m0_73815626·2023-12-16 03:13

十六、YARN和MapReduce配置

1、部署前提（1）配置前提已经配置好Hadoop集群。
弦之森·2023-12-16 01:55

基于Hadoop平台的音乐推荐系统的设计与实现

收藏关注不迷路文章目录摘要一、相关技术和基本理论2.1相关技术2.1.1Hadoop集群2.1.2SpringBoot框架2.1.3Vue框架2.2开发环境和技术框架2.2.1技术框架2.2.2开发环境
QQ2743785109·2023-12-16 01:36

基于Hadoop毕业生就业择业数据分析的设计与实现

收藏关注不迷路文章目录摘要一、需求分析二、系统设计4.1系统总体功能设计三、系统实现四、结论摘要  本系统结合计算机系统的结构、概念、模型、原理、方法，在计算机各种优势的情况下，采用JAVA语言，结合SpringBoot框架与Vue框架以及MYSQL数据库设计并实现的。本毕业生就业择业数据分析主要包括系统生源质量指数管理、年份管理、学院管理、生源质量指数、就业率指数、就业状态指数等多个模块。它帮助
QQ2743785109·2023-12-16 01:36

基于Hadoop的视频日志分析系统设计与实现

视频日志的收集和存储模2.1.2视频日志的处理模块2.1.3用户行为分析模块2.1.4用户行为分析模块2.2数据收集二、实验结果分析3.1数据采集3.2数据存储三、系统实现四、结论摘要  本文设计并实现了一种基于Hadoop
QQ2743785109·2023-12-16 01:36

单节点hadoop搭建

下载Hadoop-bin.*.tar.gz解压文件，配置HADOOP_HOME编辑文件etc/hadoop/hadoop-env.sh配置JAVA_HOME配置etc/hadoop/core-site.xml
曾阿伦·2023-12-16 00:04

flink yarn-session 启动失败retrying connect to server 0.0.0.0/0.0.0.0:8032

yarn-session.sh，会向resourcemanager的端口8032发起请求：但是一直无法请求到8032端口，触发重试机制会不断尝试备注：此问题出现时，我的环境ambari部署的HA高可用hadoop
dogplays·2023-12-16 00:01

在华为云上安装高可用 KubeSphere

由于各云厂商的云资源使用规则和菜单导航栏各不相同，会使用户花大量时间去排错。为降低部署过程错误率，本教程使用华为云平台部署一套高可用的KubeSphere，希望可以帮助到大家提高部署体验。
KubeSphere 云原生·2023-12-16 00:53

hue的安装和hadoop集群整合

一、Hue概述HUE（HadoopUserExperience）是一个开源的ApacheHadoopUI系统，由ClouderaDesktop演化而来，最后Cloudera公司将其贡献给Apache基金会的
五块兰州拉面·2023-12-16 00:15

Hue安装部署

1Hue简介1.1Hue介绍Hue是一个开源的ApacheHadoopUI系统，最早是由ClouderaDesktop演化而来，由Cloudera贡献给开源社区，它是基于PythonWeb框架Django
chenlouzhen1603·2023-12-16 00:43

提示，报错，和排错

（‘p’），它选择页面上所有的标签等同于（）是jquery（）一个别名，并且两者可以互换。将选择器保存到变量中每次使用('#tooltip')，我们正在调用jquery函数。每次我们这么做的时候，访问者的浏览器已经运行了很多代码。这往往会是程序无意义的变慢，例如：("#tooltip").fadeIn(250);("#toolip").都会运行jquery函数。由于这三行代码都会影响同一个元素，我
青木川_·2023-12-15 22:02

Spark+Kafka构建实时分析Dashboard案例

目录一、环境准备Ubuntu安装Hadoop安装Spark安装Kafka安装Python安装Python依赖库安装vscode安装Python工程目录结构二、数据处理和Python操作Kafka数据集数据预处理运行三
Hay Ha!·2023-12-15 22:40

kafka学习笔记--安装部署、简单操作

教程（从入门到调优，深入全面）文章目录1安装部署1.1集群规划1.2集群部署2命令行操作2.1主题2.2生产者2.3消费者2.4消费者组1安装部署1.1集群规划这里采用的是三节点的kafka集群，名称为hadoop
向着百万年薪努力的小赵·2023-12-15 22:54

【计算机网络】计算机网络概述 01

因特网概述文章目录因特网概述多层次ISP结构因特网组成边缘部分通信方式数据交换方式计算机网络的性能计算机网络体系结构虚拟机网络设置网络排错步骤网络安全与OSI参考模型网络：很多计算机连接一起互联网：很多网络连接一起因特网
想成为樱木花道的宫城良田·2023-12-15 21:38

大数据学习（一）-------- HDFS

已经有了很多框架方便使用，常用的有hadoop，storm，spark，flink等，辅助框架hive，kafka，es，sqoop，flume等。常见应用推荐系统，用户画像等。
大数据流动·2023-12-15 21:01

Hadoop在mac上的安装与配置

brewcaskinstallhomebrew/cask-versions/adoptopenjdk8安装指导，指导里面把java换成8：https://medium.com/beeranddiapers/installing-hadoop-on-mac-a9a3649dbc4d
大红豆小薏米·2023-12-15 20:45

Hadoop和Spark的区别

Hadoop表达能力有限。磁盘IO开销大，延迟度高。任务和任务之间的衔接涉及IO开销。前一个任务完成之前其他任务无法完成，难以胜任复杂、多阶段的计算任务。
旅僧·2023-12-15 20:12

kmeans设置中心_Spark分布式机器学习源码分析：Kmeans族聚类

本文采用的组件版本为：Ubuntu19.10、Jdk1.8.0_241、Scala2.11.12、Hadoop3.2.1、Spark2.4.5，老规矩先开启一系列Hadoop、Spark服务与Spa
weixin_39699121·2023-12-15 19:27

Windows平台搭建Spark开发环境（Intellij idea 2020.1社区版+Maven 3.6.3+Scala 2.11.8）

在开始之前，需要说明的是要跑通基本的wordcount程序，是不需要在windows上安装hadoop和spark的，因为idea在跑程序的时候，会按照pom.xml配置文件，从指定的repository
阳泉酒家小当家·2023-12-15 19:56

Spark 随机森林算法原理、源码分析及案例实战

与其它大数据处理工具的活跃程度比较回页首环境要求操作系统：Linux，本文采用的Ubuntu10.04，大家可以根据自己的喜好使用自己擅长的Linux发行版Java与Scala版本：Scala2.10.4，Java1.7Spark集群环境（3台）：Hadoop2.4.1
黑谷子·2023-12-15 19:51

IntelliJ IDEA创建一个spark的项目

在开始之前，需要说明的是要跑通基本的wordcount程序，是不需要在windows上安装hadoop和spark的，因为idea在跑程序的时候，会按照pom.xml配置文件，从指定的repository
刘文钊1·2023-12-15 19:45

【Hadoop】Hadoop基础架构的变化

1.x版本架构2.x版本架构3.x版本架构参考1.x版本架构NameNode：，负责文件系统的名字空间(Namespace)管理以及客户端对文件的访问。NameNode负责文件元数据的管理和操作。是单节点。SecondaryNameNode：它的职责是合并NameNode的editlogs到fs_image文件中，并将合并文件返回给Namenode。然后Namenode将该文件加载到内存中。Sec
不怕娜·2023-12-15 19:13

【Hadoop】执行start-dfs.sh启动hadoop集群时，datenode没有启动怎么办

执行start-dfs.sh后，datenode没有启动，很大一部分原因是因为在第一次格式化dfs后又重新执行了格式化命令（hdfsnamenode-format)，这时主节点namenode的clusterID会重新生成，而从节点datanode的clusterID保持不变。在主节点也就是namenode那个节点上的hdfs-site.xml文件下找到这两个文件路径打开name目录中curren
不怕娜·2023-12-15 19:13

【Hadoop】Hadoop简介

Hadoop是什么Hadoop解决了什么问题Hadoop的优势/特性Hadoop的局限和不足参考Hadoop是什么Hadoop是一个由Apache基金会所开发的开源软件框架，是一个开发和运行处理大规模数据的软件平台
不怕娜·2023-12-15 19:42

spark 写入 mysql 报错

报错信息如下："C:\ProgramFiles\Java\jdk1.8.0_291\bin\java.exe""-javaagent:D:\Hadoopruanjian\IDEA\IntelliJIDEA2021.3.2
南城守护·2023-12-15 18:17

物联网、大数据、云计算的区别与联系

Hadoop、Spark海量数据云计算将计算资源虚拟化并按需卖给用户。方便计算资源的管理提高计算资源利用率。openstack、docker虚拟化二、相互关系粗略地看，可以认为物联网产生
weixin_30455067·2023-12-15 18:46

大数据基础知识

为了一场紧急考试，没有正经系统学习过大数据知识的我开始恶补概念涉及Hadoop、Hbase、Spark、Flink、Flume、Kafka、Sqoop、HDFS、Hive、Mapreduce、Impala
偶余杭·2023-12-15 17:22

HBase 高可用集群详细图文安装部署

目录一、HBase安装部署1.1Zookeeper正常部署1.2Hadoop正常部署1.3HBase安装1.4HBase的配置文件1.4.1hbase-env.sh1.4.2hbase-site.xml1.4.3regionservers1.4.4
Stars.Sky·2023-12-15 17:38

Hbase2.5.5分布式部署安装记录

环境准备1.1节点部署情况1.2安装说明2Hbase安装过程Step1：Step2:Step3:Step4：3WebUI检查状态并测试3.1WebUI3.2创建测试命名空间1环境准备1.1节点部署情况Hadoop11
程序终结者·2023-12-15 16:23

便捷搭建 Zookeeper 服务器的方法，好用，收藏~

由于ZooKeeper便捷的使用方式、卓越的性能和良好的稳定性，被广泛地应用于诸如Hadoop、HBase、Kafka和Dubbo等大型分布式系统中。整理了一份Java面试宝典完整版PDFZo
程序员白楠楠·2023-12-15 14:03

【Ubuntu】Docker排错填坑之路

本文写作目的：总结归纳在docker使用过程中遇到的问题，并逐一记录，方便后续翻查。Q1.dockerservice无法启动当运行"servicedockerstart"，系统报出如图1所示的错误：图1servicedockerstart--报错A1.解决方法【step1】#rm-rf/var/lib/docker/【step2】#vim/etc/docker/daemon.json{#添加下面内
cooling2016·2023-12-15 14:52

随易养生0603

我的左手边是几排错落有致的大树，下面绿草如茵，余光看着就很养眼。感觉神很容易凝聚，世界仿佛静止了。图片发自App
苏梅LI·2023-12-15 14:42

如何高效的阅读Hadoop源代码？

个人谈谈阅读hadoop源代码的经验。
丨程序之道丨·2023-12-15 14:54

kudu由来、架构、数据存储结构、注意事项

一、kudu背景介绍Kudu是Cloudera开源的新型列式存储系统，是ApacheHadoop生态圈的成员之一(incubating)，专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺
AllenGd·2023-12-15 13:32
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他