Hadoop云计算

Hadoop 大数据技术原理与应用

Hadoop大数据技术原理与应用大数据概述定义特征大量，多样，高速，价值研究意义应用场景医疗，金融，零售Hadoop概述历史优势扩容能力强，成本低，高效率，可靠性，高容错Hadoop生态分布式存储系统（
kk8_·2024-02-01 04:33

[绝对要收藏]配置hadoop完全分布式环境

##环境：hadoop-2.7.2，jdk1.8.0_144，CentOS-7-x86_64-Minimal-2009.iso1先创建一个主机2修改id，hostname，hosts3关闭防火墙4连接xshell5
Java小白中的菜鸟·2024-02-01 03:04

Sqoop数据迁移工具

概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。
小希 fighting·2024-02-01 03:55

Hadoop 生产调优 (七) --------- MapReduce 与 Yarn 生产经验

目录一、MapReduce生产经验1.MapReduce跑的慢的原因2.MapReduce常用调优参数3.MapReduce数据倾斜问题二、Yarn生产经验1.常用的调优参数2.三种调度器的使用一、MapReduce生产经验1.MapReduce跑的慢的原因MapReduce程序效率的瓶颈在于两点：计算机性能CPU、内存、磁盘、网络I/O操作优化数据倾斜Map运行时间太长，导致Reduce等待过久
在森林中麋了鹿·2024-02-01 03:17

2023年全国职业院校技能大赛（高职组）“云计算应用”赛项赛卷9

某企业根据自身业务需求，实施数字化转型，规划和建设数字化平台，平台聚焦“DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台，选择国内主流公有云平台服务，基于数字化平台底座，面向业务开发边缘计算云应用产品。拟将该任务交给工程师A与B，分工协助完成云平台服务部署、云应用开发、云系统运维等任务，系统架构如图1
忘川_ydy·2024-02-01 03:09

2023年全国职业院校技能大赛（高职组）“云计算应用”赛项赛卷10

某企业根据自身业务需求，实施数字化转型，规划和建设数字化平台，平台聚焦“DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台，选择国内主流公有云平台服务，基于数字化平台底座，面向业务开发边缘计算云应用产品。拟将该任务交给工程师A与B，分工协助完成云平台服务部署、云应用开发、云系统运维等任务，系统架构如图1
忘川_ydy·2024-02-01 03:09

法律视角下的数据出境《2023年数据出境合规年鉴》

关注国际云安全联盟CSA公众号，回复关键词“数据安全”获取报告在全球数字产业以及大数据和云计算技术快速发展的背景下，数据流动对世界经济的影响日益显著。
云安全联盟大中华区·2024-02-01 02:00

windows 下面Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativei...

本地运行，注意两点,配置本地的hadoop环境变量，注意hadoop版本是windows版本，在本地跑的时候遇到Exceptioninthread"main"java.lang.UnsatisfiedLinkError
smartjiang·2024-02-01 02:20

大数据高频面试题一：hive和Oracle的区别

Hive和Oracle数据库最大的区别在于存储和计算方面：Hive存储在hdfs上（Hadoop分布式文件系统容错性高），Oracle将数保存在本地文件系统中。
半亩书田·2024-02-01 02:47

如何从零开始设计一颗芯片？

戳蓝字“CSDN云计算”关注我们哦！来源：陌上风骑驴看IC作者：陌上风骑驴在各方助力下，集成电路成了时代热点，有大量文章在写芯片设计之复杂之困难，老驴打算从EDA使用角度捋一遍芯片设计流程。
csdn业界要闻·2024-02-01 02:44

SAAS多租户系统平台技术架构与实践

一、背景随着云计算的快速发展，软件即服务（SAAS）模式逐渐成为企业应用程序的首选部署方式。多租户系统平台作为SAAS的核心技术，允许多个租户共享同一个软件实例，从而实现资源的最大化利用。
007php007·2024-02-01 01:12

第三代互联网趋势分析

第三代互联网利用物联网、大数据、云计算、人工智能等新一代信息技术，将现实世界中的各种物品、设备、场景等纳入互联网体系，实现人、机、物三者之间
selenia8860·2024-01-31 23:04

解决There are 0 datanode(s) running and no node(s) are excluded in this operation.

出现上述问题可能是格式化两次hadoop，导致没有datanode解决方法1：重启linux,再使用start-dfs.sh和start-yarn.sh重启一下hadoop解决办法2：找到hadoop安装目录下
有一束阳光叫温暖·2024-01-31 23:56

MySQL数据库基础表格——增删改查（上）

♥️作者：小刘在C站♥️个人主页：小刘主页♥️每天分享云计算网络运维课堂笔记，努力不一定有回报，但一定会有收获加油！一起努力，共赴美好人生！
小刘在C站·2024-01-31 23:42

代理IP技术在云函数中的创新应用与拓展空间

技术在云函数中的创新应用1.反爬虫技术2.访问安全性和隐私保护3.地理定位和访问控制四、代理IP技术在云函数中的拓展空间1.代理IP池的管理和优化2.用户行为分析和行为识别3.安全审计和访问控制五、代码实例六、总结前言随着云计算技术的发展和普及
小文没烦恼·2024-01-31 22:16

阿里云活动中心，精选活动专区，用户可了解阿里云当前所有优惠活动

致力于为上云用户提供优惠、丰富的活动及优惠云产品，包括云计算、大数据、人工智能等领域的各种云产品及活动。
阿里云最新优惠和活动汇总·2024-01-31 21:39

Java基础-多线程（3）

如hadoop分布式集群。所以并发编程的目标是充分的利用处理器的每一个核，以达到最高的处理性能。36.线程和进程的区别？简而言之，进程是程序运行和资源分配的基本
C乖·2024-01-31 16:51

企企通供应链专家：拥抱智能化趋势，企业如何打造智慧供应链形成竞争优势？

随着互联网技术的不断创新与发展，以5G、云计算、人工智能等数字技术为代表的先进生产工具，其价值和潜力日益凸显，智能化也逐渐成为企业未来竞争高地之一。
企企通·2024-01-31 15:33

数据湖技术Iceberg0.12预研文档

trino(presto)本次预研使用组件如下：名称版本描述flink1.12.1通过parcel包部署于cdh6.3.2中cdh6.3.2开源版本hive2.3.7包含cdh中（更换jar升级替换）hadoop3.0.0cdh
我去探险了·2024-01-31 15:36

SQLite对MySQL对PostgreSQL：关系数据库管理系统比拼

提供：ZStack云计算内容介绍关系数据库的历史相当悠久，而其崛起要归功于关系模型的广泛普及，特别是在关键性数据处理领域的应用。
ZStack云计算·2024-01-31 14:12

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划hadoop01/192.168.0.151hadoop02/192.168.0.152hadoop03/192.168.0.153hadoop04/192.168.0.154hadoop05
大道至简非简·2024-01-31 13:04

《幻兽帕鲁》服务器详细搭建方法【视频3分钟成功搭建】

幻兽帕鲁服务器搭建教程，基于阿里云计算巢，非常简单3分钟即可创建Palworld服务器成功。阿里云百科分享视频教程如下：阿里云幻兽帕鲁服务器新手0基础快速搭建教程，亲测可行！
暴富程序员·2024-01-31 12:18

Ruff数据采集网关采集水电气表数据，实现能耗管理数字化可视化

能耗数据采集是实现能耗管理的关键环节，依托于物联网、云计算、大数据及无线通信技术，通过收集和分析工厂、建筑以及市政领域里的水、电、燃气等能源数据，上传至云平台，并提供能耗监控、设备管理、告警通知等功能，
玄居Ruff IoT·2024-01-31 12:02

Ruff应用：打破传统，IoT技术赋能工业制造数字化转型之路

近年来，随着物联网、大数据、云计算、5G等数字技术的快速应用，工业制造领域正在经历着前所未有的变革。
玄居Ruff IoT·2024-01-31 12:26

论文解读-Agglomerative Federated Learning: Empowering Larger Model Training

随着云计算、边缘计算和终端设备的发展，端边云协同（End-Edge-CloudCollaboration）计算范式的出现，为联邦学习算法的实施与部署提供了新的路径。
MCRG·2024-01-31 12:23

Hadoop Windows10上用idea进行hadoop客户端远程操作

1.idea上访问Hadoop客户端的uri地址要和core-site.xml中fs.defaultFS的参数一致2.执行自定义的程序之前，要启动Hadoop，否则会报错：Causedby:java.net.ConnectException
大数据新新菜鸟·2024-01-31 12:41

IDEA中Hadoop的环境配置

没有配置HadoopHome：在Windows下解压一份Hadoop安装包Hadoop使用log4j进行日志输出，明显没有配置log4j再次运行，显示了作业的运行情况
hhhhhhhhhhhnb·2024-01-31 12:36

Intelj IDEA 配置Hadoop 远程调试环境

远程hadoop版本：Hadoop3.0.0+cdh6.3.2一、设置本地hadoop环境1、下载hadoop下载hadoop-3.0.0.tar.gz，并解压到D:\BigData\并重命名为hadoop
跟着大数据和AI去旅行·2024-01-31 12:34

科技云报道：新趋势下，国产数据库或“春山可望”

最近两年，中国的数据库行业似乎也在迎来一轮新热潮，而这种热潮是伴随着5G、云计算、大数据和AI等多种技术共同出现的。在企业数字化加速到来的同时，企业对于各类数据分析的需求也被越发放到台前。
科技云报道·2024-01-31 11:33

OpenStack(4)：手动部署OpenStack Queens（4.计算服务）

计算服务概览使用OpenStack计算服务来托管和管理云计算系统。OpenStack计算服务是基础设施即服务(IaaS)系统的主要部分，模块主要由Python实现。
BJ天涯·2024-01-31 09:22

java进阶

1.大数据史上最全Flink面试题，高薪必备，大数据面试宝典史上最全Hadoop面试题：尼恩大数据面试宝典专题1史上最全HBase面试题，高薪必备，架构必备史上最全Hive面试题，高薪必备，架构必备绝密
don't_know·2024-01-31 09:44

企业级大数据安全架构（七）服务安全

认证机制，目前直接对接kerberos使用较多，这里我们使用FreeIPA来集成kerberosFreeIPA官网下载地址：https://www.freeipa.org/page/DownloadsHadoop
云掣YUNCHE·2024-01-31 08:08

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP

Hadoop启动时报错WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
W_yhhh·2024-01-31 08:44

hadoop-hdfs-site.xml配置文件详解

hadoop:hdfs-site.xml配置文件详解hdfs-site.xml配置文件j介绍hadoop-hdfs相关的配置信息hdfs-site.xml配置文件namevaluedescriptionhadoop.hdfs.configuration.version1versionofthisconfigurationfiledfs.namenode.logging.levelinfoThelo
许喜朝·2024-01-31 08:13

关于Hadoop全分布构建no HDFS_NAMENODE_USER 错误解决

在Hadoop全分布构建中，常常会出现以下错误[root@Hadoopc1hadoop]#start-all.shStartingnamenodeson[192.168.13.245]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR
(((φ(◎ロ◎;)φ)))云凡·2024-01-31 08:43

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.

hadoop启动时WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
北朽暖栀24·2024-01-31 08:41

Hadoop_HDFS_hdfs 文件系统操作指令

本地做个备份,下面的文章摘自Hadoop官网Link:http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/FileSystemShell.html
高达一号·2024-01-31 08:11

启动集群时遇到WARNING: HADOOP_SECURE_DN_USER做替换

启动集群时遇到WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
Dirth.·2024-01-31 08:40

org/apache/hadoop/hive/shims/ShimLoader

Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/hive/shims/ShimLoaderatorg.apache.hadoop.hive.conf.HiveConf
木生火18624·2024-01-31 08:38

【大数据入门核心技术-Tez】（三）Tez与Hive整合

一、准备工作1、Hadoop和Hive安装【大数据入门核心技术-Hadoop】（五）Hadoop3.2.1非高可用集群搭建【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建【
forest_long·2024-01-31 08:06

大数据[1] -- 安装hadoop

文章目录Hadoop安装以及配置一、安装1.安装SSH，设置SSH无密码登录2.安装jdk3.安装Hadoop二、配置三、其他配置四、出现的问题五参考文章Hadoop安装以及配置一、安装1.安装SSH，
天下一般·2024-01-31 08:06

Hadoop搭建集群中输入hdfs namenode -format格式化节点时，提示：hdfs command not found 解决办法

分析原因：hadoop的安装路径没有加入到当前路径中解决办法：方法1：进入hadoop的安装目录，在执行hadoop命令时在前面加上：./bin.
drhrht·2024-01-31 08:05

Hadoop中hdfs-default.xml的位置

在hadoop安装包中hadoop-2.7.2\share\hadoop\hdfs\hadoop-hdfs-2.7.jar里面
BugEveryday·2024-01-31 08:31

Hadoop 3.x hdfs-site.xml HDFS最小化配置参数

dfs.namenode.http-addressc101:9870dfs.namenode.secondary.http-addressc102:9868########################################################配置文件修改后，启动./start-dfs.sh的时候会提示找不到JAVA_HOME的报错，虽然配置了jdk的环境。还需要配置had
ChengRuoFei·2024-01-31 08:31

如何通过Hive/tez与Hadoop的整合快速实现大数据开发

一、Hive的功能Hive是基于Hadoop的一个外围数据仓库分析组件，可以把Hive理解为一个数据仓库，但这和传统的数据库是有差别的。
小枫@码·2024-01-31 08:00

2024-01-30（Hadoop_HDFS）

1.什么是大数据狭义（技术思维）：使用分布式技术完成海量数据的处理，得到数据背后蕴含的价值。广义：大数据是数字化时代，信息化时代的基础（技术）支撑，以数据为生活赋能。大数据的核心工作：从海量的高增长、多类别、低信息密度的数据中挖掘出高质量的结果。（海量数据存储、海量数据传输、海量数据计算）2.大数据的核心工作存储：妥善保存海量待处理数据计算：完成海量数据的价值挖掘传输：协助各个环节的数据传输3.大
陈xr·2024-01-31 08:30

Hadoop-MapReduce-源码跟读-MapTask阶段篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、Mapper类我们先看下我们写的map所继承的Mapper
隔着天花板看星星·2024-01-31 07:29

Hadoop生态系统中一些关键组件的详细解析

1.Hadoop核心组件HDFS（HadoopDistributedFileSystem）:分布式文件存储系统。提供高吞吐量的数据访问，非常适合用于大规模数据集。
薛定谔的zhu·2024-01-31 07:27

大数据从入门到实战-hadoop开发环境搭建

配置JavaJDK1.下载JDK前往Oracle的官网下载JDK：JavaDownloads|Oracle我们可以先下载到本地，然后从Windows中将文件传入到虚拟机中。也可以复制链接地址，在Linux系统中下载，不过复制链接地址不能直接下载，因为Oracle做了限制，地址后缀需要加上它随机生成的随机码，才能下载到资源所以我们可以点击下载，然后暂停，最后在下载管理中复制链接地址就可以在Linux
是草莓熊吖·2024-01-31 07:25

大数据系列教程003-hadoop伪分布式环境搭建步骤

声明：大数据系列教程文章由Java潘老师辛苦原创，免费公开供java爱好者学习。如需转载请获得潘老师授权并保留原文链接，如有疑问或建议，可以联系潘老师：Q：1562691348V：A1562691348本教程学习知识储备：JavaSE基础、Linux基础、数据库基础步骤：直接点击链接查看1.安装vmware122.设置vmware虚拟网络编辑器3.安装虚拟机CentOS74.设置静态ip5.永久修
Java潘老师·2024-01-31 07:53
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他