云计算Hadoop

Hadoop 常用命令

查看指定目录下的文件及文件夹hadoopfs-ls/user/hive/warehouse/查看指定目录下的文件及文件夹大小#文件大小（单位Byte）hadoopfs-du/user/hive/warehouse
ZenPower·2025-01-21 06:59

hadoop常用命令汇总

1、查看目录下的文件列表：hadoopfs–ls[文件目录]hadoopfs-ls-h/lance2、将本机文件夹存储至hadoop上：hadoopfs–put[本机目录][hadoop目录]hadoopfs-putlance
m0_67402026·2025-01-21 06:59

hadoop常用命令

Yarn查看提交到资源调度器的任务（任何用yarn资源的都可以看，比如spark、tez、mapreduce）看正在运行的yarn任务yarnapplication-list杀死对应的yarn任务yarnapplication-kill{application_Id}（id可以通过-list看到）hdfs查看hdfs目录hdfsdfs-ls/（查看本集群的目录）hdfsdfs-lshdfs://i
我要用代码向我喜欢的女孩表白·2025-01-21 05:54

Kubernetes架构原则和对象设计（二）

云原生学习路线导航页（持续更新中）kubernetes学习系列快捷链接Kubernetes架构原则和对象设计（一）Kubernetes常见问题解答本文从云计算架构发展入手，详细分析了kubernetes
grahamzhu·2025-01-21 05:53

FORCE 原动力大会｜火山引擎边缘云亮点干货先知晓！

IDC最新发布的《中国智算服务市场（2023下半年）跟踪》报告显示，受国内生成式AI技术飞速发展的影响，GenAI（生成式AI）IaaS市场在2023年实现爆发式增长，在AI+云计算领域有双向积累的公司获得先发优势
·2025-01-20 22:19

弹性云在业务环境中的实际应用和优势有什么

正是在这样的背景下，弹性云作为云计算技术的核心优势之一，正逐步成为企业业务环境中的关键组成部分。
·2025-01-20 22:17

Kylin入门教程

引言ApacheKylin是一个开源的分布式分析引擎，提供Hadoop上的多维分析（OLAP）能力，使得超大规模数据集的实时查询和分析成为可能。
-龙川-·2025-01-20 20:23

AWS GCR EKS Resource：构建高效弹性云原生应用的利器

eks-workshop-greater-chinaAWSWorkshopforLearningEKSforGreaterChina项目地址:https://gitcode.com/gh_mirrors/ek/eks-workshop-greater-china在云计算的浪潮中
杨女嫚·2025-01-20 18:37

flume系列之：flume落cos

flume系列之：flume落cos一、参考文章二、安装cosjar包三、添加hadoop-cos的相关配置四、flume环境添加hadoop类路径五、使用cos路径六、启动/重启flume一、参考文章
快乐骑行^_^·2025-01-20 13:42

云原生和“可移植性”到底意味着什么

虽然上云，拥抱云计算已经成为当今几乎所有企业的必走之路，但对于“在云原生环境中进行开发”和“依赖某些云供应商提供的，以平台为中心的工具”这两种做法，它们之间依然存在非常清晰的界限。
·2025-01-20 13:05

低延迟更灵活，开发者怎能不爱分布式云

过去多年来，云计算满足了这种需求。不过这就够了吗？适合过去的东西，就一定适合将来吗？未必！
·2025-01-20 13:31

玩转云计算：教你在Akamai Linode上构建IT架构–准备工作

时至今日，选择以云计算方式来运维业务，已经成为大部分情况下的最优选。那么如果要从零开始开发一个新应用，并依托云平台来设计、开发、部害和远维，具体该从何处下手？
·2025-01-20 12:58

游戏业者必看！从中心化到分布式，分布式架构对游戏业带来的优势与收益

在线游戏可以说是所有行业中对延迟最敏感的行业，这使得它特别容易受到传统集中式云计算架构的缺点的影响，在这种架构中，数据
·2025-01-20 12:57

什么是三高架构?

这三个特性是现代计算系统、尤其是在分布式系统和云计算架构中，设计和部署的关键目标。以下是
java1234_小锋·2025-01-20 12:27

Java实战：Spring Boot实现多租户思路

引言在当今云计算与SaaS服务盛行的时代，多租户架构成为了很多企业级应用的基础设计之一。这种架构允许单一应用程序实例为多个组织（租户）提供服务，同时保持各租户数据和配置的隔离性。
拥抱AI·2025-01-20 05:58

AI与API的融合：构建智能互联技术世界的基石

一、AI与API融合的背景随着大数据、云计算、物联网等技术的快速发展，人工
IT数据V+I7809804594·2025-01-20 05:55

Hadoop 和 Spark 的内存管理机制分析

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-20 03:27

OpenStack认证服务（Keystone）详细解读

文章目录前言一、项目陈述二、Keystone的基本名词概念三、相关概念关系解释三、Keystone的组件架构四、Keystone认证的基本步骤总结前言OpenStack云计算平台的组件有很多，该先安装哪个组件呢
D3Zane·2025-01-19 23:28

浅谈云计算01 | 云计算服务的特点

  在当今数字化时代，云计算作为一种强大的技术解决方案，正逐渐改变着企业和个人对信息技术的使用方式。
时光札记z·2025-01-19 22:12

Java在云计算中的应用：Java的秘密云基地

Java在云计算领域的应用非常广泛，它以其跨平台性、强大的生态系统和安全性成为了构建云服务的重要工具。
五行星辰·2025-01-19 22:41

SS00023.PBpositions——|Hadoop&PB级离线数仓.v02|——|Griffin.v02|Griffin部署|

一、Griffin编译准备###---软件解压缩[root@hadoop02~]#ls/opt/yanqi/software/griffin-griffin-0.5.0.zip/opt/yanqi/software
yanqi_vip·2025-01-19 21:30

机器视觉算法与边缘计算：打造移动终端上的智能“慧眼”

传统云计算模式在处理这些海量实时数据时，面临延迟高、带宽压力大等问题，无法满足如自动驾驶、远程医疗等对实时性要求极高的应用场景的需求。
matlab_python22·2025-01-19 19:21

解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...警告

这个警告意味着Hadoop在加载本地本机库时遇到了问题。
克里斯蒂亚诺罗纳尔多阿维罗·2025-01-19 10:05

Hive 数据类型全解析：大数据开发者的实用指南

在大数据处理领域，Hive作为一款基于Hadoop的数据仓库工具，被广泛应用于数据的存储、查询和分析。
大鳥·2025-01-19 08:42

Java 大视界 -- 解锁 Java 与 Hadoop HDFS 交互的高效编程之道（二）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:19

Yarn工作机制？思维导图 代码示例（java 架构)

YARN工作机制YARN（YetAnotherResourceNegotiator）是Hadoop生态系统中的资源管理和调度框架，它负责管理集群中的所有资源，并为应用程序提供调度服务。
用心去追梦·2025-01-19 02:17

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

“云计算+中职”：VR虚拟仿真实训室的发展前景

云计算与虚拟现实（VR）技术的结合，为中职教育提供了全新的教学模式和实训平台。一、云计算与VR虚拟仿真实训室的融合云计算技术以其高可靠性、可扩展性和灵活性，为VR虚拟仿真实训室提供了强大的技术支撑。
武汉唯众智创·2025-01-18 21:01

集群间hive数仓迁移

上建库建表；showcreatetabletb_name;createdatabasedb_name;createtabletb_name.....第二步：转移数据文件到新集群；在旧集群中下载数据到本地hadoopfs-get
one code·2025-01-18 17:15

Hive中没有超级管理员，如何进行权限控制

grantselectontabletest2touserhadoop;如何开发一个超级管理员：创建一个项目，导入mavanjar包，然后开始编写hook类importcom.google.common.base.Joiner
二进制_博客·2025-01-18 16:42

调试Hadoop源代码

个人博客地址：调试Hadoop源代码|一张假钞的真实世界Hadoop版本Hadoop2.7.3调试模式下启动HadoopNameNode在${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
一张假钞·2025-01-18 13:16

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
武子康·2025-01-18 10:29

华为云计算平台架构介绍

在当今数字化时代，云计算已成为企业实现数字化转型和创新发展的关键支撑技术。
单车~·2025-01-18 10:29

pyspark 中删除hdfs的文件夹

寻找到一个删除的方法，是通过调用shell命令hadoopfs-rm-f来删除，这个方法感觉不怎么好，所以继续找。
TDengine （老段）·2025-01-18 09:21

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

Linux内核性能调优：让系统飞起来的秘籍

在当今数字化时代，Linux系统凭借其强大的稳定性、开放性和灵活性，广泛应用于服务器、云计算、大数据等诸多领域。然而，随着业务量的不断增长和应用场景的日益复杂，Linux内核的性能面临着巨大挑战。
深度Linux·2025-01-18 06:26

浅谈云计算06 | 云管理系统架构

云管理系统架构一、云管理系统架构（一）远程管理系统（二）资源管理系统（三）SLA管理系统（四）计费管理系统二、安全与可靠性保障（一）数据安全防线（二）故障应对策略云管理系统是一种综合性的软件平台，用于对云计算环境中的各类资源
时光札记z·2025-01-18 05:19

浅谈云计算08 | 基本云架构

浅谈基本云架构一、负载分布架构二、资源池架构三、动态可扩展架构四、弹性资源容量架构五、服务负载均衡架构六、云爆发架构七、弹性磁盘供给架构八、冗余存储架构在当今数字化时代，云计算已成为企业发展的核心驱动力
时光札记z·2025-01-18 05:19

MongoDB深度解析与实践案例

MongoDB深度解析与实践案例在当今大数据与云计算盛行的时代，NoSQL数据库以其灵活的数据模型、水平扩展能力和高性能，成为处理海量数据的重要工具之一。
我的运维人生·2025-01-17 21:47

MongoDB深度解析与实践案例

MongoDB深度解析与实践案例在当今大数据与云计算蓬勃发展的时代，NoSQL数据库以其灵活的数据模型、水平扩展能力和高性能，成为处理海量数据的重要工具。
我的运维人生·2025-01-17 21:17

服务器虚拟化技术深度解析与代码实践

服务器虚拟化技术深度解析与代码实践在现代数据中心和云计算环境中，服务器虚拟化技术已经成为提高资源利用率、降低成本和简化管理的重要手段。
我的运维人生·2025-01-17 21:47

亚马逊云技术深度解析与实战案例

亚马逊云技术深度解析与实战案例引言亚马逊云（AmazonWebServices,AWS）作为全球云计算技术的领导者，以其丰富的服务种类、强大的基础设施和持续的技术创新，为企业和个人开发者提供了前所未有的灵活性和扩展性
我的运维人生·2025-01-17 21:16

Linux内核性能调优：让系统飞起来的秘籍

在当今数字化时代，Linux系统凭借其强大的稳定性、开放性和灵活性，广泛应用于服务器、云计算、大数据等诸多领域。然而，随着业务量的不断增长和应用场景的日益复杂，Linux内核的性能面临着巨大挑战。
·2025-01-17 20:22

AI Agent：一场智能革命的开始

一、AIAgent的发展现状：技术突破与广泛应用近年来，随着大数据、云计算和机器学习等技术的飞速发展，AIAgent的技术水平得
TechubNews·2025-01-17 20:02

案例分享｜快速了解实时湖仓集一体技术如何助力企业降本增效

1.替代TD仓、Hadoop湖，助力农商行构建一体化数据平台某农商行最初构建了Teradata数据仓库、Oracle小数据平台以及Hadoop数据湖。
·2025-01-17 20:42

云计算技术深度解析与代码实践

云计算技术深度解析与代码实践引言云计算作为近年来兴起的革命性IT服务模式，正在全球范围内迅速普及。它通过网络将软硬件资源整合成一个高效的分布式系统，实现了数据的可靠存储和高效处理。
我的运维人生·2025-01-17 19:27

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

把复杂问题简单化5、屏蔽原始数据的(影响)，屏蔽业务的影响ETL操作1、数据抽取2、数据清洗3、数据转换4、数据加载数据中台包含的内容很多，对应到具体工作中的话，它可以包含下面的这些内容：系统架构：以Hadoop
_Jordan·2025-01-17 16:56

云计算在企业中的应用优势

在当今数字化时代，云计算已成为企业发展的重要助力。云计算具有高灵活性，企业无需大量购置硬件设备，通过云平台就能轻松获取所需的计算资源。
·2025-01-17 15:20

思腾云计算

一、算力租赁思腾云计算提供裸金属服务器算力租赁服务，这是一种介于物理服务器和云主机之间的形态，兼具两者的优点。高性能：裸金属服务器提供与物理服务器相当的性能，满足对计算性能有极高要求的场景。
·2025-01-17 14:37

技术解析 | 云游戏在未来如何实现？

云游戏是一种以云计算、渲染及云传输为基础的游戏实现方式，与传统游戏区别在于游戏的运行在云端边缘计算节点上，而非用户本地终端上；用户本地终端通过网络接收云端边缘计算节点发送的数据进行游戏声音与画面的本地呈现
腾讯云音视频·2025-01-17 12:58
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他