云原生hadoop 第7页

hive spark读取hive hbase外表报错分析和解决

“org.apache.hadoop.hbase.client.RetriesExhaustedException:Can’tgetthelocations”问题2：s

spring208208·2025-02-16 07:21

Ubuntu下配置安装Hadoop 2.2

---恢复内容开始---这两天玩Hadoop，之前在我的Mac上配置了好长时间都没成功的Hadoop环境，今天想在win7虚拟机下的Ubuntu12.0464位机下配置，然后再建一个组群看一看。

weixin_30501857·2025-02-15 15:55

人工智能爆火下，关于软件技术专业的发展思考

以下是软件技术专业未来发展的关键方向及学习建议：一、技术方向与前沿领域1.云原生与分布式架构方向：云原生技术（Kubernetes、Docker、Serverless）、微服务架构、分布式系统设计。

yzx991013·2025-02-15 14:48

2014 6月，比较老了

AwesomeBigDataAcuratedlistofawesomebigdataframeworks,resourcesandotherawesomeness.Inspiredbyawesome-php,awesome-python,awesome-ruby,hadoopecosystemtable

金金2019·2025-02-15 09:40

Hive服务启动之 metastore配置和 hiveserver2

首先贴直连配置代码：javax.jdo.option.ConnectionURLjdbc:mysql://hadoop102:3306/metastore?useSSL=fal

龍浮影·2025-02-15 08:33

5. clickhouse 单节点多实例部署

环境说明：主机名：cmc01为例操作系统：centos7安装部署软件版本部署方式centos7zookeeperzookeeper-3.4.10伪分布式hadoophadoop-3.1.3伪分布式hivehive

Toroidals·2025-02-15 05:35

k8s1.27.7部署higress，代理非k8s集群业务

一、简介Higress是基于阿里内部的EnvoyGateway实践沉淀、以开源Istio+Envoy为核心构建的云原生API网关，实现了流量网关+微服务网关+安全网关三合一的高集成能力，深度集成Dubbo

石头-豆豆·2025-02-15 02:41

蓝易云 - HBase基础知识

HBase是一个分布式、可伸缩、列式存储的NoSQL数据库，它建立在Hadoop的HDFS之上，提供高可靠性、高性能的数据存储和访问。

蓝易云·2025-02-15 02:38

活动邀请 | SonarQube×创实信息即将亮相2024 GOPS全球运维大会-上海站，分享代码质量与安全提升策略

大会为期2天，侧重大模型、DevOps、SRE、AIOps、BizDevOps、云原生及安全等热门技术领域。

创实信息·2025-02-14 16:50

基于AWS的证券交易系统架构设计与核心技术实践

作者注：本文深度剖析证券行业数字化转型痛点，结合AWS云原生技术栈，为高频交易、行情分发、风控系统等核心场景提供可落地的解决方案。

AWS官方合作商·2025-02-14 10:41

【云原生技术】 YAML 配置管理、部署架构和灾备方案三个方面介绍一下如何在上海浦东新区和松江两个机房间实现容器部署和容灾

云部署灾备一、YAML配置管理二、部署架构和灾备策略三、故障场景下的应急预案四、总结一、YAML配置管理在实际生产环境中，为了达到高可用、快速灾备的目标，通常需要在YAML配置管理和部署架构上都做出专门设计。下面我从YAML配置管理、部署架构和灾备方案三个方面介绍一下如何在上海A区和B区两个机房间实现容器部署和容灾。【1.YAML配置管理】由于两个机房可能在硬件选型（如存储类、节点标签、网络配置）

阿寻寻·2025-02-14 10:36

2024-2025年主流的开源向量数据库推荐

2.Weaviate特点：云原生开源向量数据库，支持多模态数据（文本、

大囚长·2025-02-14 09:32

云原生AI Agent应用安全防护方案最佳实践（上）

当下，AIAgent代理是一种全新的构建动态和复杂业务场景工作流的方式，利用大语言模型（LLM）作为推理引擎。这些Agent代理应用能够将复杂的自然语言查询任务分解为多个可执行步骤，并结合迭代反馈循环和自省机制，利用工具和Agent背后的API生成最终结果，返回给终端用户。这种方法需要评估Agent应用的鲁棒性，尤其是对于那些可能存在对抗攻击或有害内容的用户场景。亚马逊云科技BedrockAgen

佛州小李哥·2025-02-14 08:56

技术分享 | 《云原生下的IAST落地实践》

云原生技术成为近年来炙手可热的话题，是业务创新发展的重要驱动力。

悬镜安全·2025-02-14 08:25

十年前提出去IOE的阿里云，如何做到全球云原生领先？

十年过去了，今天的阿里云已经是世界三大公共云IaaS厂商之一；如今，阿里云再次全面拥抱云原生计算，以世界级的领先态势，再次主导下一波云产业趋势。阿里云智能总裁张建锋

阿川2015·2025-02-14 05:25

腾讯云大数据套件TBDS与阿里云大数据能力产品对比

我们最开始使用的都是开源的产品，比如hadoop，HDSF，MAPRedu

奋力向前123·2025-02-14 03:29

全方位剖析Docker:架构、原理与实践

引言:随着云原生技术的飞速发展,容器技术正成为软件交付和部署的关键基础设施。而Docker凭借其简单易用的特性,已经成为容器技术的代名词。

寂夜了无痕·2025-02-13 18:58

【云原生技术】微服务架构中如何实现高效调用远程方法

微服务架构中如何实现高效调用远程方法1.使用轻量级通信协议2.异步和非阻塞调用3.负载均衡和服务发现4.缓存和数据预取5.异常处理和重试机制6.使用合适的技术栈和工具示例在微服务架构中，高效调用远程方法是至关重要的，因为微服务通常分布在不同的网络位置和物理机器上。以下是一些策略和技术，可以帮助实现高效的远程方法调用（RPC）：1.使用轻量级通信协议选择合适的通信协议：使用轻量级的通信协议，如HTT

阿寻寻·2025-02-13 18:28

【DeepSeek 行业赋能】从金融到医疗：探索 DeepSeek 在垂直领域的无限潜力

在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者：《ESP32-C3物联网工程开发实战》图书作者：《SwiftUI入门，进阶与实战》超级个体：CO

网罗开发·2025-02-13 18:27

颠覆传统Java性能瓶颈：Quarkus+GraalVM原生镜像实战解析

引言：云原生时代的Java困境在容器化与Serverless架构大行其道的今天，传统Java应用的启动速度与内存消耗已成为制约其发展的关键瓶颈。

桂月二二·2025-02-13 15:40

理解K8S CSI-S3中的节点插件与控制器插件：架构设计与核心职责

理解K8SCSI-S3中的节点插件与控制器插件：架构设计与核心职责在云原生生态中，Kubernetes已成为容器编排的事实标准，而存储管理则是其核心挑战之一。

孤傲·2025-02-13 13:56

云原生后端|实践?

云原生（CloudNative）是一种构建和运行应用程序的方法，它充分利用云计算的优势，包括弹性、可扩展性、高可用性和自动化运维。

dami_king·2025-02-13 07:08

红队攻防渗透技术实战流程：云安全之云原生安全：K8s污点横向移动

红队云攻防实战1.云原生安全-K8s安全-Kubelet漏洞利用1.1K8s安全-横向移动-污点Taint-概念1.2K8s安全-横向移动-污点Taint实战1.2.2K8s安全-横向移动-探针APIServer

HACKNOE·2025-02-13 07:38

红队攻防渗透技术实战流程：云安全之云原生安全：K8s搭建及节点漏洞利用

红队云攻防实战1.云原生-K8s安全-名词架构&各攻击点1.1云原生-K8s安全-概念1.2云原生-K8s安全-K8S集群架构解释1.2.1K8s安全-K8S集群架构-Master节点1.2.2K8s安全

HACKNOE·2025-02-13 07:38

【云安全】云原生-K8S- kubeconfig 文件泄露

什么是kubeconfig文件？kubeconfig文件是Kubernetes的配置文件，用于存储集群的访问凭证、APIServer的地址和认证信息，允许用户和kubectl等工具与Kubernetes集群进行交互。它通常包含多个集群的配置，支持通过上下文（context）切换不同的集群、用户和命名空间。kubeconfig文件的典型路径是~/.kube/config，但也可以通过KUBECONF

仇辉攻防·2025-02-13 07:04

2024 年度技术总结：从实践到成长

文章目录2024年度技术总结：从实践到成长开篇回顾重点技术领域总结1.后端开发与数据库优化2.云原生与容器技术3.自动化运维与脚本开发4.前端与框架探索技术心得与反思展望与规划2024年度技术总结：从实践到成长开篇回顾回顾

XMYX-0·2025-02-13 05:52

【云原生系列】个人用户能用云计算做哪些有趣的事

云计算不仅是企业的专利，个人用户也能充分利用它来做许多有趣的事。随着云服务变得越来越普及和易于访问，个人用户可以借助云计算完成从存储照片到开发程序、甚至是创造虚拟世界等各种创意活动。今天，我们来聊聊一些个人用户可以用云计算做的有趣事儿，看看它如何为日常生活增添新意。创建个人网站或博客对于很多个人用户来说，创建一个网站或博客是展示自己、记录生活的一种方式。通过云计算，你无需购买昂贵的服务器或配置复杂

云上的阿七·2025-02-12 22:00

【Elasticsearch】监控与管理：集群监控指标

__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，

程风破～·2025-02-12 19:01

如何评估云原生GenAI应用开发中的安全风险（上）

人工智能（AI）是一个快速发展的领域，具有改善和改变社会各方面的潜力。到2023年，随着强大基础模型（FMs）的发展以及由此带来的生成式AI能力的提升，AI技术的应用速度进一步加快。在亚马逊云科技，我们推出了多个生成式AI服务，例如AmazonBedrock和AmazonCodeWhisperer，并通过AmazonSageMakerJumpStart提供了一系列高性能的生成式模型。这些服务旨在帮

佛州小李哥·2025-02-12 18:26

DS缩写乱争：当小海豚撞上AI顶流，技术圈也逃不过“撞名”修罗场

这个2019年诞生的分布式任务调度系统，凭借可视化DAG界面、多租户支持和对Hadoop/Spark生态的深度集成，一度是大数据工程师的“梦中情工”。

·2025-02-12 18:58

云原生周刊：DeepSeek 颠覆人工智能

KubeSphere 云原生·2025-02-12 18:54

云原生周刊：K8s 严重漏洞

KubeSphere 云原生·2025-02-12 17:49

Linux 系统vi/vim/编辑器使用介绍（详细）

我是公众号「想吃西红柿」「云原生运维实战派」作者，对云原生运维感兴趣，也保持时刻学习，后续会分享工作中用到的运维技术，在运维的路上得到支持和共同进步！

尘嫣慕曦·2025-02-12 16:14

1. hadoop 1.0.0 source code

https://archive.apache.org/dist/hadoop/core/hadoop-1.0.0/

小阿小火苗·2025-02-12 07:18

hadoop 1.0 基本概念了解

hadoop基本概念了解common：hadoop组件公共常用工具类Avro：Avro是用于数据序列化的系统。不同机器之间数据交流的保障。

fenggfa·2025-02-12 07:48

深入理解Hadoop 1.0.0源码架构及组件实现

本文还有配套的精品资源，点击获取简介：Hadoop1.0.0作为大数据处理的开源框架，在业界有广泛应用。该版本包含核心分布式文件系统HDFS、MapReduce计算模型、Common工具库等关键组件。

隔壁王医生·2025-02-12 07:14

如何在Java中实现高效的分布式计算框架：从Hadoop到Spark

如何在Java中实现高效的分布式计算框架：从Hadoop到Spark大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！

省赚客app开发者·2025-02-12 07:12

云原生后端架构：技术演进、核心概念与未来趋势

1.云原生后端定义云原生后端是指在云计算环境中，采用云原生技术构建和运行的后端系统。它充分利用了云平台的弹性、可扩展性和分布式特性，以实现高效、可靠的服务。

阿尔法星球·2025-02-12 06:40

云原生应用架构-微服务开发最佳实践

第1章云原生时代下的微服务微服务架构是一种将单个应用程序开发为一组小型服务的方法，每个服务在自己的进程中运行，并通过轻量级的通信机制（如HTTPAPI）进行交互。

港南四大炮亡·2025-02-12 06:06

【打工日常】云原生之搭建个人Web云桌面系统

一、puter介绍1.puter简介Puter是一个先进的开源桌面环境，设计用于在浏览器中功能丰富、异常快速和高度可扩展。它可以用于构建远程桌面环境，或作为云存储服务、远程服务器、网络托管平台等的界面。这是一个基于Web的桌面操作系统，可以在浏览器中运行无需安装，即可提供丰富的功能和极快的速度。2.puter功能a.功能丰富多样：Puter可以构建远程桌面环境，还能作为云存储服务、远程服务器、网络

全糖去冰吃不了苦·2025-02-12 05:01

分布式架构设计全解：以银行系统为例

本文还有配套的精品资源，点击获取简介：分布式架构设计对于银行处理实时交易和数据分析至关重要，本文深入分析了Hadoop、F5、Dubbo和SpringCloud等技术在银行项目中的实际应用。

聚合收藏·2025-02-12 04:54

LeetCode - #203 移除链表元素

在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者：《ESP32-C3物联网工程开发实战》图书作者：《SwiftUI入门，进阶与实战》超级个体：CO

网罗开发·2025-02-11 22:39

HiveQL命令（三）- Hive函数

ApacheHive作为一种流行的数据仓库工具，提供了丰富的内置函数，帮助用户高效地处理和分析存储在Hadoop分布式文件系统（HDFS）中的数据。这些内置函数涵盖了数值计算、字符

BigDataMagician·2025-02-11 12:00

Milvus向量数据库操作教程

以下是Milvus向量数据库的详细解释：定义与用途：Milvus是一个云原生向量数据库，专为海量向量数据的实时召回而设计。

2401_85763639·2025-02-11 10:43

Open Liberty使用指南及开发示例（一）

OpenLiberty是一个轻量级、云原生的Java运行时，主要用于运行JakartaEE和MicroProfile应用。它的核心特点是模块化、快速启动和良好的可观测性。

自由鬼·2025-02-11 09:34

Go语言构建微服务：从入门到实战

引言在云原生时代，微服务架构已成为构建复杂分布式系统的首选方案。Go语言凭借其卓越的并发支持、简洁的语法和高效的运行时，成为微服务开发的利器。

一只理智恩·2025-02-11 03:15

【云原生进阶之数据库技术】第二章-Oracle-使用-3.3.1-Oracle Data Guard综述

1OracleDG简介1.1OracleDG综述OracleDG，即OracleDataGuard，是一种数据库容灾和数据保护解决方案，旨在提供高可用性和灾难恢复能力。它通过在主数据库和备用数据库之间实时复制数据来实现这一点。DataGuard的核心功能在于它能够保持主节点和备用节点之间的数据一致性，即使发生故障也能保证业务的连续性。OracleDataGuard是OracleMAA(Maximu

江中散人·2025-02-11 02:38

【hudi】基于hive2.1.1的编译hudi-1.0.0源码

hudi版本1.0.0需要使用较低版本的hive，编译hudi只需要修改下类即可：org.apache.hudi.hadoop.hive.HoodieCombineHiveInputFormat一、复制

lisacumt·2025-02-10 22:10

掌握大数据--Hive全面指南

1.Hive简介2.Hive部署方式3.Hive的架构图4.Hive初体验5.HiveSQL语法--DDL操作数据库1.Hive简介ApacheHive是建立在Hadoop之上的一个数据仓库工具，它提供了一种类似于

纪祥_ee1·2025-02-10 22:40

mq 查看队列深度_千亿级金融场景下，基于Pulsar的云原生消息队列有怎样的表现？...

导语|云原生场景，多语言、多种协议兼容，任意多的消息Topic、任意多的消费者，性能的按需快速扩展成为消息队列基本的要求。

橘子今天吃饭了没·2025-02-10 20:26

推荐频道

云原生hadoop