云原生hadoop 第9页

大数据Map Reduce (Hadoop) 和 MPP数据库的区别

原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW

山哥Samuel·2024-02-20 15:05

2023 中国 Serverless 用户调查，邀您填写！

随着企业上云的范围更加广泛，国内云计算正在迈向云原生时代。

·2024-02-20 15:24

Hadoop 大数据的入门学习

由于所做的银行项目与大数据有关，所以个人学习下hadoop的知识，希望能对大数据有所了解，不喜勿喷，哪里有不对的希望大神指点Hadoop百度百科：Hadoop是一个由Apache基金会所开发的分布式系统基础架构

heybo_zhang·2024-02-20 14:36

K8S学习

微服务、云、云原生的共同点：他们都是一种技术的称谓，他们出现不是自身发展出现的各种技术架构和逻辑，而是满足业务需求才出现的。所以要理解业务需求才能深刻的理解这些技术。利用云优势不是目标。

zhyhg·2024-02-20 13:46

Flink理论—Flink架构设计

它集成了所有常见的集群资源管理器，例如HadoopYARN，但也可以设置作为独立集群甚至库运行,例如Spark的StandaloneMode本节概述了Flink架构，并且描述了其主要组件如何交互以执行应用程序和从故障中恢复

不二人生·2024-02-20 12:59

Kafka核心逻辑介绍 | 京东云技术团队

分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaft做集群管理，新增内部主体@metadata存储元数据信息），它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop

·2024-02-20 11:54

云原生明星企业 Weaveworks 倒闭，Sealos 瑟瑟发抖？

同为云原生领域的创业者，我是否已经躲在角落里瑟瑟发抖？

·2024-02-20 10:19

【理解 Cilium 系列文章】(一) 初识 Cilium

Cilium作为近两年最火的云原生网络方案，可谓是风头无两。作为第一个通过ebpf实现了kube-proxy所有功能的网络插件，它的神秘面纱究竟是怎样的呢？

云原生Serverless·2024-02-20 10:41

【理解 Cilium 系列文章】(二) 理解网络数据包的流转过程

Cilium作为近两年最火的云原生网络方案，可谓是风头无两。作为第一个通过ebpf实现了kube-proxy所有功能的网络插件，它的神秘面纱究竟是怎样的呢？

云原生Serverless·2024-02-20 10:41

大数据 - Spark系列《六》- RDD详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据

王哪跑nn·2024-02-20 10:55

大数据 - Spark系列《七》- 分区器详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据

王哪跑nn·2024-02-20 10:55

云原生明星创业公司 Weaveworks 倒闭了，GitOps 该何去何从？

时间回到2月5日，就在大家期待春节长假的时候，一则Weaveworks公司即将倒闭的消息刷爆了云原生技术圈。Weaveworks公司的C

·2024-02-20 08:41

Linux之Shell

第1章Shell概述1）Linux提供的Shell解析器有[zhao@hadoop101~]$cat/etc/shells/bin/sh/bin/bash/usr/bin/sh/usr/bin/bash

efzy·2024-02-20 08:16

测试环境搭建整套大数据系统（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）

一：搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二：搭建hadoop，yarn，mapreduce。

宇智波云·2024-02-20 08:05

Hadoop Streaming原理

Streaming简介•MapReduce和HDFS采用Java实现，默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用•Streaming

可乐加冰丶丶·2024-02-20 07:18

科技云报道：云原生是大模型“降本增效”的解药吗？

科技云报道原创。在过去一两年里，以GPT和Diffusionmodel为代表的大语言模型和生成式AI，将人们对AI的期待推向了一个新高峰，并吸引了千行百业尝试在业务中利用大模型。国内各家大厂在大模型领域展开了激烈的军备竞赛，如：文心大模型、通义千问、混元大模型、盘古大模型等等，这些超大规模的模型训练参数都在千亿以上，有的甚至超过万亿级。即便训练一次千亿参数量模型的成本可能就高达数百万美元，但大厂们

科技云报道·2024-02-20 07:29

云原生概念

云原生是一条使用户能：1.低运维、2.敏捷的、3.以可扩展、可复制的方式，最大化的利用”云“的能力、发挥”云“的价值的最佳路径云原生，是一条最佳路径或实践参考：https://edu.aliyun.com

baihaisheng·2024-02-20 07:28

【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration

问题背景在Flink的sql-client客户端中执行连接hive的sql代码时出现如下错误，版本Flink1.13.6FlinkSQL>createcatalogtestwith(>'type'='hive',>'default-database'='default',>'hive-conf-dir'='/opt/hive/conf');[ERROR]CouldnotexecuteSQLstat

一杯咖啡半杯糖·2024-02-20 07:38

生产环境下，应用模式部署flink任务，通过hdfs提交

通过通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到hdfs文件管理系统1.实践（1）生产集群为cdh集群，从cm上下载配置文件，设置环境exportHADOOP_CONF_DIR

但行益事莫问前程·2024-02-20 07:04

在生产环境中可遵循的Kubernetes优秀实践

由于云原生应用需要基础架构的高度自动化，目前以Docker和Kubernetes为代表的DevOps实现平台，正在以容器编排工具的形式，让更多的公司能够以更快的速度，构建、发布和交付其软件产品。

鹤子青云上·2024-02-20 06:21

学习 Kubernetes（K8s）、常用命令

学习Kubernetes（K8s）是现代云原生应用开发和部署的关键，它提供了一种灵活的、自动化的方式来管理容器化的应用程序。

琴剑飘零西复东·2024-02-20 05:26

以内存为核心的开源分布式存储系统

Tachyon为不同的大数据计算框架（如ApacheSpark，HadoopMapReduce,ApacheFlink等）提供可靠的内存级的数据共享服务。

这次靠你了·2024-02-20 05:26

K8S-7--K8s资源对象(API/pod探针/sevice/volume/Statefulset/DaemonSet/PV/PVC/)/结合ceph

/concepts/workloads/controllers/资源管理核心概念k8s的设计理念-分层架构：http://docs.kubernetes.org.cn/251.html#k8s分层架构云原生生态系统

哈密瓜小贼·2024-02-20 05:53

Zookeeper(1):入门

/bin/bashcase$1in"start"){foriinhadoop100hadoop101hadoop102doecho----------zookeeper$i启动------------ssh

叶惠美zz·2024-02-20 04:33

《Go 简易速速上手小册》第10章：微服务与云原生应用（2024 最新版）

文章目录10.1构建微服务架构-探索Go语言的微观世界10.1.1基础知识讲解10.1.2重点案例：订单处理系统订单服务测试服务10.1.3拓展案例1：用户认证服务安装所需的包实现用户模型和存储实现JWT生成和验证实现认证服务测试服务10.1.4拓展案例2：商品推荐服务设计商品推荐服务实现简化的推荐服务集成推荐服务到订单系统测试服务10.2容器化与Go-打包你的Go应用航向云端10.2.1基础知识

江帅帅·2024-02-20 03:54

RISC-V 在区块链智能及云原生中的应用、机遇与挑战

本文转载自：斗篷客（ID：wearecloakman）区块链如同2000年前后的互联网，正一步步走入我们每个人的生活中。作为区块链整套技术中的核心之一，智能合约/虚拟机的设计在推动区块链创新的进程中，正扮演着越来越重要的角色。由此出发，虚拟机的设计也呈现着百花齐放的姿态。秘猿科技根据对智能合约层以及区块链虚拟机的理解与反思，基于RISC-V硬件指令集打造了虚拟机CKB-VM。在这次分享中，我们将会

NervosNetwork·2024-02-20 03:50

（三十九）大数据实战——Prometheus监控平台的部署搭建

它最初由SoundCloud开发并于2012年发布，并在2016年加入了云原生计算基金会（CNCF）。

厉害哥哥吖·2024-02-20 02:52

【Linux】指令【scp】

scphadoop.tar.gzdatanode:/software这条命令的含义是将本地的hadoop.tar.gz文件复制到远程主机datanode的/software目录下。

giao客·2024-02-20 01:31

DevOps 实战：Jenkins Docker

来自：腾讯云社区链接：https://cloud.tencent.com/developer/article/1575521随时Docker的普及，云原生时代已经到来，开发工程师对应用环境的掌控力进一步加强

码农小光·2024-02-20 01:21

【云原生之kubernetes实战】在k8s环境下部署Mikochi文件管理工具（配置持久化存储）

【云原生之kubernetes实战】在k8s环境下部署Mikochi文件管理工具（配置持久化存储）一、Mikochi介绍二、本次实践介绍2.1本次实践简介2.2本次环境规划2.3本次实践存储介绍2.4k8s

江湖有缘·2024-02-20 00:43

无依赖单机尝鲜 Nebula Exchange 的 SST 导入

无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式（单机、容器化Spark、Hadoop、NebulaGraph），快速趟一下NebulaExchange中SST写入方式的步骤

NebulaGraph·2024-02-19 23:51

【工作记录】基于docker+mysql部署单机版nacos2.0.4@20240219

Nacos介绍Nacos是阿里巴巴开源的一款集服务发现、配置管理和服务元数据管理于一身的中间件，主要用于构建云原生应用和微服务架构。

泽济天下·2024-02-19 22:12

mv: 无法获取“/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102.out.1“ 的文件状态(stat): 没有那个文件或目录

最近在回顾之前做过的离线数仓项目，在启动hadoop时出现了如下错误：hadoop102:mv:无法获取"/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102

时代新人0-0·2024-02-19 21:53

马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解

分布式计算原则：移动计算，而不是移动数据hadoop默认包含了hdfs、yarn、mapReduce三个组件yarn（YetAnotherResourceNegotiater）是资源调度系统，yarn调配的是内存和

PC_Repair·2024-02-19 20:28

Flink-部署实践

1)修改flink/conf/flink-conf.yaml文件:jobmanager.rpc.address:hadoop1132)修改/conf/masters文件:hadoop1133)修改/conf

魔笛Love·2024-02-19 20:52

主流开发语言和开发环境?

Java被广泛应用于企业级应用开发、移动应用（特别是Android应用）、游戏开发、大数据处理（如Hadoop生态系统）、云计算服务端开发等场景。C++简介：C+

dami_king·2024-02-19 20:50

阿里巴巴的云原生应用开源探索与实践

作者|司徒放责编|阿秃出品|CSDN云计算（ID：CSDNcloud）阿里巴巴的应用架构演进分享阿里巴巴在云原生应用方面的探索之前，先和大家介绍一下阿里巴巴在整个应用架构方面的演进历程。

CSDN云计算·2024-02-19 19:44

学习笔记：云原生容器化技术——Docker

Docker学习笔记前言一、Docker概述1.1Docker为什么会出现？1.2Docker的历史1.3Docker为什么这么火爆？1.4虚拟机技术与容器化技术的区别二、Docker安装2.1Docker的基本组成2.2Docker安装2.3阿里云镜像加速2.4dockerrun的执行流程2.5Docker工作原理三、Docker命令3.1镜像命令3.2容器命令3.3其他常用命令3.4小结3.5

自传丶·2024-02-19 18:19

【云原生】Docker-compose单机容器集群编排

站在这别动，我去给你买橘子·2024-02-19 18:49

云原生系列四【轻松入门容器基础操作】

✅作者简介：CSDN内容合伙人，全栈领域新星创作者，阿里云专家博主，华为云云享专家博主，掘金后端评审团成员前言：最近云原生领域热火朝天，那么云原生是什么？何为云原生？云原生用来干什么的？

叶秋学长·2024-02-19 18:17

云原生容器化-1 Linux虚拟网络介绍2—netfilter/iptables框架

背景：承接上文云原生容器化-1Linux虚拟网络介绍，本文以netfilter/iptables框架内容为主题，介绍框架原理和实践操作；由于后续介绍的Docker网络原理不涉及MAC层，因此本文内容聚焦在

Ewen Seong·2024-02-19 18:43

云原生容器化-5 Docker常见操作命令

1.登录和退出docker仓库使用dockerlogin和dockerlogout分别用于登录和退出docker仓库。#登录时携带用户名、密码、仓库地址信息[email protected]:8000dockerlogin--usernameseong--password3er4#ER$192.168.0.22:8000#

Ewen Seong·2024-02-19 18:08

基于Spring Cloud创建弹性微服务

这正是SpringCloud的登场时机：一个全面的框架，用于构建云原生应用程序。2SpringCloud简介SpringCloud

虚无火星车·2024-02-19 16:01

JeecgBoot集成TiDB，打造高效可靠的数据存储解决方案

同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalProcessing,HTAP)的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时HTAP、云原生的分布式数据库

·2024-02-19 15:56

Quick introduction to Apache Spark

Spark使用Hadoop的客户端库来

Liam_ml·2024-02-19 13:29

Hadoop Shuffle

Whentherearemultiplereducers,themaptaskspartitiontheiroutput,eachcreatingonepartitionforeachreducetask.Therecanbemanykeys(andtheirassociatedvalues)ineachpartition,buttherecordsforeverykeyareallinasing

SharlotteZZZ·2024-02-19 13:22

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，

hyunbar·2024-02-19 13:39

极狐GitLab 与 Flux 集成实现 GitOps

·2024-02-19 13:11

【大数据面试题】006介绍一下Parquet存储格式的优势

同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python

Jiweilai1·2024-02-19 13:34

Sqoop 入门基础

简介Sqoop（SQLtoHadoop）是一个开源工具，用于在关系型数据库和Hadoop之间传输数据。

香菜的开发日记·2024-02-19 13:17

推荐频道

云原生hadoop

大数据Map Reduce (Hadoop) 和 MPP数据库 的区别