Hadoop从零开始

从零开始的 dbt 入门教程 （dbt core 开发进阶篇）

引在上一篇文章中，我们花了专门的篇幅介绍了dbt更多实用的命令，那么我们继续按照之前的约定来聊dbt中你可能会遇到的疑惑以及有用的概念，如果你是dbt初学者，我相信如下知识点一定会对你有极大的帮助：了解dbt_project配置文件，以及不同字符的作用了解dbt工程化，为dev以及prod模式配置不同的目标数据集了解model禁用与动态禁用引用表的三种方式，dbt如何维护model的依赖关系?ma
工业甲酰苯胺·2024-02-20 16:53

大数据Map Reduce (Hadoop) 和 MPP数据库 的区别

原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW
山哥Samuel·2024-02-20 15:05

Hadoop 大数据的入门学习

由于所做的银行项目与大数据有关，所以个人学习下hadoop的知识，希望能对大数据有所了解，不喜勿喷，哪里有不对的希望大神指点Hadoop百度百科：Hadoop是一个由Apache基金会所开发的分布式系统基础架构
heybo_zhang·2024-02-20 14:36

C++ Webserver从零开始：配置环境（九）——下载github的项目进行测试

前言大家好，我又来更新Webserver的博客了。上一次更新这个专栏时2024.2.5号，离现在已经13天了。非常抱歉，中间隔了那么久。一方面是基础知识学完之后，就要开始自己写代码了。看基础知识和写代码是两回事，理论和实践的区别还是非常大的。所以我对自己的要求是要完成一部分的内容才能开始着手写博客，避免自己的Webserver还没做出点样子就来误人子弟。虽然不能保证自己的博客质量要达到多么多么高，
meeiuliuus·2024-02-20 13:02

《STM32从零开始学习历程》——DMA直接存储区访问理论知识

《STM32从零开始学习历程》@EnzoReventonDMA—直接存储区访问理论知识本文主要介绍STM32F4DMA直接存储区的理论知识部分，本文主要参考手册为：[野火EmbedFire]《STM32
EnzoReventon·2024-02-20 12:47

Flink理论—Flink架构设计

它集成了所有常见的集群资源管理器，例如HadoopYARN，但也可以设置作为独立集群甚至库运行,例如Spark的StandaloneMode本节概述了Flink架构，并且描述了其主要组件如何交互以执行应用程序和从故障中恢复
不二人生·2024-02-20 12:59

【算法 - 动态规划】从零开始学动态规划！（总纲）

动态规划动态规划（DynamicProgramming，DP）是一种优化问题求解方法，通常用于解决具有重叠子问题和最优子结构性质的问题。它的基本思想是将原问题分解成更小的子问题，通过求解和保存这些子问题的解，避免重复计算，从而提高算法的效率。基本概念：最优子结构：最优子结构是指问题的最优解可以通过子问题的最优解递归构建而成。在动态规划中，原问题被分解为更小的子问题，每个子问题都有自己的最优解。通过
强连通子图·2024-02-20 12:11

从零开始学习Netty - 学习笔记 - NIO基础 - ByteBuffer: 简介和基本操作

NIO基础1.三大组件1.1.Channel&BufferChannel在JavaNIO（NewI/O）中，“Channel”（通道）是一个重要的概念，用于在非阻塞I/O操作中进行数据的传输。JavaNIO提供了一种更为灵活和高效的I/O处理方式，相比于传统的I/O，它具有更好的性能和可扩展性。常见的JavaNIO中的通道类型：FileChannel（文件通道）：用于文件I/O操作的通道，可以在文
花开十里落叶无情·2024-02-20 11:21

Kafka核心逻辑介绍 | 京东云技术团队

分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaft做集群管理，新增内部主体@metadata存储元数据信息），它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop
·2024-02-20 11:54

大数据 - Spark系列《六》- RDD详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-20 10:55

大数据 - Spark系列《七》- 分区器详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-20 10:55

带你寻求，写出有价值感文章的方法

带着寻求“真理”的心，参加了弘丹写作学院，“重打鼓，另开张”，跟着老师从零开始学写作！
亲情是个转不开的环·2024-02-20 09:03

从零开始快速构建自己的Flink应用

本文介绍如何在mac下快速构建属于自己的Flink应用。1.本地安装flink在mac上使用homebrew安装flink：brewinstallapache-flink查看安装的位置：brewinfoapache-flink进入安装目录，启动flink集群：cd/usr/local/Cellar/apache-flink/1.18.0./libexec/bin/start-cluster.sh进
程序员白总·2024-02-20 09:55

Linux之Shell

第1章Shell概述1）Linux提供的Shell解析器有[zhao@hadoop101~]$cat/etc/shells/bin/sh/bin/bash/usr/bin/sh/usr/bin/bash
efzy·2024-02-20 08:16

测试环境搭建整套大数据系统（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）

一：搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二：搭建hadoop，yarn，mapreduce。
宇智波云·2024-02-20 08:05

Hadoop Streaming原理

Streaming简介•MapReduce和HDFS采用Java实现，默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用•Streaming
可乐加冰丶丶·2024-02-20 07:18

【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration

问题背景在Flink的sql-client客户端中执行连接hive的sql代码时出现如下错误，版本Flink1.13.6FlinkSQL>createcatalogtestwith(>'type'='hive',>'default-database'='default',>'hive-conf-dir'='/opt/hive/conf');[ERROR]CouldnotexecuteSQLstat
一杯咖啡半杯糖·2024-02-20 07:38

生产环境下，应用模式部署flink任务，通过hdfs提交

  通过通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到hdfs文件管理系统1.实践  （1）生产集群为cdh集群，从cm上下载配置文件，设置环境exportHADOOP_CONF_DIR
但行益事莫问前程·2024-02-20 07:04

以内存为核心的开源分布式存储系统

Tachyon为不同的大数据计算框架（如ApacheSpark，HadoopMapReduce,ApacheFlink等）提供可靠的内存级的数据共享服务。
这次靠你了·2024-02-20 05:26

Zookeeper(1):入门

/bin/bashcase$1in"start"){foriinhadoop100hadoop101hadoop102doecho----------zookeeper$i启动------------ssh
叶惠美zz·2024-02-20 04:33

线程池,定时器以及阻塞队列(生产者/消费者模型)

博客主页：从零开始的-CodeNinja之路⏩收录专栏：线程池,定时器以及阻塞队列(生产者/消费者模型)欢迎大家点赞评论收藏⭐文章实现线程池,定时器以及阻塞队列,生产者/消费者模型线程池线程池是什么Executors
从零开始的-CodeNinja之路·2024-02-20 02:08

TCP/IP协议以及UDP(超详细,看这一篇就够了)

博客主页：从零开始的-CodeNinja之路⏩收录专栏：TCP/IP协议以及UDP(超详细,看这一篇就够了)欢迎大家点赞评论收藏⭐文章TCP/IP协议以及UDP(超详细,看这一篇就够了前提概括接收端和发送端客户端和服务端客户端和服务端交流过程一
从零开始的-CodeNinja之路·2024-02-20 02:08

[计算机网络]深度学习传输层TCP协议

博客主页：从零开始的-CodeNinja之路⏩收录专栏：深度学习传输层TCP协议欢迎大家点赞评论收藏⭐文章[计算机网络]深度学习传输层TCP协议前提概括一:TCP协议段格式二:确认应答三:超时重传四:连接管理五
从零开始的-CodeNinja之路·2024-02-20 02:36

改变的原动力打造心智，自我意识是神奇的力量！

每一个人的人生观、世界观、价值观全部都是从零开始的，所有习性、习惯、模式也要从人性的初始状态开始发展。
情缘姐·2024-02-20 02:50

【Linux】指令 【scp】

scphadoop.tar.gzdatanode:/software这条命令的含义是将本地的hadoop.tar.gz文件复制到远程主机datanode的/software目录下。
giao客·2024-02-20 01:31

html从零开始7：文档流、浮动、清除浮动，定位【搬代码】

文档流img{width:300px;height:300px;}我们一起看美女大家好，我是p标签浮动img{width:300px;height:300px;float:left;}.box1{width:200px;height:200px;background-color:aqua;float:right;}.container{width:400px;height:400px;backgr
搬代码·2024-02-20 00:47

html从零开始8：css3新特性、动画、媒体查询、雪碧图、字体图标【搬代码】

css3新特性div{width:200px;height:200px;background-color:aqua;position:relative;border-radius:20px;/*圆角属性，100%就变成圆形了*/left:50px;top:100px;}两个值border-radius:50px5px;阴影div{width:200px;height:200px;backgroun
搬代码·2024-02-20 00:47

html从零开始9：javaScript简介，语句、标识符，变量，JavaScript引入到文件【搬代码】

javaScript简介javaScript语句、标识符变量varnum=10;var就是固定声明,num就是变量名，10就是变量；varnum=10;console.log(num)JavaScript引入到文件嵌入到html文件中varnum=10;console.log(num)引入本地独立js文件中varage=20;console.log(age)引入网络来源文件/*引入外部文件*/
搬代码·2024-02-20 00:44

无依赖单机尝鲜 Nebula Exchange 的 SST 导入

无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式（单机、容器化Spark、Hadoop、NebulaGraph），快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph·2024-02-19 23:51

从零开始快速构建自己的Flink应用

本文介绍如何在mac下快速构建属于自己的Flink应用。1.本地安装flink在mac上使用homebrew安装flink：brewinstallapache-flink查看安装的位置：brewinfoapache-flink进入安装目录，启动flink集群：cd/usr/local/Cellar/apache-flink/1.18.0./libexec/bin/start-cluster.sh进
·2024-02-19 23:02

2022-05-14

今日精进：应对困难挫折挑战只要你肯坚信自我，不断发奋的付出，哪怕你此刻的人生是从零开始，你都能够做得到。
池鱼_37df·2024-02-19 21:01

AI提示工程实战：从零开始利用提示工程学习应用大语言模型【文末送书-19】

从零开始：准备工作设计提示调用大语言模型实际应用示例文字创作助手代码生成持续优化与迭代数据隐私与安全性可解释性与透明度总结AI提示工程实战：从零开始利用提示工程学习应用大语言模型【文末送书-19】⛳粉丝福利
一见已难忘的申公豹·2024-02-19 21:39

mv: 无法获取“/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102.out.1“ 的文件状态(stat): 没有那个文件或目录

最近在回顾之前做过的离线数仓项目，在启动hadoop时出现了如下错误：hadoop102:mv:无法获取"/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102
时代新人0-0·2024-02-19 21:53

马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解

分布式计算原则：移动计算，而不是移动数据hadoop默认包含了hdfs、yarn、mapReduce三个组件yarn（YetAnotherResourceNegotiater）是资源调度系统，yarn调配的是内存和
PC_Repair·2024-02-19 20:28

独立开发周记 #53：周记一周年

大部分时间其实都是Paul的女儿在讲解如何从零开始写
·2024-02-19 20:26

Flink-部署实践

1)修改flink/conf/flink-conf.yaml文件:jobmanager.rpc.address:hadoop1132)修改/conf/masters文件:hadoop1133)修改/conf
魔笛Love·2024-02-19 20:52

主流开发语言和开发环境?

Java被广泛应用于企业级应用开发、移动应用（特别是Android应用）、游戏开发、大数据处理（如Hadoop生态系统）、云计算服务端开发等场景。C++简介：C+
dami_king·2024-02-19 20:50

初始树莓派 + VMware17 安装树莓派(Raspberry Pi 4B/5)

文章目录树莓派入门+VMware17安装树莓派(RaspberryPi4/5B)前言一、树莓派入门指南：从零开始探索树莓派树莓派4B和5对比二、在VMwareWorkstation17上安装树莓派4B/
Python-AI Xenon·2024-02-19 19:53

漫谈协程(coroutine)

最近写了不少go的代码，接触到了协程，所以想从零开始学习一下协程。1.到底什么是协程之前听说协程的时候，大家都讲协程就是执行在用户态的微线程，加上go中协程的使用和线程差不多，我也就一直这样理解了。
·2024-02-19 19:22

【51单片机】如何【手搓】定时器寄存器配置【低8位TL0（low）】和【高8位TH0（high）】

本章主要内容面向接触过单片机的老铁本文是【【51单片机】从零开始手把手带你【查手册】配置定时器，并完成小项目（定时器＆中断的应用）】博客的其中一环，感兴趣的老铁可以跳转传送门查看传送门欢迎订阅YY滴C+
YY的秘密代码小屋·2024-02-19 19:06

【51单片机】从零开始手把手带你【查手册】配置定时器，并完成小项目（定时器＆中断的应用）（代码演示＆单片机现象对照LCD闪烁）（9）

前言大家好吖，欢迎来到YY滴单片机系列，热烈欢迎！本章主要内容面向接触过单片机的老铁主要内容含：欢迎订阅YY滴C++专栏！更多干货持续更新！以下是传送门！YY的《C++》专栏YY的《C++11》专栏YY的《Linux》专栏YY的《数据结构》专栏YY的《C语言基础》专栏YY的《初学者易错点》专栏YY的《小小知识点》专栏YY的《单片机期末速过》专栏YY的《C++期末速过》专栏YY的《单片机》专栏YY的
YY的秘密代码小屋·2024-02-19 19:36

【51单片机】利用【与或赋值法】优化【配置TMOD寄存器】

本章主要内容面向接触过单片机的老铁本文是YY入门【【51单片机】从零开始手把手带你【查手册】配置定时器，并完成小项目（定时器＆中断的应用）（代码演示＆单片机现象对照LCD闪烁）】配合博客的其中一部分，感兴趣的老铁可跳转传送门查看传送门欢迎订阅
YY的秘密代码小屋·2024-02-19 19:03

从零开始学粤语4.8词汇

一、新词汇係度做乜嘢？hai2dou6zou6mat1je5在做什么？你话事啦。nei2waa6si6laa1你说了算；你拿主意吧。湿湿碎啦！sap1sap1seoi3laa1小意思！*食咗饭没啊？sik6zo2faan6mut6aa3吃饭了没有？微信倾计：小刚：係度做乜嘢？小明：食饭。小刚：啊明，有件事我要同你商量下。小明：咩事呀？小刚：嗯，听日你可以教我做下表格呀？小明：冇问题。（？可以用没问
采蘑菇的小Timor·2024-02-19 16:18

html从零开始10：注释与常见输出方式，数据类型，typeof运算符，运算符之算术、赋值、比较、布尔运算符【搬代码】

注释与常见输出方式输出方式数据类型typeof运算符varname="asd";varflag=true;varfalgs=false;varuser={name:"小明",age:18,sex:"男"}alert(typeofuser)document.write(typeofuser)document.write(typeofname)document.write(typeofflag)con
搬代码·2024-02-19 15:15

从零开始搭建 Vue 项目

本文主要介绍如何使用node搭建一个基于Vue+VueRouter+iView+webpack的项目，阅读本文之前你可能需要知道：ES6VueVueRouteriViewwebpack中文文档eslintstylelint以上知识在在本文中不会做太多的介绍，不太熟悉的朋友建议事先了解一下再阅读本文。项目github地址点击这里1.初始化mdvue-project&&cdvue-projectgit
蛮吉大人123·2024-02-19 15:15

从零开始学粤语5.7问候词汇解析（1）

一、每日一词——写低“写低”的“低”就是普通话下来的意思。在广东话中有很多“动词+低”这种结构的词，其中大部分的“低”的意思都相当于普通话中的下，或者下来。比如说：写低se2dai1=写下来记低gei3dai1=记下来留低lau4dai1=留下来坐低co5dai1=坐下来放低fong3dai1=放下来训低faan3dai1=睡下来但是有的“动词+低”这种结构的词表示的意思跟普通话有点不一样。对于这
采蘑菇的小Timor·2024-02-19 14:31

Quick introduction to Apache Spark

Spark使用Hadoop的客户端库来
Liam_ml·2024-02-19 13:29

Hadoop Shuffle

Whentherearemultiplereducers,themaptaskspartitiontheiroutput,eachcreatingonepartitionforeachreducetask.Therecanbemanykeys(andtheirassociatedvalues)ineachpartition,buttherecordsforeverykeyareallinasing
SharlotteZZZ·2024-02-19 13:22

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

【大数据面试题】006介绍一下Parquet存储格式的优势

同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python
Jiweilai1·2024-02-19 13:34
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他