Hadoop学习记录

16.用Hadoop命令向CDH集群提交MR作业

Redhat7.2非Kerberos集群CDH5.13，OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的，因为使用hadoop
大勇任卷舒·2024-02-20 19:27

【YARN】【Apache Hadoop YARN】【架构】

ThefundamentalideaofYARNistosplitupthefunctionalitiesofresourcemanagementandjobscheduling/monitoringintoseparatedaemons.TheideaistohaveaglobalResourceManager(RM)andper-applicationApplicationMaster(AM)
资源存储库·2024-02-20 18:48

记一次 Flink 作业启动缓慢

记一次Flink作业启动缓慢背景应用发现，Hadoop集群的hdfs较之前更加缓慢，且离线ELT任务也以前晚半个多小时才能跑完。
卢说·2024-02-20 18:38

MySQL 学习记录 1

原文：https://blog.iyatt.com/?p=126311前言去年年初报考3月的计算机二级（C语言）【https://blog.iyatt.com/?p=9266】考过了，这次打算报考3月的计算机三级（数据库）。数据库这一块，很久之前用过SQLite，基本没怎么深入学习。准备现学MySQL，主要是面向应用目的，顺带后续结合开发。三级考试似乎是用微软的SQLServer，这个问题不大，很
astuv·2024-02-20 18:14

Pytorch学习记录-接近人类水平的GEC（使用混合机器翻译模型）

五月第二周要结束了，接下来的三个月主要是文献阅读，准备8、9月的开题报告，技术类的文献集中在GEC和Textmaching的应用方面，读完之后找demo复现，然后应用。理论方面的论文也都是英文的8.NearHuman-LevelPerformanceinGrammaticalErrorCorrectionwithHybridMachineTranslation昨天一天没看论文，发现我文献阅读速度太
我的昵称违规了·2024-02-20 16:04

大数据Map Reduce (Hadoop) 和 MPP数据库 的区别

原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW
山哥Samuel·2024-02-20 15:05

Hadoop 大数据的入门学习

由于所做的银行项目与大数据有关，所以个人学习下hadoop的知识，希望能对大数据有所了解，不喜勿喷，哪里有不对的希望大神指点Hadoop百度百科：Hadoop是一个由Apache基金会所开发的分布式系统基础架构
heybo_zhang·2024-02-20 14:36

【演奏的船长】数据分析学习记录W11——关于指标的定义

本周主要进行数据分析比赛，未思考更多，仅整理几个基本概念：原子指标：描述业务、产品的最小数据单元，比如一条条原始记录衍生指标：某个度量结合在某个维度下的聚合值，主要是为了提升复合指标运算效率和便于分析；复合指标：根据CSF（关键成功因素）拆解出的关键衡量基准，衍生指标计算后结果。CSF（关键成功因素）：对企业成功起作用的战略目标的定性描述。
演奏的船长·2024-02-20 13:20

jQuery怎样获得内容和属性？

（依旧是学习记录，慢慢补充）一、获得内容-text()、html()以及val()三个简单实用的用于DOM操作的jQuery方法：text()-设置或返回所选元素的文本内容html()-设置或返回所选元素的内容
汓㸓·2024-02-20 12:01

Flink理论—Flink架构设计

它集成了所有常见的集群资源管理器，例如HadoopYARN，但也可以设置作为独立集群甚至库运行,例如Spark的StandaloneMode本节概述了Flink架构，并且描述了其主要组件如何交互以执行应用程序和从故障中恢复
不二人生·2024-02-20 12:59

Substrate 学习记录（四）：win10 下 vscode 运行编译 rust 并连接子系统 ubuntu 终端

win10下vscode运行编译rust并连接子系统ubuntu终端一、vscode搭建rust环境二、使用Debug三、vscode连接子系统ubuntu终端三、BUG一、vscode搭建rust环境找到vscode的extensions加入rust：具体使用功能在上面有给出，自行阅读文档：依据Quickstart执行相关步骤。rust使用cargo在终端执行：至此rust已可通过终端在vsco
迷茫的九九·2024-02-20 11:29

Kafka核心逻辑介绍 | 京东云技术团队

分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaft做集群管理，新增内部主体@metadata存储元数据信息），它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop
·2024-02-20 11:54

大数据 - Spark系列《六》- RDD详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-20 10:55

大数据 - Spark系列《七》- 分区器详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-20 10:55

【强化学习】day1 强化学习基础、马尔可夫决策过程、表格型方法

写在最前：参加DataWhale十一月组队学习记录【教程地址】https://github.com/datawhalechina/joyrl-bookhttps://datawhalechina.github.io
宏辉·2024-02-20 09:32

2019-08-16 每日10分钟商务英语口语--学习记录(会议总结)

Thanksverymuchforyourparticipation.谢谢大家的参与！必备词1.participation/pɑr,tɪsɪ'peʃən/n.参与，分享2.nutshell概括3.carryontheproject执行计划4.goover重温5.carryout完成6.highlightedspot重点7.elevatetheissuetosb.把问题提交给某人8.cometoac
魔君BYL·2024-02-20 09:27

Linux之Shell

第1章Shell概述1）Linux提供的Shell解析器有[zhao@hadoop101~]$cat/etc/shells/bin/sh/bin/bash/usr/bin/sh/usr/bin/bash
efzy·2024-02-20 08:16

测试环境搭建整套大数据系统（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）

一：搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二：搭建hadoop，yarn，mapreduce。
宇智波云·2024-02-20 08:05

中科大计网学习记录笔记（十三）：UDP 套接字编程 | 传输层概述和传输层的服务

前言：学习视频：中科大郑烇、杨坚全套《计算机网络（自顶向下方法第7版，JamesF.Kurose，KeithW.Ross）》课程该视频是B站非常著名的计网学习视频，但相信很多朋友和我一样在听完前面的部分发现信息量过大，有太多无法理解的地方，在我第一次点开的时候也有相同的感受，但经过了一段时间项目的学习，对计网有了更多的了解，所以我准备在这次学习的时候做一些记录并且加入一些我的理解，希望能够帮助到大
*Soo_Young*·2024-02-20 07:11

Hadoop Streaming原理

Streaming简介•MapReduce和HDFS采用Java实现，默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用•Streaming
可乐加冰丶丶·2024-02-20 07:18

【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration

问题背景在Flink的sql-client客户端中执行连接hive的sql代码时出现如下错误，版本Flink1.13.6FlinkSQL>createcatalogtestwith(>'type'='hive',>'default-database'='default',>'hive-conf-dir'='/opt/hive/conf');[ERROR]CouldnotexecuteSQLstat
一杯咖啡半杯糖·2024-02-20 07:38

生产环境下，应用模式部署flink任务，通过hdfs提交

  通过通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到hdfs文件管理系统1.实践  （1）生产集群为cdh集群，从cm上下载配置文件，设置环境exportHADOOP_CONF_DIR
但行益事莫问前程·2024-02-20 07:04

Vuex学习记录

目录一、Vuex概述1.1Vuex是什么1.2使用Vuex统一管理的好处1.3什么样的数据适合存储在Vuex中二、Vuex的基本使用2.1创建Vuex项目视图式（版本：vue3+vuex4）命令式（版本：vue2+vuex3）可自定义选择版本三、Vuex的核心概念3.1核心概念概述3.2State组件访问State中数据是第一种方式：组件访问State中数据是第二种方式：3.3Mutation触达
娃哈哈哈哈呀·2024-02-20 05:41

以内存为核心的开源分布式存储系统

Tachyon为不同的大数据计算框架（如ApacheSpark，HadoopMapReduce,ApacheFlink等）提供可靠的内存级的数据共享服务。
这次靠你了·2024-02-20 05:26

Zookeeper(1):入门

/bin/bashcase$1in"start"){foriinhadoop100hadoop101hadoop102doecho----------zookeeper$i启动------------ssh
叶惠美zz·2024-02-20 04:33

Python学习记录——사 运算符

目录1、算术运算符2、赋值运算符3、复合赋值运算符4、比较运算符5、逻辑运算符1、算术运算符+-*/除//整数，取商%取模，也是取余，取除后的余数**指数，幂运算()()高于**高于*///%高于+-2、赋值运算符=，既可以单变量，也可以多变量赋值，比如a,b,v,d=3，g=e=r=17，也可以同时赋值多个变量3、复合赋值运算符+=、-=、*=、/=、//=、%=、**=复合和其它同在时，先算复
咬光空气·2024-02-20 04:56

【笔记】边角料学习记录

1、将文本转换为base64编码并保存到文件中：echo"文本内容"|base64>文件路径"文本内容"替换为要编码的文本内容"文件路径"替换为要保存的文件路径2、查看证书的有效期opensslx509-in文件路径-noout-dates需要将证书文件的路径替换为您保存的文件路径将显示证书的起始日期和过期日期3、RASP————————————仅用于本人学习来源：网络
许科大·2024-02-20 03:16

Zedboard 学习记录（一）:移植Linaro-ubuntu系统

准备工作：1）启动文件：https://download.csdn.net/download/maochuangan/106892572）ubuntu-linaro系统3）4GB的SD卡4）ZedBoard开发板版本：REV-D5）装有Ubuntu系统的电脑一台（用虚拟机也可以）移植工作：1、将SD卡插到Ubunt电脑中。2、在Linux中进行格式化，并分区。1）在ubuntu系统中搜索disks
为中国IC之崛起而读书·2024-02-20 02:13

【Linux】指令 【scp】

scphadoop.tar.gzdatanode:/software这条命令的含义是将本地的hadoop.tar.gz文件复制到远程主机datanode的/software目录下。
giao客·2024-02-20 01:31

中科大计网学习记录笔记（十二）：TCP 套接字编程

前前言：大家看到这一章节的时候一定不要跳过，虽然标题是编程，但实际上是对socket的运行机制做了详细的讨论，对理解TCP有很大的帮助；但是由于本节涉及到了大量的编程知识，对于一些朋友来说不是很好理解，所以大家看本节的时候强烈建议结合我的这篇笔记来学习，本篇整理了许多详细的案例和解析，也补充了我自己的理解，导致这篇笔记来到了七千多字，工程量很大，如果这篇文章对你有所帮助别忘了留下你的点赞和关注前言
*Soo_Young*·2024-02-20 00:40

无依赖单机尝鲜 Nebula Exchange 的 SST 导入

无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式（单机、容器化Spark、Hadoop、NebulaGraph），快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph·2024-02-19 23:51

MySQL学习记录——팔 函数

文章目录1、日期函数2、字符串函数3、数学函数4、其它函数1、日期函数//获取日期selectcurrent_date();//获取时间selectcurrent_time();//获取时间戳,格式为日期+时间selectcurrent_timestamp();//获取当前时间,格式为日期+时间selectnow();//获取参数的日期部分selectdate('datetime');//括号内可
咬光空气·2024-02-19 23:48

mv: 无法获取“/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102.out.1“ 的文件状态(stat): 没有那个文件或目录

最近在回顾之前做过的离线数仓项目，在启动hadoop时出现了如下错误：hadoop102:mv:无法获取"/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102
时代新人0-0·2024-02-19 21:53

马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解

分布式计算原则：移动计算，而不是移动数据hadoop默认包含了hdfs、yarn、mapReduce三个组件yarn（YetAnotherResourceNegotiater）是资源调度系统，yarn调配的是内存和
PC_Repair·2024-02-19 20:28

Flink-部署实践

1)修改flink/conf/flink-conf.yaml文件:jobmanager.rpc.address:hadoop1132)修改/conf/masters文件:hadoop1133)修改/conf
魔笛Love·2024-02-19 20:52

主流开发语言和开发环境?

Java被广泛应用于企业级应用开发、移动应用（特别是Android应用）、游戏开发、大数据处理（如Hadoop生态系统）、云计算服务端开发等场景。C++简介：C+
dami_king·2024-02-19 20:50

嵌入式学习记录20

标准IO和文件IO的区别：1.标准IO是库函数,是对系统调用的封装2.文件IO是系统调用,是Linux内核中的函数接口3.标准IO是有缓存的4.文件IO是没有缓存的文件IO:1.操作步骤：打开->读/写->关闭2.打开文件:open形式：intopen(constchar*pathname,intflags);intopen(constchar*pathname,intflags,mode_tmo
挽梦422·2024-02-19 20:33

嵌入式学习记录14

一：string.h1.strncpychar*strncpy(char*dest,constchar*src,size_tn)定义一个char*类型的函数；其中dest为复制到这个地址，src为要复制的目标；n为复制src的前n个；nstrlen(src)如果n拷贝够了次数把src全部拷完，到达‘\0’；剩余拷贝统统补0；也就是当*src=='\0'时还有剩余，后面全部补0；2.strncatc
挽梦422·2024-02-19 20:03

嵌入式学习记录16

补：自然边界对齐int--4字节---能被4整除的地址编号上short--2字节---能被2整除的地址编号上char--1字节---能被1整除的地址编号上1.共用体(union)1.1格式：union共用体名{成员列表;//各个变量};//表示定义一个共用体类型注意：1.2.共用体初始化---只能给一个值，默认是给到第一个成员变量的1.3.共用体成员变量辅助共用体用的数据最终存储的---应该是最后
挽梦422·2024-02-19 20:03

嵌入式学习记录17

一，预处理#include#defineN10预处理命令:都是以#开头的1.gcc的编译过程:.c文件//vim编辑的文件A:预处理:把程序中#开头的预处理命令执行了。形成--预处理文件--源代码文件eg:gcc-Emain.c-omain.i.i文件B:编译://编译成汇编文件gcc-Smain.i-omain.sC:汇编//将汇编文件编译成目标文件(机器代码)gcc-cmian.s-omain
挽梦422·2024-02-19 20:03

嵌入式学习记录18

Linux软件编程:1.Linux:操作系统的内核1.管理CPU2.管理内存3.管理硬件设备4.管理文件系统5.任务调度2.Shell:1.保护Linux内核(用户和Linux内核不直接操作,通过操作Shell,Shell和内核交互)2.命令解释器2.1Shell基本命令:1.ls2.cd3.touch/rm4.mkdir/rmdir5.cp6.mv2.2文件查看命令:1.cat查看文件内容(字符
挽梦422·2024-02-19 20:03

嵌入式学习记录8

1.循环中的排序排序一般分为升序和降序；C中排序一般指升序；1.1选择排序：第一个for为趟数，一共要进行几趟下面的程序；然后定义下面应该拿出第几个位置的数；第二个for为次数，拿出第一个位置；不断与后面的数进行比较，在这个位置放置最小的数；而for的作用可以让这个程序依次比较，且以递增的形式进行下去；直至最后一个；得到这个数组最小的数，放置在a[0]处；后回到第一个for依次拿出后面的位置与后面
挽梦422·2024-02-19 20:02

嵌入式学习记录11

函数的嵌套调用：特殊的嵌套调用---递归(自己调用自己)递归--就是循环如从1加到100；反着来，直到找到初始值sum（1）=1;再回归得到最终的sum；递推关系：重复的第n项与第n-1项之间的关系；斐波拉契数列前n项之和中：用递归思想：fibo(n)=fibo(n-1)+fibo(n-2);第三项等于前两项个之和；而前n项和：则是sum(n)n>2因为斐波拉契数列前两项均为一；是从第三项开始，所
挽梦422·2024-02-19 20:02

嵌入式学习记录4

起名的规则见名知意，尽量其起英文名；避免拼音。一般采用驼峰命名法：StudentCount//大驼峰studentCount//小驼峰student_count//内核命名法主页面反应问题：编译时的问题错误---语法错误警告---语法不合适运行时的问题逻辑问题---调整思维不同类型的数据间混合赋值:int=double//高精度给低精度赋值精度丢失(损失)【小数点后精确度损失】double=int
挽梦422·2024-02-19 20:32

嵌入式学习记录19

一.函数接口:1.fwrite形式size_tfwrite(constvoid*ptr,size_tsize,size_tnmemb,FILE*stream);功能:向流中写入nmemb个对象,每个对象size字节大小,在ptr指向的空间中参数:ptr:存放数据空间的首地址size:每个数据对象的大小nmemb:数据对象的个数stream:文件流指针返回值:成功返回写入对象的个数失败返回0读到文件
挽梦422·2024-02-19 20:54

寒假学习记录16：Express框架（Node）

后续会补充1.引入express1.先下载express框架创建一个package.json格式的文件，里面写入{"dependencies":{"express":"~4.16.1"//express版本号}}然后打开终端输入npmi2.引入express模块constexpress=require("express");constapp=express();2.使用express监听端口号co
博丽七七·2024-02-19 19:26

Quick introduction to Apache Spark

Spark使用Hadoop的客户端库来
Liam_ml·2024-02-19 13:29

Hadoop Shuffle

Whentherearemultiplereducers,themaptaskspartitiontheiroutput,eachcreatingonepartitionforeachreducetask.Therecanbemanykeys(andtheirassociatedvalues)ineachpartition,buttherecordsforeverykeyareallinasing
SharlotteZZZ·2024-02-19 13:22

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

【大数据面试题】006介绍一下Parquet存储格式的优势

同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python
Jiweilai1·2024-02-19 13:34
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他