Hadoop学习记录

Hadoop环境搭建

目录一、简介1.1、概念1.2、优势1.3、Hadoop组成部分二、Hadoop运行环境搭建2.1安装VM（虚拟机管理环境）2.2VM网络设置2.3安装CentOS7系统2.4master主机进行网络配置
业里村牛欢喜·2024-02-02 07:24

OpenCV学习记录——边缘检测

文章目录前言一、边缘检测原理二、Canny边缘检测算法三、具体应用代码前言在做某些图像处理时，通常需要将识别到的物体边界提取出来，从而帮助我们实现目标检测，这就需要用到边缘检测，例如人脸识别和运动目标的检测都需要先进行边缘检测，这篇文章就记录一下边缘检测的原理及应用代码。一、边缘检测原理边缘检测是图像处理和计算机视觉中的基本问题，其目的在于标识数字图像中亮度变化明显的点，图像边缘检测大幅度地减少了
KAIs32·2024-02-02 07:48

Hadoop-生产调优(更新中)

128*1024*1024*1024/150byte≈9.1亿GMBKBByte2）Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果内存服务器内存4G，NameNode
OnePandas·2024-02-02 07:47

Hadoop3.x基础（3）- MapReduce

MapReduce概述MapReduce定义MapReduce优缺点优点缺点MapReduce核心思想MapReduce进程常用数据序列化类型MapReduce编程规范WordCount案例实操本地测试提交到集群测试Hadoop
魅美·2024-02-02 07:45

（二）hadoop搭建

1.下载访问https://hadoop.apache.org/releases.html查看hadoop最新下载地址wgethttps://dlcdn.apache.org/hadoop/common
调试大师·2024-02-02 07:41

（一）hadoop搭建之环境准备1

1.参考http://www.fogsvc.com/97.html文档设置三台虚拟机并固定ip192.168.1.10hadoop-master192.168.1.11hadoop-slave1192.168.1.12hadoop-slave22
调试大师·2024-02-02 07:40

机器学习系列4-特征工程

hl=zh-cn本文作为学习记录自己归纳整理的思维导图这里写目录标题机器学习系列4-特征工程一级目录二级目录三级目录1.数据集划分1.1将数据集划分为训练集和测试集1
喜乐00·2024-02-02 07:36

【Hive】配置

服务部署hiveserver2服务介绍部署启动远程连接1.使用命令行客户端beeline进行远程访问metastore服务运行模式部署其他常见配置显示当前表头和库日志配置Hive的JVM堆内存设置关闭Hadoop
返返返·2024-02-02 07:33

Hbase安装详解

node1、node2、node3(已在/etc/hosts文件里做好了ip和名字的映射)b、软件压缩包存储路径:/export/software/c、解压后安装包存储路径:/export/server/d、hadoop
沉默鹰_90·2024-02-02 06:30

HBase详细安装指南

HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在
嘎嘎嘎啊哈·2024-02-02 06:59

Java技术栈 —— Hive与HBase

一、参考文章或视频链接[1]《Java技术栈——Hadoop入门（一）》-CSDN二、如何
键盘国治理专家·2024-02-02 06:23

寒假学习记录7：JS小知识

后续会更新JS中的文档注释@augments|JSDoc中文文档|JSDoc中文网https://www.jsdoc.com.cn/tags-augments官网文档例子：/***两个数相加。*@param{number}a-第一个操作数*@param{number}b-第二个操作数*@return{number}-两个操作数的和*/functionadd(a,b){returna+b;}@aut
博丽七七·2024-02-02 04:21

寒假学习记录8：form和label

后续会更新formDocument提交functiononSearch(e){e.preventDefault();console.log(document.querySelector(".input").value)}labelDocumentli{list-style:none;}lilabel.actioninput{appearance:none;}lilabel{display:flex
博丽七七·2024-02-02 04:21

寒假学习记录3：原型，原型链

目录原型1.原型2.实例3.隐式原型原型链完整的链条原型链上函数的调用原型链的应用场景原型functionUser(name){this.name=name;this.sayHi=function(){console.log("123");};}letu1=newUser("a");letu2=newUser("b");console.log(u1.sayHi===u2.sayHi);//结果为f
博丽七七·2024-02-02 04:51

寒假学习记录5：Java

目录基础语法8种数据类型变量常量字符串StringBuilder方法（函数）输入输出数组二维数组面向对象类的定义创建对象实例final继承super抽象类接口随笔基础语法8种数据类型byte、short、int、long、float、double、char、booleanbyte、short、int、long四种基本数据类型表示整数long类型的使用：longnum=1L;，一般使用大写L，为了避
博丽七七·2024-02-02 04:51

寒假学习记录1：Promise

目录promiseA+规定：catch方法promise的链式调用（例题和我自己对于promise的理解）Promise的静态方法asyncawaitasync/await用例promiseA+规定：1.所有的异步场景，都可以看作是一个异步任务，每个异步任务，在JS中应该表现为一个对象，该对象称之为promise对象，也叫做任务对象2.每个任务对象，都应该有两个阶段，三个状态（执行后只能是完成或失
博丽七七·2024-02-02 04:50

寒假学习记录2：网络

目录网络ajaxXHRAPIFetchAPIaxioshttp状态码网络不管是客户端，还是服务器，他们都是一个应用程序，而不是一台计算机。客户端和服务器可以分布在不同的计算机上，也可以在同一台计算机上，并不需要特殊看待，大部分后端开发的就是服务器程序，前端的Node技术也能开发服务器程序客户端和服务器的这种交互模式称之为[经典c/s结构]（client/server）。在这种结构中，如果客户端是浏
博丽七七·2024-02-02 04:50

寒假学习记录6：svg图标、iconfont字体图标的使用

目录第一种用法第二种用法第三种用法第四种用法（我推荐用这种方法）第一种用法的小案例第二种用法的小案例第三种用法的小案例第四种用法的小案例SVG描边动画SVG描边动画实现原理其它这篇文章我会根据我的学习程度继续补充我们主要从这里获取svg图标、iconfont字体图标iconfont-阿里巴巴矢量图标库https://www.iconfont.cn/本文附带用法和小案例，小案例在最后面不是单色的图标
博丽七七·2024-02-02 04:50

我的创作纪念日和前端碎碎念

我最初成为创作者的初心源于学习记录，把创作当作一个笔记，希望把自己遇到的问题，以及学习到的实用技巧记录下来，方便学习回顾。收获在我的创作过程中，我收获了许多宝贵的经验和机会。
菜鸡爱上编程·2024-02-02 02:14

Git学习记录--删除

应用学习--删除参考1：如何删除Git本地仓库和删除GitHub上的Git远程仓库Repository本地Git仓库删除:删除Git本地仓库的根本原理是删除“Git本地仓库”里面的根目录下面的隐藏文件夹“.git”（1）方法1：自己手动删除掉“Git本地仓库”里面的根目录下面的隐藏文件夹“.git”（如上图所示）（2）方法2：在本地仓库的目录下调用命令行删除根目录下的.git文件夹，输入find.
王十三·2024-02-02 00:52

黑猴子的家：API 操作 HDFS 文件夹删除

1、Code->GitHubhttps://github.com/liufengji/hadoop_hdfs.git2、Code@TestpublicvoiddeleteAtHDFS()throwsException
黑猴子的家·2024-02-02 00:29

Java接收solr动态域_Solr和Spring Data Solr

Solr可以和Hadoop(http://www.yiibai.com/hadoop/)一起使用。由于Hadoop处理大量数据，Solr帮助我们从这么大的源中找到所需的信息。
weixin_39897015·2024-02-01 22:27

安装配置hive

[root@hadoop00~]#wget-chttps://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.7/apache-hive-2.3.7-
m0_69595107·2024-02-01 19:28

安装配置sqoop

一、了解Sqoop1、Sqoop产生的原因A.多数使用hadoop技术的处理大数据业务的企业，有大量的数据存储在关系型数据中。
m0_69595107·2024-02-01 19:27

Hadoop-3.1.3（四）读写流程详解

读文件流程客户端向namenode发起OpenFile请求，目的是获取要下载文件的输入流。namenode收到请求会后会检查路径的合法性，以及客户端的权限。客户端发起OpenFile的同时，还会掉用GetBlockLocation。当第一次的检验通过之后，namenode会将文件的块信息(元数据)封装到输入流，交给客户端。3.4.客户端用输入流，根据元数据信息去找指定的datanode读取文件块(
_大叔_·2024-02-01 19:38

QT QGraphicsScene QGraphicsView QGraphicsItem学习记录

一.场景（QGraphicsScene）QGraphicsScene提供了图形视图框架的场景，相当于一块画布，并具有以下功能。1.一个管理大量图形项的快速接口。2.向每个图形项传播事件3.管理图形项的状态，比如选择，焦点处理等4.提供无转换的渲染功能，主要用于打印简单地一个场景使用QGraphicsScenescene;//场景scene.addText("Hello,world!");//添加文
漫步繁华街·2024-02-01 19:38

【Numpy学习记录】np.transpose讲解

想了很久，决定还是追寻大神之路，开始写写博客，记录一下成长之路废话不多说，我们开始讲正题：whatisnp.transpose?1、首先看看二维矩阵：importnumpyasnparr=np.arange(30).reshape(5,6)print(arr)tran_arr=np.transpose(arr,axes=None)print(tran_arr)输出结果为：[[012345][678
jefferyLLLLL·2024-02-01 18:17

Kafka运维相关知识

它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/spark流式处理引擎。
全脂主妇·2024-02-01 17:31

imx6ull学习记录（一）

这一块主要是了解linux系统驱动部分，编译镜像相关的知识，这里记录一下。使用板子如下：教程用的这一个版本：1、基本环境搭建这个比较简单，只是注意一下就是正点原子的教程用了一个NFS文件系统，简单来讲就是linux移植不是有三大块吗，uboot，linux内核和文件系统，正点原子教程里面大部分这个文件系统是放在虚拟机里面的，然后通过nfs的方式来访问的。所以这里要关注一下学习过程中我建了一个文件夹
桃成蹊2.0·2024-02-01 17:52

开源大数据集群部署（八）Ranger编译部署

简单说明如下：在pom.xml中更改对应hadoop集群组件版本。ranger2编译前提条件是python3和mvn已安装完成。
云掣YUNCHE·2024-02-01 16:57

C++笔记之std::move ,std::ref,std::bind

本文简要学习记录。1、std::move使用场景如下：（1）c++标准库使用比如vector::push_back等这类函数时，会对参数的对象进行复制，连数据也会复制。
曙光_deeplove·2024-02-01 16:09

场景图生成综述

SceneGraph，场景图）能够很好地帮助人们对视频场景的理解，SGG（SceneGraphGeneration）这一研究方向让我有必要去对这一领域进行全面的了解，先写一部分，后面补全，挑重要的翻译了下，仅用作个人学习记录
Mr___WQ·2024-02-01 15:11

大数据开发流程图

1、大数据流程图2、大数据各个环节主要技术2.1、数据处理主要技术Sqoop：（发音：skup）作为一款开源的离线数据传输工具，主要用于Hadoop(Hive)与传统数据库（MySql,PostgreSQL
xyzkenan·2024-02-01 14:30

Cloudera Manager 安装 Kafka 并简单使用

Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。
大数据AI·2024-02-01 13:25

大数据之Spark

Spark介绍什么是Spark专为大规模数据处理而设计的快速通用的计算引擎类HadoopMapReduce的通用并行计算框架拥有HadoopMapReduce所具有的优点但不同于MapReduce的是Job
进击的-小胖子·2024-02-01 12:37

大数据之Spark:Spark大厂面试真题

2.hadoop和spark使用场景？3.spark如何保证宕机迅速恢复?4.hadoop和spark的相同点和不同点？5.RDD持久化原理？checkpoint检查点机制？
浊酒南街·2024-02-01 12:35

大数据之 Spark 与 Hadoop MapReduce 对比

ApacheSpark和ApacheHadoopMapReduce是两个广泛用于大数据处理的开源框架，它们在设计目标、性能表现和功能特性上有显著的不同点：执行模型：MapReduce(MR)：基于批处理模式
转身成为了码农·2024-02-01 12:30

大数据之 Spark Shuffle 和 Hadoop MapReduce Shuffle的区别

SparkShuffle和HadoopMapReduceShuffle是分布式计算框架中处理中间结果的关键阶段，它们的主要区别在于设计原理、执行效率和资源利用率：HadoopMapReduceShuffleSort-based
转身成为了码农·2024-02-01 12:30

spark处理速度为什么比MapReduce快？

官网的这张图下边有一行字：LogisticregressioninHadoopandSpark迭代场景下spark的处理速度大致是hadoop的100倍。️
CoreDao·2024-02-01 12:29

C++的学习记录

C++的学习和使用1.使用时遇到的问题1.1安装mingw发现bin目录下没有mingw32-make.exe怎么办？1.2C++函数分文件编写(VScode2021配置教程)1.3mingw32-make.exe和mingw32-g++.exe的区别2.C++环境搭建与使用2.1Cmake与mingw-32.exe初识2.2vsCode+CMake开发环境搭建3.C++的基础语法【命名空间】us
菜鸟的追梦旅行·2024-02-01 11:29

About_Machine_Learning_in_action

#监督学习######仅仅是个人理解对于机器学习，分为监督学习和非监督学习，今天的监督学习仅仅作为自己的学习记录一个数据，有他的类别，一群数据都有他们的类别，而新加入的数据却没有类别，那么监督学习就是以已知分类去区分未知分类没有例子
煮茶温酒曲终人散·2024-02-01 10:53

【Week-P6】VGG16-好莱坞明星识别

test_accuracy6.1修改为每2个epoch学习率衰减一次，得到test_accuracy=24.7%6.1修改三个地方，得到test_accuracy=23.9%本文为365天深度学习训练营中的学习记录博客原作者
m_Molly·2024-02-01 10:57

Hadoop-MapReduce-源码跟读-ReduceTask阶段篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、Reducer类我们先看下我们写的reduce所继承的
隔着天花板看星星·2024-02-01 09:54

Hadoop3.x基础（2）- HDFS

来源：B站尚硅谷目录HDFS概述HDFS产出背景及定义HDFS优缺点HDFS组成架构HDFS文件块大小（面试重点）HDFS的Shell操作（开发重点）基本语法命令大全常用命令实操准备工作上传下载HDFS直接操作HDFS的API操作HDFS的API案例实操HDFS文件上传（测试参数优先级）HDFS文件下载HDFS文件更名和移动HDFS删除文件和目录HDFS文件详情查看HDFS文件和文件夹判断HDFS
魅美·2024-02-01 09:22

Hadoop 已死，AI 吞噬世界！

【CSDN编者按】你用上GPT-4了吗？在数据领域，AI正逐步重塑数据处理和分析的各个环节，从ETL、数据治理到数据分析和消费方式均会发生根本性变化。Kyligence联合创始人&CEO，Apache顶级开源项目ApacheKylin的创建者韩卿（Luke.han）将用这篇文章来分享他在AI冲击开源领域之后引发的深度思考，其中涵盖了开源项目的商业化路径、技术变迁对行业格局的影响、AI对数据分析和业
CSDN资讯·2024-02-01 09:50

报错：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing解决方案

错误如图：解决方案：1.输入cd/opt/zookeeper/bin进入zookeeper文件的bin目录下2.输入./zkCli.sh进入客户端3.删除hbase,输入rmr/hbase4.关闭hbase输入stop-hbase.sh如果未能退出，就使用kill-9进程号强制删除5.重新启动start-hbase.sh此时已经可以正常运行6.如果以上操作还是不成功删除hbase在hdfs的存储路
:）คิดถึง·2024-02-01 09:35

关于Hadoop进行namenode格式化时ERROR conf.Configuration: error parsing conf xxx.xml错误的问题

关于Hadoop进行namenode格式化时ERRORconf.Configuration:errorparsingconfxxx.xml错误的问题在配置完core-default.xml,mapred-site.xml
平江路的鱼·2024-02-01 09:34

中科大计网学习记录笔记（二）：网络核心

前言：学习视频：中科大郑烇、杨坚全套《计算机网络（自顶向下方法第7版，JamesF.Kurose，KeithW.Ross）》课程该视频是B站非常著名的计网学习视频，但相信很多朋友和我一样在听完前面的部分发现信息量过大，有太多无法理解的地方，在我第一次点开的时候也有相同的感受，但经过了一段时间项目的学习，对计网有了更多的了解，所以我准备在这次学习的时候做一些记录并且加入一些我的理解，希望能够帮助到大
*Soo_Young*·2024-02-01 09:57

中科大计网学习记录笔记（一）：Internet | 网络边缘

计算机网络前言：学习视频：中科大郑烇、杨坚全套《计算机网络（自顶向下方法第7版，JamesF.Kurose，KeithW.Ross）》课程该视频是B站非常著名的计网学习视频，但相信很多朋友和我一样在听完前面的部分发现信息量过大，有太多无法理解的地方，在我第一次点开的时候也有相同的感受，但经过了一段时间项目的学习，对计网有了更多的了解，所以我准备在这次学习的时候做一些记录并且加入一些我的理解，希望能
*Soo_Young*·2024-02-01 09:51

大数据 - Spark系列《二》- 关于Spark在Idea中的一些常用配置

上一篇：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客目录1.Idea中配置LiveTemplates来快速生成代码片段2.Idea中配置文件模板自定义初始代码
王哪跑nn·2024-02-01 07:53
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他