Hadoop学习记录

大数据 - Spark系列《一》- 从Hadoop到Spark：大数据计算引擎的演进

目录1.1Hadoop回顾1.2spark简介1.3Spark特性1.通用性2.简洁灵活3.多语言1.4SparkCore编程体验1.4.1spark开发工程搭建1.开发语言选择：2.依赖管理工具：1.4.2Spark
王哪跑nn·2024-02-01 07:43

HBase介绍

GFS是GoogleFileSystem，开源实现是HDFS（HadoopFileSystem）。MapReduce计算框架的开源实现是HadoopMapReduce。
M.Rambo·2024-02-01 06:09

2019/2/20Hbase单节点安装

hbase（hbase-2.0.0-bin.tar.gz）解压过程即为安装过程解压=》为了让hbase的存放路径指定ns这个组名（防止出先不认识“ns”的错误）[root@zhiyou01~]#cp/usr/hadoop
阳光正好微风不燥_c509·2024-02-01 05:39

zookeeper集群群起脚本

所以要写个脚本，我的主机名是有规律的hadoop101;hadoop102;hadoop103所以创建脚本的过程如下：到/usr/local/bin目录下touch一个文件，这里我叫zkstartUtil.sh
小北觅·2024-02-01 05:01

CUDA 学习记录

1.关于volatile：对于文章中这个函数，__global__voidreduceUnrollWarps8(int*g_idata,int*g_odata,unsignedintn){//setthreadIDunsignedinttid=threadIdx.x;unsignedintidx=blockIdx.x*blockDim.x*8+threadIdx.x;//convertglobal
小猴啊0.0·2024-02-01 04:39

CUDA 学习记录2

1.是否启用一级缓存有什么影响：启用一级缓存（缓存加载操作经过一级缓存）：一次内存十五操作以128字节的粒度进行。不启用一级缓存（没有缓存的加载不经过一级缓存）：在内存段的粒度上（32字节）而不是缓存池的粒度（128字节）执行。更细粒度的加载，可以为非对其或非合并的内存访问带来更好的总线利用率（可能不会减少整体加载时间）。2.GPU一级缓存没有时间局部性？那新数据来的时候怎么判断放在哪里？3.cu
小猴啊0.0·2024-02-01 04:39

Hadoop 大数据技术原理与应用

Hadoop大数据技术原理与应用大数据概述定义特征大量，多样，高速，价值研究意义应用场景医疗，金融，零售Hadoop概述历史优势扩容能力强，成本低，高效率，可靠性，高容错Hadoop生态分布式存储系统（
kk8_·2024-02-01 04:33

react-three-fiber学习记录

资源篇可下载模型的网址：sketchfab工具篇：将模型文件自动转换为jsxgltfjsxgitHub地址：https://github.com/pmndrs/gltfjsx模型库https://github.com/KhronosGroup/glTF-Sample-Models@react-three/dreihttps://github.com/pmndrs/dreireact-three/d
TangAcrab·2024-02-01 04:45

[绝对要收藏]配置hadoop完全分布式环境

##环境：hadoop-2.7.2，jdk1.8.0_144，CentOS-7-x86_64-Minimal-2009.iso1先创建一个主机2修改id，hostname，hosts3关闭防火墙4连接xshell5
Java小白中的菜鸟·2024-02-01 03:04

Sqoop数据迁移工具

概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。
小希 fighting·2024-02-01 03:55

C++从零开始的打怪升级之路(day26)

这是关于一个普通双非本科大一学生的C++的学习记录贴在此前，我学了一点点C语言还有简单的数据结构，如果有小伙伴想和我一起学习的，可以私信我交流分享学习资料那么开启正题今天分享的是关于vector1.迭代器失效首先我们回顾迭代器的基本用法
云淡风轻kk·2024-02-01 03:53

C++从零开始的打怪升级之路(day7)

这是关于一个普通双非本科大一学生的C++的学习记录贴在此前，我学了一点点C语言还有简单的数据结构，如果有小伙伴想和我一起学习的，可以私信我交流分享学习资料那么开启正题今天把类和对象的剩下资源都结束了,学了一些零碎的小知识点
云淡风轻kk·2024-02-01 03:52

C++从零开始的打怪升级之路(day24)

这是关于一个普通双非本科大一学生的C++的学习记录贴在此前，我学了一点点C语言还有简单的数据结构，如果有小伙伴想和我一起学习的，可以私信我交流分享学习资料那么开启正题今天分享的是关于vector的一些函数
云淡风轻kk·2024-02-01 03:52

C++从零开始的打怪升级之路(day25)

这是关于一个普通双非本科大一学生的C++的学习记录贴在此前，我学了一点点C语言还有简单的数据结构，如果有小伙伴想和我一起学习的，可以私信我交流分享学习资料那么开启正题今天分享的是关于vector的题目1
云淡风轻kk·2024-02-01 03:52

C++从零开始的打怪升级之路(day27)

这是关于一个普通双非本科大一学生的C++的学习记录贴在此前，我学了一点点C语言还有简单的数据结构，如果有小伙伴想和我一起学习的，可以私信我交流分享学习资料那么开启正题今天分享的是关于vector，这篇博客内容紧跟上一篇
云淡风轻kk·2024-02-01 03:51

Hadoop 生产调优 (七) --------- MapReduce 与 Yarn 生产经验

目录一、MapReduce生产经验1.MapReduce跑的慢的原因2.MapReduce常用调优参数3.MapReduce数据倾斜问题二、Yarn生产经验1.常用的调优参数2.三种调度器的使用一、MapReduce生产经验1.MapReduce跑的慢的原因MapReduce程序效率的瓶颈在于两点：计算机性能CPU、内存、磁盘、网络I/O操作优化数据倾斜Map运行时间太长，导致Reduce等待过久
在森林中麋了鹿·2024-02-01 03:17

windows 下面Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativei...

本地运行，注意两点,配置本地的hadoop环境变量，注意hadoop版本是windows版本，在本地跑的时候遇到Exceptioninthread"main"java.lang.UnsatisfiedLinkError
smartjiang·2024-02-01 02:20

大数据高频面试题一：hive和Oracle的区别

Hive和Oracle数据库最大的区别在于存储和计算方面：Hive存储在hdfs上（Hadoop分布式文件系统容错性高），Oracle将数保存在本地文件系统中。
半亩书田·2024-02-01 02:47

机器学习-3降低损失(Reducing Loss)

hl=zh-cn本文作为学习记录1.降低损失：迭代方法迭代学习下图展示了机器学习算法用于训练模型的迭代试错过程：迭代策略在机器学习中很常见，主
喜乐00·2024-02-01 00:47

SpringBoot框架下解决跨域问题

本篇作为学习记录，仅供参考。
王也校长·2024-01-31 23:44

Matlab语言下对A*算法的研究--实现任意两点之间的路径规划

说明：1.写本篇博客的目的之一是方便自己学习记录。2.本篇博客在前辈的研究基础上稍作修改，代码中有些不明白的地方，需要解释的，请点击下方链接进行学习，本人就不再赘述。
王也校长·2024-01-31 23:14

Mybatis的foreach循环查询:在if中结合like用法

本文作为学习记录，参考了以下两篇：MySQLmybatis注解开发动态sqlsql循环foreach循环_open="("separator="or"close=")-CSDN博客Mybatisforeach
王也校长·2024-01-31 23:42

解决There are 0 datanode(s) running and no node(s) are excluded in this operation.

出现上述问题可能是格式化两次hadoop，导致没有datanode解决方法1：重启linux,再使用start-dfs.sh和start-yarn.sh重启一下hadoop解决办法2：找到hadoop安装目录下
有一束阳光叫温暖·2024-01-31 23:56

UE4学习之路【一】制作一个第三人称游戏角色

UE4学习之路这个系列是我学习到UE4引擎的使用及相关开发技术之后，为了巩固自己学到的知识以及记录学习过程开创的学习记录系列博文，后期将不再赘述。
IceinCloud·2024-01-31 21:07

CRF条件随机场学习记录

阅读建议仔细阅读书[1]对应的序列标注章节，理解该方法面向的问题以及相关背景，然后理解基础的概念。引言威胁情报挖掘的相关论文中，均涉及到两部分任务：命名实体识别（NamedEntityRecognition，NER）和关系抽取，大多数网安实现NER的方法，采用比较多的方法包含：BiLstm+CRF或者Bert+CRF。其中条件随机场（conditionalrandomfields,CRF），这个模
V丶Chao·2024-01-31 19:42

ctf web方向与php学习记录27

针对一道ctfhub上的LD_PRELOAD，我进行了为期三天的学习和总结，以下是总结和收集的资料，由于是在onenote上作的笔记，就不在花功夫对文字进行编辑了，大家自行阅览，希望能对你起到帮助。接下来我给出的wp。一，蚁剑连接二，创建hack.c并转共享hack.sohack.c代码#include#include#include__attribute__((__constructor__))
这周末在做梦·2024-01-31 16:05

Java基础-多线程（3）

如hadoop分布式集群。所以并发编程的目标是充分的利用处理器的每一个核，以达到最高的处理性能。36.线程和进程的区别？简而言之，进程是程序运行和资源分配的基本
C乖·2024-01-31 16:51

数据湖技术Iceberg0.12预研文档

trino(presto)本次预研使用组件如下：名称版本描述flink1.12.1通过parcel包部署于cdh6.3.2中cdh6.3.2开源版本hive2.3.7包含cdh中（更换jar升级替换）hadoop3.0.0cdh
我去探险了·2024-01-31 15:36

React Native学习记录

一、创建RN项目的时候是空文件夹的问题1.使用npxreact-nativeinitRNDemos初始化项目的时候，会报错，模版错误，然后创建出来一个空的文件夹2.如果出现这种情况，需要设置npminstall-greact-native-cli3.安装完成以后再次初始化项目，会进行报错，是因为node版本低的问题，我们使用的node版本需要大于18才能初始化项目成功二、使用nvm来进行node版
ios_prestige·2024-01-31 14:31

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划hadoop01/192.168.0.151hadoop02/192.168.0.152hadoop03/192.168.0.153hadoop04/192.168.0.154hadoop05
大道至简非简·2024-01-31 13:04

机器学习系列-1基础概念

hl=zh-cn本文作为学习记录1.什么是（监督式）机器学习？机器学习系统学习如何组合输入以对从未见过的数据生成有用的预测。2.机器学习的基本术语。2.1标签标签是指
喜乐00·2024-01-31 12:18

Hadoop Windows10上用idea进行hadoop客户端远程操作

1.idea上访问Hadoop客户端的uri地址要和core-site.xml中fs.defaultFS的参数一致2.执行自定义的程序之前，要启动Hadoop，否则会报错：Causedby:java.net.ConnectException
大数据新新菜鸟·2024-01-31 12:41

IDEA中Hadoop的环境配置

没有配置HadoopHome：在Windows下解压一份Hadoop安装包Hadoop使用log4j进行日志输出，明显没有配置log4j再次运行，显示了作业的运行情况
hhhhhhhhhhhnb·2024-01-31 12:36

Intelj IDEA 配置Hadoop 远程调试环境

远程hadoop版本：Hadoop3.0.0+cdh6.3.2一、设置本地hadoop环境1、下载hadoop下载hadoop-3.0.0.tar.gz，并解压到D:\BigData\并重命名为hadoop
跟着大数据和AI去旅行·2024-01-31 12:34

ROS2学习记录

目录二、通信模型三、自定义消息四、自定义消息示例五、ros代码调试方法六、launch文件写法七、MultiThreadedExecutor调用callback一、创建工作空间1.创建功能包cdsrcros2pkgcreate功能包--build-typeament_cmake--dependenciesrclcpp--node-name可执行程序2.写源文件（cpp文件）3.编辑配置文件主要是C
雨幕丶·2024-01-31 12:29

java进阶

1.大数据史上最全Flink面试题，高薪必备，大数据面试宝典史上最全Hadoop面试题：尼恩大数据面试宝典专题1史上最全HBase面试题，高薪必备，架构必备史上最全Hive面试题，高薪必备，架构必备绝密
don't_know·2024-01-31 09:44

打卡：AcWing学习记录2.0

（ps.学习打卡记录）1.翻硬币题意：桌上放着排成一排的若干硬币。我们用∗*∗表示正面，用ooo表示反面（是小写字母，不是零）。如果已知了初始状态和要达到的目标状态，每次只能同时翻转相邻的两个硬币,那么对特定的局面，最少要翻动多少次呢？附代码#includeusingnamespacestd;voidturn(string&s,inti){if(s[i]=='*')s[i]='o';elses[i
纯白色的手链·2024-01-31 08:54

企业级大数据安全架构（七）服务安全

认证机制，目前直接对接kerberos使用较多，这里我们使用FreeIPA来集成kerberosFreeIPA官网下载地址：https://www.freeipa.org/page/DownloadsHadoop
云掣YUNCHE·2024-01-31 08:08

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP

Hadoop启动时报错WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
W_yhhh·2024-01-31 08:44

hadoop-hdfs-site.xml配置文件详解

hadoop:hdfs-site.xml配置文件详解hdfs-site.xml配置文件j介绍hadoop-hdfs相关的配置信息hdfs-site.xml配置文件namevaluedescriptionhadoop.hdfs.configuration.version1versionofthisconfigurationfiledfs.namenode.logging.levelinfoThelo
许喜朝·2024-01-31 08:13

关于Hadoop全分布构建no HDFS_NAMENODE_USER 错误解决

在Hadoop全分布构建中，常常会出现以下错误[root@Hadoopc1hadoop]#start-all.shStartingnamenodeson[192.168.13.245]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR
(((φ(◎ロ◎;)φ)))云凡·2024-01-31 08:43

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.

hadoop启动时WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
北朽暖栀24·2024-01-31 08:41

Hadoop_HDFS_hdfs 文件系统操作指令

本地做个备份,下面的文章摘自Hadoop官网Link:http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/FileSystemShell.html
高达一号·2024-01-31 08:11

启动集群时遇到WARNING: HADOOP_SECURE_DN_USER做替换

启动集群时遇到WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
Dirth.·2024-01-31 08:40

org/apache/hadoop/hive/shims/ShimLoader

Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/hive/shims/ShimLoaderatorg.apache.hadoop.hive.conf.HiveConf
木生火18624·2024-01-31 08:38

【大数据入门核心技术-Tez】（三）Tez与Hive整合

一、准备工作1、Hadoop和Hive安装【大数据入门核心技术-Hadoop】（五）Hadoop3.2.1非高可用集群搭建【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建【
forest_long·2024-01-31 08:06

大数据[1] -- 安装hadoop

文章目录Hadoop安装以及配置一、安装1.安装SSH，设置SSH无密码登录2.安装jdk3.安装Hadoop二、配置三、其他配置四、出现的问题五参考文章Hadoop安装以及配置一、安装1.安装SSH，
天下一般·2024-01-31 08:06

Hadoop搭建集群中输入hdfs namenode -format格式化节点时，提示：hdfs command not found 解决办法

分析原因：hadoop的安装路径没有加入到当前路径中解决办法：方法1：进入hadoop的安装目录，在执行hadoop命令时在前面加上：./bin.
drhrht·2024-01-31 08:05

Hadoop中hdfs-default.xml的位置

在hadoop安装包中hadoop-2.7.2\share\hadoop\hdfs\hadoop-hdfs-2.7.jar里面
BugEveryday·2024-01-31 08:31

Hadoop 3.x hdfs-site.xml HDFS最小化配置参数

dfs.namenode.http-addressc101:9870dfs.namenode.secondary.http-addressc102:9868########################################################配置文件修改后，启动./start-dfs.sh的时候会提示找不到JAVA_HOME的报错，虽然配置了jdk的环境。还需要配置had
ChengRuoFei·2024-01-31 08:31
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他