Hadoop学习记录

Hadoop：HA模式配置与实现

写的不到位的地方，欢迎评论指出不足之处一、检查系统环境1、HostName、Hosts、JDK、SSH、网络、防火墙、数据源二、集群角色分配表注：这只是实例服务器NameNodeNameNodeZookepperFailoverControllerDataNodeZookepperJournalNodeOneyes(NN2和其它节点免密)yesyesTwoyes(NN1和其它节点免密)yesyes
家道消乏·2024-08-27 08:14

大数据技术之Flume 企业开发案例——负载均衡和故障转移（6）

2）需求分析故障转移案例3）实现步骤准备工作在/opt/module/flume/job目录下创建group2文件夹[lzl@hadoop12job]$c
大数据深度洞察·2024-08-27 05:58

Sylar C++高性能服务器学习记录02 【日志管理-代码分析篇】

早在19年5月就在某站上看到sylar的视频了，一直认为这是一个非常不错的视频。由于本人一直是自学编程，基础不扎实，也没有任何人的督促，没能坚持下去。每每想起倍感惋惜，遂提笔再续前缘。为了能更好的看懂sylar，本套笔记会分两步走，每个系统都会分为两篇博客。分别是【知识储备篇】和【代码分析篇】(ps:纯粹做笔记的形式给自己记录下，欢迎大家评论，不足之处请多多赐教)QQ交流群：957100923B站
古猜..·2024-08-26 22:12

zookeeper+KAFKA 集群搭建

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
懵逼的运维弟弟·2024-08-26 16:28

（十五）Flink 内存管理机制

在大数据领域，很多开源框架（Hadoop、Spark、Storm）都是基于JVM运行，但是JVM的内存管理机制往往存在着诸多类似OutOfMemoryError的问题，主要是因为创建大量的实例，超过JVM
springk·2024-08-26 16:27

面试笔记8.24

正确答案：在我的项目中涉及大数据开发时，我通常会采用分布式的架构，比如使用Hadoop或者Spark等大数据处理框架。我会在集群中部署多台服务器，通过分布式计算和存储来处理大规模数据。
励志秃头码代码·2024-08-26 16:55

在linux机器中安装配置hadoop

1.首先我们要把hadoop包上传到我们的liunx机器中（运用外链软件上传如：Xshell+xftp）（用我们的外链软件连接成功后，进行hadoop包的上传）上传到我们想要的目录路径下，比如我的是上传到
BigData_C·2024-08-26 14:40

计算机毕业设计Hadoop+Spark知识图谱体育赛事推荐系统 体育赛事热度预测系统 体育赛事数据分析 体育赛事可视化 体育赛事大数据 机器学习 大数据毕业设计 大数据毕设 机器学习 人工智能

开发技术前端：vue.js、element-ui、echarts后端：springboot、mybatis大数据：spark、hadoop数据库：mysql关系型数据库、neo4j图数据库算法：协同过滤推荐算法
计算机毕业设计大全·2024-08-26 13:43

Kylin系列-入门

Kylin系列-入门ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力，以支持超大规模数据。
Dingdangr·2024-08-26 13:34

Mac Hadoop Yarn日志聚合出错

MacHadoopYarn日志聚合出错通过日志查看出现了下面的错误：java.lang.IllegalStateException:CannotcloseTFileinthemiddleofkey-valueinsertion.atorg.apache.hadoop.io.file.tfile.TFile
HHoao·2024-08-26 10:15

基于spark+hadoop+hive大数据分析的电影推荐系统的设计与实现

1.1开发环境二、系统介绍2.1图片展示三、部分代码设计3.1.部分代码如下：**总结****大家可以帮忙点赞、收藏、关注、评论啦****有问题评论区交流**一、开发介绍1.1开发环境技术栈：spark+hadoop
毕设木哥·2024-08-26 06:26

【自然语言处理】0821学习记录

1.对于自然语言来讲，在自然语言处理的第一步，我们要面对的是各种各样以不同形式表现的文本数据，比如，有的是纯txt文档，有的是存储在Excel中的表格数据，还有的是无法直接打开的pkl文件等。2.整体框架如下：2.1txt文本的读写(1)write()(2)open()(3)参数mode(4)readline()readread()不同点2.2CSV以及Excel的文本读写2.3dataFrame
007的米奇妙妙屋·2024-08-26 00:19

《Hadoop核心技术》作者翟周伟 ：我与Hadoop的不解之缘

摘要：翟周伟，资深Hadoop技术专家，《Hadoop开源云计算平台》、《Hadoop核心技术》作者。
xytlwp·2024-08-25 21:27

Tair分布式缓存

为什么不能像操作分布式数据库或者hadoop那样，增加一个中央节点，让它去代理所有事情。所以就开发了这个tai
kingkyrie·2024-08-25 18:38

Hadoop入门基础（五）：Hadoop 常用 Shell 命令一网打尽，提升你的大数据技能！

1.Hadoop基本命令1.1查看版本信息hadoopversion用于检查Hadoop的版本信息以及编译信息。
william.zhang(张)·2024-08-25 15:52

HDFS的编程

一、HDFS原理HDFS（HadoopDistributedFileSystem）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分
卍king卐然·2024-08-25 07:02

Hadoop入门基础（二）：Hadoop集群安装与部署详解（超详细教程）

NameNodemaster192.168.1.101DataNode1slave1192.168.1.102DataNode2slave2192.168.1.1032.软件要求操作系统：CentOS7或Ubuntu20.04JavaJDK：Hadoop
william.zhang(张)·2024-08-25 06:57

Ubuntu下部署Hadoop集群+Hive（一）

配置主机Host在三台服务器上添加主机名与IP的映射，以方便在局域网内进行主机间的快速访问和后续的文件配置；配置方法：vi/etc/hosts为方便配置：我的三台主机取名为HadoopMaster、HadoopSlave01
岩屿·2024-08-24 17:41

Hadoop 的基本 shell 命令

Hadoop的基本shell命令主要用于与Hadoop分布式文件系统（HDFS）和MapReduce进行交互。
难以触及的高度·2024-08-24 14:22

【博学谷学习记录】超强总结，用心分享|测试工程师必备技能总结：测试用例设计

测试用例设计软件测试设计方法：等价类（五星）边界值（五星）判定表（五星）场景法（流程图）（五星）错误推测法（二星）1.等价类划分法（五星）——复习知识作用：从穷举测试中解放出来，找到具有共同特性的测试输入子集。概念：代表性的测试输入集分类：有效等价类（满足需求）无效等价类（不满足需求）设计测试用例的步骤：需求分析划分等价类设计测试用例典型应用场景：具有典型输入框的场景2.边界值（五星）作用：对等价
小乖乖0419·2024-08-24 14:21

黄金票据 --- kerberos学习记录

文章目录Kerberos协议是怎么工作的一、黄金票据利用条件利用步骤Kerberos协议是怎么工作的这里首先要搞懂几个概念：认证服务器（AuthenticationServer，AS）：负责首次身份验证和颁发TGT（TicketGrantingTicket）给用户。用户通过AS向Kerberos服务器发送身份验证请求，并在验证通过后获取TGT。授权票证颁发服务器（TicketGrantingSer
B1ackMa9ic·2024-08-24 13:14

基于Hadoop的海量图像检索

基于Hadoop的海量图像检索“MassiveImageRetrievalBasedonHadoop:AStudyinSoftwareEngineering”完整下载链接:基于Hadoop的海量图像检索文章目录基于
usp1994·2024-08-24 13:12

从零到一建设数据中台 - 关键技术汇总

一、数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark
我码玄黄·2024-08-24 12:09

Kylin的工作原理及使用分享

Kylin提供了一个Hadoop之上的SQL查询接口及多维分析(OLAP)能力，能够支持大规模数据，处理TB乃至PB级别的分析任务，并且能够在亚秒级查询巨大的Hive表。
丁爸·2024-08-24 07:01

学习记录第三十天

管道：无名管道：只能用于亲缘关系进程之间的通信：有名管道：是一种特殊的文件，存在于内存中，在系统中有对应的名称，文件大小为0字节；编程：Linux系统中，有名管道通常通过mkfifo命令或mkfifo()系统调用来创建。一旦创建，有名管道就可以像普通文件一样被打开、读取和写入。创建有名管道：#使用mkfifo命令mkfifo/tmp/mypipe#或者在C程序中#include#include#i
(笑)z·2024-08-24 05:47

学习记录第十五天

数组指针：1数组指针的定义我们可以定义一个指向数组的指针，例如：inta[]={1，2，3，4，5};int*p=a;a本身就是一个指针，可以直接赋值给指针变量p。a是数组第0个元素的地址，所以int*p=a;也可以写作int*p=&a[0];。也就是说，a、p、&a[0]这三种写法都是等价的，它们都指向数组第0个元素，或者说指向数组的开头。再强调一遍，“a本身就是一个指针”这种表述并不准确，严格
(笑)z·2024-08-24 05:47

2021-07-21学习记录

10：18刚才背完了单词，发现把单词分为两组学也不太难。扇贝推送了考研阅读三刷方法，刚刚看了一下，总的内容和我现在做的差不多，方法总结和词句篇的梳理，它分成一二刷，但是建议几天内做完一二刷，其实可以算作一刷吧。虽然我不太理解为什么要先方法再词句梳理。三刷全面复习。中间的复习方法可以借鉴，当天的即时记忆和一周一次的间隔记忆，我的问题就是不爱复习。那就反思一下复习问题。专业课，还没背，如果背的话应该会
蓝澜2021·2024-08-24 04:10

中国文学简史第二课学习记录

主讲老师：啄木鸟的卓文学起源文学是依附人类而生的，先有人后有文学。从人类社会发展规律来看，我国社会发现最开始的社会形态是：原始社会。大约公元170万年前—公元前2070年。三类古人1.元谋人发现于云南元谋县，会使用工具和伙。目前最早确认的古人类是元谋人，距今约170万年前。元谋人遗迹发掘出了两颗门齿化石，以及一些粗糙石器，还发现了碳屑和烧骨。2.北京人距今约70万—20万年前，发现于北京西南周口店
大胡子shushu·2024-08-24 02:06

阿里云服务器内存型r7、r8a、r8y实例区别及最新活动价格参考

在阿里云目前的活动中，属于内存型实例规格的云服务器有内存型r7、内存型r8a、内存型r8y这几个实例规格，相比于活动内的经济型e和通用算力型u1等实例规格来说，这些实例规格等性能更强，适用于数据分析与挖掘，Hadoop
阿里云最新优惠和活动汇总·2024-08-23 22:23

反思日记

第四：做好学习记录，及时复盘。第五：学英语背单词，阅读写日记。每天必须做的功课。第六：每天提醒自己，要慢下
青丘女君·2024-08-23 20:33

Ubuntu下部署Hadoop集群+Hive（二）

Hadoop集群搭建准备环境hadoop-3.3.6.tar.gz，jdk-8u421-linux-x64.tar.gz根据自己的使用下载对的hadoop和jdk版本hadoop下载地址：ApacheHadoopJDK
岩屿·2024-08-23 14:46

计算机毕业设计hadoop+spark知识图谱美食推荐系统 美食价格预测 美团推荐系统 美团爬虫 大众点评爬虫 美食数据分析 美食可视化大屏 大数据毕设

创新点：1.支付宝沙箱支付2.支付邮箱通知(JavaMail)3.短信验证码修改密码4.知识图谱5.四种推荐算法(协同过滤基于用户、物品、SVD混合神经网络、MLP深度学习模型)6.线性回归算法预测房价7.Python爬虫采集大众点评美食数据8.AI短信识别9.百度地图API10.lstm情感分析11.spark大屏可视化开发技术：springbootvue.jspythonechartsspar
计算机毕业设计大全·2024-08-23 13:22

计算机毕业设计hadoop+spark知识图谱高考分数预测系统 高考志愿推荐系统 高考可视化大屏 高考大数据 高考数据分析 高考爬虫 大数据毕业设计

开发技术hadoopsparkspringbootvue.jsPython爬虫、机器学习、深度学习mybatis-plusneo4j知识图谱图数据库mysql协同过滤算法(基于物品、基于用户模式)MLP
计算机毕业设计大全·2024-08-23 11:05

基于Hadoop平台的电信客服数据的处理与分析④项目实现：任务16：数据采集/消费/存储

任务描述“数据生产”的程序启动后，会持续向callLog.csv文件中写入模拟的通话记录。接下来，我们需要将这些实时的数据通过Flume采集到Kafka集群中，然后提供给HBase消费。Flume：是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据
我非夏日·2024-08-23 06:28

回溯 Leetcode 216 组合总和III

组合综合IIILeetcode216学习记录自代码随想录要点：和组合问题相似，但需要多加一个求和；classSolution{private:vectorpath;vector>result;voidbacktracking
mmaerd·2024-08-23 05:49

日拱一卒（7）——leetcode学习记录：颠倒二进制位

一、任务：颠倒给定的32位无符号整数的二进制位。提示：请注意，在某些语言（如Java）中，没有无符号整数类型。在这种情况下，输入和输出都将被指定为有符号整数类型，并且不应影响您的实现，因为无论整数是有符号的还是无符号的，其内部的二进制表示形式都是相同的。在Java中，编译器使用二进制补码记法来表示有符号整数。因此，在示例2中，输入表示有符号整数-3，输出表示有符号整数-1073741825。示例1
特立独行的Q·2024-08-23 04:15

若依AI(VUE3 个人学习记录--更新中)

一、环境搭建1.若依Vue前后端代码拉取前端仓库地址：https://gitee.com/ys-gitee/RuoYi-Vue3后端仓库地址：https://gitee.com/y_project/RuoYi-Vue2.后端.yml文件（admin模块下）2.1.修改数据库账号密码以及路径2.2.修改redis密码3.新建数据库ry-vue并导入数据库表数据4.下载前端依赖在导入的RuoYi-Vu
涉世尚浅哇·2024-08-23 04:44

日拱一卒（4）——leetcode学习记录：路径总和

一、任务：给你二叉树的根节点root和一个表示目标和的整数targetSum。判断该树中是否存在根节点到叶子节点的路径，这条路径上所有节点值相加等于目标和targetSum。如果存在，返回true；否则，返回false。叶子节点是指没有子节点的节点。二、思路：1.递归节点不存在，返回False左右子节点都不存在，返回targetSum==root.val左右节点都存在，返回递归(左子节点,targ
特立独行的Q·2024-08-23 03:38

《Linux运维总结：基于银河麒麟V10+ARM64架构CPU部署zookeeper 3.8.4二进制分布式集群》

它是Google的Chubby项目的开源实现之一，并且是Hadoop和HBase等项目的重要组成部分。ZooKeeper提供的功能包括配置维护
东城绝神·2024-08-22 16:35

数字IC/FPGA中有符号数的处理探究

做秋招笔试题时不出意外地又发现了知识盲区，特此学习记录。1.前提说明有符号数无非分为两种：正数和负数，其中正数的符号位是0，不会引起歧义，负数的符号为1，采用的是补码表示。
-interface·2024-08-22 16:05

Amazon EFS：云端弹性文件系统的多元化应用场景

应用：Hadoop、Spark等大数据框架优势：高
ivwdcwso·2024-08-22 04:51

docker buildx 在x86 架构平台打包arm 平台镜像

首先声明：一、本人学习记录，以下操作经过本人实测完全正确查看本地系统和容器内部系统本地系统架构：root@pdz-vm:/home/nodete/node#uname-aLinuxpdz-vm6.5.0
该用户涉嫌违规，已封禁·2024-08-22 03:10

Hadoop的概念

1.什么是大数据数据体量巨大：数据量规模庞大，通常以PB（拍字节）或EB（艾字节）来衡量，远远超出了传统数据库和数据处理工具的处理能力。数据类型多样：大数据包括结构化数据、半结构化数据和非结构化数据。其中，非结构化数据占据了相当大的比例，如文本、音频、视频、图片、地理位置信息等。价值密度低：在大量的数据中，真正有价值的信息可能只是很小的一部分。因此，如何从海量数据中快速提取有价值的信息是大数据处理
子非鱼　　　·2024-08-22 02:03

MAP REDUCE

框架示例ApacheHadoop：以MapReduce作为默认处理引擎的框架。ApacheSpark：可以整合进Hadoop，取代MapReduce的框架
Xiao_die888·2024-08-22 01:58

HiveSQL常见函数及使用方法（含代码示例）

HiveSQL（HiveSQL）是ApacheHive所使用的SQL方言，专门用于在Hadoop上进行大规模数据处理。以下是一些常见的HiveSQL函数及其使用方法：1.聚合函数COUNT统计记录数。
会飞的岛格酱·2024-08-21 21:31

Azkaban各种类型的Job编写

一、概述原生的Azkaban支持的plugin类型有以下这些：command：Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java
__元昊__·2024-03-28 21:00

Linux（centos7）部署hive

前提环境：已部署完hadoop(HDFS、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL
灯下夜无眠·2024-03-28 12:44

关于HDP的20道高级运维面试题

HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive
编织幻境的妖·2024-03-26 15:34

【Hadoop】使用Scala与Spark连接ClickHouse进行数据处理

风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域，ApacheSpark是一个广泛使用的高性能、通用的计算框架，而ClickHouse作为一个高性能的列式数据库，特别适合在线分析处理（OLAP）。结合Scala语
音乐学家方大刚·2024-03-26 09:56

C++中using namespace std的作用以及vector数组的使用

C++中usingnamespacestd的作用以及vector数组的使用本文为自我学习记录，主要包括C++中usingnamespacestd的作用vector数组的使用文章目录C++中usingnamespacestd
宁77吖·2024-03-26 04:48
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他