Hadoop学习记录

Hadoop 中的大数据技术：调优篇（3）

故障模拟终止NameNode进程[lzl@hadoop12current]$kill-919886删除NameNode存储的数据[lzl@hadoop12hadoop-3.1.3]$rm-rf/opt/
大数据深度洞察·2024-09-03 00:33

【HBase之轨迹】（1）使用 Docker 搭建 HBase 集群

——目录——0.前置准备1.下载安装2.配置（重）3.启动与关闭4.搭建高可用HBase前言（贫穷使我见多识广）前边经历了Hadoop，Zookeeper，Kafka，他们的集群，全都是使用Docker
寒冰小澈IceClean·2024-09-02 22:49

Spark-submit提交任务的常用参数

#参数名称#含义--clusterc3prc-hadoop#--masterMASTER_URL#可以是spark://host:port,mesos://host:port,yarn,yarn-cluster
liuzx32·2024-09-02 20:22

hadoopsdk使用_使用 .NET SDK 管理 HDInsight 中的 Apache Hadoop 群集

全球版技术文档网站，若需要访问由世纪互联运营的MICROSOFTAZURE中国区技术文档网站，请访问https://docs.azure.cn.使用.NETSDK管理HDInsight中的ApacheHadoop
weixin_39862484·2024-09-02 20:39

Hive 运行在 Tez 上

Tez下载Tez官网Tez在Hive上的运用前提要有Hadoop集群上传Tez压缩包到Hive节点上tar-zxvfapache-tez-0.9.1-bin.tar.gz-C/opt/module/tez
爱吃酸梨·2024-09-02 20:07

大数据开发技术HBase优化与特点分析

关闭HBase集群（如果没有开启则跳过此步）[atguigu@hadoop102hbase]$bin/stop-hbase.sh在con
at小白在线中·2024-09-02 13:32

双证班学习记录2-开营

听完开营课，觉得樊老师这个课程设置主打一个认真努力，愿意坚持和突破，而且奖励颇多，这无形中让我增强了学完的信心，挺好。开营后要对2个月学习做宣誓，我发了文字，但觉得还是得抓住每个锻炼的机会，于是又录视频，这次面对镜头没有那么多顾忌了，也不太在意自己录的是否好了，就纯粹觉得自己要对自己立个flag，鼓励自己坚持走完2个月的学习内容，不轻易畏难放弃。就像宣誓说的，多行动，多参与，所以我要抓住每一个自己
糖糖82·2024-09-02 12:28

Vue3学习记录——(1)MVC与MVVM

1.传统的MVC模式模型（Model）：数据存储。视图（View）：用户界面。控制器（Controller）：业务逻辑。Model代表数据存储，主要用于实现数据的持久化；View代表用户界面（UI），主要用于实现页面的显示；Controller代表业务逻辑，串联起View和Model1.流行的MVVM模式模型（Model）：数据存储。视图（View）：用户界面。视图模型（ViewModel）：数据
一只漫步前行的羊·2024-09-02 04:03

经验笔记：Hadoop

Hadoop经验笔记一、Hadoop概述Hadoop是一个开源软件框架，用于分布式存储和处理大规模数据集。其设计目的是为了在商用硬件上运行，具备高容错性和可扩展性。
漆黑的莫莫·2024-09-02 03:54

时序预测相关论文阅读笔记

笔记链接：【有道云笔记】读论文（记录）https://note.youdao.com/s/52ugLbot用于个人学习记录。
能力越小责任越小YA·2024-09-02 00:37

Python大数据之Hadoop学习——day06_hive学习02

一.hive内外表操作1.建表语法create[external]table[ifnotexists]表名(字段名字段类型,字段名字段类型,...)[partitionedby(分区字段名分区字段类型)]#分区表固定格式[clusteredby(分桶字段名)into桶个数buckets]#分桶表固定格式[sortedby(排序字段名asc|desc)][rowformatdelimitedfiel
笨小孩124·2024-09-01 11:18

大数据毕业设计hadoop+spark+hive微博舆情情感分析 知识图谱微博推荐系统

（一）Selenium自动化Python爬虫工具采集新浪微博评论、热搜、文章等约10万条存入.csv文件作为数据集；（二）使用pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；（三）使用hive数仓技术建表建库，导入.csv数据集；（四）离线分析采用hive_sql完成，实时分析利用Spark之Scala完成;（五）统计指标使用sqoop导入m
qq_79856539·2024-09-01 11:16

基于hadoop+spark的旅游大数据分析平台

S2023132基于hadoop+spark的旅游大数据分析平台使用BeautifulSoup爬取数据，爬取成功以后使用spark分析数据，将分析的结果保存到mysql，flask读取mysql数据，结合
源码空间站11·2024-09-01 11:16

大数据毕业设计天hadoop+spark+hive游戏推荐系统 游戏数据分析可视化大屏 steam游戏爬虫 游戏大数据 机器学习 知识图谱 计算机毕业设计 机器学习 深度学习 人工智能 知识图谱

|—||一、选题的目的和意义用户往往因为不能及时查看游戏信息而造成许多烦恼。另一方面，游戏商城平台没能进行系统的管理与维护使游戏信息没能及时的更新。而传统的游戏信息管理，采用的还是手工备案、人工查询的方式。但是随之游戏信息的增多这种管理方式的工作量不断加大，这种做法就存在费时费力、缺乏时效性、不利于调动人员的积极性等缺点。一旦网站建立好之后，一方面，用户可以在第一时间在系统里查询所需的信息，另一方
2401_84159688·2024-09-01 11:45

【基于Hadoop3.3.6+Spark3.4.3电商用户行为分析】

基于Hadoop3.3.6+Spark3.4.3电商用户行为分析一、摘要二、正文2.1需求分析2.2架构设计2.3实施过程2.3.1系统环境说明2.3.2系统开发思路说明2.3.4代码实现及测试2.3.5
若兰幽竹·2024-09-01 00:09

基于Hadoop的高校教学管理平台设计与实现

文中就高校大数据平台的关键技术和架构进行阐述，结合高校实际情况，设计高校大数据平台架构，通过搭建Hadoop集群环境，以业务系统和平台之间的数据交互验证平台设计的可行性和优势。
这是辰辰啊·2024-09-01 00:38

Hive SQL练习之影评案例

找的练习hive，内容非原创链接https://www.cnblogs.com/frankdeng/p/9309668.html一、建表，导入数据1、建表[root@masterhadoop]#hiveLogginginitializedusingconfigurationinjar
软件手·2024-08-31 17:23

hadoop日志文件

路径：/opt/homebrew/Cellar/hadoop/3.4.0/libexec/logs从你提供的输出信息来看，你正在查看Hadoop的日志文件目录(logs目录)。
静听山水·2024-08-31 17:51

hadoop常用地址

java："/opt/homebrew/Cellar/openjdk/22.0.1/libexec/openjdk.jdk/Contents/Home"hadoop：1】sbin:/opt/homebrew
静听山水·2024-08-31 16:49

Hadoop技术栈

1.什么是hadoop（分布式软件框架）他提供了分步式数据存储分布式数据计算分布式资源调度为一体的整体解决方案1.1hadoop的用处可以部署在1台乃至成千上万台服务器节点上协同工作。
XingChen.·2024-08-31 16:48

【Mysql】通过Keepalived搭建mysql双主高可用集群

一、环境信息主机名ip操作系统mysql版本VIP（虚拟ip）hadoop01192.168.10.200centos7_x865.7192.168.10.253hadoop03192.168.10.202centos7
维运·2024-08-31 15:13

《Hadoop系列》Docker安装Hadoop

文章目录Docker安装Hadoop1安装docker1.1添加docker到yum源1.2安装docker2安装Hadoop2.1使用docker自带的hadoop安装2.2免密操作2.2.1master
DATA数据猿·2024-08-31 12:16

docker安装Hadoop

拉取镜像[root@ecs-e722~]#dockerpullregistry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_baseUsingdefaulttag
悾说·2024-08-31 11:16

C语言学习记录4

今日学习了注释和对于条件语句和和循环语句的初识：1.注释：用于解释代码。两种方式：1.代码前加//2.在被注释代码上一行加/*，在被注释代码下一行加*/。（C语言的注释不支持嵌套）2.初始条件语句与循环语句：两者与python语句相似，条件语句用if和else，循环语句用for，while,dowhile后面将加快进程，开始着手竞赛准备
XSR_yeah·2024-08-31 07:12

第T10周：数据增强

>-**本文为[365天深度学习训练营]中的学习记录博客**>-**原作者：[K同学啊]**第10周：数据增强难度：夯实基础⭐⭐语言：Python3、TensorFlow2要求：学会在代码中使用数据增强手段来提高
OreoCC·2024-08-31 00:55

Activity7框架使用学习记录

用于记录在项目中使用工作流框架PROC_DEF_ID:流程定义的idbpmn文件中对流程图定义的idTASK_DEF_KEY:任务定义的idbpmn文件中对每个任务定义的idPROC_INST_ID:流程实例id启动一个流程时对流程定义的idPROC_DEF_ID（流程定义的ID）：在BPMN（BusinessProcessModelandNotation）文件中，流程定义的ID是对整个流程图定义
爱为斯坦·2024-08-30 19:56

动手学深度学习（pytorch）学习记录20-自定义层[学习记录]

在深度学习中，自定义层是指开发者根据特定需求编写的神经网络层，而不是使用深度学习框架（如PyTorch、TensorFlow等）提供的现成层。自定义层可以让模型更加灵活，以适应特定的任务或数据集。目录没有参数的自定义层带参数的层没有参数的自定义层下面的CenteredLayer类要从其输入中减去均值。要构建它，只需继承基础层类并实现前向传播功能。importtorchimporttorch.nn.
walfar·2024-08-30 13:13

动手学深度学习（pytorch）学习记录21-读写文件(模型与参数)[学习记录]

目录加载和保存张量加载和保存模型参数保存模型的好处众多，涵盖了从开发到部署的整个机器学习生命周期。节省资源：训练模型可能需要大量的时间和计算资源。保存模型可以避免重复训练，从而节省时间和计算资源。快速部署：一旦模型被训练并保存，它可以迅速部署到生产环境中，加速产品上市时间。版本控制：保存不同版本的模型有助于跟踪模型的迭代过程，便于比较和回滚到之前的版本。离线使用：保存的模型可以在没有网络连接的情况
walfar·2024-08-30 12:42

小白学习大数据测试之hadoop hdfs和MapReduce小实战

转发是对小编的最大支持在湿货|大数据测试之hadoop单机环境搭建(超级详细版)这个基础上，我们来运行一个官网的MapReducedemo程序来看看效果和处理过程。
大数据学习02·2024-08-30 11:39

《微班会创意设计与实施》学习记录

终于读到150页了，实践证明，学习的确很难熬，读了十几天才150页。最近的案例基本都是解决违纪事件。如果学生多次出现同样的违纪事件，多半是班级的反馈机制出了问题，包括学生对老师的及时反馈和老师对学生的及时反馈，班主任要及时补救。并且一定避免班级出现小团伙。一旦违反纪律的学生抱团了，无论男生团伙，女生团伙，都会气焰大涨，班主任就会一对多，很难对付。一旦抱团，班主任就要想办法分化。
雎雎_·2024-08-30 06:44

C语言学习记录（三）

我们紧接上篇的内容，上节我们提到了数据类型以及一些运算符，这节我决定给大家分享一下顺序结构，让大家更加深入理解、以及能达到自己运用运算符完成一些与顺序结构相关的简单的题目。一.顺序结构顺序结构是三大基础结构中最简单也是最容易的，其实现方式为从上至下依次进行，不需要进行任何判断，它是由一系列按特定顺序执行的操作组成，每个操作完成后才会执行下一个操作，这种执行过程就像按照任务列表逐项完成一样，依照线性
Tian Sifan·2024-08-30 06:30

学习记录第十二天

标识符的作用域：作用域：标识符可生效的范围局部作用域（LocalScope）:1.定义：局部变量是在函数内部或某个代码块（如if语句或循环语句）中声明的变量。它们的作用域仅限于声明它们的函数或代码块。2.生命周期：局部变量的生命周期是短暂的，它们在函数调用开始时被创建，在函数调用结束时被销毁。对于在代码块中声明的变量，其生命周期从变量声明开始到代码块结束时结束。全局作用域（GlobalScope）
喵了d喵·2024-08-30 06:58

学习记录第十九天

标准io的概念IOinputoutputI：键盘是标准输入设备====》默认输入就是指键盘O：显示器是标准输出设备==》默认输出就是指显示器Linux操作系统当中IO都是对文件的操作manmanman==>所有man的帮助manxxx==man1xxx===>查看当前xxx命令man2xxx===>查看xxx对应的系统调用函数man3xxx===》查看xxx对应的标准库函数fopenfopen是C
喵了d喵·2024-08-30 06:58

学习记录第二十五天

wait函数wait函数是一个系统调用，用于等待一个子进程结束并回收其资源。当父进程调用wait函数时，它会暂停执行，直到至少有一个子进程结束。wait函数的原型如下：#include#includepid_twait(int*status);1.status参数是一个指针，用于存放子进程的退出状态信息。如果不需要检查子进程的退出状态，这个参数可以设置为NULL。2.如果wait函数成功，它返回结
喵了d喵·2024-08-30 06:58

虚拟机安装hadoop，hbase（单机伪集群模式）

虚拟机安装Hadoop，Hbase工作中遇到了大数据方面的一些技术栈，没有退路可言，只能去学习掌握它，就像当初做爬虫一样（虽然很简单），在数据爆发的现在，传统的数据库mysql，oracle显然在处理大数据量级的数据时显得力不从心
流~星~雨·2024-08-29 21:31

hive中的数据同步到hbase

关于hadoop，hive，hbase这三个技术栈我写了两篇博客简单的分享了我对这三个技术栈的一些看法，在我目前的认知里，hadoop提供hdfs这个组件来存储大数据量的数据（相比于mysql，oracle
流~星~雨·2024-08-29 21:31

微信小程序学习记录（2）视图层之wxml（数据绑定大括号，wx:for,wx:if）

1，数据绑定WXML中的动态数据均来自对应Page的data。用双大括号将变量包起来，可以作用于(参考：https://www.w3cschool.cn/weixinapp/weixinapp-data.html)内容{{message}}Page({data:{message:'HelloMINA!'}})组件属性（需要在双引号之内）Page({data:{id:0}})控制属性（需要早双引号之
Spider_man_·2024-08-29 21:56

hbase ExportSnapshot迁移hbase表

在源集群上准备快照：snapshot'credit_dict','credit_dict_snapshot20221117'list_snapshots复制快照到目标集群：hbaseorg.apache.hadoop.hbase.snapshot.ExportSnapshot
Rjunxiang·2024-08-29 16:56

Hbase离线迁移

hadoopdistcp-Dmapreduce.job.hdfs-servers.token-renewal.exclude="xx.xx.xx.xx"-i-strat
我要用代码向我喜欢的女孩表白·2024-08-29 15:22

Python知识点：如何使用HBase与HappyBase进行分布式存储

HBase是一个基于Hadoop的开源分布式数据库，可以处理非常大的表。HappyBase是一个Python库，它提供了一个友好的接口来与HBase交互。
杰哥在此·2024-08-29 15:51

AI学习记录 - 对抗性神经网络

有用点赞哦学习机器学习到一定程度之后，一般会先看他的损失函数是什么，看他的训练集是什么，训练集是什么，代表我使用模型的时候，输入是什么类型的数据。对抗神经网络其实可以这样子理解，网上一直说生成器和判别器的概念，没有触及到本质。我有一种看法：假如当前场景是输入模糊图片，然后输出高质量图片。当判别器和生成器本来就是一个模型，在不把判别器生成器拆开的时候，我输入一张图片，这个模型输出的是0和1，那这个整
victor-AI最好的学习方式是画图·2024-08-29 09:40

Spark-RDD迭代器管道计算

一、上下文《Spark-Task启动流程》中讲到我们提交Stage是传入的是这个Stage最后一个RDD，当Task中触发ShuffleWriter、返回Driver数据或者写入Hadoop文件系统时才触发这个
隔着天花板看星星·2024-08-29 07:24

关于这道填空题，你会如何回答？（附带学习链接）

小白的答案是：Java是铜牌，Linux是银牌，Hadoop是金牌，大数据是王牌。因为Java是学大数据的基础，有基础然后就可以学后续的；最后只有学好大数据这一王牌才能出去找一份比较好的工作。
csdn业界要闻·2024-08-29 05:09

Hdfs的机架感知与副本放置策略

1.介绍Apachehadoop机架感知Hadoop分布式文件系统(Hdfs)作为ApacheHadoop生态系统的的核心组件之一,通过机架感知和副本放置策略来优化数据的可靠性,可用和性能.Hdfs的机架感知和副本放置策略是其设计的关键组成部分
sheansavage·2024-08-29 01:42

Java高级技术day75：Zookeeper与Dubbo

一、Zookeeper的介绍1.Zookeeper介绍：顾名思义zookeeper就是动物园管理员，他是用来管hadoop（大象）、Hive(蜜蜂)、pig(小猪)的管理员，ApacheHbase和ApacheSolr
开源oo柒·2024-08-28 20:54

Spark on YARN

ApacheSpark和ApacheHadoopYARN是两个紧密相关的项目，它们经常一起使用来处理大规模数据集。
静听山水·2024-08-28 09:26

Ubuntu下部署Hadoop集群+Hive（三）

Hive部署准备环境apache-hive-4.0.0-bin.tar.gz、mysql-connector-j-8.1.0.jar如果是离线安装的话，使用mysql-8.0.34-1.el7.x86_64.rpm-bundle.tar，在线安装的话则不用；hive下载地址：Indexof/hive(apache.org)mysqlconnector下载地址：MySQL::DownloadConn
岩屿·2024-08-28 01:07

Docker 部署 Nacos Spring Cloud

如有异常Docker部署NacosSpringCloud项目搭建可以参考上一篇SpringCloud+Nacos学习记录.dockerpullNacos镜像及启动容器dock
雨夜星空丶月·2024-08-27 23:52

分享一个基于Spark的招聘数据可视化与分析系统Hadoop大数据源码（源码、调试、LW、开题、PPT）

作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|基
计算机源码社·2024-08-27 20:05

torch.max()学习记录

x=tourch.tensor([[1,2,3],[4,6,5],[9,11,4],[-2,6,20]])为4*3的一个张量1)请思考y的值y=torch.max(x,dim=0)分析：x是一个2D:4*3的张量，dim=0，表示按照行操作，得到的张量shape=3,对应的是[1,4,9,-2】，【2,6,11,6】，【3,5,4,20】三组内挑选最大值组分别是9、11、20成为【9,11,20】
wu_huashan·2024-08-27 13:50
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他