hadoop笔记第3页

数据集/API 笔记：湿球黑球温度（WBGT）观测数据

data.gov.sgWBGT是一个综合指标，考虑了气温、湿度、风速和太阳辐射，与气温不同。报告的WBGT是过去15分钟内的平均值，每15分钟更新一次。API调用curl--requestGET\--urlhttps://api-open.data.gov.sg/v2/real-time/api/weather调用结果

UQI-LIUWJ·2025-03-07 09:10

数据集/API 笔记：新加坡最新的停车场可用车位信息 & 停车场信息

数据每分钟更新一次使用date_time参数可获取特定时间点的最新停车场可用车位信息调用接口curl--requestGET\--urlhttps://api.data.gov.sg/v1/transport/carpark-availability调用结果API返回的查询时间"2025-03-04T09:10:36+08:00"代表的是API查询的时间，但每个停车场的update_datetim

UQI-LIUWJ·2025-03-07 09:10

Bert模型学习笔记

Bert模型学习笔记Fromhttps://www.bilibili.com/video/BV1Ey4y1874yemmm讲实话这个视频太简单了，不建议看。

文三路张同学·2025-03-07 09:39

DeepSeek本地部署教程（Windows操作系统笔记本电脑适用）

最近DeepSeek非常火，你想不想也本地部署，玩转AI呢？一、将DeepSeek部署到自己的电脑有以下好处：1.数据隐私与安全本地存储：所有数据保存在本地，避免第三方服务器存储带来的隐私风险。数据控制：完全掌控数据访问权限，防止未经授权的访问或泄露。2.性能优化低延迟：本地运行减少网络延迟，响应速度更快。资源利用：可根据硬件配置优化性能，充分利用本地计算资源。3.定制化灵活配置：可根据需求调整模

程序员辣条·2025-03-07 09:07

Bert学习笔记

一、Bert架构BERT使用了双向的TransformerGPT使用从左到右的单向信息ELMo把单独训练的从左到右及从右到左的LSTM模型进行合并二、Bert预训练任务2.1遮蔽语言模型MLM任务：随机屏蔽（masking）部分输入token，然后只预测那些被屏蔽的token。问题：预训练任务与微调任务不一致原因：在finetuning期间从未看到[MASK]token，预训练和finetunin

缓释多巴胺。·2025-03-07 09:05

DeepSeek安装部署笔记（二）

Bat批处理文件的编写第五步启动openWebUI的批处理编写1、下面的代码，复制到文本文件，再改扩展名2、这样，在桌面直接双击此文件运行第五步启动openWebUI的批处理编写1、下面的代码，复制到文本文件，再改扩展名@echooffREM关闭回显使界面更简洁setCONDA_ROOT=D:\condasetENV_NAME=openwebuiREM使用’/K’参数保持CMD窗口不关闭，并执行后

山哥ol·2025-03-07 08:00

【学习笔记5】Linux下cuda、cudnn、pytorch版本对应关系

一、cuda和cudnnNVIDIACUDAToolkit（CUDA）为创建高性能GPU加速应用程序提供了一个开发环境。借助CUDA工具包，您可以在GPU加速的嵌入式系统、桌面工作站、企业数据中心、基于云的平台和HPC超级计算机上开发、优化和部署您的应用程序。该工具包包括GPU加速库、调试和优化工具、C/C++编译器以及用于部署应用程序的运行时库。全球的深度学习研究人员和框架开发人员都依赖cuDN

longii11·2025-03-07 08:56

Leetcode 刷题笔记1 动态规划part05

开始完全背包不同于01背包，完全背包的特色在于元素可以重复拿取，因此在递归公式和遍历顺序上都有些许不同。leetcode518零钱兑换||在组合方式中所用到的递推公式是dp[j]=dp[j-coins[i]]+dp[j]对于coins[i]>j的情况，forjinrange(coin[i],amount+1)不会执行，即实现dp[i][j]=dp[i-1][j]classSolution:defc

平乐君·2025-03-07 08:51

Leetcode 刷题笔记1 动态规划part06

leetcode322零钱兑换由于本题所求为最少零钱数所以递推公式中应该为dp[j]=min(dp[j],dp[j-coin]+1)classSolution:defcoinChange(self,coins:List[int],amount:int)->int:dp=[float('inf')]*(amount+1)dp[0]=0forcoinincoins:forjinrange(coin,a

平乐君·2025-03-07 08:51

Leetcode 刷题笔记1 动态规划part04

leetcode最后一块石头的重量||问题转化，把石头问题转化为背包问题，在target容量范围内所能装的最大石头重量classSolution:deflastStoneWeightII(self,stones:List[int])->int:total=sum(stones)target=total//2dp=[0]*(target+1)forstoneinstones:forjinrange(

平乐君·2025-03-07 08:50

大数据面试系列之——Hadoop

Hadoop的三个核心：HDFS（分布式存储系统）MapReduce（分布式计算系统）YARN(分布式资源调度)1.Hadoop集群的几种搭建模式1.单机模式：直接解压安装，不存在分布式存储系统2.伪分布式

潜心_守道·2025-03-07 07:17

rhcsa个人学习笔记

一、配置网卡cd/etc/sysconfig/network-scripts/进入网卡文件夹vimifcfg-eth0修改网卡配置ipaddr=172.25.250.10netmask=255.255.255.0gateway=172.25.250.254dns=172.25.250.254systemctlrestartNetworkManagerifdowneth0;关闭网卡ifupeth0;

小峰彩铃·2025-03-07 05:25

Linux | 学习笔记

Linux|学习笔记用户管理用户和组管理#查看用户身份[admin@CentOS8~]$idadminuid=1000(admin)gid=1000(admin)组=1000(admin),10(wheel

Fomalhaut α PsA·2025-03-07 05:24

rhce第二次笔记

第二章：时间服务器东八区：UTC+8=CST(北京时间)应用层的时间协议：NTP（网络时间协议）：udp/端口：123Chrony软件：由chronyd（客户端）和chronyc（服务器）两个程序组成chronyd相当于一个守护者，守护进程；chronyc用于监测性能及配置1、软件安装（1）先配置好yum的相关文件#本地源[root@localhost~]#cat/etc/yum.repos.d/

Eoip_zacb·2025-03-07 05:21

《Operating System Concepts》阅读笔记：p200-p202

《OperatingSystemConcepts》学习第22天，p200-p202总结，总计3页。一、技术总结1.CPU-I/Oburst(1)CPUburstSchedulingprocessstateinwhichtheprocessexecutesonCPU.(2)I/OburstSchedulingprocessstateinwhichtheCPUperformsI/O.2.racecon

·2025-03-07 03:20

学习笔记 3.容器化技术 1.2 Docker进阶

Docker进阶Docker进阶数据挂载数据卷挂载主机目录Compose集成式应用组合Compose简介安装和卸载使用Compose构建dubbo-admin服务Compose命令说明Compose模板文件Docker进阶数据挂载在容器中管理数据主要有两种方式：数据卷（Volumes）：在Docker可管理的范围内挂载主机目录（Bindmounts）：在宿主机上的内存数据卷数据卷是一个可供一个或者

薛定谔的悠米·2025-03-07 01:15

Azkaban其一，介绍、体系架构和安装

比如：想启动hadoop集群先启动zk集群，再启动hdfs,再启动yarn，再启动日志系统工作过程中总会遇到多个脚本执行的时候有顺序。任务可以有一个编排的工具

出发行进·2025-03-07 00:35

【大模型基础_毛玉仁】0.系列文章

XiaoJ1234567·2025-03-07 00:02

【真题笔记】09-12年系统架构设计师要点总结

【真题笔记】09-12年系统架构设计师要点总结4+1视图UML4+1视图架构4+1视图场景DSSA（特定领域架构）从功能覆盖的范围角度理解DSSA中领域的含义集成系统数据库管理设计模式操作符运算符综合布线备份数据库集成工作流技术软件质量保证需求管理

傻傻虎虎·2025-03-07 00:02

系统架构设计师-第8章-系统质量属性与架构评估-学习笔记

开发期质量属性主要指在软件开发阶段所关注的质量属性，主要包含6个方面。(1)易理解性:指设计被开发人员理解的难易程度。(2)可扩展性:软件因适应新需求或需求变化而增加新功能的能力，也称为灵活性。(3)可重用性:指垂用软件系统或某一部分的难易程度。(4)可测试性:对软件测试以证明其满足需求规范的难易程度.(5)可维护性:当需要修改缺陷、增加功能、提高质量属性时，识别修改点并实施修改的难易程度.(6)

2401_83974370·2025-03-06 23:22

【电路笔记 TMS320C6***DSP】外部存储器接口 A EMIFA向FPGA(作为异步存储器)写入数据的示例

目录DSP和FPGA的连接DSP端：传输数据给FPGAFPGA端：接收数据EMIFA（ExternalMemoryInterfaceA）的“异步存储器”（AsynchronousMemory）指的是那些不与系统时钟同步进行读写操作的外部存储设备。这类存储器使用特定的控制信号（如芯片选择、输出使能、写使能等）来管理数据传输，而不是依赖于一个全局时钟信号。这意味着数据传输的时机是由控制信号的变化触发的

FakeOccupational·2025-03-06 22:14

中科大计算机网络第二章2.1应用层概述笔记

应用层笔记整理一、应用层概述应用层是计算机网络体系结构中的最高层，直接面向用户和应用程序，负责处理不同端系统间的数据交换与通信。其核心功能包括文件传输、电子邮件、远程登录、网页浏览等网络服务。

镜中人★·2025-03-06 21:09

C++学习笔记（十二）——函数

一、函数的作用函数是C++代码模块化的基础。函数有以下作用：提高代码复用性：相同的代码块可多次调用，而不必重复编写。增强程序可读性：将逻辑拆分，使代码结构更清晰。便于调试和维护：修改函数不会影响其他部分，降低错误风险。二、函数的基本语法语法：返回类型函数名(参数列表){//函数体return返回值;//如果返回类型是void，则不需要return}注意：返回类型：函数返回值的数据类型（如int、d

奕天者·2025-03-06 21:38

数据结构笔记——第一章：数据结构基础

1.数据结构基础1.1什么是数据结构1.1.1关于数据组织—例：图书摆放例1：如何在书架上摆放图书？分类二分查找解决问题方法的效率，跟数据的组织方式有关。1.1.2关于空间使用—例：PrintN函数实现例2：写程序实现一个函数PrintN，使传入一个正整数为N的参数后，能顺序打印从1到N的全部正整数。/*循环实现*/voidPrintN(intN){inti;for(i=1;ivoidPrintN

米布偷吃小饼干·2025-03-06 21:08

《Python基础教程》第7章笔记：进一步抽象（面向对象编程）

《Python基础教程》第1章笔记https://blog.csdn.net/holeer/article/details/143052930目录第7章进一步抽象7.1对象魔法7.2类7.2.1类到底是什么

WalkingComputer·2025-03-06 20:03

c语言笔记野指针

野指针的两种情况1.指针初始化的时候什么也不写；2.指针指向的堆空间被释放；char*p=malloc(20);free(p);p=null;这句话的意思是指针p指向malloc向系统申请的一块堆空间，然后这块空间现在被free释放掉了，但是指针p此时依旧是指向这块地址，由于该内存空间已经被系统回收了，此时我们指针p就是指向了一块非法的区域，变成野指针。野指针的情况就是指针指向一块非法区域，系统内

我是大咖·2025-03-06 16:27

从零开始 CMake 学习笔记（E）installing

从零开始CMake学习笔记（E）installing开始前先默念三遍口诀：DeclareatargetDeclaretarget’straitsIt’sallabouttargets本系列主要根据GitHub

OOOrchid·2025-03-06 16:20

STM32学习笔记——TIM_Period 和 TIM_Prescaler

概念TIM_TimeBaseStructure.TIM_Period和TIM_TimeBaseStructure.TIM_Prescaler是STM32定时器（Timer）的两个重要参数。TIM_Period：这个参数代表的是定时器的自动重装载值（Auto-reloadvalue）。当定时器的计数值达到这个值时，定时器就会产生一个中断或更新事件。这个参数可以用来控制定时器中断的间隔时间。例如，如果

优雅的造轮狮·2025-03-06 15:49

零基础CMake学习笔记

零基础CMake学习笔记1.名词解释makecmakeMakefileCMakeLists.txt2.CMake语法介绍2.1常用指令2.1.1project2.1.2set2.1.3message2.1.4add_executable2.1.5aux_source_directory2.1.6include_directories2.1.7add_definitions2.1.8add_subd

天鹅打架了·2025-03-06 15:43

Spring学习笔记03——Spring Boot的文件结构

Springboot常见的文件结构：src/├──main/│├──java/││└──com.example.demo/││├──DemoApplication.java#主入口││├──config/#配置类││├──controller/#控制器││├──service/#业务逻辑││├──mapper/#数据库操作接口││├──entity/#数据库实体类││├──dto/#数据传输对象│

Shaoxi Zhang·2025-03-06 14:09

rust笔记13：trait对象

在Rust中，trait对象是一种实现动态分发（dynamicdispatch）的机制，允许你在运行时处理实现了某个trait的不同类型。Trait对象是Rust中实现多态性的重要工具之一，特别是在需要处理多种类型但又不确定具体类型的情况下。在有继承的语言中，可以通过类继承实现多态，rust没有继承，trait对象便是为了完成类似特性。1.什么是Trait对象？Trait对象是一个指向实现了某个t

shanzhizi·2025-03-06 13:22

笔记——Qt实现截取小数点后N位的方法（不进行四舍五入）

doublegetNonRoundingNumber(doublenumber,intdigit){boolisNegative=false;intplaceholderCount=10;if(number<0){number=-number;isNegative=true;}QStringListstrNum=QString::number(number,'f',digit+placeholde

JuicyActiveGilbert·2025-03-06 12:46

机器学习笔记

1概述1.1简介机器学习（MachineLearning）是计算机科学的子领域，也是人工智能的一个分支和实现方式。“对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么就称这个计算机程序在从经验E学习。”（汤姆·米切尔（TomMitchell），1997，MachineLearning）1.2机器学习、人工智能、数据挖掘从本质上看，数据科学的目标是通过处理各

有涯小学生·2025-03-06 10:35

电脑睡眠后无法唤醒？Win10睡眠唤醒问题解决方案

文章针对联想Y系列笔记本，提供了一步一步的解决方案，帮助你快速定位并解决睡眠或休眠后无法唤醒的问题。通过简单的操作步骤，如调整电源选项和恢复高级

famous_pengfei·2025-03-06 10:05

hdfs HA 机制，一台 namenode 宕机了， joualnode ， namenode ， edit.log fsimage 的变化？思维导图代码示例（java 架构)

HDFS（HadoopDistributedFileSystem）的高可用性（HA,HighAvailability）机制旨在解决单点故障问题，确保即使在NameNode出现故障的情况下，文件系统仍然可以继续正常工作

用心去追梦·2025-03-06 10:00

机器学习—赵卫东阅读笔记（一）

第一章：机器学习基础1.1.2机器学习主要流派1.符号主义2.贝叶斯分类——基础是贝叶斯定理3.联结主义——源于神经学，主要算法是神经网络。——BP算法：作为一种监督学习算法，训练神经网络时通过不断反馈当前网络计算结果与训练数据之间的误差来修正网络权重，使误差足够小。4.进化计算——通过迭代优化，找到最佳结果。——具有自组织、自适应、自学习的特性，能够有效处理传统优化算法难以解决的复杂问题（例如N

走在考研路上·2025-03-06 10:29

Lua学习笔记_总结

目录0.一些特性1.变量1.1四种基本变量类型1.2变量的声明1.3string赋值相关1.4string操作相关(空着的括号如果没强调，那就是有参数)2.运算符2.1算术运算符2.2关系运算符2.3逻辑运算符2.4其他3.条件语句3.1结构一3.2结构二3.3结构三3.4注意事项4.循环语句4.1结构一4.2结构二4.3结构三5.复杂变量类型--函数5.1声明结构一5.2声明结构二5.3函数的参

红烧五花蛆·2025-03-06 08:18

LeetCode Java面试刷题笔记汇总

LeetCodeJava刷题笔记汇总，按照类型刷题效率更高。刷题前需要先学习数据结构与算法的基础知识：Java数据结构与算法。

m0_74825074·2025-03-06 07:41

cmake学习笔记

cmake学习笔记1、引言2、cmake基本知识2.1概念2.2内部编译与外部编译2.3CMakeLists.txt基本规范3、常用变量与命令3.1常用变量3.2常用命令5、实例1分析6、实例2分析7、

Yancey Lee·2025-03-06 06:32

IntelliJ IDEA + Maven环境编写第一个hadoop程序

1.新建IntelliJ下的maven项目点击File->New->Project，在弹出的对话框中选择Maven，JDK选择你自己安装的版本，点击Next2.填写Maven的GroupId和ArtifactId你可以根据自己的项目随便填，点击Next这样就新建好了一个空的项目这里程序名填写WordCount,我们的程序是一个通用的网上的范例,用来计算文件中单词出现的次数3.设置程序的编译版本打开

IT独白者·2025-03-06 06:00

hadoop

Hadoop是一个用于分布式存储和处理大规模数据的开源框架，它的架构主要由以下几个核心组件组成：1.Hadoop生态系统核心组件Hadoop的核心架构主要包括HDFS（HadoopDistributedFileSystem

百里自来卷·2025-03-06 06:00

第一个Hadoop程序

编写和运行第一个Hadoop程序是学习Hadoop的重要步骤。以下是一个经典的“WordCount”程序示例，它统计文本文件中每个单词出现的次数。

lqlj2233·2025-03-06 05:53

在虚拟机上安装 Hadoop 全攻略

在虚拟机上安装Hadoop是进入大数据处理和分析领域的重要一步。

麻芝汤圆·2025-03-06 05:22

卡片笔记写作法精读笔记 01

abstract]卡片笔记写作法：如何实现从阅读到写作书名：卡片笔记写作法：如何实现从阅读到写作作者：申克·阿伦斯简介：卢曼的“盒中笔记”通常很简短，因为这些只是他庞大繁杂研究中的索引，等需要时，他会借由这些线头进行延伸思考

·2025-03-06 05:09

《Operating System Concepts》阅读笔记：p188-p199

《OperatingSystemConcepts》学习第21天，p188-p199总结，总计12页。一、技术总结1.thread-localstorageDataavailableonlytoagiventhread.2.transaction(1)英语中的意思c/u.trans-("across")+agere("todrive,do,peform")。theactofperformsthacr

·2025-03-06 05:08

Vue 过滤器

Vue渐进式JavaScript框架基于Vue2的学习笔记-Vue使用-过滤器目录过滤器优化图片路径处理定义过滤器使用多个过滤器总结过滤器优化图片路径处理文件路径经过管道过滤器处理后，返回给图片路径，示例如下

JSON_L·2025-03-06 05:20

算法分析-贪心算法

使用场景适用场景：何时使用部分背包问题活动安排问题最优装载问题最小生成树Prim算法：按点检索，适用于稠密图Kruskal算法：并查集+最小生成树Dijkstra算法：不能存在负权边，松弛操作总结前言本博客仅做学习笔记

old-handsome·2025-03-06 04:14

【云原生之kubernetes实战】在k8s环境下部署Note Mark笔记工具

【云原生之kubernetes实战】在k8s环境下部署NoteMark笔记工具一、NoteMark介绍1.1NoteMark简介1.2NoteMark特点1.3NoteMark使用场景二、本次实践介绍2.1

江湖有缘·2025-03-06 04:41

【菜鸟笔记|算法导论】十大排序算法总结与python实现

笔记自用就不附原理图了，如果对原理有疑问请参阅算法导论那本书，里面算法运行过

武咏歌·2025-03-06 03:07

20250301-代码笔记-test_n100

文章目录前言一、参数解析1.1具体参数含义1.环境参数(`env_params`)2.模型参数(`model_params`)3.测试参数(tester_params_regret)4.日志参数(logger_params)1.2分析1.2.1如何在脚本运行时输入model路径1.3代码二、函数main()函数解析函数代码三、函数def_set_debug_mode()函数解析函数代码四、函数de

唐小旭·2025-03-06 03:07

推荐频道

hadoop笔记