冰露可乐
冰露可乐

Hadoop原理，HDFS架构，MapReduce原理

Hadoop原理，HDFS架构，MapReduce原理

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！

文章目录

  • Hadoop原理，HDFS架构，MapReduce原理
    • @[TOC](文章目录)
  • Hadoop是什么？
  • Hadoop概述
  • Hadoop优势
  • Hadoop的生态系统
  • Hadoop集群的部署模式
  • Hadoop的历史版本
  • HDFS的演进
  • HDFS基本概念
  • HDFS的优缺点
  • HDFS主从架构
  • HDFS写原理
  • HDFS读数据的原理
  • HDFS的shell操作
  • MapReduce分布式计算框架
  • map和reduce内部如何合作
  • maptask
  • reducetask
  • shuffle工作原理
  • MapReduce的运行模式
  • MapReduce的性能优化
  • 总结

Hadoop是什么？

Hadoop原理，HDFS架构，MapReduce原理_第1张图片
Hadoop原理，HDFS架构，MapReduce原理_第2张图片
Hadoop原理，HDFS架构，MapReduce原理_第3张图片
Hadoop原理，HDFS架构，MapReduce原理_第4张图片

Hadoop概述

Hadoop原理，HDFS架构，MapReduce原理_第5张图片

Hadoop优势

Hadoop原理，HDFS架构，MapReduce原理_第6张图片
计算能力
存储能力
廉价计算机组成
高效率，吞吐量高
可靠，容错
数据副本机制基本不会丢

Hadoop的生态系统

Hadoop原理，HDFS架构，MapReduce原理_第7张图片
Hadoop原理，HDFS架构，MapReduce原理_第8张图片
Hadoop原理，HDFS架构，MapReduce原理_第9张图片
Hadoop原理，HDFS架构，MapReduce原理_第10张图片Hadoop原理，HDFS架构，MapReduce原理_第11张图片
Hadoop原理，HDFS架构，MapReduce原理_第12张图片
Hadoop原理，HDFS架构，MapReduce原理_第13张图片
Hadoop原理，HDFS架构，MapReduce原理_第14张图片
Hadoop原理，HDFS架构，MapReduce原理_第15张图片
Hadoop原理，HDFS架构，MapReduce原理_第16张图片

Hadoop集群的部署模式

Hadoop原理，HDFS架构，MapReduce原理_第17张图片

Hadoop原理，HDFS架构，MapReduce原理_第18张图片

Hadoop原理，HDFS架构，MapReduce原理_第19张图片
Hadoop原理，HDFS架构，MapReduce原理_第20张图片
Hadoop原理，HDFS架构，MapReduce原理_第21张图片

Hadoop的历史版本

Hadoop原理，HDFS架构，MapReduce原理_第22张图片
Hadoop原理，HDFS架构，MapReduce原理_第23张图片
Hadoop原理，HDFS架构，MapReduce原理_第24张图片
在这里插入图片描述
收费的牛逼

Hadoop原理，HDFS架构，MapReduce原理_第25张图片
主从架构
Hadoop原理，HDFS架构，MapReduce原理_第26张图片
Hadoop原理，HDFS架构，MapReduce原理_第27张图片

计算类似的
MapReduce
Hadoop原理，HDFS架构，MapReduce原理_第28张图片

Hadoop原理，HDFS架构，MapReduce原理_第29张图片
Hadoop原理，HDFS架构，MapReduce原理_第30张图片在这里插入图片描述
yarn来管理分配资源和调度资源
resourcemanager
管理nodemanager
APPmaster，进程去计算
Hadoop原理，HDFS架构，MapReduce原理_第31张图片
app计算完，上报给老大
Hadoop原理，HDFS架构，MapReduce原理_第32张图片
单点故障依然gg

Hadoop原理，HDFS架构，MapReduce原理_第33张图片
Hadoop原理，HDFS架构，MapReduce原理_第34张图片
还是备份思想
gg
zookeeper来搞这种管理，美滋滋

这门课牛逼，终于说清楚了这些事情
Hadoop原理，HDFS架构，MapReduce原理_第35张图片
在这里插入图片描述
Hadoop原理，HDFS架构，MapReduce原理_第36张图片
不是resource 了

在这里插入图片描述
Hadoop原理，HDFS架构，MapReduce原理_第37张图片

HDFS的演进

Hadoop原理，HDFS架构，MapReduce原理_第38张图片
Hadoop原理，HDFS架构，MapReduce原理_第39张图片
Hadoop原理，HDFS架构，MapReduce原理_第40张图片
Hadoop原理，HDFS架构，MapReduce原理_第41张图片
Hadoop原理，HDFS架构，MapReduce原理_第42张图片
Hadoop原理，HDFS架构，MapReduce原理_第43张图片
Hadoop原理，HDFS架构，MapReduce原理_第44张图片
Hadoop原理，HDFS架构，MapReduce原理_第45张图片
老牛逼了

HDFS基本概念

Hadoop原理，HDFS架构，MapReduce原理_第46张图片

不妨设a.txt要存储，它很大很大，一个机子存不了
咱需要拆分成多个block

这样分开存在不同的机子上
支离破碎的文件，需要统一管理，namenode来管理

当客户端访问是，先要问nn，你给我真实的地址，我一个个去读取然后组装就好。
Hadoop原理，HDFS架构，MapReduce原理_第47张图片
Hadoop原理，HDFS架构，MapReduce原理_第48张图片
Hadoop原理，HDFS架构，MapReduce原理_第49张图片
nn就是老大

datanode
Hadoop原理，HDFS架构，MapReduce原理_第50张图片

Hadoop原理，HDFS架构，MapReduce原理_第51张图片
block

Hadoop原理，HDFS架构，MapReduce原理_第52张图片
Hadoop原理，HDFS架构，MapReduce原理_第53张图片
300m那平均分开

Hadoop原理，HDFS架构，MapReduce原理_第54张图片
Hadoop原理，HDFS架构，MapReduce原理_第55张图片
Hadoop原理，HDFS架构，MapReduce原理_第56张图片
3份一样的数据，分开存储，增加容错性
Hadoop原理，HDFS架构，MapReduce原理_第57张图片

HDFS的优缺点

Hadoop原理，HDFS架构，MapReduce原理_第58张图片
Hadoop原理，HDFS架构，MapReduce原理_第59张图片
Hadoop原理，HDFS架构，MapReduce原理_第60张图片
蓝色dn1丢失
但是dn2和dn3保持数据的完整性
美滋滋
Hadoop原理，HDFS架构，MapReduce原理_第61张图片
字节流，好像访问本地文件，效率高

支持超大文件的存储，切片分开存储，都能玩
高数据的吞吐量，不支持修改，支持存储

Hadoop原理，HDFS架构，MapReduce原理_第62张图片
由于数据多，分开存，这样的话，速度慢
适合线下处理
尤其是小文件多，元数据量大，很烦人

并发写入不合适，他要备份
一次写入，多次读取

HDFS主从架构

namenode管理datanode
Hadoop原理，HDFS架构，MapReduce原理_第63张图片
namenode的元数据是缓存在自己身上的，secondarynamenode辅助管理

datanode经常需要汇报给老大namenode

一个大文件，一般有3个副本
Hadoop原理，HDFS架构，MapReduce原理_第64张图片

HDFS写原理

Hadoop原理，HDFS架构，MapReduce原理_第65张图片
client客户端的操作

Hadoop原理，HDFS架构，MapReduce原理_第66张图片
分步骤玩
Hadoop原理，HDFS架构，MapReduce原理_第67张图片

1：客户端发出RPC，请求上传文件
2：nn检查元数据文件的目录树
3：告诉客户端，可以上传
4：上传请求第一个block，一共3个
5：每个block是要3个副本的，nn需要检查dn的信息池，查他的存储量和可用性，找到可用的list，即可用的副本
6：返回可用的datanode可用的列表，dn123
7：客户端收到了列表之后，他就知道存到哪里了，他需要和服务器之间建立pipeline管道，且dn1和dn2之间也要建立管道，dn2和dn3都要建立，这样的话，数据流通道搞出来了，当客户端一旦发送，就能同时发送哦
8：当管道建立好后，返回管道建立完毕的信息，相当于ack，tcp协议连接类似
9：就可以发送了，建立传输数据流，发送数据
10：以package包为单位，慢慢发，64k大小，dn1发送诶dn2，dn2发送给dn3
11：发送完毕，告诉前面确认好了，ack确认信息
12：通知客户端，block发送完毕，请求发送下一个block，以此循环发

懂了吧

HDFS读数据的原理

Hadoop原理，HDFS架构，MapReduce原理_第68张图片
1：客户端发RPC请求，获取读取文件block数据所在的位置，往往1文件，是分成了多个block，而且分散存储在不同的服务器上的
2：nn返回block返回datanode的地址列表，比如dn1，dn2，dn3上都有副本
3：当客户端知道了地址，他直接挑选排序靠前的地址列表，距离自己比较近的那个节点，它还能挑选健康的服务器，比如挑选，然后建立通信管道，分别读取，并发读取哦。每次读完，那客户端都要完成校验，发现不完整，还需要从新问nn；
4：读取完成，合成一个完整的文件
Hadoop原理，HDFS架构，MapReduce原理_第69张图片

HDFS的shell操作

Hadoop原理，HDFS架构，MapReduce原理_第70张图片
Hadoop原理，HDFS架构，MapReduce原理_第71张图片
Hadoop原理，HDFS架构，MapReduce原理_第72张图片
Hadoop原理，HDFS架构，MapReduce原理_第73张图片
Hadoop原理，HDFS架构，MapReduce原理_第74张图片
Hadoop原理，HDFS架构，MapReduce原理_第75张图片
/根目录
Hadoop fs -ls /目录
这种特定的命令

在这里插入图片描述
这种就是普通Linux之前加一个Hadoop fs
或者dfs fs

Hadoop原理，HDFS架构，MapReduce原理_第76张图片
本地路径，目标路径

Hadoop原理，HDFS架构，MapReduce原理_第77张图片

MapReduce分布式计算框架

Hadoop原理，HDFS架构，MapReduce原理_第78张图片
Hadoop原理，HDFS架构，MapReduce原理_第79张图片
HDFS是存储
MapReduce是计算

懂?
yarn是管理
分而治之——MapReduce

Hadoop原理，HDFS架构，MapReduce原理_第80张图片
map
reduce

Hadoop原理，HDFS架构，MapReduce原理_第81张图片
Hadoop原理，HDFS架构，MapReduce原理_第82张图片
Hadoop原理，HDFS架构，MapReduce原理_第83张图片
Hadoop原理，HDFS架构，MapReduce原理_第84张图片
Hadoop原理，HDFS架构，MapReduce原理_第85张图片
Hadoop原理，HDFS架构，MapReduce原理_第86张图片
在这里插入图片描述Hadoop原理，HDFS架构，MapReduce原理_第87张图片在这里插入图片描述
Hadoop原理，HDFS架构，MapReduce原理_第88张图片
Hadoop原理，HDFS架构，MapReduce原理_第89张图片

map和reduce内部如何合作

Hadoop原理，HDFS架构，MapReduce原理_第90张图片
Hadoop原理，HDFS架构，MapReduce原理_第91张图片
Hadoop原理，HDFS架构，MapReduce原理_第92张图片
格式化，结构化
Hadoop原理，HDFS架构，MapReduce原理_第93张图片
Hadoop原理，HDFS架构，MapReduce原理_第94张图片
在这里插入图片描述
Hadoop原理，HDFS架构，MapReduce原理_第95张图片
Hadoop原理，HDFS架构，MapReduce原理_第96张图片

maptask

Hadoop原理，HDFS架构，MapReduce原理_第97张图片
Hadoop原理，HDFS架构，MapReduce原理_第98张图片
Hadoop原理，HDFS架构，MapReduce原理_第99张图片
在这里插入图片描述

Hadoop原理，HDFS架构，MapReduce原理_第100张图片

reducetask

Hadoop原理，HDFS架构，MapReduce原理_第101张图片Hadoop原理，HDFS架构，MapReduce原理_第102张图片
Hadoop原理，HDFS架构，MapReduce原理_第103张图片

shuffle工作原理

Hadoop原理，HDFS架构，MapReduce原理_第104张图片
Hadoop原理，HDFS架构，MapReduce原理_第105张图片
Hadoop原理，HDFS架构，MapReduce原理_第106张图片
Hadoop原理，HDFS架构，MapReduce原理_第107张图片
Hadoop原理，HDFS架构，MapReduce原理_第108张图片
Hadoop原理，HDFS架构，MapReduce原理_第109张图片
Hadoop原理，HDFS架构，MapReduce原理_第110张图片
Hadoop原理，HDFS架构，MapReduce原理_第111张图片
blocksize最重要
在这里插入图片描述
Hadoop原理，HDFS架构，MapReduce原理_第112张图片
Hadoop原理，HDFS架构，MapReduce原理_第113张图片
Hadoop原理，HDFS架构，MapReduce原理_第114张图片
Hadoop原理，HDFS架构，MapReduce原理_第115张图片
Hadoop原理，HDFS架构，MapReduce原理_第116张图片
new一个text和int就是kv

Hadoop原理，HDFS架构，MapReduce原理_第117张图片
Hadoop原理，HDFS架构，MapReduce原理_第118张图片

Hadoop原理，HDFS架构，MapReduce原理_第119张图片
Hadoop原理，HDFS架构，MapReduce原理_第120张图片
Hadoop原理，HDFS架构，MapReduce原理_第121张图片
Hadoop原理，HDFS架构，MapReduce原理_第122张图片

在这里插入图片描述
Hadoop原理，HDFS架构，MapReduce原理_第123张图片
k想通，哈希值就相同

就是分区的编号，根key个数相同
Hadoop原理，HDFS架构，MapReduce原理_第124张图片
Hadoop原理，HDFS架构，MapReduce原理_第125张图片
Hadoop原理，HDFS架构，MapReduce原理_第126张图片
Hadoop原理，HDFS架构，MapReduce原理_第127张图片
Hadoop原理，HDFS架构，MapReduce原理_第128张图片
Hadoop原理，HDFS架构，MapReduce原理_第129张图片
Hadoop原理，HDFS架构，MapReduce原理_第130张图片
在这里插入图片描述

Hadoop原理，HDFS架构，MapReduce原理_第131张图片

MapReduce的运行模式

Hadoop原理，HDFS架构，MapReduce原理_第132张图片
Hadoop原理，HDFS架构，MapReduce原理_第133张图片
输入输出
key123各种格式

Hadoop原理，HDFS架构，MapReduce原理_第134张图片

MapReduce的性能优化

在这里插入图片描述
Hadoop原理，HDFS架构，MapReduce原理_第135张图片Hadoop原理，HDFS架构，MapReduce原理_第136张图片
Hadoop原理，HDFS架构，MapReduce原理_第137张图片
Hadoop原理，HDFS架构，MapReduce原理_第138张图片
Hadoop原理，HDFS架构，MapReduce原理_第139张图片
Hadoop原理，HDFS架构，MapReduce原理_第140张图片

总结

提示：重要经验：

1）
2）学好oracle，即使经济寒冬，整个测开offer绝对不是问题！同时也是你考公网络警察的必经之路。
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。

你可能感兴趣的:(国考,数据挖掘,hadoop,hdfs,架构,MapReduce,国考网警)

  • anythingLLM 使用教程 惟贤箬溪 穷玩AiAIGC人工智能
    一、anythingLLM简介anythingLLM是一款灵活且功能强大的语言模型，它基于先进的深度学习架构构建，旨在为用户提供多样化的自然语言处理服务。其设计理念注重通用性和可扩展性，能够适应多种领域和任务，无论是文本生成、智能问答，还是翻译、摘要提取等，都能展现出出色的性能。与同类模型相比，anythingLLM具有训练数据丰富、模型优化程度高的优势，能够生成更符合逻辑、更具实用性的文本内容。
  • HDFS相关的面试题 努力的搬砖人. java面试hdfs
    以下是150道HDFS相关的面试题，涵盖了HDFS的基本概念、架构、操作、数据存储、高可用性、权限管理、性能优化、容错机制、与MapReduce的结合、安全性、数据压缩、监控与管理、与YARN的关系、数据一致性、数据备份与恢复等方面，希望对你有所帮助。HDFS基本概念1.HDFS是什么？它的设计目标是什么？•HDFS是Hadoop分布式文件系统，设计目标是实现对大规模数据的高吞吐量访问，适用于一次
  • Flink相关面试题 努力的搬砖人. 面试java后端flink
    以下是150道ApacheFlink面试题及其详细回答，涵盖了Flink的基础知识、核心架构、API使用、性能调优等多个方面，每道题目都尽量详细且简单易懂：Flink基础概念类1.什么是ApacheFlink？ApacheFlink是一个开源的流处理和批处理框架，能够实现快速、可靠、可扩展的大数据处理。它既可以处理无界的数据流，也可以处理有界的数据批，提供了低延迟和高吞吐量的实时数据处理能力。Fl
  • 基于Azure云平台构建实时数据仓库 weixin_30777913 云计算azure开发语言sparkpython
    设计Azure云架构方案实现AzureDeltaLake和AzureDatabricks，结合电商网站的流数据，构建实时数据仓库，支持T+0报表（如电商订单分析），具以及具体实现的详细步骤和关键PySpark代码。一、架构设计[电商网站]→[AzureEventHubs]→[AzureDatabricksStreaming]↓[AzureDeltaLake]←→[DatabricksSQLAnal
  • FastAPI 最佳架构项目推荐 穆耀双
    FastAPI最佳架构项目推荐fastapi_best_architectureFastAPIbasedontheconstructionofthefrontandbackoftheseparationofrightscontrolsystem,usingauniquepseudothree-tierarchitecturemodeldesign,andasatemplatelibraryfree
  • 推荐开源项目：FastAPI Best Architecture — 极致的后端架构设计 蓬玮剑
    推荐开源项目：FastAPIBestArchitecture—极致的后端架构设计项目地址:https://gitcode.com/gh_mirrors/fa/fastapi_best_architecture项目简介在寻找一款基于FastAPI构建的强大且灵活的后端解决方案吗？那么，你已经找到了——FastAPIBestArchitecture。这是一个遵循前端与后端分离原则的中间件层解决方案，采
  • Python技术全景解析：从基础到前沿的深度探索 靠近彗星 python开发语言性能优化个人开发极限编程
    目录一、Python为何成为开发者首选？1.核心优势矩阵2.性能进化史二、Python核心应用领域1.数据科学黄金三角2.AI开发新范式三、现代Python进阶技巧1.类型提示革命2.异步编程实战四、Python工程化实践1.现代项目架构2.性能优化矩阵五、Python未来生态展望1.前沿技术融合2.性能革命六、学习路线图1.技能成长路径基础阶段（1-3月）专业方向（3-6月）深度进阶（6-12月
  • 嵌入式硬件篇---蓝牙模块 Ronin-Lotus 嵌入式硬件篇程序代码篇嵌入式硬件网络c蓝牙
    文章目录前言一、核心技术原理蓝牙工作流程设备发现阶段配对连接阶段数据传输阶段二、协议栈架构（以BLE为例）1.物理层2.链路层3.HCI层4.GATT三、典型应用场景扩展1.室内定位系统（蓝牙5.1+）2.运动健康监测3.工业控制四、ESP32开发示例（BLE+经典蓝牙）1.环境配置2.BLE服务端代码3.经典蓝牙串口通信五、关键技术参数对比六、开发调试技巧空中抓包分析七、最新技术演进（蓝牙5.4
  • 【架构设计】前置知识 GIS程序媛—椰子 架构设计架构设计
    架构设计是软件开发的进阶技能，需要结合理论知识和实践经验。以下是掌握架构设计所需的前置知识及其重要性，以及学习路径建议：一、基础编程能力1.编程语言与核心概念掌握至少一门主流语言（如Java、Python、C#、Go等），理解其语法、特性及生态。核心概念：面向对象（OOP）、函数式编程（FP）、并发/异步、内存管理等。示例：通过Java理解接口、多态、设计模式。通过Go学习并发模型（Gorouti
  • 存储系统怎么选？分布式存储vs.集中式存储的区别在哪？ 东方念 分布式
    在当今的数字化时代，安防监控已成为维护社会秩序和公共安全的重要手段。随着监控设备的普及和监控数据的不断增加，如何高效、安全地存储和管理这些视频数据，成为了安防行业面临的重要挑战。EasyCVR视频存储系统凭借其卓越的性能和灵活的架构，为安防行业提供了一个理想的解决方案。一、EasyCVR视频监控存核心优势EasyCVR视频汇聚平台是一个具备高度集成化、智能化的视频监控汇聚管理平台，拥有远程视频监控
  • HarmonyOS Next 安全机制深度剖析 SameX-4869 harmonyos华为
    本文旨在深入探讨华为鸿蒙HarmonyOSNext系统（截止目前API12）的安全机制相关技术细节，基于实际开发实践进行总结。主要作为技术分享与交流载体，难免错漏，欢迎各位同仁提出宝贵意见和问题，以便共同进步。本文为原创内容，任何形式的转载必须注明出处及原作者。第一章：安全体系架构一、整体架构介绍HarmonyOSNext的安全体系架构犹如一座坚固的城堡，从多个层面为系统和应用提供全方位的保护。它
  • Q&A: 设计数据备份方案时，所面临的需求痛点问题是共性问题还是个性问题 云祺vinchin 技术分享网络安全数据安全web安全容灾
    在设计数据备份方案时，企业所面临的需求痛点和挑战既包含了行业普遍存在的共性难题，也涵盖了企业自身独特的个性化需求。在我国信息化建设快速发展的背景下，灾备行业的整体发展水平相较于信息化程度仍显不足，尤其是在灾备覆盖率和技术成熟度方面存在较大提升空间。具体而言，以下几点是行业内普遍面临的挑战：1、技术兼容性问题：不同企业的IT架构差异较大，导致备份软件在兼容性上存在一定的局限性。例如，虚拟机、操作系统
  • 基于Linux的多进程并发服务器设计与实现 名誉寒冰 服务器linuxc++
    基于Linux的多进程并发服务器设计与实现简介本项目实现了一个基于Linux的多进程并发服务器框架，采用进程池技术提高服务器并发处理能力，主要用于文件传输服务。该框架利用了Unix域套接字、管道通信、文件描述符传递和epoll机制等技术，实现了高效的任务分发和并发处理。系统架构该服务器采用主-从进程模型（Master-Worker模式）：主进程（Master进程）：负责监听客户端连接请求，并将连接
  • Q&A：备份产品的存储架构采用集中式和分布式的优劣？ 云祺vinchin 技术分享架构分布式网络运维大数据
    分布式和集中式各有优劣，且这两者下面的存储类型也都不尽相同，从备份与恢复的数据层面来看，这两者存储相结合才是优解。众所周知，备份数据只存一份还只放在一个存储里是不现实的。假设把备份数据访问频率、生命周期等参数分为三个等级（热、温、冷）。很显然，以分布式存储的优点用来存放热备份数据是非常合适的，能满足大规模数据在备份与恢复时的高吞吐需求，同时也能提供并行计算的能力，提供高效的目标端数据压缩和数据重删
  • 前端面试 请叫我子鱼 编程语言笔试面试程序员webinterview
    前端面试之道JS基础知识点及常考面试题原始（Primitive）类型面试题：原始类型有哪几种？null是对象嘛？在JS中，存在着6种原始值，分别是：booleannullundefinednumberstringsymbol首先原始类型存储的都是值，是没有函数可以调用的对象（Object）类型面试题：对象类型和原始类型的不同之处？函数参数是对象会发生什么问题？在JS中，除了原始类型那么其他的都是对
  • hadoop3.x--搭建hadoop高可用集群（HA模式） 运维小菜 hadoophadoophdfs
    hadoop高可用集群（HA模式）一、安装前1.集群规划2.安装前配置3.安装jdk与hadoop4.克隆虚拟机与互信配置5.搭建zookeeper集群二、HDFS1.配置hdfs2.初始化启动hdfs集群三、MapReduce与Yarn1.配置MapReduce2.配置yarn3.启动yarn四、验证1.查看java进程2.hdfs与yarn前台页面一、安装前1.集群规划hostnameipNN
  • LLMs之minimind：minimind源码解读(pretrain.py)——实现基于Transformer架构的大规模语言模型预训练及wandb监控—支持余弦退火学习率调度/分布式预训练/自动混 一个处女座的程序猿 NLP/LLMsCaseCodetransformerminimind预训练
    LLMs之minimind：minimind源码解读(pretrain.py)——实现基于Transformer架构的大规模语言模型预训练及wandb监控—支持余弦退火学习率调度/分布式预训练/自动混合精度优化/梯度累积/梯度裁剪/定期保存模型目录minimind源码解读(pretrain.py)——实现基于Transformer架构的大规模语言模型预训练及wandb监控—支持余弦退火学习率调度/
  • 模型部署后的版本回滚策略，如何确保服务降级的平滑性？ 百态老人 neo4j
    模型部署版本回滚策略与平滑服务降级技术体系（2025版）一、核心设计原则与架构模型部署回滚的平滑性需建立在版本隔离性、流量可控性、数据兼容性三大支柱上，结合2025年前沿技术实现多维保障：
  • ARM架构薄记小记1——ARM架构的快速介绍 charlie114514191 嵌入式面试笔记整理计算机架构学习从0开始的学习ARMv7aIMX6ULL芯片arm开发架构
    ARM架构薄记小记1——ARM架构的快速介绍笔者最近正在简单的了解一下ARM架构，特别是ARMCortexA架构的部分，这里，笔者想要薄记的问题有这样一些，也算是简单记录一下自己学习ARM架构的记录。问题1：ARM架构的历史是如何的，以此我们可以洞察ARM架构设计的一些动机问题2：我们知道，ARM架构中常见的架构是ARMv7到ARMv9，这些架构有发生怎样的变化？每一个架构的一些纲领性的东西是什么
  • 关于AI OS那点事 大囚长 科普天地大模型人工智能
    AIOS（人工智能操作系统）作为面向智能时代的操作系统，其功能定位和架构设计与传统操作系统（如Linux、Windows、iOS等）存在显著差异。一、AIOS需具备的核心功能智能体全生命周期管理智能体调度与并发：需支持多智能体任务的优先级排序、资源分配及并发执行，例如通过轮询调度或动态优先级算法优化LLM资源利用率。上下文感知与切换：通过上下文管理器实现智能体交互状态的快照保存与恢复，解决LLM生
  • 跨境出海必看：IPv6代理平台访问限制？如何解决？ 跨境一哥 跨境电商网络
    一、跨境业务为何频繁遭遇IPv6访问限制？尽管IPv6协议自1998年诞生以来已逐步普及，但截至2023年全球IPv6采用率仅约40%。部分海外平台由于以下原因尚未完全支持IPv6：基础设施升级成本高：改造整套网络架构需数百万美元投入，部分云服务、支付平台等未适配IPv6，无法通过IPv6访问。网络配置管理层面：IPv6地址分配管理复杂，跨境业务涉及多方，易出现地址冲突或错误配置。复杂拓扑下，设备
  • 摄影工作室预约管理系统基于Spring BootSSM QQ1978519681计算机程序 springboot后端java毕业设计计算机毕设
    目录摘要一、系统架构二、功能模块2.1用户管理模块2.2摄影师管理模块2.3预约管理模块2.4商品管理模块2.5管理员管理模块三.数据库设计四.技术栈五.安全性与性能六.用户界面与体验七.扩展性与可维护性摘要在数字化与信息化飞速发展的当下，人们的生活节奏日益加快，对于各类服务便捷性、高效性的需求也愈发强烈。摄影服务作为记录生活美好瞬间、留存珍贵回忆的重要方式，深受大众喜爱。然而，传统的摄影工作室预
  • 【二、DeepSeek应用场景与案例】10.农业智能化：DeepSeek如何助力精准种植与养殖？ 代码世界的浪客 人工智能DeepSeek
    一、引言1.1农业智能化的时代背景在全球人口持续增长的大趋势下，粮食需求正以前所未有的速度攀升。据联合国相关预测，到2050年，全球人口有望突破90亿，这无疑给本就压力重重的农业生产带来了更为艰巨的挑战，保障充足的粮食供应成为了迫在眉睫的任务。与此同时，资源短缺问题日益尖锐，耕地面积因城市化进程、土地退化等因素不断缩减，水资源分布不均且浪费严重，进一步加剧了农业生产的困境。根据世界银行的数据，过去
  • 在Spring Boot中集成分布式任务调度 微赚淘客机器人开发者联盟@聚娃科技 springboot分布式后端
    在SpringBoot中集成分布式任务调度大家好，我是微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！1.引言分布式任务调度是现代企业应用中常见的需求，特别是在微服务架构中，不同服务可能需要定时执行任务、定时触发某些业务逻辑或者周期性地处理数据。SpringBoot提供了多种方式来实现分布式任务调度，包括使用Quartz、Spring自带的任务调度以及集成第三方调度中心等。2.使
  • 网络安全-黑客攻击 刘林锋blog 网络规划设计师信息安全安全网络
    基本知识黑客（Hacker）、骇客（Cracker）攻击，需要进行信息收集和根据需求选择攻击方式。信息收集攻击的效果和对目标的了解程度有着直接的相关性。因此信息收集在攻击过程中占据着头等重要的位置，包括财务数据、硬件配置、人员结构、网络架构和整体利益等诸多方面。主要方式如下：网络监测。一些监测网络中计算机漏洞的工具，包括嗅探应用软件，能在计算机内部或通过网络来捕捉传输过程中的密码等数据信息。社会工
  • 高效利用AI处理大型编程任务 大囚长 大模型人工智能
    在大型编程任务中，通过将任务细分为适合AI上下文处理能力的子任务并整合生成目标应用，已成为当前AI辅助开发的主流方法。一、任务分解的核心策略模块化功能拆分通过分层架构设计将系统拆分为独立模块（如用户认证、支付接口、数据存储），每个模块的代码量控制在AI模型的上下文窗口内（如ClaudeMax的200k窗口可处理约2万行代码）。例如开发电商系统时，可分解为「购物车逻辑」「库存管理」「订单流水」等子模
  • 解释CALL_FORM,NEW_FORM和OPEN_FORM之间有什么区别？思维导图 代码示例（java 架构) 用心去追梦 java架构开发语言
    CALL_FORM,NEW_FORM和OPEN_FORM之间的区别在OracleForms中，CALL_FORM、NEW_FORM和OPEN_FORM是用于管理和启动表单的不同命令。每个命令的行为和用途都有所不同，理解它们的区别对于正确构建和管理Forms应用程序非常重要。1.CALL_FORM定义：调用并运行另一个表单，但不会关闭当前表单。被调用的表单以模式对话框的形式显示，即用户必须完成或取消
  • 鸿蒙开发工程师简历项目撰写全攻略 谢道韫689 鸿蒙随笔harmonyos华为
    一、项目结构的黄金法则建议采用「4+1」结构：项目背景（业务价值）+技术架构（鸿蒙特性）+核心实现（技术难点）+个人贡献（量化成果）+附加价值（延伸影响）二、鸿蒙特色技术点提炼技巧鸿蒙核心技术技术维度具体实现案例量化成果示例分布式软总线自定义协议实现家电设备低功耗连接连接成功率从89%提升至97%ArkUI框架基于TS扩展实现动态UI模板引擎开发效率提升40%，代码量减少60%原子化服务实现天气服
  • 我要写整个中文互联网界最牛逼的JVM系列教程 | 「JVM与Java体系架构」章节：JVM的生命周期 李阿昀 只要你有心人人都是JVM精通者jvmjava架构
    这一讲，我们就来好好谈一谈JVM的生命周期。JVM的生命周期大家做了这么久的开发，应该知道很多的结构其实都有其生命周期吧！而关于JVM的生命周期，这里我们则主要讲述它的三个状态，即虚拟机的启动、虚拟机的执行以及虚拟机的退出，这也是一个结构的生命周期最起码应该具备的三个状态——开始、运行、结束。这就像哲学里面讨论的终极问题一样，我是谁？我从哪里来？我将到哪里去？其实，我觉得先提出我是谁这个问题不太合
  • 网页版 123 分身数字人源码搭建，OEM贴牌 18538162800=余 音视频矩阵
    在数字化时代的浪潮下，数字人技术蓬勃发展，网页版123分身数字人源码搭建为众多开发者和企业提供了实现个性化数字人应用的可能。本文将深入探讨其技术开发过程，从底层架构到关键技术实现，全方位解析如何构建一个功能强大的网页版数字人系统。技术架构设计前端展示层HTML5与CSS3：构建数字人的可视化界面，实现流畅的动画效果和交互元素。利用CSS3的过渡、动画属性，为数字人的动作、表情变化提供细腻的视觉呈现
  • html 周华华 html
    js 1，数组的排列 var arr=[1,4,234,43,52,]; for(var x=0;x<arr.length;x++){    for(var y=x-1;y<arr.length;y++){      if(arr[x]<arr[y]){     &
  • 【Struts2 四】Struts2拦截器 bit1129 struts2拦截器
    Struts2框架是基于拦截器实现的，可以对某个Action进行拦截，然后某些逻辑处理，拦截器相当于AOP里面的环绕通知，即在Action方法的执行之前和之后根据需要添加相应的逻辑。事实上，即使struts.xml没有任何关于拦截器的配置，Struts2也会为我们添加一组默认的拦截器，最常见的是，请求参数自动绑定到Action对应的字段上。   Struts2中自定义拦截器的步骤是：
  • make:cc 命令未找到解决方法 daizj linux命令未知make cc
    安装rz sz程序时，报下面错误：   [root@slave2 src]# make posix cc   -O -DPOSIX -DMD=2 rz.c -o rz make: cc：命令未找到 make: *** [posix] 错误 127   系统：centos 6.6 环境：虚拟机   错误原因：系统未安装gcc，这个是由于在安
  • Oracle之Job应用 周凡杨 oracle job
    最近写服务，服务上线后，需要写一个定时执行的SQL脚本，清理并更新数据库表里的数据，应用到了Oracle 的 Job的相关知识。在此总结一下。   一：查看相关job信息    1、相关视图  dba_jobs  all_jobs  user_jobs  dba_jobs_running 包含正在运行
  • 多线程机制 朱辉辉33 多线程
    转至http://blog.csdn.net/lj70024/archive/2010/04/06/5455790.aspx 程序、进程和线程： 程序是一段静态的代码，它是应用程序执行的蓝本。进程是程序的一次动态执行过程，它对应了从代码加载、执行至执行完毕的一个完整过程，这个过程也是进程本身从产生、发展至消亡的过程。线程是比进程更小的单位，一个进程执行过程中可以产生多个线程，每个线程有自身的
  • web报表工具FineReport使用中遇到的常见报错及解决办法（一） 老A不折腾 web报表finereportjava报表报表工具
    FineReport使用中遇到的常见报错及解决办法（一） 这里写点抛砖引玉，希望大家能把自己整理的问题及解决方法晾出来，Mark一下，利人利己。   出现问题先搜一下文档上有没有，再看看度娘有没有，再看看论坛有没有。有报错要看日志。下面简单罗列下常见的问题，大多文档上都有提到的。   1、address pool is full： 含义：地址池满，连接数超过并发数上
  • mysql rpm安装后没有my.cnf 林鹤霄 没有my.cnf
    Linux下用rpm包安装的MySQL是不会安装/etc/my.cnf文件的， 至于为什么没有这个文件而MySQL却也能正常启动和作用，在这儿有两个说法， 第一种说法，my.cnf只是MySQL启动时的一个参数文件，可以没有它，这时MySQL会用内置的默认参数启动， 第二种说法，MySQL在启动时自动使用/usr/share/mysql目录下的my-medium.cnf文件，这种说法仅限于r
  • Kindle Fire HDX root并安装谷歌服务框架之后仍无法登陆谷歌账号的问题 aigo root
    原文：http://kindlefireforkid.com/how-to-setup-a-google-account-on-amazon-fire-tablet/   Step 4: Run ADB command from your PC   On the PC, you need install Amazon Fire ADB driver and instal
  • javascript 中var提升的典型实例 alxw4616 JavaScript
    // 刚刚在书上看到的一个小问题,很有意思.大家一起思考下吧 myname = 'global'; var fn = function () { console.log(myname); // undefined var myname = 'local'; console.log(myname); // local }; fn() // 上述代码实际上等同于以下代码 m
  • 定时器和获取时间的使用 百合不是茶 时间的转换定时器
    定时器:定时创建任务在游戏设计的时候用的比较多   Timer();定时器 TImerTask();Timer的子类  由 Timer 安排为一次执行或重复执行的任务。       定时器类Timer在java.util包中。使用时，先实例化，然后使用实例的schedule(TimerTask task, long delay)方法，设定
  • JDK1.5 Queue bijian1013 javathreadjava多线程Queue
    JDK1.5 Queue LinkedList： LinkedList不是同步的。如果多个线程同时访问列表，而其中至少一个线程从结构上修改了该列表，则它必须 保持外部同步。（结构修改指添加或删除一个或多个元素的任何操作；仅设置元素的值不是结构修改。）这一般通过对自然封装该列表的对象进行同步操作来完成。如果不存在这样的对象，则应该使用 Collections.synchronizedList 方
  • http认证原理和https bijian1013 httphttps
    一.基础介绍         在URL前加https://前缀表明是用SSL加密的。 你的电脑与服务器之间收发的信息传输将更加安全。         Web服务器启用SSL需要获得一个服务器证书并将该证书与要使用SSL的服务器绑定。 http和https使用的是完全不同的连接方式，用的端口也不一样,前者是80，后
  • 【Java范型五】范型继承 bit1129 java
    定义如下一个抽象的范型类，其中定义了两个范型参数，T1，T2   package com.tom.lang.generics; public abstract class SuperGenerics<T1, T2> { private T1 t1; private T2 t2; public abstract void doIt(T
  • 【Nginx六】nginx.conf常用指令(Directive) bit1129 Directive
    1. worker_processes    8; 表示Nginx将启动8个工作者进程，通过ps -ef|grep nginx,会发现有8个Nginx Worker Process在运行   nobody 53879 118449 0 Apr22 ? 00:26:15 nginx: worker process
  • lua 遍历Header头部 ronin47 lua header 遍历　
    local headers = ngx.req.get_headers()   ngx.say("headers begin", "<br/>")   ngx.say("Host : ", he
  • java-32.通过交换a,b中的元素，使[序列a元素的和]与[序列b元素的和]之间的差最小(两数组的差最小)。 bylijinnan java
    import java.util.Arrays; public class MinSumASumB { /** * Q32.有两个序列a,b，大小都为n,序列元素的值任意整数，无序. * * 要求：通过交换a,b中的元素，使[序列a元素的和]与[序列b元素的和]之间的差最小。 * 例如: * int[] a = {100,99,98,1,2,3
  • redis 开窍的石头 redis
    在redis的redis.conf配置文件中找到# requirepass foobared 把它替换成requirepass 12356789 后边的12356789就是你的密码 打开redis客户端输入config get requirepass 返回 redis 127.0.0.1:6379> config get requirepass 1) "require
  • [JAVA图像与图形]现有的GPU架构支持JAVA语言吗？ comsci java语言
          无论是opengl还是cuda，都是建立在C语言体系架构基础上的，在未来，图像图形处理业务快速发展，相关领域市场不断扩大的情况下，我们JAVA语言系统怎么从这么庞大，且还在不断扩大的市场上分到一块蛋糕，是值得每个JAVAER认真思考和行动的事情       
  • 安装ubuntu14.04登录后花屏了怎么办 cuiyadll ubuntu
    这个情况，一般属于显卡驱动问题。 可以先尝试安装显卡的官方闭源驱动。 按键盘三个键：CTRL + ALT  +  F1 进入终端，输入用户名和密码登录终端： 安装amd的显卡驱动 sudo  apt-get  install  fglrx 安装nvidia显卡驱动 sudo  ap
  • SSL 与 数字证书 的基本概念和工作原理 darrenzhu 加密ssl证书密钥签名
    SSL 与 数字证书 的基本概念和工作原理 http://www.linuxde.net/2012/03/8301.html SSL握手协议的目的是或最终结果是让客户端和服务器拥有一个共同的密钥，握手协议本身是基于非对称加密机制的，之后就使用共同的密钥基于对称加密机制进行信息交换。 http://www.ibm.com/developerworks/cn/webspher
  • Ubuntu设置ip的步骤 dcj3sjt126com ubuntu
    在单位的一台机器完全装了Ubuntu Server，但回家只能在XP上VM一个，装的时候网卡是DHCP的，用ifconfig查了一下ip是192.168.92.128,可以ping通。 转载不是错： Ubuntu命令行修改网络配置方法 /etc/network/interfaces打开后里面可设置DHCP或手动设置静态ip。前面auto eth0，让网卡开机自动挂载. 1. 以D
  • php包管理工具推荐 dcj3sjt126com PHPComposer
    http://www.phpcomposer.com/   Composer是 PHP 用来管理依赖（dependency）关系的工具。你可以在自己的项目中声明所依赖的外部工具库（libraries），Composer 会帮你安装这些依赖的库文件。 中文文档  入门指南  下载  安装包列表 Composer 中国镜像
  • Gson使用四（TypeAdapter） eksliang jsongsonGson自定义转换器gsonTypeAdapter
    转载请出自出处：http://eksliang.iteye.com/blog/2175595 一.概述        Gson的TypeAapter可以理解成自定义序列化和返序列化 二、应用场景举例        例如我们通常去注册时（那些外国网站），会让我们输入firstName，lastName,但是转到我们都
  • JQM控件之Navbar和Tabs gundumw100 htmlxmlcss
    在JQM中使用导航栏Navbar是简单的。 只需要将data-role="navbar"赋给div即可： <div data-role="navbar"> <ul> <li><a href="#" class="ui-btn-active&qu
  • 利用归并排序算法对大文件进行排序 iwindyforest java归并排序大文件分治法Merge sort
      归并排序算法介绍，请参照Wikipeida zh.wikipedia.org/wiki/%E5%BD%92%E5%B9%B6%E6%8E%92%E5%BA%8F 基本思想： 大文件分割成行数相等的两个子文件，递归（归并排序）两个子文件，直到递归到分割成的子文件低于限制行数 低于限制行数的子文件直接排序 两个排序好的子文件归并到父文件 直到最后所有排序好的父文件归并到输入
  • iOS UIWebView URL拦截 啸笑天 UIWebView
    本文译者：candeladiao，原文：URL filtering for UIWebView on the iPhone说明：译者在做app开发时，因为页面的javascript文件比较大导致加载速度很慢，所以想把javascript文件打包在app里，当UIWebView需要加载该脚本时就从app本地读取，但UIWebView并不支持加载本地资源。最后从下文中找到了解决方法，第一次翻译，难免有
  • 索引的碎片整理SQL语句 macroli sql
    SET NOCOUNT ON DECLARE @tablename VARCHAR (128) DECLARE @execstr VARCHAR (255) DECLARE @objectid INT DECLARE @indexid INT DECLARE @frag DECIMAL DECLARE @maxfrag DECIMAL --设置最大允许的碎片数量,超过则对索引进行碎片
  • Angularjs同步操作http请求with $promise qiaolevip 每天进步一点点学习永无止境AngularJS纵观千象
    // Define a factory app.factory('profilePromise', ['$q', 'AccountService', function($q, AccountService) { var deferred = $q.defer(); AccountService.getProfile().then(function(res) {
  • hibernate联合查询问题 sxj19881213 sqlHibernateHQL联合查询
    最近在用hibernate做项目，遇到了联合查询的问题，以及联合查询中的N+1问题。 针对无外键关联的联合查询，我做了HQL和SQL的实验，希望能帮助到大家。（我使用的版本是hibernate3.3.2）   1 几个常识：  （1）hql中的几种join查询，只有在外键关联、并且作了相应配置时才能使用。  （2）hql的默认查询策略，在进行联合查询时，会产
  • struts2.xml wuai struts
    <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configuration 2.3//EN" "http://struts.apache
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他