u013250861
u013250861

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】

 

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第1张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第2张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第3张图片

一、Motivating examples 

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第4张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第5张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第6张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第7张图片

二、最优策略/optimal policy

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第8张图片

三、贝尔曼最优公式【Bellman Optimality Equation】

1、贝尔曼公式/Bellman Equation

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第9张图片

2、贝尔曼最优公式/Bellman Optimality Equation

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第10张图片

对于贝尔曼公式来说，求解state value时是依赖于一个给定的π；

对于贝尔曼最优公式来说，π是不定的，是需要求解的参数；

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第11张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第12张图片

3、压缩映射定理【Contraction mapping theorem】

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第13张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第14张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第15张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第16张图片

4、求解贝尔曼最优公式

4.1 最大化贝尔曼最优公式右侧

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第17张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第18张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第19张图片

4.2 解贝尔曼最优公式

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第20张图片

4.3 应用“压缩映射定理”解贝尔曼最优公式

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第21张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第22张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第23张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第24张图片

4.4 案例：求解贝尔曼最优公式

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第25张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第26张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第27张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第28张图片

四、最优策略/Optimal Policy

贝尔曼最优公式是一个特殊的贝尔曼公式。

贝尔曼最优公式对应的策略是最优策略。

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第29张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第30张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第31张图片

五、最优策略的决定因素

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第32张图片

当γ比较大时，会比较远视，得到的return中远期的reward比重会相对大一些；

当γ比较小时，会比较短视，得到的return中近期的reward权重会相对大一些；

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第33张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第34张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第35张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第36张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第37张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第38张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第39张图片

在设计reward的时候，即使将默认r设计为0，也不会绕远路，因为除了r来约束不要绕远路，γ的存在也会限制不会绕远路，因为越绕远路，得到的reward越晚，最后计算得到的return越小。

【强化学习的数学原理】课程：从零开始到透彻理解（完结）_哔哩哔哩_bilibili

GitHub - MathFoundationRL/Book-Mathmatical-Foundation-of-Reinforcement-Learning: This is the homepage of a new book entitled "Mathematical Foundations of Reinforcement Learning."

你可能感兴趣的:(强化学习)

  • 《Natural Actor-Critic》译读笔记 songyuc 笔记
    《NaturalActor-Critic》摘要本文提出了一种新型的强化学习架构，即自然演员-评论家（NaturalActor-Critic）。Theactor的更新通过使用Amari的自然梯度方法进行策略梯度的随机估计来实现，而评论家则通过线性回归同时获得自然策略梯度和价值函数的附加参数。本文展示了使用自然策略梯度的actor改进特别有吸引力，因为这些梯度与所选策略表示的坐标框架无关，并且比常规策
  • LLM Weekly（2025.02.17-02.23） UnknownBody LLMDailyLLMWeekly人工智能自然语言处理
    本文是LLM系列文章，主要是针对2025.02.17-02.23这一周的LLM相关新闻与文章、GitHub资源分享。网络新闻Grok3Beta——推理代理的时代。Grok发布了Grok3Beta，通过强化学习、扩展计算和多模态理解提供卓越的推理能力。Grok3和Grok3mini在学术基准上取得了高分，其中Grok3在AIME’25上获得了93.3%的分数。Grok3的推理可通过“思考”按钮访问，
  • 大话机器学习三大门派：监督、无监督与强化学习 安意诚Matrix 机器学习笔记机器学习人工智能
    以武侠江湖为隐喻，系统阐述了机器学习的三大范式：监督学习（少林派）凭借标注数据精准建模，擅长图像分类等预测任务；无监督学习（逍遥派）通过数据自组织发现隐藏规律，在生成对抗网络（GAN）等场景大放异彩；强化学习（明教）依托动态环境交互优化策略，驱动AlphaGo、自动驾驶等突破性应用。文章融合技术深度与江湖趣味，既解析了CNN、PCA、Q-learning等核心算法的"武功心法"（数学公式与代码实现
  • 使用DeepSeek来构建LangGraph Agent 乔巴先生24 人工智能python人机交互
    随着DeepseekR1的发布，我们不得不把目光聚焦在这个能赶超多个顶流大模型的模型身上，它主要是其在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩OpenAIo1正式版。为了更好的了解它的性能，我们这篇文章来尝试用它来构建Agent。安装!pipinstall-qopenailangchainlanggraph
  • 当深度学习遇见禅宗：用东方智慧重新诠释DQN算法 带上一无所知的我 智能体的自我修炼：强化学习指南深度学习算法人工智能DQN
    当深度学习遇见禅宗：用东方智慧重新诠释DQN算法“好的代码如同山水画，既要工笔细描，又要留白写意”——一个在终端前顿悟的开发者DQN是Q-Learning算法与深度神经网络的结合体，通过神经网络近似Q值函数，解决传统Q-Learning在高维状态空间下的"维度灾难"问题。引言：代码与禅的碰撞♂️在某个调试代码到凌晨三点的夜晚，我突然意识到：强化学习的过程，竟与佛家修行惊人地相似。智能体在环境中探索
  • 就在刚刚！马斯克决定将“地球上最聪明的人工智能”Grok-3免费了！ 源代码杀手 AI技术快讯人工智能python
    Grok-3概述与关键功能Grok-3是由xAI开发的先进AI模型，于2025年2月19日发布，旨在提升推理能力、计算能力和适应性，特别适用于数学、科学和编程问题。作为xAI系列模型的最新版本，Grok-3延续了公司对构建强大且安全的AI系统的承诺，并推动人工智能在多个领域的应用。Grok-3的核心优势在于其大规模强化学习（RL）优化，能够在几秒到几分钟内进行深度推理，适应复杂任务的需求。配备的D
  • 机器学习入门知识 十五境剑修 机器学习人工智能
    目录前言一、机器学习是什么？二、机器学习的基本类型1.监督学习2.无监督学习3.半监督学习4.强化学习三、机器学习的工作流程四、常见的机器学习算法五、机器学习的评价指标六、机器学习中的过拟合与欠拟合七、机器学习的应用八、学习机器学习的资源前言随着人工智能的发展，作为人工智能中的一个基础且重要的分支——机器学习也是愈发吸引大家来了解以及学习，那么在学习机器学习前，我们需要先来了解一下什么是机器学习，
  • 特斯拉FSD不同版本的进化 AI智能涌现深度研究 AI大模型应用入门实战与进阶javapythonjavascriptkotlingolang架构人工智能
    特斯拉，FSD，自动驾驶，深度学习，计算机视觉，强化学习，神经网络，模型训练1.背景介绍特斯拉自2016年推出Autopilot以来，一直致力于开发全自动驾驶系统，其目标是实现完全无人驾驶，让汽车能够像人类一样感知周围环境，做出安全可靠的驾驶决策。FSD（FullSelf-Driving）是特斯拉自动驾驶系统的最高级别，它旨在实现车辆在任何道路和环境条件下都能安全自主驾驶的能力。FSD的开发是一个
  • 阿里深夜开源QwQ-32B模型，仅需1/10的成本即可比肩R1满血版 伪_装 LLMpython大模型LLM
    QWENHUGGINGFACEMODELSCOPEDEMODISCORD凌晨3点，阿里开源了他们全新的推理模型QwQ-32B。大规模强化学习（RL）有潜力超越传统的预训练和后训练方法来提升模型性能。近期的研究表明，强化学习可以显著提高模型的推理能力。例如，DeepSeekR1通过整合冷启动数据和多阶段训练，实现了最先进的性能，使其能够进行深度思考和复杂推理。这一次，我们探讨了大规模强化学习（RL）
  • 2024年图灵奖公布：两位AI先锋因强化学习获奖 吴脑的键客 人工智能人工智能chatgpt
    据《纽约时报》报道，全球最大的计算机专业人士协会计算机协会(ACM)周三宣布，将2024年图灵奖授予安德鲁·巴托(AndrewBarto)博士和理查德·萨顿(RichardSutton)博士，以表彰他们在强化学习方面的研究。巴托目前是马萨诸塞大学荣誉退休教授。萨顿现在担任阿尔伯塔大学教授，他也是前DeepMind研究科学家。两人将分享图灵奖的100万美元奖金。图灵奖设立于1966年，常被称为“计算
  • （24-1）DeepSeek中的强化学习：DeepSeek简介 码农三叔 强化学习从入门到实践transformer人工智能大模型架构强化学习DeepSeek
    在人工智能的浩瀚星空中，DeepSeek犹如一座巍峨的科技丰碑，熠熠生辉，引领着大模型时代的风云变幻。DeepSeek以卓越的创新精神和前沿的技术架构，突破常规极限，将海量知识与智能推理完美融合，展现出惊人的计算力与思维深度。4.1DeepSeek简介DeepSeek是一家成立于2023年的中国人工智能初创公司，专注于开发高效且经济的大型语言模型。其核心技术包括多头潜在注意力（Multi-head
  • 详解：Grok中文版 _Grok 3 国内中文版本在线使用 人工智能
    GrokAI是由XAI公司推出的一款尖端人工智能系统。作为该公司核心技术之一，GrokAI专注于推动人工智能在各行各业的实际应用，尤其在数据分析、自然语言处理（NLP）、自动化决策、机器学习等领域表现出色。Grok的最大亮点在于其强大的数据处理能力。它能够高效地从大量复杂数据中提取有价值的信息，并做出精准预测。借助深度学习与强化学习等先进技术，GrokAI具备自我学习的能力，可以通过不断的训练来优
  • 【大模型学习】第八章 深入理解机器学习技术细节 好多渔鱼好多 AI大模型机器学习AI大模型人工智能
    目录引言一、监督学习（SupervisedLearning）1.定义与工作原理2.常见任务3.应用场景示例：房价预测二、无监督学习（UnsupervisedLearning）1.定义与工作原理2.常见任务3.应用场景示例：客户细分三、强化学习（ReinforcementLearning）1.定义与工作原理2.常见应用场景3.应用场景示例：游戏AI四、集成学习（EnsembleLearning）1.
  • AI语言模型的技术之争：DeepSeek与ChatGPT的架构与训练揭秘 m0_74825466 面试学习路线阿里巴巴chatgpt人工智能语言模型
    -CSDN博客目录第一章：DeepSeek与ChatGPT的基础概述1.1DeepSeek简介1.2ChatGPT简介第二章：模型架构对比2.1Transformer架构：核心相似性2.2模型规模与参数第三章：训练方法与技术3.1预训练与微调：基础训练方法3.2强化学习与奖励建模3.3知识蒸馏与量化技术第四章：训练数据与应用4.1训练数据集：数据源的差异4.2特定领域任务：应用场景的差异第五章：代
  • 自然语言模型（NLP）介绍 Liudef06 StableDiffusion自然语言处理人工智能
    一、自然语言模型概述自然语言模型（NLP）通过模拟人类语言理解和生成能力，已成为人工智能领域的核心技术。近年来，以DeepSeek、GPT-4、Claude等为代表的模型在技术突破和应用场景上展现出显著优势。例如，DeepSeek通过强化学习提升推理能力，其混合专家架构（MoE）显著优化了计算效率‌。二、核心技术解析1.DeepSeek模型架构混合专家模型（MoE）：DeepSeek-V3采用Mo
  • Search-o1：智体搜索增强的大型推理模型 三谷秋水 机器学习大模型人工智能人工智能深度学习机器学习
    25年1月来自人大和清华的论文“Search-o1:AgenticSearch-EnhancedLargeReasoningModels”。大型推理模型(LRM)（例如OpenAI-o1）已通过大规模强化学习展示长步推理能力。然而，它们的扩展推理过程通常会受到知识不足的影响，从而导致频繁出现不确定性和潜在错误。为了解决这一限制，引入Search-o1，这是一个使用智体检索增强生成(RAG)机制和用
  • 强化学习实践 openai gymnasium CartPole-v1 DQN算法实现 abstcol 强化学习深度学习机器学习神经网络
    文章目录前言DQN简介环境简介任务实现说开来去我的Github实现：gym（GitHub）本篇博客主要是个人实现过程的主观感受，如果想要使用模型可以直接去GitHub仓库，注释完善且规范。觉得有用请给我点个star！前言最近在学习强化学习，大致过了一遍强化学习的数学原理（视频）。视频讲的很好，但是实践的部分总是感觉有点匮乏（毕竟解决gridworld方格世界（GitHub）的问题的很难给人特别大的
  • 强化学习是否能够在完全不确定的环境中找到一个合理的策略，还是说它只能在已知规则下生效？ concisedistinct 人工智能人工智能强化学习
    强化学习（ReinforcementLearning，RL）是机器学习的一个重要分支，广泛应用于机器人控制、自动驾驶、游戏策略和金融决策等领域。其核心理念是通过与环境的互动，不断学习如何选择最优行动以最大化累积奖励。尽管强化学习在许多已知和相对确定的环境中表现出色，但在面对完全不确定或动态变化的环境时，其表现和可靠性是否依然能保持一致是一个值得深入探讨的问题。我们生活的世界充满了不确定性，尤其是在
  • 清华大学DeepSeek PPT第二版深度解读：人工智能前沿技术解析 qudongmofashi 人工智能
    立即下载完整课件资料点击此处获取最新版PPT一、DeepSeek课件为何值得关注？清华大学出品的DeepSeek系列教学资源，长期聚焦人工智能领域核心技术。第二版PPT从以下方面实现全面升级：AI前沿技术覆盖：涵盖大模型、深度强化学习等领域最新研究进展工业级实践案例：新增多个企业级项目解决方案案例三维知识框架：从算法原理→代码实现→工程部署的全链路解析下载建议：建议保存至本地，结合源码案例同步学习
  • PyTorch 中结合迁移学习和强化学习的完整实现方案 小赖同学啊 人工智能pytorch迁移学习人工智能
    结合迁移学习（TransferLearning）和强化学习（ReinforcementLearning,RL）是解决复杂任务的有效方法。迁移学习可以利用预训练模型的知识加速训练，而强化学习则通过与环境的交互优化策略。以下是如何在PyTorch中结合迁移学习和强化学习的完整实现方案。1.场景描述假设我们有一个任务：训练一个机器人手臂抓取物体。我们可以利用迁移学习从一个预训练的视觉模型（如ResNet
  • 【机器学习】Reinforcement Learning-强化学习基本概念 长相忆兮长相忆 深度学习人工智能算法机器学习
    1、Q值与V值1.1Q值和V值的定义Q值：也称为动作价值函数，评估动作的价值，它代表了智能体选择这个动作后，一直到最终状态奖励总和的期望，表示为Q(s,a)，其中s是状态，a是动作。V值：评估状态的价值，也称为状态价值函数，表示为V(s)，其中s是状态。它代表了智能体在这个状态下，一直到最终状态的奖励总和的期望。V值与动作无关只与状态有关。Q值和V值的概念是一致的，都是衡量在马可洛夫树上某一个节点
  • SFT与RLHF的关系 一只积极向上的小咸鱼 人工智能
    在大模型训练中，SFT（监督微调）和RLHF（基于人类反馈的强化学习）是相互关联但目标不同的两个阶段，通常需要结合使用以优化模型性能，而非互相替代。以下是关键要点：1.核心关系SFT：基于标注的高质量样本（如问答对、指令-回答数据），以监督学习方式直接调整模型参数，使模型初步掌握特定任务（如对话生成）的基础能力。作用：快速适配下游任务，让模型学会"如何正确生成内容"。RLHF：通过人类对模型输出的
  • 蚂蚁技术研究院发布推理大模型强化学习框架，邀请开发者共同助力 AGI 生态 开源开源项目介绍
    2月25日，蚂蚁技术研究院正式开源强化学习框架AReaL（AntReasoningRL）。AReaL源自开源项目ReaLHF，旨在训练每个人都可以复现和贡献的大型推理模型(LRM)。AReaL是蚂蚁技术研究院为开发一个完全开放和包容的AGI世界迈出的一步。1.完全开放与可复现我们承诺持续发布与训练LRM相关的所有代码、数据集和训练流程。所有核心组件全部开源，无需担心专有限制或隐藏细节，开发者可无阻
  • DeepSeek-R1：通过强化学习激励大型语言模型的推理能力 AI专题精讲 大模型专题系列语言模型人工智能自然语言处理
    摘要我们介绍了第一代推理模型DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero是一个通过大规模强化学习（RL）训练而成的模型，无需监督微调（SFT）作为初步步骤，展示了卓越的推理能力。通过RL，DeepSeek-R1-Zero自然涌现出许多强大而有趣的推理行为。然而，它也面临诸如可读性差和语言混合等挑战。为了解决这些问题并进一步提升推理性能，我们引入了Dee
  • DeepSeek-R1 技术报告解读：用强化学习激发大模型的推理潜能 跑起来总会有风 aiAI编程论文阅读
    文章目录1.背景2.DeepSeek-R1训练流程2.1DeepSeek-R1-Zero：纯强化学习2.2DeepSeek-R1：冷启动+多阶段训练3.蒸馏小模型3.1蒸馏流程与优势3.2蒸馏vs.直接RL4.实验结果4.1主模型表现4.2蒸馏模型表现5.关键创新与思考6.总结参考链接**导读：**DeepSeek-R1是近期发布的一款开源大模型，它将纯强化学习与多阶段训练策略相结合，大幅提升了模
  • 强化学习与网络安全资源-论文和环境 AI拉呱 web安全安全
    TableofContentsRL-EnvironmentsPapersBooksBlogpostsTalksMiscellaneous↑EnvironmentsPentestingTrainingFrameworkforReinforcementLearningAgents(PenGym)TheARCDPrimary-levelAITrainingEnvironment(PrimAITE)CSL
  • 基础篇（二）从监督学习到强化学习：机器学习的不同范式 带上一无所知的我 智能体的自我修炼：强化学习指南机器学习人工智能基础篇
    从监督学习到强化学习：机器学习的不同范式在机器学习的广阔领域中，监督学习和强化学习是两种最重要的范式。它们各自有其独特的特点和应用场景，但也存在紧密的联系。本文将从监督学习出发，逐步延伸到强化学习，帮助你理解这两种范式的区别与联系，以及它们在实际中的应用。1.监督学习：从标注数据中学习1.1什么是监督学习？监督学习是机器学习中最常见的范式之一。它通过从标注数据中学习，建立输入（特征）与输出（标签）
  • Matlab 大量接单 matlabgoodboy matlab开发语言
    分享一个matlab接私活、兼职的平台1、技术方向满足任一即可2、技术要求3、最后技术方向满足即可MATLAB：熟练掌握MATLAB编程语言，能够使用MATLAB进行数据处理、机器学习和深度学习等相关工作。机器学习、深度学习、强化学习、仿真、复现、算法、神经网络、建模、图像识别、数据挖掘、数据获取、爬虫、数据分析、目标检测、算法创新、因子分析、相关分析、方差分析、判别分析、方程分析、线性回归、中介
  • 强化学习的数学原理-六、随机近似与随机梯度下降 儒雅芝士 pythonnumpy机器学习
    代码来自up主【强化学习的数学原理-作业】GridWorld示例代码（已更新至DQN、REINFORCE、A2C）_哔哩哔哩_bilibiliSGD、GD、MGD举例：#先初始化一个列表，未来要在这100个样本里面再sample出来np.random.seed(0)X=np.linspace(-10,10,1000)Y=2*X**2+3*X+5#用作真实值#定义二次函数，找到一组参数a、b、c使得
  • 模型优化之强化学习（RL）与监督微调（SFT）的区别和联系 搏博 深度学习人工智能机器学习架构transformer
    强化学习（RL）与监督微调（SFT）是机器学习中两种重要的模型优化方法，它们在目标、数据依赖、应用场景及实现方式上既有联系又有区别。想了解有关deepseek本地训练的内容可以看我的文章：本地基于GGUF部署的DeepSeek实现轻量级调优之一：提示工程（PromptEngineering）（完整详细教程）_deepseekgguf-CSDN博客本地基于GGUF部署的DeepSeek实现轻量级调优
  • mondb入手 木zi_鸣 mongodb
    windows 启动mongodb  编写bat文件， mongod --dbpath D:\software\MongoDBDATA mongod --help  查询各种配置 配置在mongob 打开批处理，即可启动，27017原生端口，shell操作监控端口  扩展28017，web端操作端口 启动配置文件配置， 数据更灵活 
  • 大型高并发高负载网站的系统架构 bijian1013 高并发负载均衡
            扩展Web应用程序 一.概念         简单的来说，如果一个系统可扩展，那么你可以通过扩展来提供系统的性能。这代表着系统能够容纳更高的负载、更大的数据集，并且系统是可维护的。扩展和语言、某项具体的技术都是无关的。扩展可以分为两种：         1.
  • DISPLAY变量和xhost(原创) czmmiao display
    DISPLAY 在Linux/Unix类操作系统上, DISPLAY用来设置将图形显示到何处. 直接登陆图形界面或者登陆命令行界面后使用startx启动图形, DISPLAY环境变量将自动设置为:0:0, 此时可以打开终端, 输出图形程序的名称(比如xclock)来启动程序, 图形将显示在本地窗口上, 在终端上输入printenv查看当前环境变量, 输出结果中有如下内容:DISPLAY=:0.0
  • 获取B/S客户端IP 周凡杨 java编程jspWeb浏览器
       最近想写个B/S架构的聊天系统，因为以前做过C/S架构的QQ聊天系统，所以对于Socket通信编程只是一个巩固。对于C/S架构的聊天系统，由于存在客户端Java应用，所以直接在代码中获取客户端的IP，应用的方法为：    String ip = InetAddress.getLocalHost().getHostAddress(); 然而对于WEB
  • 浅谈类和对象 朱辉辉33 编程
        类是对一类事物的总称，对象是描述一个物体的特征，类是对象的抽象。简单来说，类是抽象的，不占用内存，对象是具体的， 占用存储空间。     类是由属性和方法构成的，基本格式是public  class 类名{ //定义属性 private/public 数据类型 属性名； //定义方法 publ
  • android activity与viewpager+fragment的生命周期问题 肆无忌惮_ viewpager
    有一个Activity里面是ViewPager，ViewPager里面放了两个Fragment。 第一次进入这个Activity。开启了服务，并在onResume方法中绑定服务后，对Service进行了一定的初始化，其中调用了Fragment中的一个属性。 super.onResume(); bindService(intent, conn, BIND_AUTO_CREATE);
  • base64Encode对图片进行编码 843977358 base64图片encoder
    /** * 对图片进行base64encoder编码 * * @author mrZhang * @param path * @return */ public static String encodeImage(String path) { BASE64Encoder encoder = null; byte[] b = null; I
  • Request Header简介 aigo servlet
    当一个客户端(通常是浏览器)向Web服务器发送一个请求是，它要发送一个请求的命令行，一般是GET或POST命令，当发送POST命令时，它还必须向服务器发送一个叫“Content-Length”的请求头(Request   Header)   用以指明请求数据的长度，除了Content-Length之外，它还可以向服务器发送其它一些Headers，如：    
  • HttpClient4.3 创建SSL协议的HttpClient对象 alleni123 httpclient爬虫ssl
    public class HttpClientUtils { public static CloseableHttpClient createSSLClientDefault(CookieStore cookies){ SSLContext sslContext=null; try { sslContext=new SSLContextBuilder().l
  • java取反 -右移-左移-无符号右移的探讨 百合不是茶 位运算符 位移
    取反： 在二进制中第一位，1表示符数，0表示正数 byte a = -1; 原码：10000001 反码：11111110 补码：11111111 //异或: 00000000 byte b = -2; 原码：10000010 反码：11111101 补码：11111110 //异或: 00000001
  • java多线程join的作用与用法 bijian1013 java多线程
            对于JAVA的join，JDK 是这样说的：join public final void join （long millis ）throws InterruptedException Waits at most millis milliseconds for this thread to die. A timeout of 0 means t
  • Java发送http请求(get 与post方法请求) bijian1013 javaspring
    PostRequest.java package com.bijian.study; import java.io.BufferedReader; import java.io.DataOutputStream; import java.io.IOException; import java.io.InputStreamReader; import java.net.HttpURL
  • 【Struts2二】struts.xml中package下的action配置项默认值 bit1129 struts.xml
    在第一部份，定义了struts.xml文件，如下所示：   <!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configuration 2.3//EN" "http://struts.apache.org/dtds/struts
  • 【Kafka十三】Kafka Simple Consumer bit1129 simple
    代码中关于Host和Port是割裂开的，这会导致单机环境下的伪分布式Kafka集群环境下，这个例子没法运行。 实际情况是需要将host和port绑定到一起，   package kafka.examples.lowlevel; import kafka.api.FetchRequest; import kafka.api.FetchRequestBuilder; impo
  • nodejs学习api ronin47 nodejs api
    NodeJS基础 什么是NodeJS JS是脚本语言，脚本语言都需要一个解析器才能运行。对于写在HTML页面里的JS，浏览器充当了解析器的角色。而对于需要独立运行的JS，NodeJS就是一个解析器。 每一种解析器都是一个运行环境，不但允许JS定义各种数据结构，进行各种计算，还允许JS使用运行环境提供的内置对象和方法做一些事情。例如运行在浏览器中的JS的用途是操作DOM，浏览器就提供了docum
  • java-64.寻找第N个丑数 bylijinnan java
    public class UglyNumber { /** * 64.查找第N个丑数 具体思路可参考 [url] http://zhedahht.blog.163.com/blog/static/2541117420094245366965/[/url] * 题目：我们把只包含因子 2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14
  • 二维数组（矩阵）对角线输出 bylijinnan 二维数组
    /** 二维数组 对角线输出 两个方向 例如对于数组： { 1, 2, 3, 4 }, { 5, 6, 7, 8 }, { 9, 10, 11, 12 }, { 13, 14, 15, 16 }, slash方向输出： 1 5 2 9 6 3 13 10 7 4 14 11 8 15 12 16 backslash输出： 4 3
  • [JWFD开源工作流设计]工作流跳跃模式开发关键点(今日更新) comsci 工作流
       既然是做开源软件的,我们的宗旨就是给大家分享设计和代码,那么现在我就用很简单扼要的语言来透露这个跳跃模式的设计原理    大家如果用过JWFD的ARC-自动运行控制器,或者看过代码,应该知道在ARC算法模块中有一个函数叫做SAN(),这个函数就是ARC的核心控制器,要实现跳跃模式,在SAN函数中一定要对LN链表数据结构进行操作,首先写一段代码,把
  • redis常见使用 cuityang redis常见使用
    redis 通常被认为是一个数据结构服务器，主要是因为其有着丰富的数据结构 strings、map、 list、sets、 sorted sets 引入jar包 jedis-2.1.0.jar  (本文下方提供下载) package redistest; import redis.clients.jedis.Jedis; public class Listtest
  • 配置多个redis dalan_123 redis
    配置多个redis客户端 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"       xmlns:xsi=&quo
  • attrib命令 dcj3sjt126com attr
      attrib指令用于修改文件的属性.文件的常见属性有:只读.存档.隐藏和系统.    只读属性是指文件只可以做读的操作.不能对文件进行写的操作.就是文件的写保护.    存档属性是用来标记文件改动的.即在上一次备份后文件有所改动.一些备份软件在备份的时候会只去备份带有存档属性的文件. 
  • Yii使用公共函数 dcj3sjt126com yii
    在网站项目中，没必要把公用的函数写成一个工具类，有时候面向过程其实更方便。 在入口文件index.php里添加 require_once('protected/function.php'); 即可对其引用，成为公用的函数集合。 function.php如下：   <?php /**   * This is the shortcut to D
  • linux 系统资源的查看（free、uname、uptime、netstat） eksliang netstatlinux unamelinux uptimelinux free
    linux 系统资源的查看 转载请出自出处：http://eksliang.iteye.com/blog/2167081   http://eksliang.iteye.com 一、free查看内存的使用情况 语法如下：   free [-b][-k][-m][-g] [-t] 参数含义 -b:直接输入free时，显示的单位是kb我们可以使用b(bytes),m
  • JAVA的位操作符 greemranqq 位运算JAVA位移<<>>>
    最近几种进制，加上各种位操作符，发现都比较模糊，不能完全掌握，这里就再熟悉熟悉。   1.按位操作符 ：    按位操作符是用来操作基本数据类型中的单个bit,即二进制位，会对两个参数执行布尔代数运算，获得结果。    与（&）运算：    1&1 = 1, 1&0 = 0, 0&0 &
  • Web前段学习网站 ihuning Web
      Web前段学习网站 菜鸟学习：http://www.w3cschool.cc/   JQuery中文网：http://www.jquerycn.cn/   内存溢出：http://outofmemory.cn/#csdn.blog   http://www.icoolxue.com/   http://www.jikexue
  • 强强联合：FluxBB 作者加盟 Flarum justjavac r
    原文：FluxBB Joins Forces With Flarum作者：Toby Zerner译文：强强联合：FluxBB 作者加盟 Flarum译者：justjavac FluxBB 是一个快速、轻量级论坛软件，它的开发者是一名德国的 PHP 天才 Franz Liedke。FluxBB 的下一个版本(2.0)将被完全重写，并已经开发了一段时间。FluxBB 看起来非常有前途的，
  • java统计在线人数（session存储信息的） macroli javaWeb
    这篇日志是我写的第三次了 前两次都发布失败！郁闷极了！   由于在web开发中常常用到这一部分所以在此记录一下，呵呵，就到备忘录了！ 我对于登录信息时使用session存储的，所以我这里是通过实现HttpSessionAttributeListener这个接口完成的。 1、实现接口类，在web.xml文件中配置监听类，从而可以使该类完成其工作。 public class Ses
  • bootstrp carousel初体验 快速构建图片播放 qiaolevip 每天进步一点点学习永无止境bootstrap纵观千象
    img{ border: 1px solid white; box-shadow: 2px 2px 12px #333; _width: expression(this.width > 600 ? "600px" : this.width + "px"); _height: expression(this.width &
  • SparkSQL读取HBase数据，通过自定义外部数据源 superlxw1234 sparksparksqlsparksql读取hbasesparksql外部数据源
    关键字：SparkSQL读取HBase、SparkSQL自定义外部数据源     前面文章介绍了SparSQL通过Hive操作HBase表。   SparkSQL从1.2开始支持自定义外部数据源(External DataSource)，这样就可以通过API接口来实现自己的外部数据源。这里基于Spark1.4.0，简单介绍SparkSQL自定义外部数据源，访
  • Spring Boot 1.3.0.M1发布 wiselyman spring boot
        Spring Boot 1.3.0.M1于6.12日发布，现在可以从Spring milestone repository下载。这个版本是基于Spring Framework 4.2.0.RC1,并在Spring Boot 1.2之上提供了大量的新特性improvements and new features。主要包含以下：   1.提供一个新的sprin
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他