zs945319428
zs945319428

百度飞桨深度学习学院强化学习7日打卡营 学习笔记

part 1 基于表格型方法求解RL

  首先要知道马尔可夫决策过程四元组

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第1张图片

  简单的来说就是在不同的状态s下选择不同的动作a会得到不同的奖励r。

  状态转移概率P[S$_{t+1}$,R$_{t+1}$|S$_{t}$,A$_{t}$]解释起来就是在S$_{t}$情况下选择A$_{t}$动作转移到S$_{t+1}$状态，并获得R$_{t+1}$奖励的概率。

    百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第2张图片

  都是不是所有的时候，环境我们都是已知的,这时候就需要一步步的去探索。

  百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第3张图片 

    百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第4张图片

  Q\left ( S$_{t}$ ,A$_{t}$\right )):表示状态动作值

  V\left ( S \right )：表示状态的好坏

  由状态值和动作值和Q值就可以组成Q表格

  百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第5张图片

  Q表格：指导每一个step的动作选择。 目标导向：未来的总收益G

  G$_{t}$=R$_{t+1}$+R$_{t+2}$+R$_{t+3}$+\cdot \cdot \cdot

  但是考虑未来的收益之和明显不合理，所以需要引入衰减因子\gamma。

  G$_{t}$=R$_{t+1}$+\gamma R$_{t+2}$+\gamma ^{2}R$_{t+3}$+\cdot \cdot \cdot

  百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第6张图片

  所以\gamma需要设置成一个合适的值。

  接下来就引入强化概念。

  百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第7张图片

  有一个网址可以让大家直观感受一下下一步对上一步的影响，状态价值迭代

  百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第8张图片

  \gamma：就是上面提到的衰减因子

  \alpha：软更新，每次更新一点点

  百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第9张图片

  需要五个值如下，所以起名sarsa。

  百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第10张图片

  sarsa伪代码

 百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第11张图片

q-learning和sarsa伪代码差不多。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第12张图片

代码详情，请看.本次笔记所有代码

part 2 基于神经网络方法求解RL

如果状态无限，如果还有要q表格方法，那q表格也是无限，q表格方法通常只使用在状态可数的情况。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第13张图片

为了解决状态不可数情况，需要用到值函数近似来代替q表格的作用，值函数近似在q值里加了一个参数w，用值函数来代替q表格解决了去表格的两个缺点。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第14张图片

接下来简单介绍一下神经网络。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第15张图片

只要给足够多的数据，神经网络可以帮你拟合任意连续函数。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第16张图片

简单例子。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第17张图片百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第18张图片

DQN:使用神经网络求解RL问题的经典算法

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第19张图片

像人类一样看到图像再去输出动作，DQN输入的是像素级别的图像，但是DQN的本质还是q-learning。

回顾一下q-learning

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第20张图片

DQN的改进就是使用神经网络来拟合Q表格。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第21张图片

然后来看看DQN神经网络怎么学习和训练。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第22张图片

监督学习就是得到我们的预测值与真实值作比较，得到均方差送进优化函数，就可以对网络进行更新优化。

DQN的训练过程也非常类似，输入是一批状态s，输出是对应的q值（其实是个向量），需要让我们的输出值去逼近目标值，targetQ的计算就用q-learning的更新公式,得到目标值和输出值的均方差，再放入优化函数进行优化。

DQN的两大创新点

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第23张图片百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第24张图片

 

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第25张图片

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第26张图片

DQN流程图

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第27张图片

part3 基于策略梯度求解RL

agent有两种方案，基于价值value-based和基于策略policy-based。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第28张图片

value-based通过优化q网络得到最优的q值来选择动作，但是优化到最优之后参数就固定下来了，当输入一样的状态的时候就会输出一样的action，这种策略我们就叫确定性策略。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第29张图片

policy-based不用那么麻烦，直接神经网络拟合一下policy一步到位。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第30张图片

policy-based输出的是动作的概率，是一种随机的策略。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第31张图片

为了输出概率，一般会在神经网络最后加一个softmax的激活函数。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第32张图片

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第33张图片

随机策略举例

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第34张图片

在像乒乓球的这类游戏当中，agent和环境的交互是分幕式的，Episode的中文翻译就是幕，有一点点像是演员表演完一场表演，或者是说玩完一场游戏就是一个Episode，在每一个Epaisode里面agent不断根据当前输入的图像去输入动作，直到最后看看谁先拿到胜利的条件，一个Episode就结束了，就可以开始另一个Episode，优化目的结束让每一个Episode的总reward尽可能的大。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第35张图片

训练我们要先考虑所有的情况，就从初始的状态出发，我们有不同的概率去选择不同的动作，用\pi _{\theta }\left ( a|s \right )来表示动作选择的概率，选择不同的动作之后根据环境的随机性会有不同的概率进入不同的状态，称为状态转移概率用p\left ( {s}'|s,a \right )表示。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第36张图片

我们只能去优化\pi _{\theta }\left ( a|s \right )，状态转移概率p\left ( {s}'|s,a \right )是我们不能去控制的。

当从初始状态开始到与环境交互结束，我们把s，a，s，a这样串起来的，就叫一个episode的轨迹trajectory，该episode发生的概率就是将所有的概率连乘起来，这条轨迹的总的回报就是将每一个step的reward加起来，实际上与环境交互的轨迹肯定不止这一条，我们可以把所有轨迹发生的概率乘对应的总回报累加起来就是所有episode的期望回报，这个期望回报在一定程度上就可以来评价我们的策略好还是不好，但是正常的计算过程中我们不可能去穷举所有的轨迹，在model-free情况下也计算不出来转移概率，因为环境未知，所有我们可以直接去与环境交互N个episode拿到回报求平均，当N足够大的时候就可以近似拟合我们的期望回报，这个过程我们就称之为采样。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第37张图片

策略函数\pi _{\theta }\left ( a|s \right )是我们的优化目标，对比一下DQN是怎么优化q网络的，DQN是使用Q预测与Qtarget的平方差来作为优化函数，policy网络使用与环境交互N个episode拿到回报求平均的值来作为目标来优化网络。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第38张图片

神经网络参数的更新是需要根据梯度来确定我们更新的方向，我们就需要求解优化目标R\left ( \theta \right )对\theta的一个梯度\Delta R\left ( \theta \right )来去更新policy网络。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第39张图片

根据梯度我们就可以反推原函数来作为我们的loss函数。

 

part4 连续动作空间上求解RL

连续动作vs离散动作

一个是可数的，一个是不可数的

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第40张图片

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第41张图片

要输出每一个action的值在 [-1,1]之间在神经网络后面加一个tanh函数,然后再根据实际情况进行缩放。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第42张图片

在连续控制领域比较经典的算法就是ddpg了，ddpg是每一个step都会更新一次，是一个单步更新的policy网络。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第43张图片

当初ddpg设计的想法是将dqn控扩展到连续空间之中ddpg直接在dqn的基础是加了一个策略网络，称之为actor-critic结构。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第44张图片

actor-critic结构通俗的解释如下图。

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第45张图片

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第46张图片

百度飞桨深度学习学院强化学习7日打卡营 学习笔记_第47张图片

你可能感兴趣的:(入门强化学习)

  • （大模型微调大模型学习路线大模型入门）_大模型 学习，吹爆！2025最详细的大模型学习路线已整理！手把手带你高效入门，大模型论文全打通！ 大模型老炮 学习人工智能大模型学习AI大模型大模型微调大模型教程
    一、初聊大模型1、什么是大模型？大模型，通常指的是在人工智能领域中的大型预训练模型。你可以把它们想象成非常聪明的大脑，这些大脑通过阅读大量的文本、图片、声音等信息，学习到了世界的知识。这些大脑（模型）非常大，有的甚至有几千亿个参数，这些参数就像是大脑中的神经元，它们通过复杂的计算来理解和生成语言、图片等。举个例子，你可能听说过GPT-3，它就是一个非常著名的大模型。GPT-3可以通过理解你提出的问
  • springboot kafka spring boot搭建 单机 集群 集成入门 木秀林 环境配置kafkaspringbootdocker
    搭建kafka(单机版)使用虚拟机+docker参考https://blog.csdn.net/qq_35394891/article/details/84349955https://www.cnblogs.com/xiaohanlin/p/10078865.html拉取镜像(kafka依赖zookeeper,所有两个都要)dockerpullwurstmeister/zookeeperdocke
  • shell 编程详细命令 飞询 bashlinux开发语言
    Shell概述Shell是一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核Shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强Shell脚本入门脚本格式脚本以#!/bin/bash开头（指定解析器）第一个Shell脚本:helloworld.sh需求：创建一个Shell脚本，输出helloworld案例实操touchhello.shvimhello.shshhello
  • 用SpringBoot做一个web小案例环境搭建 只恨天高 Java代码笔记springbootjava后端
    前面我讲了四部分内容：springboot入门，springboot的配置相关知识点，springboot的视图模板引擎，springboot整合持久层框架有了这些知识点，我们就可以来完成一个相对功能完整的增删改查的小案例了，这个案例我们把以前讲JavaWeb入门课程中的哪个例子重新写一遍，基本功能：登录，用户列表显示，用户信息的增删改查，用户的模糊查询等，选用的技术由springboot2.0.
  • 六十天前端强化训练之第十七天React Hooks 入门：useState 深度解析 编程星辰海 #前端前端react.jsjavascript
    =====欢迎来到编程星辰海的博客讲解======看完可以给一个免费的三连吗，谢谢大佬！目录一、知识讲解1.Hooks是什么？2.useState的作用3.基本语法解析4.工作原理5.参数详解a)初始值设置方式b)更新函数特性6.注意事项7.类组件对比8.常见问题解答二、核心代码示例三、实现效果四、学习要点总结五、扩展阅读推荐官方文档优质文章推荐学习路径进阶资源六、实践步骤一、表单输入控制二、动态
  • 大型语言模型与强化学习的融合：迈向通用人工智能的新范式——基于基础复现的实验平台构建 （initial） 大模型科普人工智能强化学习
    1.引言大型语言模型（LLM）在自然语言处理领域的突破，展现了强大的知识存储、推理和生成能力，为人工智能带来了新的可能性。强化学习（RL）作为一种通过与环境交互学习最优策略的方法，在智能体训练中发挥着重要作用。本文旨在探索LLM与RL的深度融合，分析LLM如何赋能RL，并阐述这种融合对于迈向通用人工智能（AGI）的意义。为了更好地理解这一融合的潜力，我们基于“LargeLanguageModela
  • 强化学习-Chapter2-贝尔曼方程 Rsbs 算法机器学习概率论
    强化学习-Chapter2-贝尔曼方程贝尔曼方程推导继续展开贝尔曼方程的矩阵形式状态值的求解动作价值函数与状态价值函数的关系贝尔曼方程推导Vπ(s)=E[Gt∣St=s]=E[rt+1+(γrt+2+…)∣St=s]=E[rt+1+γGt+1∣St=s]=∑a∈Aπ(s,a)∑s′∈SPs→s′a⋅(Rs→s′a+γE[Gt+1∣St+1=s′])=∑a∈Aπ(s,a)∑s′∈SPs→s′a⋅(R
  • 音视频入门基础：RTP专题（18）——FFmpeg源码中，获取RTP的音频信息的实现（上） 崔杰城 音视频技术FFmpeg源码分析音视频ffmpeg
    由于本文篇幅较长，分为上、下两篇。一、引言通过FFmpeg命令可以获取到SDP描述的RTP流的的音频压缩编码格式、音频压缩编码格式的profile、音频采样率、通道数信息：ffmpeg-protocol_whitelist"file,rtp,udp"-iXXX.sdp而由《音视频入门基础：RTP专题（17）——音频的SDP媒体描述》可以知道，SDP协议中，a=rtpmap属性和a=fmtp属性中的
  • 《Windows API开发》：（一）Windows编程概述 下雪就该搓雪球 一些小玩意windows
    （一）Windows编程概述1、WindowsAPI简介2、Windows应用程序开发入门2.1、第一个实例程序3、WindowsAPI概要3.1、Windows数据类型3.2、WindowsAPI的功能分类4、WindowsAPI核心DLL5、Unicode和多字节5.1、字符串类型与其初始化5.2、W版本和A版本的API5.3、Unicode和ASCII的转换6、Windows程序设计规范的建
  • 最新版！“非常详细的” 鸿蒙HarmonyOS Next应用开发学习路线！（从零基础入门到精通） 不入流HarmonyOS开发 HarmonyOS鸿蒙鸿蒙学习鸿蒙开发harmonyos移动开发前端学习android
    前言最新数据显示，在中国智能手机市场，鸿蒙操作系统的份额达到10%，鸿蒙开发者数量更是超过240万，鸿蒙生态已经与iOS、安卓形成了“三分天下”的格局，成为当下的风口。如今，为了抢占巨大的鸿蒙市场，Top20移动互联网公司中近半数已经启动了鸿蒙原生应用开发，其中包括支付宝、美团等各大巨头。鸿蒙的崛起，相关岗位需求迅速增长。就业市场中，鸿蒙人才紧缺，已成为炙手可热的宝贵资源。包括美团、京东、网易在内
  • Python湖南长沙二手房源爬虫数据可视化分析大屏全屏系统 开题报告 黄菊华老师 大数据库可视化二手房源数据可视化系统
    博主介绍：《Vue.js入门与商城开发实战》《微信小程序商城开发》图书作者，CSDN博客专家，在线教育专家，CSDN钻石讲师；专注大学生毕业设计教育和辅导。所有项目都配有从入门到精通的基础知识视频课程，免费项目配有对应开发文档、开题报告、任务书、PPT、论文模版等项目都录了发布和功能操作演示视频；项目的界面和功能都可以定制，包安装运行！！！在文章末尾可以获取联系方式Python湖南长沙二手房源爬虫
  • CSS3学习教程，从入门到精通， CSS3入门介绍的语法知识点及案例（1） 知识分享小能手 前端开发网页开发编程语言如门css3学习csshtml5前端javahtml
    CSS3入门介绍一、CSS3选择器1.1基本选择器/*元素选择器*/p{color:red;}/*类选择器*/.myClass{font-size:20px;}/*ID选择器*/#myId{background-color:yellow;}/*通用选择器*/*{margin:0;padding:0;}这是一个段落这是一个带有类的段落这是一个带有ID的段落1.2属性选择器/*属性选择器*/[href
  • 【开源代码解读】AI检索系统R1-Searcher通过强化学习RL激励大模型LLM的搜索能力 accurater 人工智能深度学习R1-Searcher
    关于R1-Searcher的报告：第一章：引言-AI检索系统的技术演进与R1-Searcher的创新定位1.1信息检索技术的范式转移在数字化时代爆发式增长的数据洪流中，信息检索系统正经历从传统关键词匹配到语义理解驱动的根本性变革。根据IDC的统计，2023年全球数据总量已突破120ZB，其中非结构化数据占比超过80%。这种数据形态的转变对检索系统提出了三个核心的挑战：语义歧义消除：如何准确理解"A
  • springboot新手入门搭建项目 stayhungerstayflush springboot后端java
    SpringBoot新手入门指南：从原理到实践一、SpringBoot简介SpringBoot是基于Spring框架的快速开发脚手架，通过约定优于配置的设计理念，简化了Spring应用的初始化搭建和开发过程。主要优势包括：内嵌Web服务器（Tomcat/Jetty）自动配置Spring和第三方库提供生产级监控端点无需XML配置二、核心概念解析1.自动配置（Auto-Configuration）@S
  • Java 入门指南：Java 8 新特性 —— Stream 流 热带鱼Tech Javajava后端个人开发java-ee
    文章目录JavaStream操作类型操作过程创建流操作流遍历forEach过滤filter映射map匹配match归约reduce排序sorted去重distinct限制limit跳过skip转换流流操作的特性JavaStreamJavaStream是Java8引入的一个新的API，它提供了一种函数式编程的方式来处理集合数据。Stream可以看作是一系列支持高效的、函数式操作的元素序列。通过使用S
  • Python 科学计算与机器学习入门：NumPy + Scikit-Learn 实战指南 吴师兄大模型 pythonnumpyscikit-learn人工智能开发语言机器学习编程
    Langchain系列文章目录01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南02-玩转LangChainMemory模块：四种记忆类型详解及应用场景全覆盖03-全面掌握LangChain：从核心链条构建到动态任务分配的实战指南04-玩转LangChain：从文档加载到高效问答系统构建的全程实战05-玩转LangChain：深度评估问答系统的三种高效方法（示例生成、手
  • Vue.js的内联样式绑定：style的多种用法 阿珊和她的猫 vue.js前端javascript
    前端开发工程师、技术日更博主、已过CET6阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1牛客高级专题作者、打造专栏《前端面试必备》、《2024面试高频手撕题》、《前端求职突破计划》蓝桥云课签约作者、上架课程《Vue.js和Egg.js开发企业级健康管理项目》、《带你从入门到实战全面掌握uni-app》文章目录引言`style`属性的基本概念`style`属性的用法1.绑定对象2.
  • Docker 入门指南：如何在 Ubuntu 上安装和使用 Docker 天青色等烟雨° linuxdockerubuntu
    Docker入门指南：如何在Ubuntu上安装和使用Docker安装Dockerdocker的配置安装k8s安装Docker官方Ubuntu存储库中提供的Docker安装软件包可能不是最新版本。Ubuntu官方的版本库中并不一定是Docker最新的安装包，为了保证是最新版，我们从Docker官方库来安装。首先，更新现有的软件包列表：$sudoaptupdate注意：如果无法更新，可能是你的软件源指
  • Spring框架快速入门手册 Uncoverlove springmysqlmybatisjava后端
    说明：本文试图将Spring框架的知识体系进行整合分析，并冠以自己的理解，为初学Spring框架的同学，提供一个快速入门手册。同时呢，也是为了总结一下工作学习中遇到的问题和经验，以免发生遗漏！文末将附上Spring的学习资料，以供大家学习~（申明一下：纯小白一枚，由于工作需要自学的Spring，或许某些理解会出现偏差，烦请各位斧正！不慎感激！！）快速入门推荐阅读书籍（欢迎补充）：1、《JavaEE
  • DeepSeek使用手册【清华北大浙大完整版】 2501_91178945 pdf
    DeepSeek资料链接：https://pan.quark.cn/s/ab1ba18715bd自从清华大学出品的《DeepSeek从入门到精通》学习手册火了之后，北大浙大也支棱了起来，纷纷加码DeepSeek，持续发布高质量DeepSeek学习资料，从基础到实操，覆盖超多应用场景，手把手教你如何将DeepSeek结合到自己的工作和生活当中。完整版资料已整理在开头，大家自行领取即可～
  • 鸿蒙（HarmonyOS NEXT）开发实战：串行通信开发指导 我很英俊 小名男男 OpenHarmony鸿蒙开发HarmonyOSharmonyos华为开发语言前端鸿蒙移动开发鸿蒙系统
    鸿蒙开发往期必看：HarmonyOSNEXT应用开发性能实践总结一分钟了解”纯血版！鸿蒙HarmonyOSNext应用开发！“非常详细的”鸿蒙HarmonyOSNext应用开发学习路线！（从零基础入门到精通）
  • 榜单首发！高阶智驾「爆发」进行时，本土TOP10供应商抢市场 高工智能汽车 汽车
    2025年的中国市场高阶智驾大战，正在持续发酵。一些车企加速补齐功能，而更多的车企则是瞄准更大规模的走量市场。本周，特斯拉宣布，面向搭载HW4.0版本硬件和选装软件包的中国用户，首次推出城市道路Autopilot自动辅助驾驶功能（也就是城区NOA）。这套名为FSD智能辅助驾驶功能的软件包，官方选装价为6.4万元。目前，特斯拉在中国地区销售的新车，标配入门级L2（主动巡航+辅助转向），同时提供两档选
  • 机器人技能列表 极梦网络无忧 杂谈机器人
    一、机器人制作基础入门（一）机器人概述1.机器人的定义与分类2.机器人的发展历程与现状3.机器人在各领域的应用案例（二）必备工具与材料4.常用电子工具介绍（万用表、电烙铁等）5.机械加工工具（螺丝刀、钳子、扳手等）6.电子元件（电阻、电容、二极管等）7.结构材料（塑料、金属、木材等）二、电子电路基础（一）电路原理与设计8.电路基本概念（电流、电压、电阻等）9.欧姆定律与基尔霍夫定律10.简单电路设
  • Spring Boot入门(15)：一键生成，轻松搭建你的Spring Boot+MyBatis-Plus项目！ 喵手 Springbootspringbootmybatis后端
    1.前言SpringBoot是一种全新的基于Spring框架的用于快速开发新一代应用程序的框架。它能够使开发者通过简单的配置快速搭建项目，并能够提供常见的功能模块，如数据库访问、事务管理、Web开发和安全管理等。而MyBatis-Plus是一个功能强大的MyBatis增强工具，它基于MyBatis本身进行了扩展，可以大幅度减少开发工作量，提高开发效率。本文将介绍如何使用MyBatis-Plus的A
  • 大语言模型（LLMs）全面学习指南（非常详细）零基础入门到精通，收藏这一篇就够了 网络安全大白 科技程序员人工智能语言模型人工智能自然语言处理
    大语言模型（LLMs）作为人工智能（AI）领域的一项突破性发展，已经改变了自然语言处理（NLP）和机器学习（ML）应用的面貌。这些模型，包括OpenAI的GPT-4o和Google的gemini系列等，已经展现出了在理解和生成类人文本方面的令人印象深刻的能力，使它们成为各行各业的宝贵工具。如下这份指南将涵盖LLMs的基础知识、训练过程、用例和未来趋势……一.WhatareLargeLanguage
  • Python的界面案例 稍微认真一点 python开发语言笔记经验分享
    1.Tk图形用户界面(GUI)Tkinter是使用python进行窗口视窗设计的模块。Tkinter模块(“Tk接口”)是Python的标准TkGUI工具包的接口。作为python特定的GUI界面，是一个图像的窗口，tkinter是python自带的，可以编辑的GUI界面，用来入门，熟悉窗口视窗的使用，非常有必要。提供tk支持的模块包括：模块说明tkinterTK主模块tkinter.colorc
  • 每日一练 模拟卷（1）参考答案 「已注销」 #各大编程比赛题目解析c++
    2024CCF非专业级别软件能力认证第一轮(CSP-J1)入门级C++语言试题-模拟卷（一）考生注意事项：满分100分。请在答题纸上作答，写在试题纸上的一律无效。不得使用任何电子设备（如计算器、手机、电子词典等）或查阅任何书籍资料。一、单项选择题（共15题，每题2分，共计30分;每题有且有一个正确选项)1.C++语言中，程序在什么阶段对define定义的内容进行替换?()A.链接B.编译C.预处理
  • C#知识总结 托塔1 c#开发语言
    目录一、C#基础语法知识入门1.输入输出操作2.变量类型与常量2.1基础类型2.2常量3.转义字符4.类型转换4.1隐式转换规则4.2显式转换API5.运算符运算符分类与优先级6.流程控制6.1条件分支6.2循环6.3控制关键字7.异常处理二、C#基础语法知识基础1.枚举、数组、结构体vs类对比1.1枚举（Enum）1.2数组（一维/二维/交错）2.值类型vs引用类型3.字符串操作3.1核心方法3
  • 《算法笔记》8.1小节——搜索专题-＞深度优先搜索（DFS）问题 C: 【递归入门】组合+判断素数 圣保罗的大教堂 《算法笔记》算法
    题目描述已知n个整数b1,b2,…,bn以及一个整数k（k＜n）。从n个整数中任选k个整数相加，可分别得到一系列的和。例如当n=4，k＝3，4个整数分别为3，7，12，19时，可得全部的组合与它们的和为：3＋7＋12=223＋7＋19＝297＋12＋19＝383＋12＋19＝34。现在，要求你计算出和为素数共有多少种。例如上例，只有一种的和为素数：3＋7＋19＝29。输入第一行两个整数：n,k（1
  • 202年充电计划——自学手册 网络安全（黑客技术） 网安康sir web安全安全网络pythonlinux
    基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。如何成为一名黑客很多朋友在学习安全方面都会半路转行，因为不知如何去学，在这里，我将这个整份答案分为黑客（网络安全）入门必备、黑客（网络安全）职业指南、黑客（网络安全）学习
  • 桌面上有多个球在同时运动，怎么实现球之间不交叉，即碰撞？ 换个号韩国红果果 html小球碰撞
    稍微想了一下，然后解决了很多bug，最后终于把它实现了。其实原理很简单。在每改变一个小球的x y坐标后，遍历整个在dom树中的其他小球，看一下它们与当前小球的距离是否小于球半径的两倍？若小于说明下一次绘制该小球（设为a）前要把他的方向变为原来相反方向（与a要碰撞的小球设为b），即假如当前小球的距离小于球半径的两倍的话，马上改变当前小球方向。那么下一次绘制也是先绘制b，再绘制a，由于a的方向已经改变
  • 《高性能HTML5》读后整理的Web性能优化内容 白糖_ html5
    读后感         先说说《高性能HTML5》这本书的读后感吧，个人觉得这本书前两章跟书的标题完全搭不上关系，或者说只能算是讲解了“高性能”这三个字，HTML5完全不见踪影。个人觉得作者应该首先把HTML5的大菜拿出来讲一讲，再去分析性能优化的内容，这样才会有吸引力。因为只是在线试读，没有机会看后面的内容，所以不胡乱评价了。  
  • [JShop]Spring MVC的RequestContextHolder使用误区 dinguangx jeeshop商城系统jshop电商系统
        在spring mvc中，为了随时都能取到当前请求的request对象，可以通过RequestContextHolder的静态方法getRequestAttributes()获取Request相关的变量，如request, response等。         在jshop中，对RequestContextHolder的
  • 算法之时间复杂度 周凡杨 java算法时间复杂度效率
          在 计算机科学 中， 算法 的时间复杂度是一个 函数 ，它定量描述了该算法的运行时间。这是一个关于代表算法输入值的 字符串 的长度的函数。时间复杂度常用 大O符号 表述，不包括这个函数的低阶项和首项系数。使用这种方式时，时间复杂度可被称为是 渐近 的，它考察当输入值大小趋近无穷时的情况。 这样用大写O()来体现算法时间复杂度的记法，
  • Java事务处理 g21121 java
    一、什么是Java事务 通常的观念认为，事务仅与数据库相关。 事务必须服从ISO/IEC所制定的ACID原则。ACID是原子性（atomicity）、一致性（consistency）、隔离性（isolation）和持久性（durability）的缩写。事务的原子性表示事务执行过程中的任何失败都将导致事务所做的任何修改失效。一致性表示当事务执行失败时，所有被该事务影响的数据都应该恢复到事务执行前的状
  • Linux awk命令详解 510888780 linux
    一.  AWK 说明   awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。    awk的处理文本和数据的方式：它逐行扫描文件，从第一行到
  • android permission 布衣凌宇 Permission
    <uses-permission android:name="android.permission.ACCESS_CHECKIN_PROPERTIES" ></uses-permission>允许读写访问"properties"表在checkin数据库中，改值可以修改上传 <uses-permission android:na
  • Oracle和谷歌Java Android官司将推迟 aijuans javaoracle
    北京时间 10 月 7 日，据国外媒体报道，Oracle 和谷歌之间一场等待已久的官司可能会推迟至 10 月 17 日以后进行，这场官司的内容是 Android 操作系统所谓的 Java 专利权之争。本案法官 William Alsup 称根据专利权专家 Florian Mueller 的预测，谷歌 Oracle 案很可能会被推迟。　　该案中的第二波辩护被安排在 10 月 17 日出庭，从目前看来
  • linux shell 常用命令 antlove linuxshellcommand
    grep [options] [regex] [files] /var/root # grep -n "o" * hello.c:1:/* This C source can be compiled with:
  • Java解析XML配置数据库连接(DOM技术连接 SAX技术连接) 百合不是茶 sax技术Java解析xml文档dom技术XML配置数据库连接
        XML配置数据库文件的连接其实是个很简单的问题,为什么到现在才写出来主要是昨天在网上看了别人写的,然后一直陷入其中,最后发现不能自拔 所以今天决定自己完成 ,,,,现将代码与思路贴出来供大家一起学习   XML配置数据库的连接主要技术点的博客; JDBC编程 : JDBC连接数据库 DOM解析XML:  DOM解析XML文件 SA
  • underscore.js 学习（二） bijian1013 JavaScriptunderscore
            Array Functions 所有数组函数对参数对象一样适用。1.first   _.first(array, [n])   别名: head, take       返回array的第一个元素，设置了参数n，就
  • plSql介绍 bijian1013 oracle数据库plsql
    /* * PL/SQL 程序设计学习笔记 * 学习plSql介绍.pdf * 时间：2010-10-05 */ --创建DEPT表 create table DEPT ( DEPTNO NUMBER(10), DNAME NVARCHAR2(255), LOC NVARCHAR2(255) ) delete dept; select
  • 【Nginx一】Nginx安装与总体介绍 bit1129 nginx
    启动、停止、重新加载Nginx nginx 启动Nginx服务器，不需要任何参数u nginx -s stop 快速(强制)关系Nginx服务器 nginx -s quit 优雅的关闭Nginx服务器 nginx -s reload 重新加载Nginx服务器的配置文件 nginx -s reopen 重新打开Nginx日志文件  
  • spring mvc开发中浏览器兼容的奇怪问题 bitray jqueryAjaxspringMVC浏览器上传文件
        最近个人开发一个小的OA项目,属于复习阶段.使用的技术主要是spring mvc作为前端框架,mybatis作为数据库持久化技术.前台使用jquery和一些jquery的插件.     在开发到中间阶段时候发现自己好像忽略了一个小问题,整个项目一直在firefox下测试,没有在IE下测试,不确定是否会出现兼容问题.由于jquer
  • Lua的io库函数列表 ronin47 lua io
    1、io表调用方式：使用io表，io.open将返回指定文件的描述，并且所有的操作将围绕这个文件描述 　　io表同样提供三种预定义的文件描述io.stdin,io.stdout,io.stderr 　　2、文件句柄直接调用方式,即使用file:XXX()函数方式进行操作,其中file为io.open()返回的文件句柄 　　多数I/O函数调用失败时返回nil加错误信息,有些函数成功时返回nil
  • java-26-左旋转字符串 bylijinnan java
    public class LeftRotateString { /** * Q 26 左旋转字符串 * 题目：定义字符串的左旋转操作：把字符串前面的若干个字符移动到字符串的尾部。 * 如把字符串abcdef左旋转2位得到字符串cdefab。 * 请实现字符串左旋转的函数。要求时间对长度为n的字符串操作的复杂度为O(n)，辅助内存为O(1)。 */ pu
  • 《vi中的替换艺术》-linux命令五分钟系列之十一 cfyme linux命令
    vi方面的内容不知道分类到哪里好，就放到《Linux命令五分钟系列》里吧！ 今天编程，关于栈的一个小例子，其间我需要把”S.”替换为”S->”(替换不包括双引号)。 其实这个不难，不过我觉得应该总结一下vi里的替换技术了，以备以后查阅。   1 所有替换方案都要在冒号“:”状态下书写。 2 如果想将abc替换为xyz，那么就这样 :s/abc/xyz/ 不过要特别
  • [轨道与计算]新的并行计算架构 comsci 并行计算
         我在进行流程引擎循环反馈试验的过程中，发现一个有趣的事情。。。如果我们在流程图的每个节点中嵌入一个双向循环代码段，而整个流程中又充满着很多并行路由，每个并行路由中又包含着一些并行节点，那么当整个流程图开始循环反馈过程的时候，这个流程图的运行过程是否变成一个并行计算的架构呢？      
  • 重复执行某段代码 dai_lm android
    用handler就可以了 private Handler handler = new Handler(); private Runnable runnable = new Runnable() { public void run() { update(); handler.postDelayed(this, 5000); } }; 开始计时 h
  • Java实现堆栈（list实现） datageek 数据结构——堆栈
    public interface IStack<T> { //元素出栈，并返回出栈元素 public T pop(); //元素入栈 public void push(T element); //获取栈顶元素 public T peek(); //判断栈是否为空 public boolean isEmpty
  • 四大备份MySql数据库方法及可能遇到的问题 dcj3sjt126com DBbackup
    一：通过备份王等软件进行备份前台进不去？ 用备份王等软件进行备份是大多老站长的选择，这种方法方便快捷，只要上传备份软件到空间一步步操作就可以，但是许多刚接触备份王软件的客用户来说还原后会出现一个问题：因为新老空间数据库用户名和密码不统一，网站文件打包过来后因没有修改连接文件，还原数据库是好了，可是前台会提示数据库连接错误，网站从而出现打不开的情况。 解决方法：学会修改网站配置文件，大多是由co
  • github做webhooks：[1]钩子触发是否成功测试 dcj3sjt126com githubgitwebhook
    转自: http://jingyan.baidu.com/article/5d6edee228c88899ebdeec47.html github和svn一样有钩子的功能，而且更加强大。例如我做的是最常见的push操作触发的钩子操作，则每次更新之后的钩子操作记录都会在github的控制板可以看到！ 工具/原料 github 方法/步骤
  • ">的作用" target="_blank">JSP中的作用 蕃薯耀
    JSP中<base href="<%=basePath%>">的作用 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
  • linux下SAMBA服务安装与配置 hanqunfeng linux
    局域网使用的文件共享服务。 一.安装包： rpm -qa | grep samba samba-3.6.9-151.el6.x86_64 samba-common-3.6.9-151.el6.x86_64 samba-winbind-3.6.9-151.el6.x86_64 samba-client-3.6.9-151.el6.x86_64 samba-winbind-clients
  • guava cache IXHONG cache
    缓存，在我们日常开发中是必不可少的一种解决性能问题的方法。简单的说，cache 就是为了提升系统性能而开辟的一块内存空间。 　　缓存的主要作用是暂时在内存中保存业务系统的数据处理结果，并且等待下次访问使用。在日常开发的很多场合，由于受限于硬盘IO的性能或者我们自身业务系统的数据处理和获取可能非常费时，当我们发现我们的系统这个数据请求量很大的时候，频繁的IO和频繁的逻辑处理会导致硬盘和CPU资源的
  • Query的开始--全局变量,noconflict和兼容各种js的初始化方法 kvhur JavaScriptjquerycss
    这个是整个jQuery代码的开始，里面包含了对不同环境的js进行的处理，例如普通环境，Nodejs，和requiredJs的处理方法。 还有jQuery生成$, jQuery全局变量的代码和noConflict代码详解  完整资源： http://www.gbtags.com/gb/share/5640.htm jQuery 源码：   (
  • 美国人的福利和中国人的储蓄 nannan408
       今天看了篇文章，震动很大，说的是美国的福利。    美国医院的无偿入院真的是个好措施。小小的改善，对于社会是大大的信心。小孩，税费等，政府不收反补，真的体现了人文主义。    美国这么高的社会保障会不会使人变懒？答案是否定的。正因为政府解决了后顾之忧，人们才得以倾尽精力去做一些有创造力，更造福社会的事情，这竟成了美国社会思想、人
  • N阶行列式计算(JAVA) qiuwanchi N阶行列式计算
    package gaodai; import java.util.List; /** * N阶行列式计算 * @author 邱万迟 * */ public class DeterminantCalculation { public DeterminantCalculation(List<List<Double>> determina
  • C语言算法之打渔晒网问题 qiufeihu c算法
    如果一个渔夫从2011年1月1日开始每三天打一次渔，两天晒一次网，编程实现当输入2011年1月1日以后任意一天，输出该渔夫是在打渔还是在晒网。 代码如下：   #include <stdio.h> int leap(int a) /*自定义函数leap()用来指定输入的年份是否为闰年*/ { if((a%4 == 0 && a%100 != 0
  • XML中DOCTYPE字段的解析 wyzuomumu xml
    DTD声明始终以!DOCTYPE开头,空一格后跟着文档根元素的名称,如果是内部DTD,则再空一格出现[],在中括号中是文档类型定义的内容. 而对于外部DTD,则又分为私有DTD与公共DTD,私有DTD使用SYSTEM表示,接着是外部DTD的URL. 而公共DTD则使用PUBLIC,接着是DTD公共名称,接着是DTD的URL.   私有DTD <!DOCTYPErootSYST
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他