111辄

强化学习入门笔记 | UCL silver RL | UC Berkely cs285 DRL

学习情况：

先后听了两门课程，分别是David Silver的RL和Sergey Levin的DRL。各耗时一周左右，后者更难一些。对RL基本概念、常用算法原理及其伪代码有了大致了解。但是因为时间有点赶，没有敲完整的算法代码。

由于已经有写得比较好的课程笔记 (RL 和 DRL)，就不重复造轮子了。两位博主对课程内容理解得都相对透彻，尤其是前者，解答了我很多看视频没太听懂的疑惑。

这份笔记是我在听完两门课程后想梳理的一些东西，并不描述算法、公式的推导细节，大概只是对这些天学的RL基础知识的一份简单梳理，可以说只是一个目录。大致思路跟着Silver的课整理，对部分算法补充cs285讲的内容。cs285的课程要难很多，讲的很多内容都涉及到复杂的数学公式推导，感觉很多part都能单独出长笔记，在这篇基础笔记中就不提及了。挖坑以后写。

由于初学，了解得比较浅薄，可能有理解错误的地方。也欢迎帮我指出错误。阅读这篇笔记时最好有一定RL基础，因为有些名词出现时可能不做解释。全文共1.2w字，纯手敲。

RL基础概念

动态规划DP

Policy Iteration

Value Iteration

蒙特卡洛MC

时序差分TD

n-step TD

TD(λ)

SARSA

Q-learning

DQN

Nature DQN

DDQN

Prioritized Repay DQN

Dueling DQN

Policy Gradient

REINFORCE

Actor-Critic

DPG

DDPG

A3C

Model-based method

Dyna

Dyna-Q

MCTS

RL基础概念

RL (Reinforcement Learning) 是一门决策学科，而且解决的是Sequential Decision。关于RL的意义，Sergey在cs285中讲到，它提供了一种build intelligent model的新方式，不是模拟大脑结构（神经网络），而是模拟人的成长过程。图灵说，"与其通过程序模拟成人，不如通过程序模拟儿童，并给予适当的教育"。

Sequential Decision的意思是，做的上一个决策会影响到下一个决策。agent做出的action会对environment造成影响，交互使得该agent的下个state受影响，进而影响下个action决策。

model-free RL：数据驱动。通过大量采样，使用sampling模拟，估计agent的value function，从而优化策略 $\begin{equation} \pi^{\prime}(s)=\underset{a \in A}{\arg \max } Q(s, a) \end{equation}$

model-based RL：最优控制。首先建立具体问题的模型，通过高斯过程（GP）或贝叶斯网络（BN）等方法。然后对问题求解，使用模型预测控制（MPC）、线性二次调节器（LQR）、线性二次高斯（LQG）、迭代学习控制（ICL）等方法求解。 $\begin{equation} \pi^{\prime}(s)=\underset{a \in A}{\arg \max }\left(R_{s}^{a}+P_{s s^{\prime}}^{a} V\left(s^{\prime}\right)\right) \end{equation}$

最开始想把所有算法分到model-free和model-based中，但是理思路时候感觉RL算法分类并不是非黑即白的，有些RL算法间的边界是模糊的。并不像传统的ML可以直接分为监督学习和非监督学习（它们之间的界限很明确）。

分类方式很多，但是应该每种分类方式都有相交的部分。model-free/model-based，policy-based/value-based/actor-critic，引入DL否，on-policy/off-policy，同步/异步。

RL情景大概为，在某个state下，agent依据policy，采取action，与environment交互，agent获得反馈reward。agent获得的reward会指导policy改进，在state'下选择action'。循环往复，policy不断被优化。

比如学生 (agent) 上英语课 (state) 选择睡觉 (action)，考了59分被家长一顿打 (reward<0)；他上课选择学习 (action)，考100分且被一顿夸 (reward>0)，下次就知道在上语文课(state)该选择干什么了(action)。

在RL中Reward很显然是一种延时价值，比如考了59分(action)后才挨了打(reward)，动作后才知道这个动作的价值。所以Reward这个反馈出现在动作执行之后

在什么state下该采取怎样的action，这就是策略policy。策略分为deterministic policy和stochastic policy两种。

deterministic policy指每个state都有确定的action，即 $\begin{equation} \pi(s)=a \end{equation}$ 。经典的deterministic policy，如Q-learning，SARSA，TD.

stochastic policy指state下可以采取不同action。它用条件概率表示， $\begin{equation} \pi\left(s, a_{i}\right)=p_{i} \end{equation}$ ，输出的是在该state下采取不同action的概率。经典的stochastic policy，如Vanilla/Nature PG，REINFORCE，Natural Actor-Critic.

为什么要输出概率呢？举一个例子，比如我 (agent) 站在宿舍门口(state)，Π判断我往前走的概率是0.7，向后/左/右走的概率各是0.1，那么policy会随机选择我接下来的action（概率大的被选到的可能性大）。这样agent就能自主移动啦。

RL算法目的为，优化策略policy，以更好地决策。agent根据policy自主与环境交互。而policy的好坏由reward评估。

RL有两个基本问题，其一是预测问题，或者叫策略评估（Policy Evaluation）。例如对model-free模型中，是给定状态集S，动作集A，即时奖励R，衰减因子γ，策略Π，求解该策略的状态价值函数v(Π)。其二是控制问题，或者叫策略提升（Policy Improvment）。给定状态集S，动作集A，即时奖励R，衰减因子γ，探索率ε，求解最优价值函数 $\begin{equation} v_{*} \end{equation}$ 和最优策略 $\begin{equation} \pi_{*} \end{equation}$ 。在model-based中还给定了概率转移矩阵P。

实际环境是复杂的，建模很麻烦。于是引入马尔可夫性质定义问题，它指，"The future is independent of the past given the present"，即未来只与现在有关。

则将RL情景定义为MDP (Markov Decision Process)：

上图中，参数，如S，P，R的定义都用是Markovian的

策略Π也由MDP定义为： $\begin{equation} \pi(a \mid s)=P\left(A_{t}=a \mid S_{t}=s\right) \end{equation}$ ，即在状态s时采取动作a的概率只与挡墙状态s有关，与过去状态无关

状态的价值v（利用Bellman Equation）：

$\begin{equation} \begin{aligned} v_{\pi}(s) &=\mathbb{E}_{\pi}\left(G_{t} \mid S_{t}=s\right) \\ &=\mathbb{E}_{\pi}\left(R_{t+1}+\gamma R_{t+2}+\gamma^{2} R_{t+3}+\ldots \mid S_{t}=s\right) \\ &=\mathbb{E}_{\pi}\left(R_{t+1}+\gamma v_{\pi}\left(S_{t+1}\right) \mid S_{t}=s\right) \end{aligned} \end{equation}$

其中，G(t)是从当前状态开始的一条trajectory上的reward，用了discount factor是为了削弱较远状态的影响

在状态s下采取动作a的价值q（利用Bellman Equation）：

$\begin{equation} \begin{aligned} q_{\pi}(s, a)&=\mathbb{E}_{\pi}\left(R_{t+1}+\gamma q_{\pi}\left(S_{t+1}, A_{t+1}\right) \mid S_{t}=s, A_{t}=a\right) \\ &=R_{s}^{a}+\gamma \sum_{s^{\prime} \in S} P_{s s^{\prime}}^{a} v_{\pi}\left(s^{\prime}\right)\end{aligned}\end{equation}$

v和q关系： $\begin{equation} v_{\pi}(s)=\sum_{a \in A} \pi(a \mid s) q_{\pi}(s, a) \end{equation}$

通常使用v或q评估policy的好坏、以及指导policy优化（ $\begin{equation} \pi=\operatorname{argmax} V_{\pi(S)} \end{equation}$ ）

动态规划DP

动态规划（Dynamic Programming ，DP）用于解决model-based RL problem，它需要提前知道模型的状态转移矩阵P（即知道某个state采取某个action后next state的分布情况）。

DP用于求value，它将problem划分成更小的sub-problem。在回溯更新某个状态的价值时，需要回溯该状态所有的后续价值。 $\begin{equation} v_{k+1}(s)=\max _{a \in A}\left(R_{s}^{a}+\gamma \sum_{s^{\prime} \in S} P_{s s^{\prime}}^{a} v_{k}\left(s^{\prime}\right)\right) \end{equation}$

讲一讲使用动态规划的Policy Iteration 和 Value Iteration。

Policy Iteration

就是这个图：

好好看懂这个图Π是怎么收敛的就懂这个算法的意思了。这里是deterministic policy

具体步骤silver的ppt讲得特别明白，一遍没看懂，第二遍就看懂个七八十了，写得很清晰：

Value Iteration

从上面的算法流程得知，Policy Iteration中value是不断通过更新的策略得出的。但是，通过 $\begin{equation} v_{k+1}(s)=\max _{a \in A}\left(R_{s}^{a}+\gamma \sum_{s^{\prime} \in S} P_{s s^{\prime}}^{a} v_{k}\left(s^{\prime}\right)\right) \end{equation}$ 定义得出value 后，其实可以不用显式地定义policy，直接每次贪婪地选择value最大的action就可以了

蒙特卡洛MC

蒙特卡洛（Monte Carlo，MC）通过sampling近似求解，通过采样若干经历complete episode评估状态的真实价值，真实价值是多条episode的G(t)的均值，即 $\begin{equation} v_{\pi}(s) \approx \text { average }\left(G_{t}\right), \text { s.t. } S_{t}=s \end{equation}$

由Incremental Mean推导公式，得出价值函数和状态-价值函数： $\begin{equation} V\left(S_{t}\right)=V\left(S_{t}\right)+\alpha\left(G_{t}-V\left(S_{t}\right)\right) \end{equation}$

$\begin{equation} Q\left(S_{t}, A_{t}\right)=Q\left(S_{t}, A_{t}\right)+\alpha\left(G_{t}-Q\left(S_{t}, A_{t}\right)\right) \end{equation}$

根据是否计算序列中重复状态的G(t)，分为first-visit MC和every-visit MC，后者用得更多。

Policy Evaluation时，套上面的V或Q公式就行了。Policy Improment时，相对于动态规划的优化 $\begin{equation} v_{*} \end{equation}$ ，MC一般优化 $\begin{equation} q_{*} \end{equation}$ 。在使用deterministic policy选择action时，不同于DP一般用贪婪，MC一般用ε-贪婪，增加Exploaration，ε会逐渐减小至0便于收敛

时序差分TD

时序差分（Temporal-Difference，TD）通过sampling近似求解，通过采样若干incomplete sequence评估状态的真实价值，由Bellman Equation，

$\begin{equation} v_{\pi}(s)=\mathbb{E}_{\pi}\left(R_{t+1}+\gamma v_{\pi}\left(S_{t+1}\right) \mid S_{t}=s\right) \end{equation}$

这种用TD目标值（ $\begin{equation} R_{t+1}+\gamma V\left(S_{t+1}\right) \end{equation}$ ）代替G(t)的过程称为引导（bootstrapping）。TD误差为 $\begin{equation} R_{t+1}+\gamma V\left(S_{t+1}\right)-V\left(S_{t}\right) \end{equation}$

对TD，同样的，价值函数和状态-价值函数定义为：

$\begin{equation} V\left(S_{t}\right)=V\left(S_{t}\right)+\alpha\left(G_{t}-V\left(S_{t}\right)\right) \end{equation}$

$\begin{equation} Q\left(S_{t}, A_{t}\right)=Q\left(S_{t}, A_{t}\right)+\alpha\left(G_{t}-Q\left(S_{t}, A_{t}\right)\right) \end{equation}$

其中，α∈[0,1]

n-step TD

n-step TD就是不只往前看一步了。比如2-step往前多看两步，此时某个状态的价值变成 $\begin{equation} G_{t}^{(2)}=R_{t+1}+\gamma R_{t+2}+\gamma^{2} V\left(S_{t+2}\right) \end{equation}$

TD(λ)

TD(λ)为了避免n-step TD不知道怎么选n的问题，引入了参数λ以便于调超参，sampling时G(t)变成 $\begin{equation} G_{t}^{\lambda}=(1-\lambda) \sum_{n=1}^{\infty} \lambda^{n-1} G_{t}^{(n)} \end{equation}$

Policy Evaluation时，套TD的Q公式就行了。Policy Improvment时，TD常见的on-policy是SARSA，常见的off-policy是Q-learning。TD思想是主流RL的基础。

on-policy是指只使用1个policy 选择动作实际与环境交互和更新价值函数。off-policy指使用2个policy，1个policy用于选择动作与环境交互（为了保证Exploration；一般用ε-贪婪），1个policy用于优化价值函数（为了保证Exploitation；一般用贪婪）

SARSA

SARSA (state → action → reward → state → action)，是TD思想的算法。Policy Evaluation部分和TD的v(s)一样，Policy Improvment时使用on-policy，价值迭代公式也与TD一样，使用ε-贪婪选择action。其实SARSA就是最简单的TD思想的体现。

Q-learning

TD采样模拟求q(s,a)，off-policy。想想off-policy这个想法的提出还真是挺妙的，相较于ε-贪婪更能在E&E间取平衡

关于Q-learning受数据影响较大的问题：

Q-learing直接学习最优策略，而最优策略对训练数据的依赖性较大（后面的算法使用buffer降低数据的相关性和策略的数据依赖性），所以受数据影响较大。如果训练数据的方差很大，这可能会影响Q函数的收敛，可能陷入一些特殊的最优"陷阱"，比如"Cliff Walk"。

因此在实际生产中，如果在模拟环境中训练强化学习模型，推荐使用Q-learning。如果是在线生产环境中训练模型，则推荐使用SARSA

Q-learning算法的tips：

DQN

DQN (Deep Q-learning) 和Q-learning的不同之处就在于使用神经网络来模拟q $\begin{equation} \hat{q}(s, a, w) \approx q_{\pi}(s, a) \end{equation}$ 其中，w是神经网络的权重。DQN向神经网络中输入state，神经网络会自动映射出q（其实还有一种是向其输入s和a，自动映射出q）。神经网络用CNN、RNN等都可以。

很显然的Q-learning和DQN都是value-based method

为了适应大规模复杂问题，向RL中引入DL。传统的RL算法，如SARSA、Q-learning需要保存一张很大的Q(state,action)，当问题规模增大，内存溢出。所以不想保存Q表，需要一种从(s,a)到s直接映射到Q的方法，线性近似、决策树、最近邻、傅里叶变换、神经网络等都能用，目前最主流的是神经网络，所以向RL中引入了DL。DRL算法比如DQN，通过神经网络构建从state到action的映射，即向神经网络输入state，直接就能输出action，不需要保存Q表，保存网络参数就行，所需存储空间小了很多。

Nature DQN

DQN中目标Q的计算和训练Q都是用一个模型计算的，相关性太强了，不利于收敛。于是Nature DQN想到了用两个Q网络。一个current Q网络用来选择动作，更新模型参数。另一个target Q'网络用于计算目标Q值。target Q'网络的参数不需要一直更新，过段时间从current Q网络复制过来就行了。两个网络结构是完全一样的，才可以复制

DDQN

它也用了像Nature DQN一样的两个网络。但是它改动了一点，就是对target Q的计算。Q-learning和DQN在计算target Q的时候都是通过贪婪直接得到的，即取Qmax的那个。但是这容易陷入Over Estimate，使模型有很大bias。

DDQN将target Q的选择解耦合为两步，第一步是选择Qmax的action，第二步将这个action代入计算target Q

对比下

DQN的target Q: $\begin{equation} R_{j}+\gamma \max _{a^{\prime}} Q^{\prime}\left(\phi\left(S_{j}^{\prime}\right), A_{j}^{\prime}, w^{\prime}\right) \end{equation}$

DDQN的target Q: $\begin{equation} y_{j}=R_{j}+\gamma Q^{\prime}\left(\phi\left(S_{j}^{\prime}\right), a^{\max }\left(S_{j}^{\prime}, w\right), w^{\prime}\right) \end{equation}$

Prioritized Repay DQN

它也像Nature DQN一样有两个网络。它对buffer中取样改进了一点，不再是随机取样了，而是给样本赋予了权重。TD误差大的赋予的权重高（因为对神经网络误差反向传播有利）

如何根据样本权重选择样本：SumTree。其叶子节点是样本权重，往上加和。

比如想在[0-42]间抽样一个优先级，肯定是[13-25]这个区间长的被抽到啊。比如抽到了20，顺着树往下找，就找到12了。而优先级高的区间长。真挺巧妙的。

Dueling DQN

Dueling DQN在Nature DQN上就改进了一点，将神经网络的结构稍微改了一下，将最终Q值输出变成两部分，一部分是只与状态s有关的Value Fuction V，另一部分是同时与状态s和动作a有关的Advantage Function A。

$\begin{equation} Q(S, A, w, \alpha, \beta)=V(S, w, \alpha)+A(S, A, w, \beta) \end{equation}$

Policy Gradient

比较主流的是Nature DQN，Prioritized DQN和Dueling DQN。三种算法思路不相互排斥，可以混着用。当然还有很多对DQN的改进，比如改网络什么的。但是DQN有一个缺陷是只能处理离散的动作，对于连续动作的处理能力不行，policy-based method可以解决这个问题，因为 $\begin{equation} \pi(a \mid s) \end{equation}$ 是一个连续函数，不同于value-based method的 $\begin{equation} q_{\pi}(s, a) \end{equation}$ 。value-based method还有一个问题是一般都是取max value的动作，直接贪婪。但是有时候现实问题是随机的，不是每次都要做最好的选择，这时也可以考虑用policy-based method

就像在value-based method中对q做近似： $\begin{equation} \hat{q}(s, a, w) \approx q_{\pi}(s, a) \end{equation}$ ，在policy-based method中可以对策略Π做近似： $\begin{equation} \pi_{\theta}(s, a)=P(a \mid s, \theta) \approx \pi(a \mid s) \end{equation}$ ，然后对参数θ（模型权重）求解优化就好了，以下还是用DL神经网络做近似，其它传统ML的近似方法应该也可以。

定义一个优化目标，可以用状态s的价值的期望， $\begin{equation} J_{1}(\theta)=V_{\pi \theta}\left(s_{1}\right)=\mathbb{E}_{\pi \theta}\left(G_{1}\right) \end{equation}$ ，然后基于这个目标函数梯度上升就行了。对θ求导得梯度， $\begin{equation} \nabla_{\theta} J(\theta)=\mathbb{E}_{\pi \theta}\left[\nabla_{\theta} \log \pi_{\theta}(s, a) Q_{\pi}(s, a)\right] \end{equation}$ 。

cs285这节课推导比前几节课多太多了，就手推了一下几个公式。有时候看看不懂，但是动笔推一遍就差不多懂了

在实践中，对PG的一些训练tips：

调非常大batch size（由于MC从trajectory积累reward求期望，PG的variance很大，gradient噪声也较大）
PG学习率比较难调（因为gradient噪声大），勉强能用ADAM。一般使用PG专用的自动确定学习步长的方式，如PPO/TRPO

REINFORCE

一个最简单policy gradient：REINFORCE

可见在policy-based method，确实可以讲没有value function V，但是确实有每个状态的value v啊。value指导policy的参数的优化。

Actor-Critic

结合了一下value-based method和policy-based method

其中，Actor（演员）是策略函数，负责生成action，与环境交互。Critic（批判者）是价值函数，负责评估、优化Actor的表现，即优化策略。

在PG，用MC计算每个状态的价值，其实也相当于一种Critic，但是场景比较受限（需要多条完整episode路径）。在Actor-Critic中将Critic的功能进一步加重，这里使用了类似DQN中的价值函数

在Critic-Actor中需要对q和Π都做近似，即

$\begin{equation} \hat{q}(s, a, w) \approx q_{\pi}(s, a) \end{equation}$

$\begin{equation} \pi_{\theta}(s, a)=P(a \mid s, \theta) \approx \pi(a \mid s) \end{equation}$

具体过程为，Critic通过神经网络计算评估点（可以是state value function / state-action value funciton / advantage function / TD误差），Actor使用神经网络梯度反向传播（目标函数是Critic的评估点）不断更新策略函数的参数θ。 Critic和Actor的神经网络可以是相同的，也可以是不同的。

DPG

DPG (Deterministic policy gradient)。deterministic就是策略不随机了，在某个state下就采取这个action： $\begin{equation} \pi_{\theta}(s)=a \end{equation}$

DDPG

DDPG (Deep Deterministic policy gradient) 是使用了双Actor（这俩结构相同）和双Critic结构（这俩结构相同），就是DQN到Nature DQN的思想

这个博主就对这四个网络的功能总结得挺好：

DDPG还有两个挺有意思的点，其一，当前网络从目标网络复制参数w、θ的时候，不是一下全部复制过来的，而是加了一个更新系数（一般取0.1/0.01），即每次改变一点点。其二是在Actor当前网络中选择动作的时候，为了增加随机性，会给动作加点噪声，即 $\begin{equation} A=\pi_{\theta}(S)+\mathcal{N} \end{equation}$

其实DDPG中的Critic当前网络、Critic目标网络和DDQN中的当前Q网络、目标Q网络的功能差不多。但是DDQN中没有单独的policy function Π（因为是value-based method），每次选择动作就用ε-贪婪这样的方法。在Actor-Critic的DDPG中，Actor网络来选动作，就不用ε-贪婪了。

A3C

A3C中用了多线程。一个主线程负责更新Actor网络和Critic网络的参数，多个辅线程负责与环境交互，得到梯度更新值，汇总更新主线程的参数（异步并发）。所有辅线程定期从主线程更新网络参数。这些辅线程起到了类似DQN中经验回放的作用。

A3C中的多个辅线程还改进累类似repay experience的问题，就是buffer中的数据相关性比较强。比如一直跟一个人下棋，那水平很难得到提高。应该跟有不同思考方式的多个人对弈。

A3C中的Critic用了Advantage Function作为评估点， $\begin{equation} A(S, A, t)=Q(S, A)-V(S) \end{equation}$ ，这里的V(s)其实就相当于baseline的作用，因为V(s)代表该状态价值，是Q关于所有action的期望，代表了所有state-action的平均好坏。如果A>0，则在该状态下采取该动作会更好，反之则更差。而advantage function中的Q可以用V表示出来，即 $\begin{equation} Q(S, A)=R+\gamma V\left(S^{\prime}\right) \end{equation}$ 。则优势函数表示为， $\begin{equation} A(S, t)=R+\gamma V\left(S^{\prime}\right)-V(S) \end{equation}$ 。A3C中用了n-step sampling，则优势函数进一步表示为， $\begin{equation} A(S, t)=R_{t}++\gamma R_{t+1}+\ldots \gamma^{n-1} R_{t+n-1}+\gamma^{n} V\left(S^{\prime}\right)-V(S) \end{equation}$

Model-based method

model-based method要知道环境转换的模型，即用状态转移概率（s采取动作a到s'的概率）， $\begin{equation} S_{t+1} \sim P\left(S_{t+1} \mid S_{t}, A_{t}\right) \end{equation}$ 和Reward $\begin{equation} R_{t+1} \sim R\left(R_{t+1} \mid S_{t}, A_{t}\right) \end{equation}$ 描述

表示环境模型，即表示这两个问题： $\begin{equation} S_{T-1}, A_{T-1} \rightarrow S_{T} \end{equation}$ 和 $\begin{equation} S_{T_{1}}, A_{T-1} \rightarrow R_{T} \end{equation}$ 。很显然，前者是分类问题，后者是回归问题。用传统的监督学习算法求解就可以了。

有模型时，就知道state下采取action后会到什么状态，能得到什么动作奖励，就不必和环境交互了。model-based method是从模型中学习，而不是从与环境交互的过程中学习。所以环境模型的表示十分重要

model-based method整体流程：

model-based method一般不单独用，而是与model-free method结合起来，比如Dyna、MCTS。

Dyna

Dyna不是具体的算法，而是一类算法框架的统称。它结合了model-based method 和 model-free method，即既从模型中学习，也从实际与环境交互中学习，从而更新策略函数或价值函数。Dyna和不同model-free强化学习算法结合起来，就能得到不同算法。

Dyna-Q

MCTS

它也是一种比较流行的model-based和model-free method结合的RL算法，是基于模拟的搜索（stimulate based search），适合海量数据。两个关键点，其一是stimulate，即数据不是真实地与环境交互得来的，而是"模拟"的。其二是search，是利用stimulated data找策略（到底该采取什么样的action才能使value最大化）

基本MCTS就是根据模拟的输出结果，按照节点构造搜索树。于MCTS的树结构，如果是最简单的方法，只需要在节点上保存状态对应的历史胜负记录。在每条边上保存采样的动作。这样MCTS的搜索需要走4步

第一步是选择(Selection)：这一步会从根节点开始，每次都选一个“最值得搜索的子节点”，一般使用UCT(Upper Confidence Bound Applied to Trees, 上限置信区间算法，为达E&E平衡)选择分数最高的节点，直到来到一个“存在未扩展的子节点”的节点（没有后续走法），如图中的 3/3 节点。

第二步是扩展(Expansion)，在这个搜索到的存在未扩展的子节点，加上一个0/0的子节点，表示没有历史记录参考。

第三步是仿真(simulation)，从上面这个没有试过的着法开始，用一个简单策略比如快速走子策略（Rollout policy）走到底，得到一个胜负结果。快速走子策略一般适合选择走子很快可能不是很精确的策略。因为如果这个策略走得慢，结果虽然会更准确，但由于耗时多了，在单位时间内的模拟次数就少了，所以不一定会棋力更强，有可能会更弱。这也是为什么一般只模拟一次，因为如果模拟多次，虽然更准确，但更慢。

第四步是回溯(backpropagation), 将最后得到的胜负结果回溯加到MCTS树结构上。

还有一些其它有意思的点：

上述这些算法的Reward都是基于人工设计的，这就引入了人工知识，也在一定程度上引入了偏差。也有一些在寻求避免人工设计Reward的方法（cs285第一课）。第一种是learning from demonstrations，要么是从以往案例中学习，imitation learning，要么是agent基于人类样例学习reward如何表示，即IRL (Inverse RL)。第二种是learning from observing the world，这个每太听懂，好像就是model-based对环境建模。第三种是learning from other tasks，包括transfer learning（从其它任务中学会知识以迁移）和meta-learning（从其它任务中学会学习的方法）

参考资料

上确界(sup)和下确界(inf)

共轭函数通俗解释1：线性函数yTx和原始函数f(x)的最大gap

共轭函数数学定义2

Daul Ascent对偶上升法

对偶函数也称为拉格朗日对偶函数（Lagrange daul function）

Daul Ascent将优化目标的约束条件转化为优化目标的一部分，

从而将对目标函数在约束下进行优化的过程等价为直接优化对偶目标函数的行为。

s.t.指约束条件

Jocab矩阵(一阶导)和Hessian矩阵(二阶导)

矩阵求导

LQR和iLQR

贝叶斯

联合概率、边际概率、条件概率

特征向量表示了向量的"变换"特征

在机器学习里面，张量通常意味着数组，没有实际物理意义。如TensorFlow的意思是：N维数组从数据流图的一端流动到另一端的计算过程。

极大似然估计，通俗理解来说，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值。换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”

KL divergence指当某分布q(x)被用于近似p(x)时的信息损失。即q(x)能在多大程度上表达p(x)所包含的信息，KL divergence越大，表达效果越差

on-policy和off-policy区别

二者区别在于采样的policy和improve的policy是否相同

①on-policy只有行为策略，就是跟实际数据产生、实际与环境交互相关的，是训练中的策略

②off-policy同时有行为策略和目标策略，目标策略根据行为策略优化、调整

Sarsa和Q-learning区别

①都属于TD算法（temporal difference RL）（时序差分算法）

②Sarsa是on-policy，Q-learning是off-policy

③Q-learning的行为策略和Sarsa相同，都是利用该状态S的即时奖励和下个状态S’的Q值来更新S的Q值，但是其选择的下个状态价值对（s’,a’）中的a’是根据ε-greedy策略选取的，具备一定的Exploration；其目标策略和行为策略唯一的不同是选取下个状态价值对（s’,a’）是选的最大Q值的，更加贪婪

全连接FC到卷积CNN

卷积神经网络基础概念

卷积神经网络channel

池化：减少冗余信息，看一下这个回答中的卷积、池化的两个动图就发现区别了。池化一般选滑动窗口中最值/均值，不是像卷积核一样带权重地滑动

DQN

Policy Gradient

贝叶斯神经网络(BNN)

BNN(Bayesian Neural Network)将权重看作服从μ,δ的高斯分布。普通CNN优化的是权重，BNN优化的是权重的均值和方差，所以其优化参数是普通CNN的两倍。

在预测时，BNN会从每个高斯分布中采样，得到权重值，反向传播。

BNN(二值化神经网络)

跟上面那个不一样。还查资料查串了最后发现。BNN (Binary Neural Network) 的结构和CNN一样，只是在梯度下降、权值更新、卷积运算熵做了一些改进。其权值、激活值只能为1或-1。

FCN:解决图像分割问题

熵、信息量、相对熵(KL convergence)、交叉熵

熵是不确定性的度量，是对所有可能发生的事件产生的信息量的期望。信息量和确定性成反比。相对熵(KL convergence)一般衡量两个分布p(x)和q(x)的差异，如样本的真实分布和预测分布。交叉熵其实就是把相对熵中的常数部分去掉了，作为优化的目标。其实用KL convergence也一样。

softmax

将输入映射为(0,1)，可视为多分类的概率

书籍PRML（Pattern Recognition And Machine Learning）第十章:Approximate Inference

近似计算有随机和确定两种方法，变分是后者。

mean field是统计物理学中常用思想，将无法处理得复杂多体问题分解成可以处理得单体问题来近似。例如在计算某个分布的积分时，可以变成多个较低维度的积分。这是一种可分解的变分近似思想。

变分推断，实际就是用形式简单、做积分比较容易的分布，去近似形式复杂、不易求积分的分布，衡量分布差异大小用到了KLD。最小化KLD为优化目标。使用coordinate ascent收敛至局部最优

Online learning：其实就是跑一个样本更新一次参数

Online learning和batch learning这两者存在于对机器学习算法的训练中，是训练方法。以训练神经网络为例，训练神经网络时需要计算损失函数，根据损失函数计算参数的梯度，从而去更新参数。这就涉及到神经网络学习多少样本后去计算损失函数，更新参数了。如果每学习一个样本，就去更新参数的话，这就是online learning。如果学习所有样本后，再去更新参数，这就是batch learning。显然，batch learning的优点是容易找到全局最优解，但样本较大时训练过程很慢。而online learning则相反。为了折中，出现了小批量学习，即学习小批量样本后更新参数，这个小批量的样本数量自己制定。

Boostrap是一种抽样方法，在ensemble learning中很常见。是指对样本每次有放回的抽样，抽样K个，一共抽N次

反向传播

回归问题用于建模和分析变量间的关系，多用于预测问题，如根据某地多年房价预测今年的

LQR

PID控制

sum tree

你可能感兴趣的:(强化学习,算法,强化学习,深度学习,机器学习)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
Goolge earth studio 进阶4——路径修改与平滑陟彼高冈yu Google earth studio 进阶教程旅游
如果我们希望在大约中途时获得更多的城市鸟瞰视角。可以将相机拖动到这里并创建一个新的关键帧。camera_target_clip_7EarthStudio会自动平滑我们的路径，所以当我们通过这个关键帧时，不是一个生硬的角度，而是一个平滑的曲线。camera_target_clip_8路径上有贝塞尔控制手柄，允许我们调整路径的形状。右键单击，我们可以选择“平滑路径”，这是默认的自动平滑算法，或者我们可
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
基于社交网络算法优化的二维最大熵图像分割智能算法研学社（Jack旭）智能优化算法应用图像分割算法 php 开发语言
智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
121. 买卖股票的最佳时机薄荷糖的味道_fb40
给定一个数组，它的第i个元素是一支给定股票第i天的价格。如果你最多只允许完成一笔交易（即买入和卖出一支股票），设计一个算法来计算你所能获取的最大利润。注意你不能在买入股票前卖出股票。示例1:输入:[7,1,5,3,6,4]输出:5解释:在第2天（股票价格=1）的时候买入，在第5天（股票价格=6）的时候卖出，最大利润=6-1=5。注意利润不能是7-1=6,因为卖出价格需要大于买入价格。示例2:输入:
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
回溯算法-重新安排行程 chirou_ 算法数据结构图论 c++图搜索
leetcode332.重新安排行程这题我还没自己ac过，只能现在凭着刚学完的热乎劲把我对题解的理解记下来。本题我认为对数据结构的考察比较多，用什么数据结构去存数据，去读取数据，都是很重要的。classSolution{private:unordered_map>targets;boolbacktracking(intticketNum,vector&result){//1.确定参数和返回值//2
Faiss：高效相似性搜索与聚类的利器网络·魚大数据 faiss
Faiss是一个针对大规模向量集合的相似性搜索库，由FacebookAIResearch开发。它提供了一系列高效的算法和数据结构，用于加速向量之间的相似性搜索，特别是在大规模数据集上。本文将介绍Faiss的原理、核心功能以及如何在实际项目中使用它。Faiss原理：近似最近邻搜索：Faiss的核心功能之一是近似最近邻搜索，它能够高效地在大规模数据集中找到与给定查询向量最相似的向量。这种搜索是近似的，
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insert into select 主键自增 mybatis delete返回值 mybatis insert返回主键 mybatis insert返回对象 mybatis plus insert返回主键 mybatis plus 插入生成id
前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
k均值聚类算法考试例题_k均值算法(k均值聚类算法计算题) 寻找你83497 k均值聚类算法考试例题
?算法：第一步：选K个初始聚类中心，z1(1),z2(1)，…，zK(1)，其中括号内的序号为寻找聚类中心的迭代运算的次序号。聚类中心的向量值可任意设定，例如可选开始的K个.k均值聚类：---------一种硬聚类算法，隶属度只有两个取值0或1，提出的基本根据是“类内误差平方和最小化”准则；模糊的c均值聚类算法：--------一种模糊聚类算法，是.K均值聚类算法是先随机选取K个对象作为初始的聚类
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
推荐算法_隐语义-梯度下降 _feivirus_ 算法机器学习和数学推荐算法机器学习隐语义
importnumpyasnp1.模型实现"""inputrate_matrix:M行N列的评分矩阵，值为P*Q.P:初始化用户特征矩阵M*K.Q:初始化物品特征矩阵K*N.latent_feature_cnt:隐特征的向量个数max_iteration:最大迭代次数alpha:步长lamda:正则化系数output分解之后的P和Q"""defLFM_grad_desc(rate_matrix,l
K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习 K近邻
importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
数据结构 | 栈和队列 TT-Kun 数据结构与算法数据结构栈队列 C语言
文章目录栈和队列1.栈：后进先出（LIFO）的数据结构1.1概念与结构1.2栈的实现2.队列：先进先出（FIFO）的数据结构2.1概念与结构2.2队列的实现3.栈和队列算法题3.1有效的括号3.2用队列实现栈3.3用栈实现队列3.4设计循环队列结论栈和队列在计算机科学中，栈和队列是两种基本且重要的数据结构，它们在处理数据存储和访问顺序方面有着独特的规则和应用。本文将详细介绍栈和队列的概念、结构、实
[Python] 数据结构详解及代码 AIAdvocate 算法 python 数据结构链表
今日内容大纲介绍数据结构介绍列表链表1.数据结构和算法简介程序大白话翻译,程序=数据结构+算法数据结构指的是存储,组织数据的方式.算法指的是为了解决实际业务问题而思考思路和方法,就叫:算法.2.算法的5大特性介绍算法具有独立性算法是解决问题的思路和方式,最重要的是思维,而不是语言,其(算法)可以通过多种语言进行演绎.5大特性有输入,需要传入1或者多个参数有输出,需要返回1个或者多个结果有穷性,执行
Python算法L5：贪心算法小熊同学哦 Python算法算法 python 贪心算法
Python贪心算法简介目录Python贪心算法简介贪心算法的基本步骤贪心算法的适用场景经典贪心算法问题1.**零钱兑换问题**2.**区间调度问题**3.**背包问题**贪心算法的优缺点优点：缺点：结语贪心算法（GreedyAlgorithm）是一种在每一步选择中都采取当前最优或最优解的算法。它的核心思想是，在保证每一步局部最优的情况下，希望通过贪心选择达到全局最优解。虽然贪心算法并不总能得到全
遥感影像的切片处理 sand&wich 计算机视觉 python 图像处理
在遥感影像分析中，经常需要将大尺寸的影像切分成小片段，以便于进行详细的分析和处理。这种方法特别适用于机器学习和图像处理任务，如对象检测、图像分类等。以下是如何使用Python和OpenCV库来实现这一过程，同时确保每个影像片段保留正确的地理信息。准备环境首先，确保安装了必要的Python库，包括numpy、opencv-python和xml.etree.ElementTree。这些库将用于图像处理
【RabbitMQ 项目】服务端：数据管理模块之绑定管理月夜星辉雪 rabbitmq 分布式
文章目录一.编写思路二.代码实践一.编写思路定义绑定信息类交换机名称队列名称绑定关键字：交换机的路由交换算法中会用到没有是否持久化的标志，因为绑定是否持久化取决于交换机和队列是否持久化，只有它们都持久化时绑定才需要持久化。绑定就好像一根绳子，两端连接着交换机和队列，当一方不存在，它就没有存在的必要了定义绑定持久化类构造函数：如果数据库文件不存在则创建，打开数据库，创建binding_table插入
非对称加密算法原理与应用2——RSA私钥加密文件私语茶馆云部署与开发架构及产品灵感记录 RSA2048 私钥加密
作者：私语茶馆1.相关章节（1）非对称加密算法原理与应用1——秘钥的生成-CSDN博客第一章节讲述的是创建秘钥对，并将公钥和私钥导出为文件格式存储。本章节继续讲如何利用私钥加密内容，包括从密钥库或文件中读取私钥，并用RSA算法加密文件和String。2.私钥加密的概述本文主要基于第一章节的RSA2048bit的非对称加密算法讲述如何利用私钥加密文件。这种加密后的文件，只能由该私钥对应的公钥来解密。
粒子群优化 (PSO) 在三维正弦波函数中的应用 subject625Ruben 机器学习人工智能 matlab 算法
在这篇博客中，我们将展示如何使用粒子群优化（PSO）算法求解三维正弦波函数，并通过增加正弦波扰动，使优化过程更加复杂和有趣。本文将介绍目标函数的定义、PSO参数设置以及算法执行的详细过程，并展示搜索空间中的动态过程和收敛曲线。1.目标函数定义我们使用的目标函数是一个三维正弦波函数，定义如下：objectiveFunc=@(x)sin(sqrt(x(1).^2+x(2).^2))+0.5*sin(5
推荐3家毕业AI论文可五分钟一键生成！文末附免费教程！小猪包333 写论文人工智能 AI写作深度学习计算机视觉
在当前的学术研究和写作领域，AI论文生成器已经成为许多研究人员和学生的重要工具。这些工具不仅能够帮助用户快速生成高质量的论文内容，还能进行内容优化、查重和排版等操作。以下是三款值得推荐的AI论文生成器：千笔-AIPassPaper、懒人论文以及AIPaperPass。千笔-AIPassPaper千笔-AIPassPaper是一款基于深度学习和自然语言处理技术的AI写作助手，旨在帮助用户快速生成高质
AI大模型的架构演进与最新发展季风泯灭的季节 AI大模型应用技术二人工智能架构
随着深度学习的发展，AI大模型（LargeLanguageModels,LLMs）在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。一、基础模型介绍：Transformer的核心原理Transformer架构的背景在Transfo
非对称加密算法————RSA理论及详情 hu19930613
转自：https://www.kancloud.cn/kancloud/rsa_algorithm/48484一、一点历史1976年以前，所有的加密方法都是同一种模式：（1）甲方选择某一种加密规则，对信息进行加密；（2）乙方使用同一种规则，对信息进行解密。由于加密和解密使用同样规则（简称"密钥"），这被称为"对称加密算法"（Symmetric-keyalgorithm）。这种加密模式有一个最大弱点
ai绘画工具midjourney怎么下载？附作品管理教程设计师早上好
Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
【加密算法基础——对称加密和非对称加密】 XWWW668899 网络安全服务器笔记
对称加密与非对称加密对称加密和非对称加密是两种基本的加密方法，各自有不同的特点和用途。以下是详细比较：1.对称加密特点密钥:使用相同的密钥进行加密和解密。发送方和接收方必须共享这个密钥。速度:通常速度较快，适合处理大量数据。实现:算法相对简单，计算效率高。常见算法AES(高级加密标准)DES(数据加密标准)3DES(三重数据加密标准)RC4(流密码)应用场景文件加密磁盘加密传输大量数据时的加密2.
【算法练习】IDEA集成leetcode插件实现快速刷 2401_84102892 2024年程序员学习算法 intellij-idea leetcode
============点击右侧边leetcode->设置->配置地址、用户名、密码、存放目录、文件模板用户名要登录后在账号信息里看模板代码1.codefilename!velocityTool.camelC
[实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估 pytorch python 机器学习
文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
LeetCode[Math] - #66 Plus One Cwind java LeetCode 题解 Algorithm Math
原题链接：#66 Plus One 要求：给定一个用数字数组表示的非负整数，如num1 = {1, 2, 3, 9}, num2 = {9, 9}等，给这个数加上1。注意： 1. 数字的较高位存在数组的头上，即num1表示数字1239 2. 每一位（数组中的每个元素）的取值范围为0~9 难度：简单分析：题目比较简单，只须从数组
JQuery中$.ajax()方法参数详解 AILIKES JavaScript jsonp jquery Ajax json
url: 要求为String类型的参数，（默认为当前页地址）发送请求的地址。 type: 要求为String类型的参数，请求方式（post或get）默认为get。注意其他http请求方法，例如put和 delete也可以使用，但仅部分浏览器支持。 timeout: 要求为Number类型的参数，设置请求超时时间（毫秒）。此设置将覆盖$.ajaxSetup()方法的全局
JConsole & JVisualVM远程监视Webphere服务器JVM Kai_Ge JVisualVM JConsole Webphere
JConsole是JDK里自带的一个工具，可以监测Java程序运行时所有对象的申请、释放等动作，将内存管理的所有信息进行统计、分析、可视化。我们可以根据这些信息判断程序是否有内存泄漏问题。　　使用JConsole工具来分析WAS的JVM问题，需要进行相关的配置。　　首先我们看WAS服务器端的配置. 　　1、登录was控制台https://10.4.119.18
自定义annotation 120153216 annotation
Java annotation 自定义注释@interface的用法一、什么是注释说起注释，得先提一提什么是元数据(metadata)。所谓元数据就是数据的数据。也就是说，元数据是描述数据的。就象数据表中的字段一样，每个字段描述了这个字段下的数据的含义。而J2SE5.0中提供的注释就是java源代码的元数据，也就是说注释是描述java源
CentOS 5/6.X 使用 EPEL YUM源 2002wmj centos
CentOS 6.X 安装使用EPEL YUM源1. 查看操作系统版本[root@node1 ~]# uname -a Linux node1.test.com 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux [root@node1 ~]#
在SQLSERVER中查找缺失和无用的索引SQL 357029540 SQL Server
--缺失的索引 SELECT avg_total_user_cost * avg_user_impact * ( user_scans + user_seeks ) AS PossibleImprovement , last_user_seek ,
Spring3 MVC 笔记（二） —json+rest优化 7454103 Spring3 MVC
接上次的 spring mvc 注解的一些详细信息！其实也是一些个人的学习笔记呵呵！
替换“\”的时候报错Unexpected internal error near index 1 \ ^ adminjun java “\替换”
发现还是有些东西没有刻子脑子里,,过段时间就没什么概念了,所以贴出来...以免再忘... 在拆分字符串时遇到通过 \ 来拆分，可是用所以想通过转义 \\ 来拆分的时候会报异常 public class Main { /*
POJ 1035 Spell checker(哈希表) aijuans 暴力求解--哈希表
/* 题意：输入字典，然后输入单词，判断字典中是否出现过该单词，或者是否进行删除、添加、替换操作，如果是，则输出对应的字典中的单词要求按照输入时候的排名输出题解：建立两个哈希表。一个存储字典和输入字典中单词的排名，一个进行最后输出的判重 */ #include <iostream> //#define using namespace std; const int HASH =
通过原型实现javascript Array的去重、最大值和最小值 ayaoxinchao JavaScript array prototype
用原型函数（prototype）可以定义一些很方便的自定义函数，实现各种自定义功能。本次主要是实现了Array的去重、获取最大值和最小值。实现代码如下： <script type="text/javascript"> Array.prototype.unique = function() { var a = {}; var le
UIWebView实现https双向认证请求 bewithme UIWebView https Objective-C
什么是HTTPS双向认证我已在先前的博文 ASIHTTPRequest实现https双向认证请求中有讲述，不理解的读者可以先复习一下。本文是用UIWebView来实现对需要客户端证书验证的服务请求，网上有些文章中有涉及到此内容，但都只言片语，没有讲完全，更没有完整的代码，让人困扰不已。但是此知
NoSQL数据库之Redis数据库管理(Redis高级应用之事务处理、持久化操作、pub_sub、虚拟内存) bijian1013 redis 数据库 NoSQL
3.事务处理 Redis对事务的支持目前不比较简单。Redis只能保证一个client发起的事务中的命令可以连续的执行，而中间不会插入其他client的命令。当一个client在一个连接中发出multi命令时，这个连接会进入一个事务上下文，该连接后续的命令不会立即执行，而是先放到一个队列中，当执行exec命令时，redis会顺序的执行队列中
各数据库分页sql备忘 bingyingao oracle sql 分页
ORACLE 下面这个效率很低 SELECT * FROM ( SELECT A.*, ROWNUM RN FROM (SELECT * FROM IPAY_RCD_FS_RETURN order by id desc) A ) WHERE RN <20; 下面这个效率很高 SELECT A.*, ROWNUM RN FROM (SELECT * FROM IPAY_RCD_
【Scala七】Scala核心一：函数 bit1129 scala
1. 如果函数体只有一行代码，则可以不用写{},比如 def print(x: Int) = println(x) 一行上的多条语句用分号隔开，则只有第一句属于方法体，例如 def printWithValue(x: Int) : String= println(x); "ABC" 上面的代码报错，因为，printWithValue的方法
了解GHC的factorial编译过程 bookjovi haskell
GHC相对其他主流语言的编译器或解释器还是比较复杂的，一部分原因是haskell本身的设计就不易于实现compiler，如lazy特性，static typed，类型推导等。关于GHC的内部实现有篇文章说的挺好，这里，文中在RTS一节中详细说了haskell的concurrent实现，里面提到了green thread，如果熟悉Go语言的话就会发现，ghc的concurrent实现和Go有点类
Java-Collections Framework学习与总结-LinkedHashMap BrokenDreams LinkedHashMap
前面总结了java.util.HashMap，了解了其内部由散列表实现，每个桶内是一个单向链表。那有没有双向链表的实现呢？双向链表的实现会具备什么特性呢？来看一下HashMap的一个子类——java.util.LinkedHashMap。
读《研磨设计模式》-代码笔记-抽象工厂模式-Abstract Factory bylijinnan abstract
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * Abstract Factory Pattern * 抽象工厂模式的目的是： * 通过在抽象工厂里面定义一组产品接口，方便地切换“产品簇” * 这些接口是相关或者相依赖的
压暗面部高光 cherishLC PS
方法一、压暗高光&重新着色当皮肤很油又使用闪光灯时，很容易在面部形成高光区域。下面讲一下我今天处理高光区域的心得：皮肤可以分为纹理和色彩两个属性。其中纹理主要由亮度通道（Lab模式的L通道）决定，色彩则由a、b通道确定。处理思路为在保持高光区域纹理的情况下，对高光区域着色。具体步骤为：降低高光区域的整体的亮度，再进行着色。如果想简化步骤，可以只进行着色（参看下面的步骤1
Java VisualVM监控远程JVM crabdave visualvm
Java VisualVM监控远程JVM JDK1.6开始自带的VisualVM就是不错的监控工具. 这个工具就在JAVA_HOME\bin\目录下的jvisualvm.exe, 双击这个文件就能看到界面通过JMX连接远程机器, 需要经过下面的配置: 1. 修改远程机器JDK配置文件 (我这里远程机器是linux).
Saiku去掉登录模块 daizj saiku 登录 olap BI
1、修改applicationContext-saiku-webapp.xml <security:intercept-url pattern="/rest/**" access="IS_AUTHENTICATED_ANONYMOUSLY" /> <security:intercept-url pattern=&qu
浅析 Flex中的Focus dsjt html Flex Flash
关键字：focus、 setFocus、 IFocusManager、KeyboardEvent 焦点、设置焦点、获得焦点、键盘事件一、无焦点的困扰——组件监听不到键盘事件原因：只有获得焦点的组件（确切说是InteractiveObject）才能监听到键盘事件的目标阶段；键盘事件（flash.events.KeyboardEvent）参与冒泡阶段，所以焦点组件的父项（以及它爸
Yii全局函数使用 dcj3sjt126com yii
由于YII致力于完美的整合第三方库，它并没有定义任何全局函数。yii中的每一个应用都需要全类别和对象范围。例如，Yii::app()->user;Yii::app()->params['name'];等等。我们可以自行设定全局函数，使得代码看起来更加简洁易用。(原文地址) 我们可以保存在globals.php在protected目录下。然后，在入口脚本index.php的，我们包括在
设计模式之单例模式二（解决无序写入的问题） come_for_dream 单例模式 volatile 乱序执行双重检验锁
在上篇文章中我们使用了双重检验锁的方式避免懒汉式单例模式下由于多线程造成的实例被多次创建的问题，但是因为由于JVM为了使得处理器内部的运算单元能充分利用，处理器可能会对输入代码进行乱序执行（Out Of Order Execute）优化，处理器会在计算之后将乱序执行的结果进行重组，保证该
程序员从初级到高级的蜕变 gcq511120594 框架工作 PHP android html5
软件开发是一个奇怪的行业，市场远远供不应求。这是一个已经存在多年的问题，而且随着时间的流逝，愈演愈烈。我们严重缺乏能够满足需求的人才。这个行业相当年轻。大多数软件项目是失败的。几乎所有的项目都会超出预算。我们解决问题的最佳指导方针可以归结为——“用一些通用方法去解决问题，当然这些方法常常不管用，于是，唯一能做的就是不断地尝试，逐个看看是否奏效”。现在我们把淫浸代码时间超过3年的开发人员称为
Reverse Linked List hcx2013 list
Reverse a singly linked list. /** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode(int x) { val = x; } * } */ p
Spring4.1新特性——数据库集成测试 jinnianshilongnian spring 4.1
目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
C# Ajax上传图片同时生成微缩图(附Demo) liyonghui160com
1.Ajax无刷新上传图片,详情请阅我的这篇文章。（jquery + c# ashx） 2.C#位图处理 System.Drawing。 3.最新demo支持IE7,IE8,Fir
Java list三种遍历方法性能比较 pda158 java
从c/c++语言转向java开发，学习java语言list遍历的三种方法，顺便测试各种遍历方法的性能，测试方法为在ArrayList中插入1千万条记录，然后遍历ArrayList，发现了一个奇怪的现象，测试代码例如以下： package com.hisense.tiger.list; import java.util.ArrayList; import java.util.Iterator;
300个涵盖IT各方面的免费资源（上）——商业与市场篇 shoothao seo 商业与市场 IT资源免费资源
A.网站模板+logo+服务器主机+发票生成 HTML5 UP:响应式的HTML5和CSS3网站模板。 Bootswatch:免费的Bootstrap主题。 Templated:收集了845个免费的CSS和HTML5网站模板。 Wordpress.org|Wordpress.com:可免费创建你的新网站。 Strikingly:关注领域中免费无限的移动优
localStorage、sessionStorage uule localStorage
W3School 例子 HTML5 提供了两种在客户端存储数据的新方法： localStorage - 没有时间限制的数据存储 sessionStorage - 针对一个 session 的数据存储之前，这些都是由 cookie 完成的。但是 cookie 不适合大量数据的存储，因为它们由每个对服务器的请求来传递，这使得 cookie 速度很慢而且效率也不