jijijix

cs224n学习笔记 2

1 Word Meaning

需要掌握的主要是词的表示方法，大体来说，词的表示主要有下面两种：

1.1 discrete representation

用一个one-hot向量来表示一个词，比如现在有三个词apple，banana，orange分别对应向量的每个位置，那么[0,1,0]表示banana。

这种表示被称作是一种本地表示（localist representation）

当全部单词比较多的时候，discrete representation需要用比较大的维度表示一个单词，这样得到的向量是一个稀疏的向量（只有一维是1），而事实上我们希望如果两个词语词义相近，那么他们向量的内积比较大，但是用discrete representation表示两个近义词的话，他们对应的向量内积是0，这是我们不希望的

1.2 distributed representation

这种表示方法是想要用一个稠密的向量来表示一个单词，而稠密向量的维度可以不用像上一种那么大，同时我们希望两个近义词用distributed representation时对应向量的内积尽量大

关键是怎么得到这个稠密向量呢？笼统的说，我们是通过单词所处的上下文来得到的。一个单词所在文章的上下文能够体现这个单词的词义，我们称之为distributional similarity，举个例子，hotel和motel这两个单词上下文的环境一般是比较类似的。注意区分distributional similarity和我们说的distributed representation两者不是一回事，distributional similarity是语言学上表示词义的一种方式，而distributed representation是用数值(向量)的方式呈现词的一种方法。

至于具体怎么通过上下文得到稠密向量，就是下面word2vec的主要内容

2 word2vec introduction

word2vec就是为了实现distributed representation，但在细节上又有一点变化

2.1 中心词和上下文

word2vec中用两个稠密向量来表示一个单词，其中，用 $\underset{v_c}{\rightarrow}$ 表示这个词作为中心词时对应的向量，用 $\underset{u_o}{\rightarrow}$ 表示这个词作为上下文时对应的向量

那么什么是中心词和上下文呢？中心词和上下文是一对相对的概念，比如我有一句话 Here is the explanation for word2vec，那么当我选择explanation作为中心词的时候，here，is，the，for，word2vec就都被称为上下文。

2.2 SG与CBOW

现在我要想办法得到每一个词的 $\underset{v_c}{\rightarrow}$ 和 $\underset{u_o}{\rightarrow}$ ，主要有两种算法：

第一种是skip-grams（SG）算法，这种算法是假定中心词确定的情况下，得到每个词的 $\underset{v_c}{\rightarrow}$ 和 $\underset{u_o}{\rightarrow}$ ；

第二种是Continuous Bag of Words（CBOW）算法，这种算法是假定上下文确定的情况下，得到每个词的 $\underset{v_c}{\rightarrow}$ 和 $\underset{u_o}{\rightarrow}$

2.3 skip-grams算法铺垫部分

第二课中，主要介绍的是skip-grams算法

skip-grams算法中有一个半径是m的滑动窗口，对于一个中心词，只有滑动窗口中中心词前后的词才被我们称为上下文。举个例子，对一句话Here is the explanation for word2vec which is a basic concept in NLP，我们滑动窗口的半径如果是2，那么窗口的大小就是2m+1（等于5），初始时，窗口中内容是[Here is the explanation for]，此时中心词时the，那么除了the以外的四个词都被认为是the的上下文；窗口滑动一次，内容变为[is the explanation for word2vec]，此时中心词变为explanation......依次类推，每次向后滑动一下直至滑到底。

对于当前的窗口，假设是[is the explanation for word2vec]，我们前面提到过SG算法的前提是认为中心词是确定的，也就是我们已知中心词是explanation，我们希望explanation的上下文中出现is，the，for，word2vec这件事是“合理”的，我们给出一个“合理”与否的判断标准：

$p(context|w_t)=\prod_{-m<=i<=m \atop i\neq 0}p(w_{t+i}|w_t)$

这个值表示确定为中心词时上下文为的概率，其中表示中心词，在例子中就是explanation， $w_{t-1}$ 表示中心词的前一个词，例子中是the， $w_{t+2}$ 表示中心词的后两个词，例子中是word2vec。现在我们要做的就是让这个概率最大

2.4 $p(w_{t+i}|w_t)$ 求法与softmax公式

2.4.1 $p(w_{t+i}|w_t)$ 求法

通过2.3，我们了解了一个窗口内的优化的目标，那么现在问题就是 $p(w_{t+i}|w_t)$ 怎么表示的问题了

首先，在为中心词的前提下 $w_{t+i}$ 出现的概率如果比较大，则说明和 $w_{t+i}$ 这两个单词比较“亲近”（现在为了方便表示，我用o表示 $w_{t+i}$ ，用c表示）。如果用数学语言来表示，就是c作为中心词时的向量 $\underset{v_c}{\rightarrow}$ 与o作为上下文时的向量 $\underset{u_o}{\rightarrow}$ 二者的内积 ${\underset{v_c}{\rightarrow}}^T\underset{u_o}{\rightarrow}$ 的值越大，这两个词越“亲近”

2.4.2 softmax公式

但是，我并不能 ${\underset{v_c}{\rightarrow}}^T\underset{u_o}{\rightarrow}$ 来作为 $p(w_{t+i}|w_t)$ 的值，因为这个内积值都不一定在0到1之间，用它来做概率显然不合理

在这里，我们用softmax公式来得到 $p(w_{t+i}|w_t)$ 的值。为了不过分偏移主题，我们这里不具体分析softmax公式本身的优点与合理性，只给出在这个问题里softmax的形式，关于softmax的详细知识可以单独查找学习。

下面给出 $p(w_{t+i}|w_t)$ 的表示：

$p(o|c)=\frac{e^{ {\underset{v_c}{\rightarrow}}^T\underset{u_o}{\rightarrow} }}{\sum_{w=1}^V e^{ {\underset{v_c}{\rightarrow}}^T\underset{u_w}{\rightarrow} }}$

其中，V是语料库中所有单词的数量，我们把整个语料库中的每一个单词，都用他作为上下文的向量 $\underset{u_w}{\rightarrow}$ 和 $\underset{v_c}{\rightarrow}$ 做点积，作为这个单词和当前中心词c相似度的一个分数，把这个分数作为e的指数之后，可以认为仍然还是一个分数，只是放大或缩小了，但相对大小不变，我们希望大，其实是希望o作为上下文时这个分数占得比重尽量大

2.5 skip-grams总述

2.5.1 优化目标

2.3 2.4两节我们已经铺垫了对于一个滑动窗口内是怎么计算的；但是对于一段文字，我们希望的不仅仅是某一个滑动窗口内的概率最大，而是所有窗口中的情况同时成立时的值最大，也就是所有滑动窗口中对应概率之积最大，这个积记为 $J'(\Theta )$ ，表示为

$J'(\Theta )=\prod _{t=1}^{T}p(context|w_t)=\prod _{t=1}^{T}\prod _{-m<=i<=m \atop i\neq0}p(w_{t+i}|w_t;\Theta )$

其中T为文本中可以作为中心词的词的数量， $\Theta$ 表示所有的参数（具体来说，就是所有单词的 $\underset{v_c}{\rightarrow}$ 和 $\underset{u_o}{\rightarrow}$ ）

我们要调整 $\Theta$ 使对应的 $J'(\Theta )$ 最大，但为了方便优化，我们更希望优化对象是一个和的形式，我们对 $J'(\Theta )$ 取log，因为log函数单调递增，所以原先较大的值取log之后依然较大，现在变成了我们希望调整参数使取log之后的结果尽量大；接下来，我们在对取log之后的结果乘 $-\frac{1}{T}$ ，那么就变成了我们希望当前的结果尽量小，最终要优化的函数是

$J(\Theta )=-\frac{1}{T}\sum_{t=1}^{T}\sum_{-m<=i<=m \atop i\neq0}log(p(w_{t+i}|w_t))$

我们要让这个函数最小

2.5.2 skip-grams整体流程

下面用V表示所有单词的总数，d表示稠密向量的维数

（1）输入一个单词对应的one-hot向量 $\underset{v_{one-hot}}{\rightarrow}$ ，这个向量是V*1维的，我们假设其第m列为1

（2）定义一个d*V维的矩阵 $W_{d*V}$ ，这个矩阵的第j列就是第j个单词的 $\underset{v_c}{\rightarrow}$ ，所以 $W_{d*V}$ 乘 $\underset{v_{one-hot}}{\rightarrow}$ 得到的就是输入单词作为中心词的 $\underset{v_c}{\rightarrow}$ （因为 $\underset{v_{one-hot}}{\rightarrow}$ 只有第m维是1，所以 $W_{d*V}$ 也只有那m列起作用）

（3）定义一个V*d维的矩阵 $W_{V*d}$ ，这个矩阵的第i行就是第i个单词的 $\underset{u_o}{\rightarrow}$ ，所以 $W_{V*d}$ 乘 $\underset{v_c}{\rightarrow}$ 得到一个V*1维向量 $\underset{v_{score}}{\rightarrow}$ ，其中第k维的数值就是输入的单词作为中心词时，第k个单词作为上下文时二者向量的点积 $\underset{v_m}{\rightarrow}^{T}\underset{u_k}{\rightarrow}$

（4）对向量 $\underset{v_{score}}{\rightarrow}$ 进行softmax操作，得到softmax之后的向量 $\underset{v_{softmax}}{\rightarrow}$ ，利用它与每一个上下文单词对应的one-hot向量进行loss计算，然后反向传播，先后修改矩阵 $W_{V*d}$ 和 $W_{d*V}$ ，也就是更新了每个单词对应的 $\underset{u_o}{\rightarrow}$ 和 $\underset{v_c}{\rightarrow}$ ；

注意，这里loss计算并不是用什么square-loss之类的，其实这个loss计算还需要一部分网络，目的是用 $\underset{v_{softmax}}{\rightarrow}$ 凑出 $J(\Theta )$ ，但这部分在下面的图中没有画出来，因为画出来会显得太冗长，有点喧宾夺主

具体流程可以参考课件上这张图：

3 Derivations of gradient

上一节中，我们已经搞清楚了skip-grams的整体流程还有网络结构；可是如果我们想要实现这个网络，不能忽视的一点就是反向传播过程中需要的梯度值具体是多少，下面就是推导反向传播过程中的梯度值。

3.1 矩阵求导

第一点，过去接触的求导基本上都是元素对元素求导的情况，但是实际上，矩阵、列向量、行向量、元素之间的4*4种求导方式都是存在的，他们依照的规则参见这个文档：http://files.cnblogs.com/files/leoleo/matrix_rules.pdf

第二点，这4*4种求导方式均是遵守导数的链式法则的，比如是一个矩阵， $\underset{v}{\rightarrow}$ 是一个列向量，是一个元素， $\frac{dA}{dx}=\frac{dA}{d\vec{v}}\frac{d\vec{v}}{dx}$ 依然成立

记住以上两点，就能够应付求梯度时遇到的大部分情况了

3.2 SG的梯度推导

课上只给出了 $J(\Theta )$ 对 $\vec{v_c}$ 求导得到的梯度，这个梯度是用于更新所有 $\vec{u_o}$ 组成的矩阵 $W_{d*V}$ 的；课上没有给出 $J(\Theta )$ 对所有 $\vec{u_o}$ 求导得到的梯度

$J(\Theta )=-\frac{1}{T}\sum_{t=1}^{T}\sum_{-m<=i<=m \atop i\neq0}log(p(w_{t+i}|w_t))$

我们把求和符号后面的内容看作一个函数，把这个函数求梯度的结果累加就是对 $J(\Theta )$ 求梯度的结果，我们已知

$f(\theta)=p(o|c)=\frac{exp(\vec{u_o}^{T}\vec{v_c})}{\sum_{w=1}^{V}exp(\vec{u_w}^{T}\vec{v_c})}$

现在我们要求的是 $\frac{\partial f}{\partial{\vec{v_c}}}$

$\frac{\partial f}{\partial{\vec{v_c}}}=\frac{\partial}{\partial \vec{v_c}}log[exp(\vec{u_o}^T\vec{v_c})]- \frac{\partial}{\partial \vec{v_c}}log[\sum_{w=1}^{V}exp(\vec{u_w}^T\vec{v_c})] =f1 - f2$

减号前后两部分我们依次进行求解，首先推导f1的结果：

$f1=\frac{\partial}{\partial \vec{v_c}}log[exp(\vec{u_o}^T\vec{v_c})]=\frac{\partial}{\partial \vec{v_c}}\vec{u_o}^T\vec{v_c}=\vec{u_o}$

其中最后一步变换是元素对列向量求导，得到的也是一个列向量，实际推导过程中可以先考虑这个列向量第i维的值是多少，也就是 $\vec{u_o}^T\vec{v_c}$ 对 $\vec{v_{c,i}}$ 求导的结果，最后再以向量的形式把结果归纳起来

下面再推导的结果：

$\begin{align*} f2=\frac{\partial}{\partial \vec{v_c}}log[\sum_{w = 1} ^ {V} exp(\vec{u_w}^{T}\vec{v_c})] &= \frac{1}{\sum_{w = 1} ^ {V} exp(\vec{u_w}^{T}\vec{v_c})}\frac{\partial}{\partial\vec{v_c}}\sum_{x=1}^{V}exp(\vec{u_x}^{T}\vec{v_c})\\ &= \frac{1}{\sum_{w = 1} ^ {V} exp(\vec{u_w}^{T}\vec{v_c})}(\sum_{x=1}^V \frac{\partial}{\partial\vec{v_c}}exp(\vec{u_x}^{T}\vec{v_c}))\\ &=\frac{1}{\sum_{w = 1} ^ {V} exp(\vec{u_w}^{T}\vec{v_c})}(\sum_{x=1}^V exp(\vec{u_x}^{T}\vec{v_c})\frac{\partial}{\partial}\vec{u_x}^{T}\vec{v_c})\\ &=\frac{1}{\sum_{w = 1} ^ {V} exp(\vec{u_w}^{T}\vec{v_c})}(\sum_{x=1}^V exp(\vec{u_x}^{T}\vec{v_c})\vec{u_x})\\ &=\sum_{x=1}^{V}\frac{exp(\vec{u_x}^{T}\vec{v_c})}{\sum_{w=1}^{V}exp(\vec{u_w}^{T}\vec{v_c})}\vec{u_x} \end{align*}$

其中第一步变换使用了链式法则，注意把第二个求和的记号从w换成了x，这是为了和第一次求和时的符号不一样

$\frac{\partial f}{\partial{\vec{v_c}}} = f1 - f2=\vec{u_o} - \sum_{x=1}^{V}\frac{exp(\vec{u_x}^{T}\vec{v_c})}{\sum_{w=1}^{V}exp(\vec{u_w}^{T}\vec{v_c})}\vec{u_x}$

这样一来， $\frac{\partial f}{\partial{\vec{v_c}}}$ 的梯度就求出来了，直接用公式里包含的这些值就可以完成一次反向传播时的更新

以上就完成了梯度的推导，但如果我们再对进行一次变化，能得到一个能够说明结果正确性的公式

$f2=\sum_{x=1}^{V}\frac{exp(\vec{u_x}^{T}\vec{v_c})}{\sum_{w=1}^{V}exp(\vec{u_w}^{T}\vec{v_c})}\vec{u_x}= \sum_{x=1}^{V}p(x|c)\vec{u_x}$

$\frac{\partial f}{\partial{\vec{v_c}}}= \vec{u_o}-\sum_{x=1}^{V}p(x|c)\vec{u_x}$

而根据概率论的知识， $\sum_{x=1}^{V}p(x|c)\vec{u_x}$ 正是 $\vec{u_o}$ 对应的期望向量的方向，而 $\frac{\partial f}{\partial{\vec{v_c}}}$ 这个梯度则是把当前的 $\vec{u_o}$ 向其期望靠拢的话，需要的一个向量的差值，这与 $\frac{\partial f}{\partial{\vec{v_c}}}$ 的定义刚好一致

3.3 随机梯度下降

由 $\frac{\partial f}{\partial{\vec{v_c}}}$ 的形式我们可以看出，如果想要求它，需要我们把语料库中的V个词全部遍历一遍，当语料库比较大的时候，求一次 $\frac{\partial f}{\partial{\vec{v_c}}}$ 的时间开销就十分巨大，因此我们一般不直接使用梯度下降，而是用随机梯度下降的方法来代替。

这里不展开讲梯度下降和随机梯度下降的内容，不懂或者感兴趣请自行查阅相关资料，这里仅简单说明使用随机梯度下降时有哪些变化。

求梯度时的变化主要有两个：

（1）每一轮求 $\frac{\partial f}{\partial{\vec{v_c}}}$ 时，我们另 $\frac{\partial f}{\partial{\vec{v_c}}}= \vec{u_o}-p(k|c)\vec{u_k}$ ，其中k时一个1到V之间的随机数

（2）变成随机梯度下降之后，我们不能每一轮都检查 $\frac{\partial f}{\partial{\vec{v_c}}}$ 是否接近 $\vec{0}$ （接近 $\vec{0}$ 说明收敛），所以我们固定一个比较大的训练轮数t，训练完t轮之后自动结束

10月|愿你的青春不负梦想-读书笔记-01 Tracy的小书斋
本书的作者是俞敏洪，大家都很熟悉他了吧。俞敏洪老师是我行业的领头羊吧，也是我事业上的偶像。本日摘录他书中第一章中的金句：『一个人如果什么目标都没有，就会浑浑噩噩，感觉生命中缺少能量。能给我们能量的，是对未来的期待。第一件事，我始终为了进步而努力。与其追寻全世界的骏马，不如种植丰美的草原，到时骏马自然会来。第二件事，我始终有阶段性的目标。什么东西能给我能量？答案是对未来的期待。』读到这里的时候，我便
《投行人生》读书笔记小蘑菇的树洞
《投行人生》----作者詹姆斯-A-朗德摩根斯坦利副主席40年的职业洞见-很短小精悍的篇幅，比较适合初入职场的新人。第一部分成功的职业生涯需要规划1.情商归为适应能力分享与协作同理心适应能力，更多的是自我意识，你有能力识别自己的情并分辨这些情绪如何影响你的思想和行为。2.对于初入职场的人的建议，细节，截止日期和数据很重要截止日期，一种有效的方法是请老板为你所有的任务进行优先级排序。和老板喝咖啡的好
【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数广龙宇一起学Rust #Rust设计模式 rust 设计模式开发语言
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
git常用命令笔记咩酱-小羊 git 笔记
###用习惯了idea总是不记得git的一些常见命令，需要用到的时候总是担心旁边站了人~~~记个笔记@_@，告诉自己看笔记不丢人初始化初始化一个新的Git仓库gitinit配置配置用户信息gitconfig--globaluser.name"YourName"gitconfig--globaluser.email"[email protected]"基本操作克隆远程仓库gitclone查看
509. 斐波那契数(每日一题) lzyprime
lzyprime博客(github)创建时间：2021.01.04qq及邮箱：2383518170leetcode笔记题目描述斐波那契数，通常用F(n)表示，形成的序列称为斐波那契数列。该数列由0和1开始，后面的每一项数字都是前面两项数字的和。也就是：F(0)=0，F(1)=1F(n)=F(n-1)+F(n-2)，其中n>1给你n，请计算F(n)。示例1：输入：2输出：1解释：F(2)=F(1)+
拥有断舍离的心态，过精简生活--《断舍离》读书笔记爱吃丸子的小樱桃
不知不觉间房间里的东西越来越多，虽然摆放整齐，但也时常会觉得空间逼仄，令人心生烦闷。抱着断舍离的态度，我开始阅读《断舍离》这本书，希望从书中能找到一些有效的方法，帮助我实现空间、物品上的断舍离。《断舍离》是日本作家山下英子通过自己的经历、思考和实践总结而成的，整体内涵也从刚开始的私人生活哲学的“断舍离”升华成了“人生实践哲学”，接着又成为每个人都能实行的“改变人生的断舍离”，从“哲学”逐渐升华成“
四章-32-点要素的聚合彩云飘过
本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
高端密码学院笔记285 柚子_b4b4
高端幸福密码学院（高级班）幸福使者：李华第（598）期《幸福》之回归内在深层生命原动力基础篇——揭秘“激励”成长的喜悦心理案例分析主讲：刘莉一，知识扩充:成功=艰苦劳动+正确方法+少说空话。贪图省力的船夫，目标永远下游。智者的梦再美，也不如愚人实干的脚印。幸福早课堂2020.10.16星期五一笔记:1，重视和珍惜的前提是知道它的价值非常重要，当你珍惜了，你就真正定下来，真正的学到身上。2，大家需要
Day17笔记-高阶函数 ~在杰难逃~ Python 笔记 python 开发语言 pycharm 数据分析
高阶函数【重点掌握】函数的本质：函数是一个变量，函数名是一个变量名，一个函数可以作为另一个函数的参数或返回值使用如果A函数作为B函数的参数，B函数调用完成之后，会得到一个结果，则B函数被称为高阶函数常用的高阶函数：map(),reduce(),filter(),sorted()1.map()map(func,iterable)，返回值是一个iterator【容器，迭代器】func:函数iterab
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
node.js学习小猿L node.js node.js 学习 vim
node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
数据仓库——维度表一致性墨染丶eye 背诵数据仓库
数据仓库基础笔记思维导图已经整理完毕，完整连接为：数据仓库基础知识笔记思维导图维度一致性问题从逻辑层面来看，当一系列星型模型共享一组公共维度时，所涉及的维度称为一致性维度。当维度表存在不一致时，短期的成功难以弥补长期的错误。维度时确保不同过程中信息集成起来实现横向钻取货活动的关键。造成横向钻取失败的原因维度结构的差别，因为维度的差别，分析工作涉及的领域从简单到复杂，但是都是通过复杂的报表来弥补设计
【Git】常见命令(仅笔记) 好想有猫猫 Git Linux学习笔记 git 笔记 elasticsearch linux c++
文章目录创建/初始化本地仓库添加本地仓库配置项提交文件查看仓库状态回退仓库查看日志分支删除文件暂存工作区代码远程仓库使用`.gitigore`文件让git不追踪一些文件标签创建/初始化本地仓库gitinit添加本地仓库配置项gitconfig-l#以列表形式显示配置项gitconfiguser.name"ljh"#配置user.namegitconfiguser.email"[email protected]
为什么你总是对下属不满意? ZhaoWu1050
【ZhaoWu的听课笔记】大多数公司，都存在两种问题。我创业四年，更是体会深切。这两种问题就是：老板经常不满意下属的表现；下属总是不知道老板想要什么；虽然这两种问题普遍存在，其实解决方法并不复杂。这节课，我们再聊聊第一个问题：为什么老板经常不满意下属表现?其实，这背后也是一条管理常识。管理学家德鲁克先生早就说过：管理者的任务，不是去改变人。*来自《卓有成效的管理者》只是大多数老板和我一样，都是一边
母亲节如何做小红书营销美橙传媒
小红书的一举一动引起了外界的高度关注。通过爆款笔记和流行话题，我们可以看到“干货”类型的内容在小红书中偏向实用的生活经验共享和生活指南非常受欢迎。根据运营社的分析，这种现象是由小红书用户心智和内容社区背后机制共同决定的。首先，小红书将使用“强搜索”逻辑为用户提供特定的“搜索场景”。在“我必须这样生活”中，大量使用了满足小红书站用户喜好和需求的内容。内容社区自制的高质量内容也吸引了寻找营销新途径的品
读书笔记|《遇见孩子，遇见更好的自己》5 抹茶社长
为人父母意味着放弃自己的过去，不要对以往没有实现的心愿耿耿于怀，只有这样，孩子们才能做回自己。985909803.jpg孩子在与父母保持亲密的同时更需要独立，唯有这样，孩子才会成为孩子，父母才会成其为父母。有耐心的人生往往更幸福，给孩子留点余地。认识到养儿育女是对耐心的考验。为失败做好心理准备，教会孩子控制情绪。了解自己的底线，说到底线，有一点很重要，父母之所以发脾气，真正的原因往往在于他们自己，
基于Python给出的PDF文档转Markdown文档的方法程序媛了了 python pdf 开发语言
注：网上有很多将Markdown文档转为PDF文档的方法，但是却很少有将PDF文档转为Markdown文档的方法。就算有，比如某些网站声称可以将PDF文档转为Markdown文档，尝试过，不太符合自己的要求，而且无法保证文档没有泄露风险。于是本人为了解决这个问题，借助GPT（能使用GPT镜像或者有条件直接使用GPT的，反正能调用GPT接口就行）生成Python代码来完成这个功能。笔记、代码难免存在
语文主题教学学习笔记之87 东哥杂谈
“语文主题教学”学习笔记之八十七（0125）今天继续学习小学语文主题教学的实践样态。板块三：教学中体现“书艺”味道。作为四大名著之一的《水浒传》，堪称我国文学宝库之经典。对从《水浒传》中摘选的单元，教师就要了解其原生态，即评书体特点。这也要求教师要了解一些常用的评书行话术语，然后在教学时适时地加入一些，让学生体味其文本中原有的特色。学生也要尽可能地通过朗读的方式，而不单是分析讲解的方式进行学习。细
Armv8.3 体系结构扩展--原文版代码改变世界ctw ARM-TEE-Android armv8 嵌入式 arm架构安全架构芯片 Trustzone Secureboot
快速链接:.ARMv8/ARMv9架构入门到精通-[目录]付费专栏-付费课程【购买须知】:个人博客笔记导读目录(全部)TheArmv8.3architectureextensionTheArmv8.3architectureextensionisanextensiontoArmv8.2.Itaddsmandatoryandoptionalarchitecturalfeatures.Somefeat
springboot+vue项目实战一-创建SpringBoot简单项目苹果酱0567 面试题汇总与解析 spring boot 后端 java 中间件开发语言
这段时间抽空给女朋友搭建一个个人博客，想着记录一下建站的过程，就当做笔记吧。虽然复制zjblog只要一个小时就可以搞定一个网站，或者用cms系统，三四个小时就可以做出一个前后台都有的网站，而且想做成啥样也都行。但是就是要从新做，自己做的意义不一样，更何况，俺就是专门干这个的，嘿嘿嘿要做一个网站，而且从零开始，首先呢就是技术选型了，经过一番思量决定选择-SpringBoot做后端，前端使用Vue做一
阅读《认知觉醒》读书笔记就看看书
本周阅读了周岭的《认知觉醒开启自我改变的原动力》，启发较多，故做读书笔记一则，留待学习。全书共八章，讲述了大脑、潜意识、元认知、专注力、学习力、行动力、情绪力及成本最低的成长之道。具体描述了大脑、焦虑、耐心、模糊、感性、元认知、自控力、专注力、情绪专注、学习专注、匹配、深度、关联、体系、打卡、反馈、休息、清晰、傻瓜、行动、心智宽带、单一视角、游戏心态、早起、冥想、阅读、写作、运动等相关知识点。大脑
阅读笔记：阅读方法中的逻辑和转念施吉涛
聊聊一些阅读的方法论吧，别人家的读书方法刚开始想写，然后就不知道写什么了，因为作者写的非常的“精致”我有一种乡巴佬进城的感觉，看到精美的摆盘，精致的食材不知道该如何下口也就是《阅读的方法》，我们姑且来试一下强劲的大脑篇，第一节：逻辑通俗的来讲，也就是表达的排列和顺序，再进一步就是因果关系和关联实际上书已经看了大概一遍，但直到打算写一下笔记的时候，才发现作者讲的推理更多的是阅读的对象中呈现出的逻辑也
《转介绍方法论》学习笔记小可乐的妈妈
一、高效转介绍的流程：价值观---执行----方案一）转介绍发生的背景：1、对象：谁向谁转介绍？全员营销，人人参与。①员工的激励政策、客户的转介绍诱因制作客户画像：a信任；支付能力；意愿度；便利度（根据家长具备四个特征的个数分为四类）B性格分类C职业分类D年龄性别②执行：套路，策略，方法，流程2、诱因：为什么要转介绍？认同信任；多方共赢；传递美好；零风险承诺打动人心，超越期待。选择做教育，就是选择
JAVA学习笔记之23种设计模式学习 victorfreedom Java技术设计模式 android java 常用设计模式
博主最近买了《设计模式》这本书来学习，无奈这本书是以C++语言为基础进行说明，整个学习流程下来效率不是很高，虽然有的设计模式通俗易懂，但感觉还是没有充分的掌握了所有的设计模式。于是博主百度了一番，发现有大神写过了这方面的问题，于是博主迅速拿来学习。一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器
解决Obsidian写笔记中的＜img＞标签无法显示图片的问题全能全知者笔记
Obsidian中写md笔记如果使用标签会显示不出图案，后来才知道因为Obsidian的问题导致只能用绝对路径定位。所以我本人写了一个py插件，将md笔记里的img标签批量替换成Obsidian能够读取的形式。安装FixObsImgDpy:pipinstallFixObsImgDpy安装完成后在需要修复的md文件的父目录下运行命令:FixObsImgDpy就会自动修复父目录以下的全部md文件仓库
2021年周总结 03 Ruby之家
这周的生活过得也是比较快，因为暂时住的离公司有点距离，所以通勤时间相对较长一点，而在地铁上的一个半小时如何充分利用起来，则是我最近一直在思考的问题，2021年想让自己的生活都运行在计划中。(有时候自己想干一件事情就总是给自己找很多借口，想着以后怎么怎么样？然而哪有那么多的以后，能够方便当下的工作生活就立马执行就OK，这仅仅只是我此时想到背的很重的老人机笔记本电脑，也算是陪伴我快8年的—当时买的时候
2021-12-11 人生导演
今天读到佛学书籍的一段话：初学者很难直接体验到无我，但可以经常提醒自己：一切事物都是无我的。不断强化这个观念，也会相当有帮助。比如生病了我们一般会说：“我不舒服！我很痛！我很惨！”这时候如果我们提醒自己：没有我，只是这个肉体的某些部分、某些功能出了问题，不舒服、疼痛也只是一时的感受，而感受随时在变化。仅仅是知道没有一个实存的我在生病、在受苦。然后把“一切事物都是无我的”这句话，记到笔记上，并且朗读
新能源汽车 BMS 学习笔记篇—BMS 基本定义及分类 WPG大大通其他笔记汽车 BMS 经验分享新能源电池
一、BMS定义1、概念：BMS（BatteryManagementSystem）即电池管理系统，其管理对象是二次电池（充电电池或蓄电池），其主要目的是电池的利用率，防止电池出现过度充电和过度放电，可应用于电动汽车、电瓶车、机器人、无人机等图片来源：腾讯网https://new.qq.com《标准普尔警告，电动汽车电池生产面临供应链和地缘政治风险》2、四大功能①感知和测量：检测电池的电压、电流、温度
机器学习-聚类算法不良人龍木木机器学习机器学习算法聚类
机器学习-聚类算法1.AHC2.K-means3.SC4.MCL仅个人笔记，感谢点赞关注！1.AHC2.K-means3.SC传统谱聚类：个人对谱聚类算法的理解以及改进4.MCL目前仅专注于NLP的技术学习和分享感谢大家的关注与支持！
LeetCode github集合，附CMU大神整理笔记 Wesley@ LeetCode github
GithubLeetCode集合本人所有做过的题目都写在一个java项目中，同步到github中了，算是见证自己的进步。github目前同步的题目是2020-09-17日之后写的题。之前写过的题会陆续跟新到github中。目前大概400个题目Github项目链接：https://github.com/sunliancheng/leetcode_github附上一份优秀的教材整合：这是卡内基梅隆(C
Linux的Initrd机制被触发 linux
Linux 的 initrd 技术是一个非常普遍使用的机制，linux2.6 内核的 initrd 的文件格式由原来的文件系统镜像文件转变成了 cpio 格式，变化不仅反映在文件格式上， linux 内核对这两种格式的 initrd 的处理有着截然的不同。本文首先介绍了什么是 initrd 技术，然后分别介绍了 Linux2.4 内核和 2.6 内核的 initrd 的处理流程。最后通过对 Lin
maven本地仓库路径修改 bitcarter maven
默认maven本地仓库路径：C:\Users\Administrator\.m2 修改maven本地仓库路径方法： 1.打开E:\maven\apache-maven-2.2.1\conf\settings.xml 2.找到
XSD和XML中的命名空间 darrenzhu xml xsd schema namespace 命名空间
http://www.360doc.com/content/12/0418/10/9437165_204585479.shtml http://blog.csdn.net/wanghuan203/article/details/9203621 http://blog.csdn.net/wanghuan203/article/details/9204337 http://www.cn
Java 求素数运算周凡杨 java 算法素数
网络上对求素数之解数不胜数，我在此总结归纳一下，同时对一些编码，加以改进，效率有成倍热提高。第一种：原理: 6N(+-)1法任何一个自然数，总可以表示成为如下的形式之一： 6N，6N+1，6N+2，6N+3，6N+4，6N+5 (N=0，1，2，…)
java 单例模式 g21121 java
想必单例模式大家都不会陌生，有如下两种方式来实现单例模式： class Singleton { private static Singleton instance=new Singleton(); private Singleton(){} static Singleton getInstance() { return instance; }
Linux下Mysql源码安装 510888780 mysql
1.假设已经有mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz (1)创建mysql的安装目录及数据库存放目录解压缩下载的源码包，目录结构，特殊指定的目录除外：
32位和64位操作系统墙头上一根草 32位和64位操作系统
32位和64位操作系统是指：CPU一次处理数据的能力是32位还是64位。现在市场上的CPU一般都是64位的，但是这些CPU并不是真正意义上的64 位CPU，里面依然保留了大部分32位的技术，只是进行了部分64位的改进。32位和64位的区别还涉及了内存的寻址方面，32位系统的最大寻址空间是2 的32次方= 4294967296（bit）= 4（GB）左右，而64位系统的最大寻址空间的寻址空间则达到了
我的spring学习笔记10-轻量级_Spring框架 aijuans Spring 3
一、问题提问： → 请简单介绍一下什么是轻量级？轻量级（Leightweight）是相对于一些重量级的容器来说的，比如Spring的核心是一个轻量级的容器，Spring的核心包在文件容量上只有不到1M大小，使用Spring核心包所需要的资源也是很少的，您甚至可以在小型设备中使用Spring。
mongodb 环境搭建及简单CURD antlove Web Install curd NoSQL mongo
一搭建mongodb环境 1. 在mongo官网下载mongodb 2. 在本地创建目录 "D:\Program Files\mongodb-win32-i386-2.6.4\data\db" 3. 运行mongodb服务 [mongod.exe --dbpath "D:\Program Files\mongodb-win32-i386-2.6.4\data\
数据字典和动态视图百合不是茶 oracle 数据字典动态视图系统和对象权限
数据字典（data dictionary）是 Oracle 数据库的一个重要组成部分，这是一组用于记录数据库信息的只读（read-only）表。随着数据库的启动而启动,数据库关闭时数据字典也关闭数据字典中包含数据库中所有方案对象（schema object）的定义(包括表，视图，索引，簇，同义词，序列，过程，函数，包，触发器等等) 数据库为一
多线程编程一般规则 bijian1013 java thread 多线程 java多线程
如果两个工两个以上的线程都修改一个对象，那么把执行修改的方法定义为被同步的，如果对象更新影响到只读方法，那么只读方法也要定义成同步的。不要滥用同步。如果在一个对象内的不同的方法访问的不是同一个数据，就不要将方法设置为synchronized的。
将文件或目录拷贝到另一个Linux系统的命令scp bijian1013 linux unix scp
一.功能说明 scp就是security copy，用于将文件或者目录从一个Linux系统拷贝到另一个Linux系统下。scp传输数据用的是SSH协议，保证了数据传输的安全，其格式如下： scp 远程用户名@IP地址：文件的绝对路径
【持久化框架MyBatis3五】MyBatis3一对多关联查询 bit1129 Mybatis3
以教员和课程为例介绍一对多关联关系，在这里认为一个教员可以叫多门课程，而一门课程只有1个教员教，这种关系在实际中不太常见，通过教员和课程是多对多的关系。示例数据：地址表： CREATE TABLE ADDRESSES ( ADDR_ID INT(11) NOT NULL AUTO_INCREMENT, STREET VAR
cookie状态判断引发的查找问题 bitcarter form cgi
先说一下我们的业务背景： 1.前台将图片和文本通过form表单提交到后台，图片我们都做了base64的编码，并且前台图片进行了压缩 2.form中action是一个cgi服务 3.后台cgi服务同时供PC，H5，APP 4.后台cgi中调用公共的cookie状态判断方法（公共的，大家都用，几年了没有问题）问题：（折腾两天。。。。） 1.PC端cgi服务正常调用，cookie判断没
通过Nginx,Tomcat访问日志(access log)记录请求耗时 ronin47
一、Nginx通过$upstream_response_time $request_time统计请求和后台服务响应时间 nginx.conf使用配置方式： log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_r
java-67- n个骰子的点数。把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。 bylijinnan java
public class ProbabilityOfDice { /** * Q67 n个骰子的点数 * 把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。 * 在以下求解过程中，我们把骰子看作是有序的。 * 例如当n=2时，我们认为（1，2）和（2，1）是两种不同的情况 */ private stati
看别人的博客，觉得心情很好 Cb123456 博客心情
以为写博客，就是总结，就和日记一样吧，同时也在督促自己。今天看了好长时间博客: 职业规划: http://www.iteye.com/blogs/subjects/zhiyeguihua android学习: 1.http://byandby.i
[JWFD开源工作流]尝试用原生代码引擎实现循环反馈拓扑分析 comsci 工作流
我们已经不满足于仅仅跳跃一次，通过对引擎的升级，今天我测试了一下循环反馈模式，大概跑了200圈，引擎报一个溢出错误在一个流程图的结束节点中嵌入一段方程，每次引擎运行到这个节点的时候，通过实时编译器GM模块，计算这个方程，计算结果与预设值进行比较，符合条件则跳跃到开始节点，继续新一轮拓扑分析，直到遇到
JS常用的事件及方法 cwqcwqmax9 js
事件描述 onactivate 当对象设置为活动元素时触发。 onafterupdate 当成功更新数据源对象中的关联对象后在数据绑定对象上触发。 onbeforeactivate 对象要被设置为当前元素前立即触发。 onbeforecut 当选中区从文档中删除之前在源对象触发。 onbeforedeactivate 在 activeElement 从当前对象变为父文档其它对象之前立即
正则表达式验证日期格式 dashuaifu 正则表达式 IT其它 java其它
正则表达式验证日期格式 function isDate(d){ var v = d.match(/^(\d{4})-(\d{1,2})-(\d{1,2})$/i); if(!v) { this.focus(); return false; } } <input value="2000-8-8" onblu
Yii CModel.rules() 方法、validate预定义完整列表、以及说说验证 dcj3sjt126com yii
public array rules () {return} array 要调用 validate() 时应用的有效性规则。返回属性的有效性规则。声明验证规则，应重写此方法。每个规则是数组具有以下结构：array('attribute list', 'validator name', 'on'=>'scenario name', ...validation
UITextAttributeTextColor = deprecated in iOS 7.0 dcj3sjt126com ios
In this lesson we used the key "UITextAttributeTextColor" to change the color of the UINavigationBar appearance to white. This prompts a warning "first deprecated in iOS 7.0." Ins
判断一个数是质数的几种方法 EmmaZhao Math python
质数也叫素数，是只能被1和它本身整除的正整数，最小的质数是2，目前发现的最大的质数是p=2^57885161-1【注1】。判断一个数是质数的最简单的方法如下： def isPrime1(n): for i in range(2, n): if n % i == 0: return False return True 但是在上面的方法中有一些冗余的计算，所以
SpringSecurity工作原理小解读坏我一锅粥 SpringSecurity
SecurityContextPersistenceFilter ConcurrentSessionFilter WebAsyncManagerIntegrationFilter HeaderWriterFilter CsrfFilter LogoutFilter Use
JS实现自适应宽度的Tag切换 ini JavaScript html Web css html5
效果体验：http://hovertree.com/texiao/js/3.htm 该效果使用纯JavaScript代码，实现TAB页切换效果，TAB标签根据内容自适应宽度，点击TAB标签切换内容页。 HTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"
Hbase Rest API : 数据查询 kane_xie REST hbase
hbase（hadoop）是用java编写的，有些语言（例如python）能够对它提供良好的支持，但也有很多语言使用起来并不是那么方便，比如c#只能通过thrift访问。Rest就能很好的解决这个问题。Hbase的org.apache.hadoop.hbase.rest包提供了rest接口，它内嵌了jetty作为servlet容器。启动命令：./bin/hbase rest s
JQuery实现鼠标拖动元素移动位置（源码+注释）明子健 jquery js 源码拖动鼠标
欢迎讨论指正！ print.html代码： <!DOCTYPE html> <html> <head> <meta http-equiv=Content-Type content="text/html;charset=utf-8"> <title>发票打印</title> &l
Postgresql 连表更新字段语法 update qifeifei PostgreSQL
下面这段sql本来目的是想更新条件下的数据，可是这段sql却更新了整个表的数据。sql如下： UPDATE tops_visa.visa_order SET op_audit_abort_pass_date = now() FROM tops_visa.visa_order as t1 INNER JOIN tops_visa.visa_visitor as t2 ON t1.
将redis,memcache结合使用的方案? tcrct redis cache
公司架构上使用了阿里云的服务，由于阿里的kvstore收费相当高，打算自建，自建后就需要自己维护，所以就有了一个想法，针对kvstore(redis)及ocs(memcache)的特点，想自己开发一个cache层，将需要用到list，set，map等redis方法的继续使用redis来完成，将整条记录放在memcache下，即findbyid，save等时就memcache，其它就对应使用redi
开发中遇到的诡异的bug wudixiaotie bug
今天我们服务器组遇到个问题：我们的服务是从Kafka里面取出数据，然后把offset存储到ssdb中，每个topic和partition都对应ssdb中不同的key，服务启动之后，每次kafka数据更新我们这边收到消息，然后存储之后就发现ssdb的值偶尔是-2,这就奇怪了，最开始我们是在代码中打印存储的日志，发现没什么问题，后来去查看ssdb的日志，才发现里面每次set的时候都会对同一个key