duanyuchen
duanyuchen

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记

李宏毅机器学习学习笔记汇总
课程链接

文章目录

  • Learning Target
  • Learning
  • Unfortunately
    • 基于RNN的的网络不总是容易去学习
    • The error surface is rough.
    • Why？为什么不好训练
  • Helpful Techniques
    • Long Short-term Memory(LSTM)
    • GRU简介
    • More Applications……
      • 输入和输出都是一个向量序列
      • 输入一个向量序列，输出是一个向量，多对一
      • 输入和输出都是向量序列，但是输出更短，多对多
        • CTC
        • CTC：Training
        • CTC：Example
      • 输入和输出都是向量序列，向量长度不同，多对多，sequence to sequence learning
      • Beyond Sequence
        • Syntactic parsing 句法分析
        • Sequence-to-sequence Auto-encoder-Text
        • Sequence-to-sequence Auto-encoder-Speech
      • Demo：Chat-bot
    • Attention-based Model
      • Attention-based Model的应用
        • 阅读理解
        • Visual Question Answer
        • Speech Question Answering
      • Mode Architecture
    • RNN vs Structured Learning
    • Integrated Together
    • Is structured learning practical?

Learning Target

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第1张图片

Learning

RNN是也用梯度下降训练的，有一套新的算法，Backpropagation through time，在high sequence上做运算，所以BPTT要考虑时间的信息。
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第2张图片

Unfortunately

基于RNN的的网络不总是容易去学习

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第3张图片

The error surface is rough.

要不很扁平要不很陡峭
在悬崖上的gradient很大，但是之前的gradient很小learning rate很大，所以现在很大的gradient乘以很大的learning rate，导致参数update很大，起飞。
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第4张图片
解决方法——clipping
设置一个阈值，高于这个阈值的值就都设置为这个阈值。
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第5张图片

Why？为什么不好训练

举个例子
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第6张图片

梯度爆炸，梯度消失

RNN的训练问题来自于，把同样的东西反复使用，w的改变可能会几乎没有影响（上图下面的情况），有影响的话就会是很严重的影响。（上图上面的情况）。

RNN不好训练的原因不在于激活函数，而是来自于他有high sequence，同样的weight在不同的时间点被反复地使用。

Helpful Techniques

Long Short-term Memory(LSTM)

LSTM可以让error surface不那么崎岖，可以把那些平坦的地方去除。

LSTM可以解决梯度消失的问题，但是不能解决梯度爆炸的问题。

在使用LSTM的时候，大部分地方都是变化很剧烈地，所以需要把learning rate设置的很小，进行训练。

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第7张图片

关键点：用lstm overfitting严重，可以尝试改用GRU

GRU简介

GRU只有两个gate，需要参数量变少，所以在训练的时候比较鲁棒。 在用lstm overfitting严重，可以尝试改用GRU，GRU的精神是旧的不去新的不来，把input gate和forget gate联系起来，当input gate打开的时候，forge gate会关闭，洗掉内存中的值，只有把内存中的值清除掉，才能存入新的值。

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第8张图片

当用一般RNN的网络时候，用单位矩阵初始化transition matrix weight转换矩阵的权重，再使用ReLU的激活函数的时候，可以得到很好的效果。

一般的训练方法，初始化weight是random的时候，ReLU与sigmoid相比，sigmoid的效果会更好，但是如果用单位矩阵初始化transition matrix weight转换矩阵的权重的情况下，使用ReLU效果更好。

当用了上述方法，使用普通RNN，他的performance就可以吊打原来的LSTM，玄学。。。

More Applications……

输入和输出都是一个向量序列

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第9张图片

输入一个向量序列，输出是一个向量，多对一

情绪分析
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第10张图片
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第11张图片

输入和输出都是向量序列，但是输出更短，多对多

语音辨识
Trimming：把重复的东西删掉
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第12张图片

CTC

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第13张图片

CTC：Training

枚举，把所有可能的都假设做正确的。
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第14张图片

CTC：Example

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第15张图片

输入和输出都是向量序列，向量长度不同，多对多，sequence to sequence learning

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第16张图片
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第17张图片
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第18张图片
推出一个断就停止
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第19张图片
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第20张图片

这样减少中间转换，会较少误差传播

Beyond Sequence

Syntactic parsing 句法分析

给machine一个句子，得到这个句子的文法树
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第21张图片

Sequence-to-sequence Auto-encoder-Text

为了理解一个词项序列的含义，词的顺序很重要，而不可以简单使用bag of word
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第22张图片

所以我们需要使用Sequence-to-sequence Auto-encoder的做法，来在考虑词项序列顺序的情况下，使一个document变成一个vector。

输入一个词项序列，通过一个RNN把他变成一个embedding的vector，再把这个embedding的vector作为decoder的输入，找回一个一模一样的句子。

如果RNN做到了这个事情，那么这个encoding的vector就代表了输入的词项序列的重要的信息。

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第23张图片
在这里插入图片描述

Sequence-to-sequence Auto-encoder-Speech

把一段音频序列变成一个定长的向量。
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第24张图片
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第25张图片
具体用途
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第26张图片
最后一个时间点存在内存里的值，代表了整个输入音频信号的信息。
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第27张图片

只有一个RNN encoder没办法训练，我们还需要一个RNN decoder来把encoder存在内存中的值来当作输入，产生一个序列，希望y1和x1越接近越好，再依次产生y2，y3。。。

RNN的encoder和decoder是同时训练的。单独是无法训练的。
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第28张图片
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第29张图片

Demo：Chat-bot

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第30张图片

Attention-based Model

根据一个问题，搜集组织记忆里的信息，得到一个回答
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第31张图片
把输入传给一个中央处理器（DNN/RNN），中央处理器操控一个读控制头，读控制头来控制Reading Head的位置，读取内容，传给中央处理器，得到输出。
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第32张图片
V2.0比前面的多一个Writing Head Controller，功能类似
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第33张图片

Attention-based Model的应用

阅读理解

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第34张图片
蓝色是reading head的位置，可以看到机器处理的思路过程
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第35张图片

Visual Question Answer

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第36张图片
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第37张图片

Speech Question Answering

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第38张图片

Mode Architecture

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第39张图片

RNN vs Structured Learning

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第40张图片

Integrated Together

输入先通过RNN，LSTM，输出再作为HMM，CRF的输入。。。
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第41张图片
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第42张图片
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第43张图片
渐渐地听不懂了，，，

Is structured learning practical?

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第44张图片
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第45张图片
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21） 学习笔记_第46张图片
后面就没怎么听懂了QAQ

你可能感兴趣的:(Machine,Learning,机器学习,李宏毅,学习笔记)

  • 脑电分析入门指南：信号处理、特征提取与机器学习 Ao000000 信号处理机器学习人工智能
    脑电分析入门指南一、为什么要研究脑电1.课题目标（解决什么问题）2.输入与输出二、脑电分析的整体流程三、每一步详解1.数据采集2.预处理3.特征提取4.特征选择/降维5.分类与识别四、研究过程中遇到的挑战与解决方法五、学习感受一、为什么要研究脑电1.课题目标（解决什么问题）本课题旨在通过对脑电（EEG）的采集与分析，提取有用的神经信息，实现对某类脑状或行为的识别/预测/评估。例如：情绪识别、疾病诊
  • 【机器学习-08】参数调优宝典：网格搜索与贝叶斯搜索等攻略 云天徽上 机器学习机器学习人工智能
    博主简介：曾任某智慧城市类企业算法总监，目前在美国市场的物流公司从事高级算法工程师一职，深耕人工智能领域，精通python数据挖掘、可视化、机器学习等，发表过AI相关的专利并多次在AI类比赛中获奖。CSDN人工智能领域的优质创作者，提供AI相关的技术咨询、项目开发和个性化解决方案等服务，如有需要请站内私信或者联系任意文章底部的的VX名片（ID：xf982831907）博主粉丝群介绍：①群内初中生、
  • 打造自己的组件库（一）宏函数解析 行云＆流水 Vue3组件库vue3组件库vue.jsjavascript前端
    1.初始化项目npmcreatevite生成项目后，文件目录如下：├──.idea/#IntelliJIDEA配置目录├──.vscode/#VSCode配置目录├──public/#静态资源目录│└──vite.svg#Vite默认图标├──src/#源代码目录│├──assets/#项目资源文件││└──vue.svg#Vue图标│├──components/#Vue组件目录││└──Hell
  • C语言 预处理详解
    目录1.预定义符号2.#define定义常量3.#define定义宏4.带有副作用的宏函数5.宏替换的规则6.宏函数的对比1.预定义符号C语言设置了一些预定义符号,可以直接使用,预定义符号也是在预处理期间处理的//进行编译的源文件__FILE__//文件当前的行号__LINE__//文件被编译的日期__DATE__//文件被编译的时间__TIME__//如果编译器遵循ANSIC，其值为1，否则未定
  • NLP-D7-李宏毅机器学习---X-Attention&&GAN&BERT&GPT 甄小胖 机器学习自然语言处理机器学习bert
    —0521今天4:30就起床了！真的是迫不及待想看新的课程！！！昨天做人脸识别系统的demo查资料的时候，发现一个北理的大四做cv的同学，差距好大！！！我也要努力呀！！不是比较，只是别人可以做到这个程度，我也一定可以！！！要向他学习！！！开始看课程啦！-----0753看完了各种attention，由于attention自己计算的限制，当N很大的时候会产生计算速度问题，从各种不同角度（人工知识输入
  • Java基础学习笔记2 qichi333 学习笔记javaeclipse
    今天是Java基础学习第二天，加油！！！下面是我今天记的一些笔记。（有点懒惰了，爬虫今天没学，因为赖床了(bushi)，但我会勤奋起来的^_^，一定一定！明天不能偷懒了天！！）一、运算符例子：inta=10;intb=20;intc=a+b;其中，“+”是运算符，且是算术运算符；“a+b”是表达式，且是算术表达式。1.算术运算符例1：publicclassdemo3{publicstaticvoi
  • EgoAlpha/prompt-in-context-learning项目解析：Prompt Engineering核心技术指南 霍日江Eagle-Eyed
    EgoAlpha/prompt-in-context-learning项目解析：PromptEngineering核心技术指南prompt-in-context-learningAwesomeresourcesforin-contextlearningandpromptengineering:MasteryoftheLLMssuchasChatGPT,GPT-3,andFlanT5,withup-
  • 板凳-------Mysql cookbook学习 （十一--------4)
    唐宇迪机器学习实战课程笔记https://blog.csdn.net/weixin_54338498/article/details/128818007?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ECtr-1-12881
  • AAAI—24—Main—paper（关于Multi—Modal的全部文章摘要）
    我们生活在一个由多种模态（Multimodal）信息构成的世界，包括视觉信息、听觉信息、文本信息、嗅觉信息等等，当研究的问题或者数据集包含多种这样的模态信息时我们称之为多模态学习多模态机器学习旨在处理学习（视觉，听觉，语言等）不同模态融合交织的信息。下游任务（1）视觉问答1.视觉问答(visualquestionanswering,VQA).给予视觉输入(图像或视频),VQA代表了正确提供一个问题
  • VIT视觉 妄想成为master opencv目标检测机器学习数据挖掘语音识别人工智能计算机视觉
    VisionTransformer视觉和语言(Vision-Language)NLPrompt:Noise-LabelPromptLearningforVision-LanguageModelsPaper:https://arxiv.org/abs/2412.01256Code:GitHub-qunovo/NLPromptPhysVLM:EnablingVisualLanguageModelsto
  • C#实现SVM支持向量机（附完整源码） 源代码大师 C#实战教程c#支持向量机开发语言
    C#实现SVM支持向量机下面是使用C#实现支持向量机（SVM）的示例代码：usingSystem;usingAccord.MachineLearning.VectorMachines;usingAccord.MachineLearning.VectorMachines.Learning;usingAccord
  • 神经网络初步学习3——数据与损失 X Y O 神经网络学习人工智能
    一、传统机器学习与神经网络前言：该部分需要一定的机器学习与数学基础（很浅的基础），如果有不理解的地方可以自行查阅。（1）区别这里不妨以图像识别为例子：（1）在传统的机器学习视角中：我们需要人工手动去设置并提取我们的特征量，例如常见的SIFT、SURF和HOG等，随后需要我们选择合适的分类器（例如：SVM、KNN等分类器）,接着把我们的参数训练出来。（2）而在神经网络的视角中：我们只需要把图片喂给它
  • brew java 切换_Java jdk11 在Mac上的安装和配置以及JDK多个版本之间切换 weixin_39570838 brewjava切换
    1、JDK11安装1)下载JDK11wgethttps://download.java.net/java/GA/jdk11/13/GPL/openjdk-11.0.1_osx-x64_bin.tar.gz2)解压安装包(系统中默认安装位置：/Library/Java/JavaVirtualMachines/)sudotar-zxfopenjdk-11.0.1_osx-x64_bin.tar.gz-
  • [特殊字符] AlphaGo：“神之一手”背后的智能革命与人机博弈新纪元 大千AI助手 人工智能Python#OTHER人工智能算法数据挖掘机器学习alphagogoogle围棋
    从围棋棋盘到科学前沿的通用人工智能范式突破本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！一、核心定义与历史意义AlphaGo是由谷歌DeepMind团队开发的围棋人工智能程序，其里程碑意义在于：首破人类围棋壁垒：2016年以4:1击败世界冠军李世石九段，成为首个在完整对局中战胜人类顶尖棋手的AI。
  • 如何让AI真正理解你的意图（自适应Prompt实战指南） nine是个工程师 大语言模型人工智能prompt
    目前的LLM模型，在理解用户意图方面，正在使用自适应Prompt技术，来提升模型的理解能力。目前使用deepseek推理模型能明显看到自适应的一个过程。前言：为什么你的AI总是"答非所问"？相信很多人都遇到过这样的情况：你问：“帮我写一个Python爬虫”AI答：给你一堆理论知识和完整教程（你只想要简单代码）你问：“推荐一部电影”AI答：推荐了《教父》（你想看轻松喜剧）你问：“解释一下机器学习”A
  • AI人工智能与机器学习的大数据融合应用 AI智能探索者 人工智能机器学习大数据ai
    AI人工智能与机器学习的大数据融合应用关键词：AI人工智能、机器学习、大数据、融合应用、数据挖掘摘要：本文深入探讨了AI人工智能与机器学习在大数据融合应用方面的相关内容。首先介绍了研究的背景、目的、预期读者和文档结构，对核心术语进行了清晰定义。接着阐述了AI、机器学习和大数据的核心概念及相互联系，给出了形象的文本示意图和Mermaid流程图。详细讲解了核心算法原理，并通过Python源代码进行说明
  • AI人工智能遇上TensorFlow：技术融合新趋势 AI大模型应用之禅 人工智能tensorflowpythonai
    AI人工智能遇上TensorFlow：技术融合新趋势关键词：人工智能、TensorFlow、深度学习、神经网络、机器学习、技术融合、AI开发摘要：本文深入探讨了人工智能技术与TensorFlow框架的融合发展趋势。我们将从基础概念出发，详细分析TensorFlow在AI领域的核心优势，包括其架构设计、算法实现和实际应用。文章包含丰富的技术细节，如神经网络原理、TensorFlow核心算法实现、数学
  • SystemVerilog LRM 学习笔记 -- clocking块
    1clocking...endclocking块clocking块是SV新feature，主要是为了更好解决testbench和DUT之间的timing和同步建模的问题，可以使user基于clockcycle在更高的抽象层次上写testbench(如“##3”，表示三个clock)。clocking只能在module/interface/checker/program中声明，不能在function
  • MATLAB随机模拟技术在气候模型中的应用
    本文还有配套的精品资源，点击获取简介：MATLAB是科学研究和工程领域中广泛使用的一款数学计算与编程软件，尤其在气象学和气候模拟方面有着重要的应用。’Fletcher_2019_Learning_Climate’项目通过MATLAB实现的随机模拟方法帮助理解气候变化。本文将详细探讨该项目的关键内容，包括气候模型的构成、随机过程与统计方法的运用、MATLAB编程技能、气候数据处理与分析、结果可视化以
  • JavaWeb（苍穹外卖）--学习笔记03（登录生成令牌） 老虎0627 JavaWeb（苍穹外卖）学习笔记java
    前言本片文章是学习B站黑马程序员苍穹外卖的学习笔记。在Day01（如果学到登录界面这里卡住了，可以看看这篇文章），登陆界面的后端实现大致可以分为两部分登录功能和登录校验，其中登陆校验的实现是基于令牌JWT技术来实现会话追踪（校验部分还有拦截器Interceptor这个我没太学懂视频也没提，以后在更）JWT令牌基本概念JWT是一种在Web应用程序，简单且安全地处理用户身份验证和信息交换的技术，首先我
  • 如何使用Python控制笔记本电脑屏幕亮度？ 很酷的站长 编程笔记电脑python开发语言
    Python已成为世界上最受欢迎的编程语言之一，这要归功于它的简单性、多功能性和广泛的应用程序。凭借其广泛的库和框架，Python可用于从Web开发到机器学习以及介于两者之间的任何内容。在Python中，最流行的数据分析和操作库之一是Pandas，它提供了处理表格数据的强大工具。在本教程中，我们将使用Python和屏幕亮度控制库来探索如何控制笔记本电脑屏幕亮度。我们将向您展示如何使用Python通
  • 基于多设计模式的同步&异步日志系统--代码设计（六） 久念祈 日志系统设计模式
    目录日志器管理模块（单例）设计思想成员属性提供的接口代码实现：全局的日志器建造者代码实现全局接口的设计获取日志器的全局接口使用宏函数代理日志器的输出接口日志器管理模块（单例）用户可能会创建多个日志器，然后从中选取一个输出日志，那我们就需要将这些日志器管理起来，因此我们需要设计一个日志器管理模块。设计思想以日志器的名称作为唯一关键字将创建的日志器保存起来，允许用户通过日志器名称获取对应日志器，如果日
  • 10、 量子神经网络：从理论到实践 安检 量子神经网络PennyLaneQiskit
    量子神经网络：从理论到实践1.量子神经网络简介量子神经网络（QuantumNeuralNetworks,QNNs）是量子计算与经典机器学习相
  • 深度学习基础与应用：从理论到实战 创新工场
    本文还有配套的精品资源，点击获取简介：深度学习是人工智能的核心分支，通过模拟人脑神经网络处理大量数据以执行复杂任务。Python因其简洁性和强大的库支持成为深度学习研究的首选语言。本文概述了深度学习基础概念、核心算法、Python框架，并假设了一个包含教程、示例代码、数据集、交互式学习环境、性能评估指标和进阶主题的“deep-learning-study-main”压缩包内容，旨在帮助学习者深入理
  • 深度学习之迁移学习 路溪非溪 人工智能迁移学习机器学习
    认识迁移学习迁移学习（TransferLearning）是机器学习中的一种重要技术，其核心思想是将在一个任务上学习到的知识（模型参数、特征表示等），迁移应用到另一个相关但不同的任务中，从而提升新任务的学习效率和性能，尤其是在新任务数据有限的情况下。一、迁移学习的核心动机传统机器学习通常要求为每个新任务收集大量标注数据并从头训练模型，但现实中面临以下挑战：数据稀缺：例如医疗影像分析（罕见疾病样本少）
  • 【机器学习】解密计算机视觉：CNN、目标检测与图像识别核心技术（第25天） 吴师兄大模型 0基础实现机器学习入门到精通机器学习计算机视觉cnn人工智能目标检测图像识别pytorch
    Langchain系列文章目录01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南02-玩转LangChainMemory模块：四种记忆类型详解及应用场景全覆盖03-全面掌握LangChain：从核心链条构建到动态任务分配的实战指南04-玩转LangChain：从文档加载到高效问答系统构建的全程实战05-玩转LangChain：深度评估问答系统的三种高效方法（示例生成、手
  • 四六级，雅思必备连接词（持续更新~） dulu~dulu 自用笔记雅思英语雅思雅思词汇总结笔记雅思阅读雅思写作四六级写作
    目录（一）观点对立（二）递进（三）因果（四）假设（五）总结（六）举例（七）优缺点承接说明（八）其他简单连接词1.并列关系2.顺序关系3.强调关系4.条件关系5.时间关系6.总结关系（一）观点对立1.Conversely：相反地Someviewtechnologyasadistraction.Conversely,othersseeitasapowerfullearningtool.有人视科技为干扰
  • 用Python实现数据可视化的实用指南 庞队千Virginia
    用Python实现数据可视化的实用指南practical-python-data-viz-guideResourcesforteaching&learningpracticaldatavisualizationwithpython.项目地址:https://gitcode.com/gh_mirrors/pr/practical-python-data-viz-guide项目介绍在数据驱动的时代，数
  • 深入理解Spring Bean的生命周期
    在Spring框架的学习中，Bean的生命周期是一个核心知识点，它贯穿了从Bean的创建到销毁的全过程。掌握Bean的生命周期，不仅能帮助我们更好地理解Spring容器的工作原理，还能在实际开发中更灵活地控制Bean的行为。本文将基于学习笔记，详细解析Bean生命周期的七个阶段，并补充关键细节和实践要点。一、Bean定义阶段：蓝图的绘制Bean定义阶段就如同建筑前的设计图纸绘制，它决定了Bean的
  • redis学习笔记
    1.在docker上安装redis之后，具体可以看我之前的docker教程一.进入docker的redis容器中#进入docker的redis容器中dockerexec-itredis/bin/bash#启动redisredis-cli#设置键setmykeyabc#取出键getmykey#删除键delmykey二，Redis数据类型字符串（string），哈希（hash），列表（list），集合
  • 桌面上有多个球在同时运动，怎么实现球之间不交叉，即碰撞？ 换个号韩国红果果 html小球碰撞
    稍微想了一下，然后解决了很多bug，最后终于把它实现了。其实原理很简单。在每改变一个小球的x y坐标后，遍历整个在dom树中的其他小球，看一下它们与当前小球的距离是否小于球半径的两倍？若小于说明下一次绘制该小球（设为a）前要把他的方向变为原来相反方向（与a要碰撞的小球设为b），即假如当前小球的距离小于球半径的两倍的话，马上改变当前小球方向。那么下一次绘制也是先绘制b，再绘制a，由于a的方向已经改变
  • 《高性能HTML5》读后整理的Web性能优化内容 白糖_ html5
    读后感         先说说《高性能HTML5》这本书的读后感吧，个人觉得这本书前两章跟书的标题完全搭不上关系，或者说只能算是讲解了“高性能”这三个字，HTML5完全不见踪影。个人觉得作者应该首先把HTML5的大菜拿出来讲一讲，再去分析性能优化的内容，这样才会有吸引力。因为只是在线试读，没有机会看后面的内容，所以不胡乱评价了。  
  • [JShop]Spring MVC的RequestContextHolder使用误区 dinguangx jeeshop商城系统jshop电商系统
        在spring mvc中，为了随时都能取到当前请求的request对象，可以通过RequestContextHolder的静态方法getRequestAttributes()获取Request相关的变量，如request, response等。         在jshop中，对RequestContextHolder的
  • 算法之时间复杂度 周凡杨 java算法时间复杂度效率
          在 计算机科学 中， 算法 的时间复杂度是一个 函数 ，它定量描述了该算法的运行时间。这是一个关于代表算法输入值的 字符串 的长度的函数。时间复杂度常用 大O符号 表述，不包括这个函数的低阶项和首项系数。使用这种方式时，时间复杂度可被称为是 渐近 的，它考察当输入值大小趋近无穷时的情况。 这样用大写O()来体现算法时间复杂度的记法，
  • Java事务处理 g21121 java
    一、什么是Java事务 通常的观念认为，事务仅与数据库相关。 事务必须服从ISO/IEC所制定的ACID原则。ACID是原子性（atomicity）、一致性（consistency）、隔离性（isolation）和持久性（durability）的缩写。事务的原子性表示事务执行过程中的任何失败都将导致事务所做的任何修改失效。一致性表示当事务执行失败时，所有被该事务影响的数据都应该恢复到事务执行前的状
  • Linux awk命令详解 510888780 linux
    一.  AWK 说明   awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。    awk的处理文本和数据的方式：它逐行扫描文件，从第一行到
  • android permission 布衣凌宇 Permission
    <uses-permission android:name="android.permission.ACCESS_CHECKIN_PROPERTIES" ></uses-permission>允许读写访问"properties"表在checkin数据库中，改值可以修改上传 <uses-permission android:na
  • Oracle和谷歌Java Android官司将推迟 aijuans javaoracle
    北京时间 10 月 7 日，据国外媒体报道，Oracle 和谷歌之间一场等待已久的官司可能会推迟至 10 月 17 日以后进行，这场官司的内容是 Android 操作系统所谓的 Java 专利权之争。本案法官 William Alsup 称根据专利权专家 Florian Mueller 的预测，谷歌 Oracle 案很可能会被推迟。　　该案中的第二波辩护被安排在 10 月 17 日出庭，从目前看来
  • linux shell 常用命令 antlove linuxshellcommand
    grep [options] [regex] [files] /var/root # grep -n "o" * hello.c:1:/* This C source can be compiled with:
  • Java解析XML配置数据库连接(DOM技术连接 SAX技术连接) 百合不是茶 sax技术Java解析xml文档dom技术XML配置数据库连接
        XML配置数据库文件的连接其实是个很简单的问题,为什么到现在才写出来主要是昨天在网上看了别人写的,然后一直陷入其中,最后发现不能自拔 所以今天决定自己完成 ,,,,现将代码与思路贴出来供大家一起学习   XML配置数据库的连接主要技术点的博客; JDBC编程 : JDBC连接数据库 DOM解析XML:  DOM解析XML文件 SA
  • underscore.js 学习（二） bijian1013 JavaScriptunderscore
            Array Functions 所有数组函数对参数对象一样适用。1.first   _.first(array, [n])   别名: head, take       返回array的第一个元素，设置了参数n，就
  • plSql介绍 bijian1013 oracle数据库plsql
    /* * PL/SQL 程序设计学习笔记 * 学习plSql介绍.pdf * 时间：2010-10-05 */ --创建DEPT表 create table DEPT ( DEPTNO NUMBER(10), DNAME NVARCHAR2(255), LOC NVARCHAR2(255) ) delete dept; select
  • 【Nginx一】Nginx安装与总体介绍 bit1129 nginx
    启动、停止、重新加载Nginx nginx 启动Nginx服务器，不需要任何参数u nginx -s stop 快速(强制)关系Nginx服务器 nginx -s quit 优雅的关闭Nginx服务器 nginx -s reload 重新加载Nginx服务器的配置文件 nginx -s reopen 重新打开Nginx日志文件  
  • spring mvc开发中浏览器兼容的奇怪问题 bitray jqueryAjaxspringMVC浏览器上传文件
        最近个人开发一个小的OA项目,属于复习阶段.使用的技术主要是spring mvc作为前端框架,mybatis作为数据库持久化技术.前台使用jquery和一些jquery的插件.     在开发到中间阶段时候发现自己好像忽略了一个小问题,整个项目一直在firefox下测试,没有在IE下测试,不确定是否会出现兼容问题.由于jquer
  • Lua的io库函数列表 ronin47 lua io
    1、io表调用方式：使用io表，io.open将返回指定文件的描述，并且所有的操作将围绕这个文件描述 　　io表同样提供三种预定义的文件描述io.stdin,io.stdout,io.stderr 　　2、文件句柄直接调用方式,即使用file:XXX()函数方式进行操作,其中file为io.open()返回的文件句柄 　　多数I/O函数调用失败时返回nil加错误信息,有些函数成功时返回nil
  • java-26-左旋转字符串 bylijinnan java
    public class LeftRotateString { /** * Q 26 左旋转字符串 * 题目：定义字符串的左旋转操作：把字符串前面的若干个字符移动到字符串的尾部。 * 如把字符串abcdef左旋转2位得到字符串cdefab。 * 请实现字符串左旋转的函数。要求时间对长度为n的字符串操作的复杂度为O(n)，辅助内存为O(1)。 */ pu
  • 《vi中的替换艺术》-linux命令五分钟系列之十一 cfyme linux命令
    vi方面的内容不知道分类到哪里好，就放到《Linux命令五分钟系列》里吧！ 今天编程，关于栈的一个小例子，其间我需要把”S.”替换为”S->”(替换不包括双引号)。 其实这个不难，不过我觉得应该总结一下vi里的替换技术了，以备以后查阅。   1 所有替换方案都要在冒号“:”状态下书写。 2 如果想将abc替换为xyz，那么就这样 :s/abc/xyz/ 不过要特别
  • [轨道与计算]新的并行计算架构 comsci 并行计算
         我在进行流程引擎循环反馈试验的过程中，发现一个有趣的事情。。。如果我们在流程图的每个节点中嵌入一个双向循环代码段，而整个流程中又充满着很多并行路由，每个并行路由中又包含着一些并行节点，那么当整个流程图开始循环反馈过程的时候，这个流程图的运行过程是否变成一个并行计算的架构呢？      
  • 重复执行某段代码 dai_lm android
    用handler就可以了 private Handler handler = new Handler(); private Runnable runnable = new Runnable() { public void run() { update(); handler.postDelayed(this, 5000); } }; 开始计时 h
  • Java实现堆栈（list实现） datageek 数据结构——堆栈
    public interface IStack<T> { //元素出栈，并返回出栈元素 public T pop(); //元素入栈 public void push(T element); //获取栈顶元素 public T peek(); //判断栈是否为空 public boolean isEmpty
  • 四大备份MySql数据库方法及可能遇到的问题 dcj3sjt126com DBbackup
    一：通过备份王等软件进行备份前台进不去？ 用备份王等软件进行备份是大多老站长的选择，这种方法方便快捷，只要上传备份软件到空间一步步操作就可以，但是许多刚接触备份王软件的客用户来说还原后会出现一个问题：因为新老空间数据库用户名和密码不统一，网站文件打包过来后因没有修改连接文件，还原数据库是好了，可是前台会提示数据库连接错误，网站从而出现打不开的情况。 解决方法：学会修改网站配置文件，大多是由co
  • github做webhooks：[1]钩子触发是否成功测试 dcj3sjt126com githubgitwebhook
    转自: http://jingyan.baidu.com/article/5d6edee228c88899ebdeec47.html github和svn一样有钩子的功能，而且更加强大。例如我做的是最常见的push操作触发的钩子操作，则每次更新之后的钩子操作记录都会在github的控制板可以看到！ 工具/原料 github 方法/步骤
  • ">的作用" target="_blank">JSP中的作用 蕃薯耀
    JSP中<base href="<%=basePath%>">的作用 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
  • linux下SAMBA服务安装与配置 hanqunfeng linux
    局域网使用的文件共享服务。 一.安装包： rpm -qa | grep samba samba-3.6.9-151.el6.x86_64 samba-common-3.6.9-151.el6.x86_64 samba-winbind-3.6.9-151.el6.x86_64 samba-client-3.6.9-151.el6.x86_64 samba-winbind-clients
  • guava cache IXHONG cache
    缓存，在我们日常开发中是必不可少的一种解决性能问题的方法。简单的说，cache 就是为了提升系统性能而开辟的一块内存空间。 　　缓存的主要作用是暂时在内存中保存业务系统的数据处理结果，并且等待下次访问使用。在日常开发的很多场合，由于受限于硬盘IO的性能或者我们自身业务系统的数据处理和获取可能非常费时，当我们发现我们的系统这个数据请求量很大的时候，频繁的IO和频繁的逻辑处理会导致硬盘和CPU资源的
  • Query的开始--全局变量,noconflict和兼容各种js的初始化方法 kvhur JavaScriptjquerycss
    这个是整个jQuery代码的开始，里面包含了对不同环境的js进行的处理，例如普通环境，Nodejs，和requiredJs的处理方法。 还有jQuery生成$, jQuery全局变量的代码和noConflict代码详解  完整资源： http://www.gbtags.com/gb/share/5640.htm jQuery 源码：   (
  • 美国人的福利和中国人的储蓄 nannan408
       今天看了篇文章，震动很大，说的是美国的福利。    美国医院的无偿入院真的是个好措施。小小的改善，对于社会是大大的信心。小孩，税费等，政府不收反补，真的体现了人文主义。    美国这么高的社会保障会不会使人变懒？答案是否定的。正因为政府解决了后顾之忧，人们才得以倾尽精力去做一些有创造力，更造福社会的事情，这竟成了美国社会思想、人
  • N阶行列式计算(JAVA) qiuwanchi N阶行列式计算
    package gaodai; import java.util.List; /** * N阶行列式计算 * @author 邱万迟 * */ public class DeterminantCalculation { public DeterminantCalculation(List<List<Double>> determina
  • C语言算法之打渔晒网问题 qiufeihu c算法
    如果一个渔夫从2011年1月1日开始每三天打一次渔，两天晒一次网，编程实现当输入2011年1月1日以后任意一天，输出该渔夫是在打渔还是在晒网。 代码如下：   #include <stdio.h> int leap(int a) /*自定义函数leap()用来指定输入的年份是否为闰年*/ { if((a%4 == 0 && a%100 != 0
  • XML中DOCTYPE字段的解析 wyzuomumu xml
    DTD声明始终以!DOCTYPE开头,空一格后跟着文档根元素的名称,如果是内部DTD,则再空一格出现[],在中括号中是文档类型定义的内容. 而对于外部DTD,则又分为私有DTD与公共DTD,私有DTD使用SYSTEM表示,接着是外部DTD的URL. 而公共DTD则使用PUBLIC,接着是DTD公共名称,接着是DTD的URL.   私有DTD <!DOCTYPErootSYST
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他