人工智能

导航菜单



当前位置: 首页  /  AI概论  /  正文

神经网络:递归神经网络的兴起

阅读:37

神经网络:递归神经网络的兴起

在本文中,我们将讨论深度学习中递归神经网络的基础。递归神经网络的兴起是为了克服我们在神经网络和卷积神经网络中看到的局限性。

涉及的主题:

  1. 神经网络和卷积神经网络的局限性
  2. RNN的体系结构介绍
  3. RNN的工作
  4. RNN的局限性

局限性

人工神经网络(ANN)

卷积神经网络(CNN)

因此,递归神经网络克服了图像的长期依赖和固定维数的问题。

长期依赖性意味着由于RNN处理的内存存储功能的这种依赖性,将来的预测与前一级或第一阶段神经元相关联。

循环神经网络捕获输入数据中存在的顺序信息,即在进行预测时两个数据点之间的依存关系。

关于RNN架构的介绍

RNN架构的视图如下所示


上图显示了人工神经网络和递归神经网络之间的区别。RNN中的隐藏层可以再次被提供给输入隐藏层的输出。多个神经元的输入和输出都是输入和输出向量。

X = [x1,x2,---- x(t-1)]
Y = [y1,y2,---- y(t-1)]

RNN的类型

与RNN架构有关的术语

RNN中的方程式

RNN体系结构中支配着各种方程式,如下所示:

方程H(t)具有水平方向即从左到右的信息流。第二个等式具有信息垂直方向(即从底部到顶部)的流动。

H(t)h(t-1)x(t)的函数,其中H(t)是当前隐藏状态,h(t-1)是先前的隐藏状态,x(t)是当前输入状态。

U,W和V是权重矩阵。

RNN的工作

RNN的基本功能是记住先前的状态,以便预测的输出更加准确。

我们将讨论两个工作条件,如下所示:

正向传播

我们上面讨论的两个方程式是向前传播的,因此流量信息将在水平和垂直方向上传播。我们可以看到一个简单的正向传播图,如下所示:


正向传播中还有两个方程,如下所示:

在分类问题的情况下,等式1st是多类熵损失。熵损失用于发现提高分类性能的概率,因此,多类用于多类预测。

y(t) 是实际标签
y^(t) 是预测标签

公式2nd是RNN中的总损耗,它由从i = 0到时间(T)的单个输出预测。

这两个方程式用于量化预测如何接近实际标签。

随时间向后传播或向后传播(BPTT)

这是我们训练网络模型的一部分。该部分的功能用于更新RNN中的可训练参数,参数为U,V和W,即RNN中的权重。

我们使用梯度下降方程来更新权重,如下所示:


等式3是W权重的更新等式。等式4是V权重的更新等式。公式为5,是U权重的更新公式。L是完全损失,而alpha是学习参数。

RNN的局限性

我们讨论了克服NN和CNN模型的模型,但梯度消失问题仍然存在。为了解决此问题,我们使用如下所示的一些方法:

  1. 截断时间的反向传播:这是一种我们在时间之间标记部分以避免过度反向传播的方法。
  2. 剪切方法:剪切特定范围内的权重的导数。该方法在TensorFlow中很容易完成,因此梯度下降不会爆炸和消失。
  3. 使用高级架构,即LSTM和GRU。

结论:

本文对递归神经网络有一个基本的了解。逐渐消失的梯度问题使人们有动机去寻找更高级的架构,例如LSTM和GRU,这些架构将在以后的文章中进行讨论。

标签

神经网络递归兴起


相关文章列表

递归神经网络: 解密人类思维的密码

递归神经网络: 解密人类思维的密码

递归神经网络(RNN)是一种强大的人工智能工具,被广泛应用于自然语言处理和序列建模领域。它的设计灵感来源于人类思维的特点,能够从序列数据中提取上下文信息,实现对复杂的语言结构和思维过程的建模。因此,...


递归在生物和人工神经网络中的区别分析

递归在生物和人工神经网络中的区别分析

点击上方关注,All in AI中国递归是神经网络中的一个重要术语,在机器学习和神经科学领域有着不同的含义。然而,随着用于实际应用的人工神经网络(ANNs)越来越复杂,且在某些方面更像生物神经网络(B...


递归神经网络在文本分类中的应用研究

递归神经网络在文本分类中的应用研究

递归神经网络(Recursive Neural Network,RNN)是一类神经网络结构,它在处理序列数据方面表现出色。文本分类是自然语言处理中一项重要的任务,递归神经网络在文本分类中有广泛的应用...


国信证券金融工程研究:RNN自适应计算次数的增强优化

国信证券金融工程研究:RNN自适应计算次数的增强优化

递归神经网络RNN。RNN 不同于传统神经网络的感知机的最大特征就是跟时间挂上钩,即包含了一个循环的网络,就是下一时间的结果不仅受下一时间的输入的影响,也受上一时间输出的影响,进一步地说就是信息具有持...


看大牛如何复盘递归神经网络!

看大牛如何复盘递归神经网络!

更多深度文章,请关注云计算频道:https://yq.aliyun.com/cloud在大牛的眼中,递归神经网络(RNNs)的运作就像孩子们玩的手机游戏(也叫做华人耳语(私下传话),其实就是暗指递归神...


递归神经网络在机器翻译中的应用

递归神经网络在机器翻译中的应用

机器翻译是人工智能领域的一个重要研究方向,旨在利用计算机自动将一种语言的文本转换成另一种语言的文本。递归神经网络(Recursive Neural Networks,RNN)是一种在自然语言处理任务...


友情链接