1. PyTorch 模块总览

前面用了四篇文章详细讲解了 tensor 的性质，本篇开始进入功能的介绍。相比 TensorFlow，PyTorch 是非常轻量级的：相比 TensorFlow 追求兼容并包，PyTorch 把外围功能放在了扩展包中，比如 torchtext，以保持主体的轻便。

神经网络的训练过程其实就是一个不断更新权重的过程，而更新权重要使用反向传播，而反向传播的本质是求导数。PyTorch.autograd 应运而生，接管了神经网络中不断重复的求导数运算。

1. 计算图

一个深度学习模型是由“计算图”构成的。所谓计算图是一个有向无环图（directed acyclic graph）。数据是这个图的节点（node），运算是这个图的边（edge）。如下图所示：

接上文 [DL] PyTorch 折桂 2：张量的运算 1

3. math 操作

3.1 pointwize 操作

pointwise 指的是元素对元素。比如

1
2

A = torch.Tensor([a1, a2])
A + 2. = torch.Tensor([a1+2., a2+2.])