深度学习pytorch——Broadcast自动扩展

介绍

在 PyTorch 中，Broadcast 是指自动扩展（broadcasting）运算的功能。它允许用户在不同形状的张量之间执行运算，而无需手动将它们的形状改变为相同的大小。当进行运算时，PyTorch 会自动调整张量的形状，使其能够顺利进行运算。

具体来说，如果两个张量的形状不完全相同，但满足一定的条件时，PyTorch 可以使用 Broadcast 功能来进行运算。这两个张量在进行运算时，会自动根据 Broadcast 规则进行大小扩展，使它们的形状变得兼容。这样一来，我们就可以直接对这两个形状不同的张量进行运算，而不需要手动将它们的形状改变为相同的大小。

通过使用 Broadcast 自动扩展功能，我们可以简化代码，并且使得我们能够更方便地进行张量运算。这在深度学习和机器学习中经常用到，特别是在对网络层进行并行计算时。因此，Broadcast 自动扩展是 PyTorch 的一个重要功能，可以帮助我们更高效地进行张量运算。

扩展规则

在讲述扩展规则之前，我们先来讨论一下小维度和大维度。

比如现在我们有一个shape为[4, 3, 14, 14]，我们将最前面的4所在的维度称为大维度，将最后面的14称为小维度。之所以这样称也是有理由的，我们将这个数据看成4张彩色图片，4就表示图片的数量，3就表示有3个通道，也就是rgb，第一个14就表示图像的高度，第二个14就表示图像的宽度，我们就可以理解为什么了。

1、broadcasting扩展机制是从小维度进行扩展的。因为我们一般处理图像并不是对图像的数量进行变换，而是对图像的像素值进行变换，而像素值存在最后两个维度。

2、broadcasting扩展机制内部的处理顺序是：

（1）先在维度方面进行扩展，再在size方面进行扩展。

用一张图解释broadcasting扩展机制实现的效果：

 用法

下面我们通过一个实际的例子来讲解broadcasting扩展机制到底适用于什么样的情况。

首先，我们定义一个三维的数据[class, strdents, scores]，最大维度表示班级，最小维度表示学生的分数，中间维度表示学生的人数，现在我们将该维度数字化为[4, 32, 8]表示总共有4个班级每个班级32名学生，每个学生有8门成绩。

其次，现在我们考虑到今年考试的题目太难了，为了让成绩好看些，我们准备为每个学生加5分，我们应该如何操作呢？

我们明确5分是一个标量或者可以是一个一维张量。我们需要将维度扩展到3维，就变成了[1, 1, 1]，再将size进行扩展，就得到了[4, 32, 8]，对里面每个值进行赋值为5，就完成了。

下面我们来讲一下什么时候使用broadcasting扩展机制。

第三种情况不适用 ，并且我们可以看到B的shape前面我们都加上了1，1就代表可以扩展到A对应的size。