torch.Tensor有4种常见的乘法：*, torch.mul, torch.mm, torch.matmul. 本文抛砖引玉，简单叙述一下这4种乘法的区别，具体使用还是要参照官方文档。
点乘
a与b做*乘法，原则是如果a与b的size不同，则以某种方式将a或b进行复制，使得复制后的a和b的size相同，然后再将a和b做element-wise的乘法。
下面以*标量和*一维向量为例展示上述过程。
* 标量
Tensor与标量k做*乘法的结果是Tensor的每个元素乘以k（相当于把k复制成与lhs大小相同，元素全为k的Tensor）.
> a = torch.ones(3,4)
> a
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.]])
> a * 2
tensor([[2., 2., 2., 2.],
[2., 2., 2., 2.],
[2., 2., 2., 2.]])
* 一维向量
Tensor与行向量做*乘法的结果是每列乘以行向量对应列的值（相当于把行向量的行复制，成为与lhs维度相同的Tensor）. 注意此时要求Tensor的列数与行向量的列数相等。
> a = torch.ones(3,4)
> a
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.]])
> b = torch.Tensor([1,2,3,4])
> b
tensor([1., 2., 3., 4.])
> a * b
tensor([[1., 2., 3., 4.],
[1., 2., 3., 4.],
[1., 2., 3., 4.]])
Tensor与列向量做*乘法的结果是每行乘以列向量对应行的值（相当于把列向量的列复制，成为与lhs维度相同的Tensor）. 注意此时要求Tensor的行数与列向量的行数相等。
> a = torch.ones(3,4)
> a
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.]])
> b = torch.Tensor([1,2,3]).reshape((3,1))
> b
tensor([[1.],
[2.],
[3.]])
> a * b
tensor([[1., 1., 1., 1.],
[2., 2., 2., 2.],
[3., 3., 3., 3.]])
* 矩阵
经Arsmart在评论区提醒，增补一个矩阵 * 矩阵的例子，感谢Arsmart的热心评论！
如果两个二维矩阵A与B做点积A * B，则要求A与B的维度完全相同，即A的行数=B的行数，A的列数=B的列数
> a = torch.tensor([[1, 2], [2, 3]])
> a * a
tensor([[1, 4],
[4, 9]])
broadcast
点积是broadcast的。broadcast是torch的一个概念，简单理解就是在一定的规则下允许高维Tensor和低维Tensor之间的运算。broadcast的概念稍显复杂，在此不做展开，可以参考官方文档关于broadcast的介绍. 在torch.matmul里会有关于broadcast的应用的一个简单的例子。
这里举一个点积broadcast的例子。在例子中，a是二维Tensor，b是三维Tensor，但是a的维度与b的后两位相同，那么a和b仍然可以做点积，点积结果是一个和b维度一样的三维Tensor，运算规则是：若c = a * b, 则c[i,*,*] = a * b[i, *, *]，即沿着b的第0维做二维Tensor点积，或者可以理解为运算前将a沿着b的第0维也进行了expand操作，即a = a.expand(b.size()); a * b。
> a = torch.tensor([[1, 2], [2, 3]])
> b = torch.tensor([[[1,2],[2,3]],[[-1,-2],[-2,-3]]])
> a * b
tensor([[[ 1, 4],
[ 4, 9]],
[[-1, -4],
[-4, -9]]])
> b * a
tensor([[[ 1, 4],
[ 4, 9]],
[[-1, -4],
[-4, -9]]])
其实，上面提到的二维Tensor点积标量、二维Tensor点积行向量，都是发生在高维向量和低维向量之间的，也可以看作是broadcast.
torch.mul
官方文档关于torch.mul的介绍. 用法与*乘法相同，也是element-wise的乘法，也是支持broadcast的。
下面是几个torch.mul的例子.
乘标量
> a = torch.ones(3,4)
> a
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.]])
> a * 2
tensor([[2., 2., 2., 2.],
[2., 2., 2., 2.],
[2., 2., 2., 2.]])
乘行向量
> a = torch.ones(3,4)
> a
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.]])
> b = torch.Tensor([1,2,3,4])
> b
tensor([1., 2., 3., 4.])
> torch.mul(a, b)
tensor([[1., 2., 3., 4.],
[1., 2., 3., 4.],
[1., 2., 3., 4.]])
乘列向量
> a = torch.ones(3,4)
> a
tensor([[1., 1., 1., 1.],
[1., 1., 1., 1.],
[1., 1., 1., 1.]])
> b = torch.Tensor([1,2,3]).reshape((3,1))
> b
tensor([[1.],
[2.],
[3.]])
> torch.mul(a, b)
tensor([[1., 1., 1., 1.],
[2., 2., 2., 2.],
[3., 3., 3., 3.]])
乘矩阵
例1：二维矩阵 mul 二维矩阵
> a = torch.tensor([[1, 2], [2, 3]])
> torch.mul(a,a)
tensor([[1, 4],
[4, 9]])
例2：二维矩阵 mul 三维矩阵（broadcast）
> a = torch.tensor([[1, 2], [2, 3]])
> b = torch.tensor([[[1,2],[2,3]],[[-1,-2],[-2,-3]]])
> torch.mul(a,b)
tensor([[[ 1, 4],
[ 4, 9]],
[[-1, -4],
[-4, -9]]])
torch.mm
官方文档关于torch.mm的介绍. 数学里的矩阵乘法，要求两个Tensor的维度满足矩阵乘法的要求.
例子：
> a = torch.ones(3,4)
> b = torch.ones(4,2)
> torch.mm(a, b)
tensor([[4., 4.],
[4., 4.],
[4., 4.]])
torch.matmul
官方文档关于torch.matmul的介绍. torch.mm的broadcast版本.
例子：
> a = torch.ones(3,4)
> b = torch.ones(5,4,2)
> torch.matmul(a, b)
tensor([[[4., 4.],
[4., 4.],
[4., 4.]],
[[4., 4.],
[4., 4.],
[4., 4.]],
[[4., 4.],
[4., 4.],
[4., 4.]],
[[4., 4.],
[4., 4.],
[4., 4.]],
[[4., 4.],
[4., 4.],
[4., 4.]]])
同样的a和b，使用torch.mm相乘会报错
> torch.mm(a, b) Traceback (most recent call last): File "<stdin>", line 1, in <module> RuntimeError: matrices expected, got 2D, 3D tensors at /pytorch/aten/src/TH/generic/THTensorMath.cpp:2065
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
这一波大模型产业落地浪潮里，不少企业其实处在 “干瞪眼“的状态。
一种情况是，很多大模型产品看得见却摸不着，在台上一个个遥遥领先——今天Sora技精四座，明天英伟达的机器人又赢得满堂彩，可是到了台下一问：啥时候能用上啊？答曰：遥遥无期。
另一种情况是，企业想用上大模型，却又难免瞻前顾后——既要考虑场景融合，又得兼顾安全性，还要考虑打通现有系统，再加上各种部署成本和繁琐的采购流程……最后只能拂袖：罢了，再等等吧。
稳了！魔兽国服回归的3条重磅消息！官宣时间再确认！
昨天有一位朋友在大神群里分享，自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址，com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后，确实是网易的网址，也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情，因为以前都没有出现这样的情况，现在突然提示跳转到国服战网的网址，是不是说明了简体中文客户端已经开始进行更新了呢？