您当前的位置:首页 > IT编程 > python
| C语言 | Java | VB | VC | python | Android | TensorFlow | C++ | oracle | 学术与代码 | cnn卷积神经网络 | gnn | 图像修复 | Keras | 数据集 | Neo4j | 自然语言处理 | 深度学习 | 医学CAD | 医学影像 | 超参数 | pointnet | pytorch | 异常检测 | Transformers | 情感分类 | 知识图谱 |

自学教程:支持PyTorch的einops张量操作神器用法示例详解

51自学网 2022-02-21 10:49:49
  python
这篇教程支持PyTorch的einops张量操作神器用法示例详解写得很实用,希望能帮到您。

今天做visual transformer研究的时候,发现了einops这么个神兵利器,决定大肆安利一波。

先看链接:https://github.com/arogozhnikov/einops

安装:

pip install einops

基础用法

einops的强项是把张量的维度操作具象化,让开发者“想出即写出”。举个例子:

from einops import rearrange # rearrange elements according to the patternoutput_tensor = rearrange(input_tensor, 'h w c -> c h w')

用'h w c -> c h w'就完成了维度调换,这个功能与pytorch中的permute相似。但是,einops的rearrange玩法可以更高级:

from einops import rearrangeimport torch a = torch.randn(3, 9, 9)  # [3, 9, 9]output = rearrange(a, 'c (r p) w -> c r p w', p=3)print(output.shape)   # [3, 3, 3, 9]

这就是高级用法了,把中间维度看作r×p,然后给出p的数值,这样系统会自动把中间那个维度拆解成3×3。这样就完成了[3, 9, 9] -> [3, 3, 3, 9]的维度转换。

这个功能就不是pytorch的内置功能可比的。

除此之外,还有reduce和repeat,也是很好用。

from einops import repeatimport torch a = torch.randn(9, 9)  # [9, 9]output_tensor = repeat(a, 'h w -> c h w', c=3)  # [3, 9, 9]

指定c,就可以指定复制的层数了。

再看reduce:

from einops import reduceimport torch a = torch.randn(9, 9)  # [9, 9]output_tensor = reduce(a, 'b c (h h2) (w w2) -> b h w c', 'mean', h2=2, w2=2)

这里的'mean'指定池化方式。 相信你看得懂,不懂可留言提问~

高级用法 

einops也可以嵌套在pytorch的layer里,请看:

# example given for pytorch, but code in other frameworks is almost identical  from torch.nn import Sequential, Conv2d, MaxPool2d, Linear, ReLUfrom einops.layers.torch import Rearrange model = Sequential(    Conv2d(3, 6, kernel_size=5),    MaxPool2d(kernel_size=2),    Conv2d(6, 16, kernel_size=5),    MaxPool2d(kernel_size=2),    # flattening    Rearrange('b c h w -> b (c h w)'),      Linear(16*5*5, 120),     ReLU(),    Linear(120, 10), )

这里的Rearrange是nn.module的子类,直接可以当作网络层放到模型里~

一个字,绝。

以上就是支持PyTorch的einops张量操作神器用法示例详解的详细内容,更多关于einops张量操作用法的资料请关注51zixue.net其它相关文章!


Python装饰器详情
Python匿名函数详情
万事OK自学网:51自学网_软件自学网_CAD自学网自学excel、自学PS、自学CAD、自学C语言、自学css3实例,是一个通过网络自主学习工作技能的自学平台,网友喜欢的软件自学网站。