这篇教程pytorch中的model.eval()和BN层的使用写得很实用，希望能帮到您。
看代码吧~class ConvNet(nn.module): def __init__(self, num_class=10): super(ConvNet, self).__init__() self.layer1 = nn.Sequential(nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2), nn.BatchNorm2d(16), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2)) self.layer2 = nn.Sequential(nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2)) self.fc = nn.Linear(7*7*32, num_classes) def forward(self, x): out = self.layer1(x) out = self.layer2(out) print(out.size()) out = out.reshape(out.size(0), -1) out = self.fc(out) return out # Test the modelmodel.eval() # eval mode (batchnorm uses moving mean/variance instead of mini-batch mean/variance)with torch.no_grad(): correct = 0 total = 0 for images, labels in test_loader: images = images.to(device) labels = labels.to(device) outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() 如果网络模型model中含有BN层，则在预测时应当将模式切换为评估模式，即model.eval()。 评估模拟下BN层的均值和方差应该是整个训练集的均值和方差，即 moving mean/variance。 训练模式下BN层的均值和方差为mini-batch的均值和方差，因此应当特别注意。 补充：Pytorch 模型训练模式和eval模型下差别巨大（Pytorch train and eval）附解决方案 当pytorch模型写明是eval()时有时表现的结果相对于train(True)差别非常巨大，这种差别经过逐层查看，主要来源于使用了BN，在eval下，使用的BN是一个固定的running rate，而在train下这个running rate会根据输入发生改变。 解决方案是冻住bndef freeze_bn(m): if isinstance(m, nn.BatchNorm2d): m.eval()model.apply(freeze_bn) 这样可以获得稳定输出的结果。 以上为个人经验，希望能给大家一个参考，也希望大家多多支持51zixue.net。
解决Pytorch中的神坑:关于model.eval的问题
粗暴解决CUDA out of memory的问题 |
