05｜实现多层神经网络

1. PyTorch通过继承`torch.nn.Module`类来自定义网络架构，使用`Module`类提供的功能简化模型构建和训练过程。 2. 在实现多层感知机时，可以使用`Sequential`类封装层和操作，并在`forward`方法中指定输入数据如何通过网络并作为一个计算图汇集起来。 3. 通过实例化一个新的神经网络对象并调用`print`函数来查看模型的结构概览，以便了解模型的层次结构和参数数量。 4. 可训练参数包含在`torch.nn.Linear`层中，其中权重矩阵和偏置向量可以通过相应的属性访问。 5. 用小的随机数初始化模型权重是为了在训练过程中打破对称性，可以通过`manual_seed`为PyTorch的随机数生成器设置种子，使随机数初始化具有可重复性。 6. 前向传播是指从输入张量计算输出张量的过程，通过调用模型进行前向传播可以得到相应的输出张量。 7. 在使用模型进行推理而不是训练时，最佳实践是使用`torch.no_grad()`上下文管理器，告诉PyTorch无需跟踪梯度，从而节省内存和计算资源。 8. PyTorch中通常将模型设计为返回最后一层的输出（logits），而不将其传递给非线性激活函数，以提高数值计算的效率和稳定性。 9. 如果需要计算预测结果的类别概率，可以显式调用softmax函数来得到相应的概率值。 10. 常用的损失函数会将softmax操作与负对数似然损失结合在一个单独的类中，以提高数值计算的效率和稳定性。