06｜设置高效的数据加载器

1. PyTorch中数据加载的整体思路是通过`Dataset`和`DataLoader`类实现数据加载和批量组装方式。 2. 自定义`Dataset`类的三个主要组件是`__init__`构造函数、`__getitem__`方法和`__len__`方法，用于实例化定义如何加载每条数据记录的对象。 3. 在`__init__`方法中，设置属性以访问后续的`__getitem__`和`__len__`方法，对于内存中的张量数据集，只需将X和y赋值给这些属性。 4. 在`__getitem__`方法中，通过索引从数据集中精确返回单个项目的指令，返回与单个训练样本或测试实例对应的特征和类别标签。 5. `__len__`方法包含获取数据集长度的指令，使用张量的`.shape`属性来返回特征数组中的行数。 6. 使用`DataLoader`类从自定义的`Dataset`类中采样数据，可以设置批次大小和是否打乱数据。 7. 遍历训练数据加载器，每个训练样本恰好被访问一次，可以设置`drop_last=True`来丢弃每个周期的最后一个批次。 8. 在`DataLoader`中的`num_workers`参数对于并行化数据加载和预处理至关重要，设置合适的值能显著提升效率，但需根据具体数据集规模和计算环境进行调整以达到最佳效果。 9. 在实际应用中，理解`num_workers`参数的权衡并审慎设置至关重要，最佳设置取决于硬件以及用于加载`Dataset`类中定义的训练示例的代码。 10. 设置`num_workers=4`通常会在许多真实数据集上带来最佳性能，但需根据具体情况进行调整。