AutoML与神经架构搜索：如何让机器学习“自主优化”？

1. 自动机器学习旨在降低学习过程中的人工干预程度，通过集成化处理、设计多指标性能评估手段和建立模型选择与超参数调优的自动化流程，实现“傻瓜式”机器学习模型搭建流程。 2. 自动机器学习的数据准备和模型建立本质上都是搜索任务，需要提高搜索效率，因此采用随机搜索方法和基于样本的贝叶斯优化方法。 3. 神经架构搜索旨在以自动搜索的方式找到在特定任务上表现最佳的神经网络结构，包括搜索空间、搜索策略和性能评估策略。 4. 搜索空间可以分为全局搜索空间和局部搜索空间，全局搜索空间简单直观但消耗大量计算资源，而局部搜索空间方法提升搜索效率，创建的架构更容易推广到其他任务或数据集上。 5. 搜索策略包括强化学习和进化算法，用于确定神经网络架构的拓扑结构、优化器选择、正则约束和超参数等。 6. 自动机器学习和神经架构搜索的发展有望降低机器学习的应用门槛，提升机器学习的易用性，以及提高神经网络的学习能力和解决任务的性能。 7. 自动机器学习和神经架构搜索的研究旨在实现机器学习模型训练的自动化和智能化，以降低人工干预程度，提高效率和性能。 8. 性能评估策略是通过学习到的搜索策略找到结果后，需要不断对其性能做出评估，需要设计高效准确的性能评估策略，包括低保真评估、学习曲线推理、网络态射方法等。 9. 自动机器学习的目的是通过为模型相关步骤生成自动化处理流程，使研究人员专注于业务理解和数据准备，从而提升整体效率。 10. 搜索空间的构建和搜索策略的选择对于自动机器学习和神经架构搜索的成功至关重要，需要根据具体任务和需求进行合理的设计和应用。