课程介绍
在人工智能的浪潮中，深度学习以其强大的数据处理能力和广泛的应用前景，成为了许多领域的关键技术。无论是图像识别、自然语言处理还是复杂的数据分析，深度学习都扮演着不可或缺的角色。然而，对于初学者来说，深度学习的复杂性和多样性可能会让人感到望而却步。
本课程旨在为你提供一个全面的深度学习入门指南。通过本课程的学习，你将能够掌握深度学习的基础知识，理解并应用常见的网络设计模式，为进一步的深度学习研究和实践打下坚实的基础。
性 8.TabNet 简单介绍:TabNet 的原理和问题
课程目录
教学目标
1. 掌握深度学习的基础概念
2. 掌握常见的网络设计模式
难点
1. 常见的网络设计模式的应用
2. 不同的 Embedding 设计方法
3.Attention 机制的灵活应用
详细内容
1. 深度学习的基本概念: 神经网络的数学形式、后向传递、神经网络的经典优化算法、神经网络优化过程的注意事项
2. 神经网络构成的基本要素: 全连接层、激活函数、Normalization、Dropout 及四者的关系 3. 常见的神经网络设计模式:Embedding、Attention、Memory、Residual/Dense Connection 等结构的数学形式及其适用性和改变形式
4. 预训练的各种形式:Autoencoder、Multi-task Training、Contrast Learning、TripletMining、Bert Type Mask、Consistency Regularization、 Self-training
5. 经典神经网络:MLP、CNN、RNN 常见结构的数学形式及使用范畴 6.Transformer: Transformer 结构的数学形式、Embedding 和 Transformer 在表征学习当中的应用、Transformer 的结构改进方式、Performer、Mixture of Experts 及 Switch Transformer
7. 推荐系统经典模型介绍:Neural FM 系列模型的数学形式及其适用
王然
众微科技 AI Lab 负责人、阿姆斯特丹大学数学和计量经济学双硕士
