挖坑，顺便扔点 reference.
# Roadmap
首先问了问 AI 下面这个问题，这大概也是整理这些笔记的初衷：
在机器学习中，研究诸如模型如何初始化、优化器、模型抖动等训练细节的领域是什么？如果我想系统了解这些内容，以更好解决或预防我在训练过程中可能出现的问题，那么我该如何搜索关键词，如何学习这个领域？
GPT 的回答：
研究诸如模型初始化、优化器选择、模型抖动等训练细节的领域通常被归类为训练策略（Training Strategies）或模型优化（Model Optimization）的一部分。这些细节在机器学习模型的性能中起着至关重要的作用，并且与模型的训练稳定性（Training Stability）、收敛速度（Convergence Speed）、** 泛化能力（Generalization Ability）** 等密切相关。
》
搜索关键词建议要深入研究这个领域，以下关键词会对你有帮助：
- Model Initialization（模型初始化）
- Optimizers in Deep Learning（深度学习中的优化器）
- Training Stability in Machine Learning（机器学习中的训练稳定性）
- Learning Rate Schedules（学习率调度）
- Gradient Descent Variants（梯度下降变种）
- Batch Normalization（批归一化）
- Overfitting and Regularization Techniques（过拟合与正则化技术）
- Hyperparameter Tuning（超参数调优）
- Training Dynamics（训练动态）
- Vanishing and Exploding Gradients（梯度消失与爆炸）
学习路径建议
- 阅读经典论文和书籍：一些经典的论文和书籍中讨论了这些训练细节。推荐阅读《Deep Learning》 by Ian Goodfellow, Yoshua Bengio, and Aaron Courville，其中涵盖了模型初始化、优化器选择和训练稳定性等内容。
- 观看在线课程：例如，Coursera 和 edX 上的深度学习课程提供了很多关于这些主题的详细讲解。Andrew Ng 的深度学习课程是一个很好的起点。
- 查阅博文和教程：像 Towards Data Science、Medium 和 arXiv 上的技术博文和教程可以帮助你了解最新的研究进展和实用技巧。
- 实践与实验：通过实验不同的初始化方法、优化器、学习率调度等，可以加深对这些概念的理解。
- 参与讨论社区：像 GitHub Discussions、Stack Overflow、Reddit 的机器学习板块，可以帮助你从其他研究者的经验中学习，解决训练过程中遇到的问题。
这将帮助你系统地掌握训练过程中的关键细节，并为处理和预防潜在问题奠定基础。
Kimi 的回答：
这些研究主要属于机器学习中的模型训练技术和优化方法子领域。要系统了解其中的知识，您可以从以下几个方面入手：
- 基础理论学习：首先，需要了解机器学习的基本概念和理论，包括监督学习、无监督学习、半监督学习以及强化学习等不同的学习方法 。
- 优化算法研究：深入研究各种优化算法，包括但不限于 SGD、Adam、RMSprop 等，了解它们的工作原理和适用场景 。
- 模型初始化技术：学习不同的模型参数初始化方法，如 Xavier 初始化和 Kaiming 初始化，以及它们对模型训练的影响。
- 正则化和抖动方法：研究如 Jitter 这类正则化技术，它们通过在损失函数中引入随机性来增强模型的泛化能力 。
- 实践经验积累：通过实践来加深理解，可以利用如 TensorFlow 等框架提供的资源和教程进行模型训练实践 。
- 关注前沿研究：关注 ICML 等顶级会议中的高分论文，了解当前优化器和模型微调领域的最新研究进展 。
- 社区和论坛参与：加入机器学习社区，参与讨论和交流，可以帮助您更快地了解行业动态和技术细节。
- 专业课程学习：参加在线课程或专业培训，系统地学习机器学习及其子领域的知识，如 IBM 提供的机器学习入门指南 。
通过上述步骤，您将能够更全面和系统地了解机器学习中的模型训练技术和优化方法。
Kimi 是分成两段问的，但是差不多，于是就截取了这一段回答。
嗯，这大概就是一个简单的 roadmap 了。
然后附几个有趣的知乎问题。
# Reference
- 机器学习模型和训练有什么奇技淫巧？ - 知乎
- 深度学习 loss 变为 nan 的问题？ - 知乎
- adam 在大模型预训练中的不稳定性分析及解决办法 - 丁晖的文章 - 知乎
