書籍情報
確認できる情報だけを表示し、未確認の書誌情報は追加しません。
- 書名
- Sophia: 一种用于语言模型预训练的可扩展随机二阶优化器
- 著者
- Hong Liu, Zhiyuan Li, David Hall, Percy Liang, Tengyu Ma
- 読了時間
- 15.0 分
- カテゴリ
- Technology & The Future
- 音声
- 未対応
この本をすぐ理解する
Sophia: 一种用于语言模型预训练的可扩展随机二阶优化器 について検索されやすい質問を先にまとめています。
Hong Liu, Zhiyuan Li, David Hall, Percy Liang, Tengyu Ma とは？
Hong Liu, Zhiyuan Li, David Hall, Percy Liang, 和 Tengyu Ma 均来自斯坦福大学计算机科学系。
Sophia: 一种用于语言模型预训练的可扩展随机二阶优化器 はどんな読者向け？
对大型语言模型预训练和优化算法感兴趣的研究人员、工程师和学生。
Sophia: 一种用于语言模型预训练的可扩展随机二阶优化器 の時代背景は？
大型语言模型（LLM）的预训练由于其庞大的数据集和模型尺寸而非常耗时，需要对模型参数进行数十万次的更新。例如，PaLM 在 6144 个 TPU 上训练了两个月，花费了 1000 万美元。因此，预训练效率是扩展 LLM 的主要瓶颈。