cs336
Subpages
-
cs336-01-bpe编码
在python可以使用ord函数查询某个字符的unicode编码,可以chr函数反查
-
cs336-02-train
本文档详细介绍 CS336 Assignment 1 中训练流程的核心细节,包括数据批处理、模型前向传播、损失函数、梯度裁剪和困惑度计算。
-
cs336-03-性能分析
下面以测试2.7B模型,上下文长度512,分别测试forward,forward+backward,train为例
在python可以使用ord函数查询某个字符的unicode编码,可以chr函数反查
本文档详细介绍 CS336 Assignment 1 中训练流程的核心细节,包括数据批处理、模型前向传播、损失函数、梯度裁剪和困惑度计算。
下面以测试2.7B模型,上下文长度512,分别测试forward,forward+backward,train为例