infra
Subpages
-
大模型infra问题调试技巧
GPU执行kernel是异步的,报错堆栈可能不准确。
-
通信操作
主要介绍AllGather和AllReduce,别的通信操作可以参考下面的文档
-
显卡性能对比
注:
-
coredump调试cuda kernel
首先新建test_coredump.py脚本,脚本内容如下:
-
n卡驱动关系
需要保证一条自下而上的兼容链条:
GPU执行kernel是异步的,报错堆栈可能不准确。
主要介绍AllGather和AllReduce,别的通信操作可以参考下面的文档
注:
首先新建test_coredump.py脚本,脚本内容如下:
需要保证一条自下而上的兼容链条: