一键安装此插件:
42plugin install ndif-team/skills/tensor-parallel
利用 Transformers 库的张量并行功能,将超出单卡显存的大模型分片至多 GPU 运行。支持完整 API(梯度、源数据等),适用于多卡追踪及处理激活形状异常场景。
从属套包
ndif-team/kit/skills