测试bert

测试bert_base不同并行方式下的推理性能

• 一.测试数据
• 二.测试步骤
• • 1.生成bert配置文件
  • 2.安装依赖
  • 3.deepspeed 4卡tp并行
  • 4.FSDP 4卡并行
  • 5.手动将权值平均拆到4张卡,单进程多卡推理
  • 6.手动切分成4份,基于NCCL实现pipeline并行

    本文测试了bert_base模型在不同并行方式下的推理性能

    
    （图片来源网络，侵删）

    约束

    • 1.当前服务器上GPU不支持P2P且链路仅为PCIE GEN1 X16

      可参考的点

      • deepspeed 推理的使用
      • FSDP推理的使用
      • 如果将权值拆到多卡
      • 自定义pipeline并行(切分网络并插入自定义修改)
      • 如何自动处理pytorch算子输入tensor不在同一个设备上的问题

        一.测试数据

        并行方式	QPS	GPU利用率
        deepspeed 4卡tp并行	175.73	rank:0 util:100.00 rank:1 util:100.00 rank:2 util:97.00 rank:3 util:97.00
        FSDP 4卡并行	137.80	rank:0 util:40.00 rank:1 util:40.00 rank:2 util:39.00 rank:3 util:40.00
        手动将权值平均拆到4张卡,单进程多卡推理	29.34
        手动切分成4份,基于NCCL实现pipeline并行	244.76	rank:1 util:40.00 rank:0 util:97.00 rank:2 util:39.00 rank:3 util:78.00

        二.测试步骤

        1.生成bert配置文件

        tee ./config.json