IT 之家 3 月 14 日音讯云开体育，清华大学高性能揣摸商讨所翟季冬教育团队、清华系科创企业清程极智当天连络秘书，大模子推理引擎"赤兔 Chitu "现已开源。

据先容，该引擎初度兑当今非英伟达 Hopper 架构 GPU 及种种国产芯片上原生运转 FP8 精度模子，兑现 DeepSeek 推理老本裁减一半、性能翻番。其定位为"分娩级大模子推理引擎"，提供如下特质：

多元算力适配：不仅扶直 NVIDIA 最新旗舰到旧款的多系列产物，也为国产芯片提供优化扶直。

全场景可伸缩：从纯 CPU 部署、单 GPU 部署到大规模集群部署，赤兔引擎提供可彭胀的处分决策。

长期明白运转：可运用于本体分娩环境，明白性足以承载并发业务流量。

官方示意，面前开源的赤兔引擎在部署 DeepSeek-R1-671B 满血版时，在 A800 集群的测试中，比拟部分国际开源框架，兑现了 GPU 使用量减少 50% 的同期，推理速率种植 3.15 倍。

IT 之家附开源地址：https://github.com/thu-pacman/chitu云开体育