寒武纪科技

产品技术

寒武纪为人工智能领域提供高能效的通用智能芯片

  • 产品技术
  • 软件开发平台
  • MagicMind

MagicMind

介绍 优势 性能 架构 查看和下载
寒武纪推理加速引擎 MagicMind

MagicMind是寒武纪全新打造的推理加速引擎，也是业界首个基于MLIR图编译技术达到商业化部署能力的推理引擎。MagicMind支持跨框架的模型解析、自动后端代码生成及优化。用户使用MLU、GPU或者CPU训练好的算法模型，借助MagicMind仅需投入极少的开发成本，即可将推理业务部署到寒武纪全系列产品上，并获得颇具竞争力的性能。

 

MagicMind的优势在于不仅可以提供极致的性能、可靠的精度以及简洁的编程接口，让用户能够专注于业务本身，无需理解芯片更多底层细节就可实现模型的快速高效部署；与此同时，通过MagicMind插件化的设计，还可以满足在性能或功能上追求差异化竞争力的客户需求。

 

MagicMind优势
  • 多种人工智能应用构建方式
    多种人工智能应用构建方式

    支持业界主流的人工智能框架模型，并提供灵活易用的接口逐个算子搭建网络。

  • 训练到推理无缝衔接
    训练到推理无缝衔接

    MagicMind和人工智能框架TensorFlow，PyTorch深度融合，模型训练到推理一键部署。

  • 多种计算精度支持
    多种计算精度支持

    支持FP32、FP16、INT16、INT8等多种计算精度，支持用户指定不同层级计算精度以及定义量化方法细节。

  • 高效的图优化引擎
    高效的图优化引擎

    内部集成了高效的计算图优化引擎，保障用户应用极致性能。

  • 原生支持动态张量输入
    原生支持动态张量输入

    具有完备动态张量表达能力，原生支持任意数据规模的动态张量输入。

  • 丰富的调试调优工具
    丰富的调试调优工具

    丰富的调试调优工具以及相应的文档和指引，便利的调试调优体验。

     

基于MagicMind的MLU370系列产品和GPU性能对比
MLU370-S4和GPU性能对比
MLU370-X4和GPU性能对比
MLU370-S4：NF5468M6/2x Intel Xeon Gold 6330 CPU @ 2.0GHz/MagicMind v0.6

GPU数据来自于相关产品官网

MLU370-X4：NF5468M6/2x Intel Xeon Gold 6330 CPU @ 2.0GHz/MagicMind v0.6

GPU数据：ResNet-50来自于相关产品官网，Transformer、VGG16、YOLOv3均取自实测最大吞吐性能

MagicMind架构