燧原科技发布首款人工智能推理产品 “云燧i10”

上海2020年12月21日 ／美通社／ －－ 燧原科技今日发布首款人工智能推理产品 “云燧?i10”。这是一款面向云端数据中心的高性能推理卡。云燧i10是单槽位标准卡，支持PCIe 4．0，FP32算力达到17．6TFLOPS，BF16／FP16算力70．4TFLOPS。同时，燧原科技发布了推理引擎“鉴算TopsInference”，可以为深度学习应用提供低延迟、高吞吐率的推理性能，并降低数据中心的部署成本。云燧i10将于明年第一季度上市。

燧原科技发布首款人工智能推理产品 －－ “云燧i10”

根据权威市场机构预测，云数据中心对于人工智能推理芯片的需求将从2022年开始超越对于训练芯片的需求，整个推理市场蓄势待发。云端推理解决方案更注重综合指标，包括算力、时延、成本等，也更为关注用户体验的优化。

“云燧i10”拥有卓越的算力、出色的通用性以及优异的价值特性：

高算力、多精度：FP32算力17．6TFLOPS，BF16／FP16算力70．4TFLOPS；采用自主指令集，支持从FP32到INT8等多种精度，而最大功耗仅为150W；

高能效、高可靠性：采用动态调频调压（DVFS）技术，根据负载加速应用性能，支持RAS、ECC；

设备虚拟化：实现多用户支持，最大可支持4个设备实例，具备计算与存储资源的独享性，多用户间安全隔离；单颗芯片上可同时部署不同的业务与负载，实现多任务并行，有效提高利用率；支持KVM、Xen等系统虚拟化平台；

易编程、生态开放：开放C＋＋和Python编程接口，支持CNN及NLP典型模型，支持主流机器学习框架，并通过SDK提供深度定制。

燧原科技同时推出针对推理产品的高性能神经网络模型推理引擎“鉴算TopsInference”，通过计算图优化、算子融合、模型压缩、量化等优化技术，可以为深度学习应用提供低延迟、高吞吐率的推理性能。通过TopsInference的推理加速，配合i10 的高算力及虚拟化技术，数据中心可以高性价比地部署计算密集型深度学习工作负载。此外TopsInference除TensorFlow、PyTorch模型格式外，还支持ONNX通用模型格式，借助燧原GCU－CARA架构的可编程性，可以应对未来深度神经网络日益多样化、复杂的增长趋势。

燧原科技创始人兼CEO赵立东表示燧原科技要坚持双轮驱动，争做行业领导者

“继去年12月发布了首款面向数据中心的人工智能训练加速卡“云燧T10”，今天我们又推出针对云端推理市场的第一款人工智能推理加速卡“云燧i10”，以满足由于AI应用和落地场景迅速扩大，市场和客户对更高性价比以及国产化和差异化云端推理产品的需求。燧原科技也因此成为国内唯一一家同时拥有云端训练和推理加速产品的初创公司，形成业务闭环。”燧原科技CEO赵立东表示，“当前全球科技产业特别是集成电路产业正在发生深刻变革，燧原科技会继续加速技术创新和产品迭代，拉近与世界先进水平的距离，构筑自主创新技术的护城河。与此同时，与上下游伙伴合作，加速业务落地，扩大市场规模。针对互联网数据中心、垂直行业（金融、保险、教育、医疗及运营商等）、新基建三大业务方向的应用场景，完善训练和推理软件栈、工具链和解决方案。通过产学研协作，共建国产化产业生态，助力中国人工智能和集成电路产业的发展。”

燧原科技创始人兼COO张亚林介绍“云燧i10”推理系统

燧原科技COO张亚林介绍道：“云燧i10在多项基准测试中，性能领先，并已完成与浪潮、新华三及Supermicro等服务器厂商推理服务器的适配。可适用于视频图像、语音、自然语言处理、知识图谱等多种应用场景，并针对内容理解、推荐、识别等高精度场景做了优化。与此同时，面向多元的开发需求，我们提供不同层次的开发模式，针对客户定制化算法模型联合开发，从而实现与客户的双赢。此外，云燧i10与云燧T10以及“驭算TopsRider”软件平台搭配，可实现算法模型在数据中心训推一体化的快速生产部署。”