芯原联手Khronos为多媒体应用提供弹药库

芯原商业运营高级副总裁汪洋表示，随着先进工艺发展，芯片开发成本越来越高，因此催生新的设计方法论，越来越多的设计公司开启“轻设计”模式，重视IP在芯片开发中的作用，也愿意尝试各种加速开发的设计方法。

文︱编辑部

图︱厂商资料

4月23日，开放标准行业组织科纳斯工业协会（Khronos Group）携手芯原股份（VeriSilicon）在上海联合举办技术研讨会。围绕图像、视觉与计算，来自科纳斯、芯原、腾讯、阿里巴巴、ax株式会社、英特尔、中国移动研究院、弥知科技以及华为等多家厂商或机构为现场与线上专业观众带来了并行处理、视觉加速和推理、3D图像、增强与虚拟现实等多个技术话题分享。

根据中移动的数据，2020年视频在全网数据流量占比已接近70％，而这一比例在可预期的将来，仍将上升。内容视频化大势所趋，对图像／视频等多媒体处理技术的要求也就越来越高，要实现更高效的多媒体（或富媒体）处理，既要强化对多媒体内容处理的硬件性能——例如专用处理器或加速器，又要做好软件优化，从而让多媒体内容在不同平台上制作或播放时都能达到优质表现。

图：视频技术与业务发展

2000年成立的科纳斯工业协会（Khronos Group）即是为多媒体处理制定开放标准的行业组织，该协会自成立20多年来，推出过Open GL（跨平台计算机图形API）、Open CL（跨平台通用计算API）、OpenXR（开放虚拟与增强现实标准）以及Vulkan（低开销、跨平台图像处理API）等被业界广泛接受的技术标准库。而芯原股份则是中国第一大IP厂商，在图像／视频IP方面有丰富的产品线，芯原可扩展Vivante GPU IP应用覆盖从低功耗的可穿戴应用（GPU Nano IP系列）到面向汽车和计算机应用的强大SoC（GPUArcturus图形IP），可满足不同应用中对芯片尺寸和功耗预算，极具成本效益。作为科纳斯工业协会董事会成员（科纳斯董事会成员有两家中国厂商，另一家是华为公司），芯原GPU／NPU对科纳斯工业协会标准支持非常完善，双方在新技术开发上合作也很紧密，持续为开发人员提供更好的图像／视频／计算IP和标准API。

图：强大的IP产品组合提供领先的技术

在开幕致辞上，芯原商业运营高级副总裁汪洋表示，随着先进工艺发展，芯片开发成本越来越高，因此催生新的设计方法论，越来越多的设计公司开启“轻设计”模式，重视IP在芯片开发中的作用，也愿意尝试各种加速开发的设计方法。作为全球领先的设计服务与IP厂商，芯原在图像／视频处理方面阵容齐整，是业界仅见的能提供GPU、VPU、NPU、DPU、ISP、DSP、压缩、加解密等全套图像与视频IP解决方案的厂商。

图：全球半导体IP市场持续增长

图：芯片开发成本越来越高

芯原执行副总裁、IP事业部总经理戴伟进则具体介绍了芯原在图像领域从摄像头到屏幕的完整智能像素解决方案。“对于芯片开发来说，API是关键，主要是因为通过统一API可以直接对接软件生态系统，满足从高性能云到可穿戴的要求。”戴伟进表示，芯原和Khronos工业协会合作密切，截止到2021年初，芯原支持科纳斯工业协会技术标准的GPU已经出货超过10亿颗。在GPU领域，芯原从2007年至今已经取得了长足的发展，算力实现了几百倍进步，在汽车领域，全球有数百万辆汽车都用到了芯原技术。

科纳斯的整体情况由科纳斯工业协会主席、英伟达生态系统开发副总裁、OpenCL工作组主席Neil Trevett介绍。科纳斯是由会员所驱动的非盈利性工业协会，其目标是大家一起开发免版税的标准以及蓬勃活跃的生态链，以把芯片加速的功效，用在要求苛刻的图像渲染和涉及超大计算量的应用上，通过标准化技术来减少开发成本，加速上市时间，并通过标准加深行业沟通来推动创新。科纳斯会员来自世界各地工业界的领袖。目前包括Vulkan、OpenGL、WebGL、OpenCL以及OpenXR等标准都由科纳斯来负责维护。

当前科纳斯工业协会共有150多家会员，其中40％为美国公司，30％为欧洲公司，30％为亚洲公司。在会员管理上，科纳斯极其开放，只要申请就可以成为会员，而且每个会员都有投票权。会员与非会员都可以提出自己的技术标准，Trevett表示，一个真正开放的标准，不能以任何一个公司为主导，可以每个公司都贡献一点。目前科纳斯主要面向包括高性能3D图像、3D资产授权和交付、可移植的XR虚拟和增强现实以及并行计算／视觉／机器学习和推理四大方向。

图：恩智浦与VeriSilicon合作开发机器学习技术

在正式的技术研讨会环节，芯原机器学习软件副总裁查凯南、芯原IP解决方案副总裁张慧明、芯原多媒体SoC平台首席工程师妙维先后发表演讲，对芯原NPU、GPU和AR／VR解决方案等进行了介绍。

查凯南表示，当前芯原的人工智能算力可满足从0．5 TOPS到200 TOPS，具有同一套软硬件，因此非常容易实现同系列产品的平台迁移。查凯南表示，目前人工智能主要是三大领域，包括机器视觉，语音识别以及 像素级别的图像处理。此外，查凯南还特别强调了芯原针对NPU的编译器进行了投资，支持在线和离线编译，满足客户的不同需求。

张慧明表示，在光线追踪方面，芯原产品已经在NXP iMX8QM（采用了GC7000 GPU）上实现。同时，针对可穿戴领域，芯原和科纳斯共同推广OpenVG应用场景，以轻量级IP实现了高性能的结果。在GPGPU上，芯原同样用类似的架构实现，开发者可以根据不同的场景选择不同规模的实现方式。

妙维强调，AR／VR系统要求更低延时、更低功耗的整体解决方案，因此不需要DDR的直接渲染技术，同时满足了高性能和低功耗的需求，非常适合XR应用场景。

在技术研讨环节，Trevett介绍了科纳斯的API，包括OpenCL、OpenVX、SYCL以及Vulkan。

Vulkan光线追踪是业界第一个开放、跨厂商、跨平台的光线追踪加速标准。Vulkan是轻量级API，大幅减少驱动程序，并为程序员提供更多灵活性。OpenCL则是跨供应商的标准API，是第一个面向异构系统通用目的并行编程的开放式、免费标准，也是一个统一的编程环境，支持多核心CPU、GPU、NPU、DSP以及其他并行处理器。OpenVX是一种开放的，免版税的标准，用于跨平台加速计算机视觉应用程序。OpenVX可实现性能和功耗优化的计算机视觉处理，这在嵌入式和实时使用情况下尤其重要。SYCL是一种免版税，跨平台的抽象层，它允许使用标准ISO C ＋＋编写异构处理器的代码，并在同一源文件中包含应用程序的主机代码和内核代码。

图：OpenVX框架

同时，Trevett还介绍了SPIR－V，SPIR－V正在推动用于表示并行计算和基于GPU的图形的着色器和内核语言编译器的生态系统革命。SPIR－V使高级语言前端能够以标准化的中间形式发出程序，以供Vulkan，OpenGL或OpenCL驱动程序提取。SPIR－V消除了设备驱动程序中对高级语言前端编译器的需求，从而大大降低了驱动程序的复杂性，使广泛的语言和框架前端可以在各种硬件体系结构上运行，并促进开源分析生态系统，移植，调试和优化工具。

目前，科纳斯正在尝试建立嵌入式摄像头API小组，如今包括汽车、工业自动化等领域越来越依赖于摄像头，但并没有广泛的跨供应商标准，使得新的传感器集成到嵌入式系统中的成本和时间依然漫长，为了保存客户的软硬件投资，该小组正在积极和欧洲机器视觉联盟合作，以提供标准的跨平台统一方案。

科纳斯工业协会开发者关系Kris Rose则介绍了Vulkan的技术。他表示，Vulkan更强调应用层，淡化驱动层，因此效率更高，开发者可以与GPU更近。Vulkan支持各类平台，因此一次渲染就可以部署到各个平台中，并且MacOS和iOS也可以通过MoltenVK进行移植。如今无论是在游戏，还是非游戏的工业应用中，Vulkan都实现了快速发展。包括ILM、AImotive、Solidworks和Disso Systems等公司，都选择了Vulkan。

英特尔AR／VR首席软件架构师，OpenXR工作小组主席Brent Insko介绍了针对AR／VR的OpenXR技术更新。Insko表示，在使用OpenXR之前，应用程序开发人员必须根据每个平台的专有API进行编程，因此无论是从开发的角度，还是从验证和测试的角度，都将成为一项艰巨的挑战。而OpenXR则允许开发人员使用通用的高性能API，OpenXR可以与任何3D API一起使用。Insko介绍道，目前微软已经宣布，Minecraft的新RenderDragon渲染引擎正在通过OpenXR创建其桌面VR支持。目前OpenXR有手部和眼部追踪功能，针对高级用户界面的跨供应商扩展，以及试验性的叠加层扩展。

图：VeriSilicon IP产品组合–可扩展IP

“我们已经从微软，Oculus和HTC得到了官方一致的运行时间。我们有来自Valve、Varjo和Collabora的预览实现。并且得到了Unreal， Blender， Chrome， Edge的支持。”Insko说道。

在研讨会中，来自腾讯、阿里巴巴、中国移动研究院、弥知科技和华为公司的技术专家分别讲述了NCNN、MNN等神经网络算法，以及XR的各种应用落地情况。从算法、IP到应用落地，本次技术研讨会为专业观众带来了一场多媒体处理的技术盛宴。