Facebook申请专利 该技术包括虚拟现实和增强现实

为了降低对传统芯片厂商的依赖，降低成本，实现产品需求专用性等原因，科技巨头一直在大力研发自己的芯片产品，如苹果，华为，亚马逊，谷歌和Facebook。

Facebook的入局最初见于2018年。当时彭博社报道称这家公司已经组建了相关的研发团队。另外，当时有消息称，Facebook希望将所述芯片首先用于自家的智能音箱Portal，然后再扩展至其他的产品应用。

自那之后，Facebook一直有提交与芯片相关的专利申请。日前，美国专利商标局又公布了一份名为“Graphics Processing Chip With Machine-Learning Based Shader(包含基于机器学习的着色器的GPU)”的专利申请。其中，Facebook提到这项技术的应用包括虚拟现实和增强现实。

专利文件指出，尽管当下的GPU设计已经为绘制图形提供了巨大的处理能力，但它们的性能依然是图形应用的瓶颈。所以，Facebook希望通过机器学习方法来进一步提升GPU显卡的性能。

名为“Graphics Processing Chip With Machine-Learning Based Shader(包含基于机器学习的着色器的GPU)”的专利申请主要描述了用于渲染计算机图形的显卡。所述显卡可以包括控制器，所述控制器配置成根据图形渲染管道来管理显卡的操作。所述操作可以包括几何处理操作、光栅化操作和着色操作。

所述显卡同时可以包括可编程存储器部件，所述可编程存储器部件用于存储配置成执行至少一部分着色操作的机器学习模型。显卡同时可以包括多个处理单元，所述处理单元配置成根据机器学习模型选择性地用于执行着色操作。显卡同时可以包括至少一个输出存储器，所述输出存储器配置成存储使用所述着色操作生成的图像数据。

Facebook详细描述了所述的机器学习模型。文件写道：机器学习模型可以配置成根据视图数据、照明数据、颜色数据和材质属性数据生成输出;并且存储在输出存储器中的图像数据可以使用机器学习模型的输出进行生成。

机器学习模型的输出可以包括强度数据;并且可以根据颜色数据和强度数据生成图像数据。其中，机器学习模型可配置为根据第二强度数据生成输出。可根据照明模型生成第二强度数据。第二机器学习模型的第二输出可以包括照明模型用于生成第二强度数据的镜面反射数据。

所述至少一个可编程存储器部件可配置成存储第二机器学习模型，所述第二机器学习模型配置成根据以下一个或多个数据产生第二输出：视图数据、照明数据、颜色数据和材质属性数据。所述第二强度数据可以使用所述第二输出，视图数据和照明数据生成。

机器学习模型和第二机器学习模型可以使用多个训练样本进行端到端的训练。机器学习模型可以使用多个训练样本进行训练。多个训练样本中的每一个可以与和表面相关联的材质属性数据和与目标颜色数据相关联。目标颜色数据可以与具有后处理效果的目标图像相关联。

另外，机器学习模型可以包括神经网络。

相关专利：Facebook Patent | Graphics Processing Chip With Machine-Learning Based Shader

概而言之，Facebook希望通过接受端到端训练的机器学习模型来进一步提升显卡的性能，从而减少功耗和渲染时间。

名为“Graphics Processing Chip With Machine-Learning Based Shader(包含基于机器学习的着色器的GPU)”的专利申请最初在2019年2月提交，并在日前由美国专利商标局公布。