GPU常识：GPU（GraphicsProcessingUnit），中文名称：图形处理器，原名：显卡。 1999年，英伟达（Nvidia）公司“ ZAO” GPU不仅可以极大地促进基于PC的游戏市场的发展，而且可以完全改变并行计算。出乎意料的是，二十年后，英伟达已经转变成一家高大的AI计算公司，并且它还使用GPU绑架了整个人工智能圈。我有一个客户，几年前建立了一个新的数据中心，并通过P2V技术淘汰了大量X86物理服务器，并成功地直接在IT基础架构上成功完成了服务器虚拟化转型。在那之后，向云计算的转换是不间断的，现在，人工智能的转换又开始了。随着智能商务时代的到来，一些大公司对AI技术的关注和使用也迅速增加，这些公司正在高度重视自身技术能力的建设。其中，建立自己的AI平台并增强业务能力已成为这些强大公司的首选。当然，我的客户无法避免这种情况，而是购买了大量GPU服务器进行部署。在登陆AI场景时，客户还希望评估GPU资源池的建立。为了响应客户的需求，我做了一些功课。关于AI，我仍然只了解一些算法和模型。我无话可说，但我可以分享交流的学习经验。 GPU当前主要用于计算，图形和人工智能领域。从GPU资源虚拟化的实现路径来看，主要有三种技术解决方案。 VSGA（VirtualSharedGraphicsAcceleration）与多个桌面用户共享物理GPU。每个VDI通过SVGA驱动程序调用虚拟化的GPU驱动程序，然后调用GPU计算能力。这是典型的桌面虚拟化方案。 VDGA（虚拟专用图形加速）将物理GPU分配给具有专用资源的指定VM。此模式也称为PassThrough模式。该解决方案具有相对较高的性能优势，但是成本较高。 vGPU（VirtualizedGPU）将一个物理GPU虚拟化为多个vGPU卡，每个VM都有一个专用的vGPU，每个vGPU直接连接到该物理GPU。现实世界中的应用程序状态如何？通过技术交流，发现传统行业中的大多数GPU资源池案例都是VDI桌面虚拟化应用场景，几乎没有后台服务器虚拟化的案例。在互联网行业中，像AI这样实力较强的百度等公司使用自主开发的GPU服务器和资源调度平台。在实际业务案例中，仍有大量客户使用带有GPU卡的X86物理服务器来部署AI应用程序。之后，也对该客户进行了相应的研究。客户状态：已针对AI技术部署了独立的语音分析，OCR和面部识别平台，以支持整个公司对AI场景的需求。 （当前有GPU服务器：50 +，GPU卡：180+，并且计划将来将GPU卡的容量扩展到200+）。针对研究现状，也作了简要分析。应用场景：目前，人工智能技术主要分为两种场景，即训练（Training）和推理（Inference）。从我的客户端的使用情况来看，它们几乎都是推理方案。相对于培训，对GPU计算能力的要求不是很高，这也反映在用户的性能数据中。客户模型培训是在供应商方面进行的。技术解决方案：GPU资源池只是一个概念。关于资源的形式，GPU是物理的还是虚拟的并不是最重要的。从资源管理的角度来看，主要考虑利用率，访问性能和安全隔离性等因素。如果是物理服务器解决方案，则上层的最佳部署形式直接基于容器，但实际情况是大多数用户应用程序部署仍基于PM和VM。此外，您还可以考虑基于服务器虚拟化+多GPU卡的解决方案。一台虚拟机对应一张GPU卡的直通模式。但是，应用程序密度显然受到GPU卡数量的限制。如果此时添加vGPU技术，则该解决方案似乎在VM中。该技术平台更加完善，当然，容器嵌套VM的解决方案也是一个很好的形式。业务成本：成熟的商业虚拟化软件具有