Por qué tu próxima PC tendrá una NPU

Windows se está preparando para admitir chips de próxima generación que contarán con aceleradores de IA.

Microsoft ha estado invirtiendo mucho en aprendizaje automático, trabajando con proveedores de chips para permitir que los modelos de IA se ejecuten lo más rápido posible en su PC. Esto requiere que Intel, AMD y ARM desarrollen una nueva generación de chips.

Las unidades de procesamiento neuronal, a menudo denominadas «aceleradores de IA», son hardware especializado que maneja tareas específicas de aprendizaje automático, como los algoritmos de visión por computadora. Puede pensar en ellos como GPU, pero para IA en lugar de gráficos. Por lo general, comparten muchas funciones con la GPU, con muchos núcleos de procesador de precisión relativamente baja que implementan algoritmos comunes de aprendizaje automático. Ni siquiera necesitan fabricarse por adelantado, porque los FPGA proporcionan chips programables que se pueden usar para construir y probar aceleradores.

¿Tienes una Surface Pro X? Tu NPU ya está aquí.

Surface ha lanzado hardware con una NPU, y los procesadores SQ1 y SQ2 de Microsoft, desarrollados conjuntamente para su hardware Surface Pro X basado en ARM, utilizan la NPU integrada para agregar capacidades de seguimiento ocular a sus cámaras.si estás usando Equipos de Microsoft o similar Superficie Pro Xcorrige tu mirada para que la persona con la que estés chateando vea que lo estás mirando a él en lugar de a la cámara.

Su funcionalidad es similar a lo que Microsoft planea incorporar a Windows. Su evento de trabajo híbrido de abril de 2023 los usa como un ejemplo de cómo estamos usando NPU para facilitar que los equipos trabajen desde casa. Además del seguimiento de la mirada, la NPU proporcionará a la cámara un encuadre automático y desenfoque de movimiento del fondo para reducir la distracción. Esto podría significar que la NPU se ejecuta en hardware dedicado, integrado en la cámara web, y descarga tareas complejas de procesamiento de imágenes de la cámara antes de que pueda usar el video resultante en una PC.

El objetivo es transformar la experiencia de la pantalla artificial en una que se centre en las personas involucradas en lugar de la tecnología. El procesamiento de audio se utilizará para cancelar el ruido y centrarse en la voz del orador en lugar de en toda la sala. Algunas de estas tecnologías, como Voice Focus, están diseñadas para ayudar a los asistentes remotos a unirse a las reuniones, permitiéndoles escuchar lo que dice el orador en la sala usando un micrófono compartido, y pueden escuchar a alguien individualmente en la sala. Sala con micrófono dedicado.

Mirar: Política de ética de IA (República Tecnológica Premium)

La NPU hará que estas tecnologías sean más fáciles de implementar, permitiéndoles ejecutarse en tiempo real sin sobrecargar la CPU o la GPU. Tener aceleradores para estos modelos de aprendizaje automático garantiza que su PC no se sobrecaliente ni agote la batería.

Agregar compatibilidad con NPU para el desarrollo de aplicaciones de Windows

Windows dependerá cada vez más de la NPU en el futuro, y Microsoft anunció su hardware de desarrollo basado en Project Volterra ARM en su evento para desarrolladores Microsoft Build como una plataforma para crear y probar código basado en NPU. Listo para enviarse en un futuro cercano, Project Volterra es un dispositivo de escritorio, probablemente alimentado por una variante SQ3 del procesador Qualcomm 8cx Gen3 con la propia NPU personalizada de Microsoft.Esta NPU está diseñada para ayudar a los desarrolladores a comenzar a usar sus capacidades en su código, utilizando las siguientes versiones para el procesamiento de video y audio. SDK de procesamiento neuronal de Qualcomm Para ventanas.

Microsoft quiere que la NPU se convierta en una característica estándar en el hardware móvil y de escritorio, lo que requiere poner hardware basado en NPU como Project Volterra en manos de los desarrolladores. Project Volterra está diseñado para ser apilable, por lo que debería ser posible tener múltiples compilaciones en un bastidor de desarrollo, lo que permite a los desarrolladores escribir código, crear aplicaciones y ejecutar pruebas al mismo tiempo. También es una pieza de hardware atractiva, diseñada por el equipo de hardware de Surface para parecerse a los dispositivos insignia Surface Laptop Studio y Surface Pro X.

Project Volterra es solo una parte de un conjunto de herramientas integrales para crear aplicaciones NPU basadas en ARM. Se unirán las versiones nativas de ARM de Visual Studio, así como .NET y Visual C++. Si está considerando crear sus propios modelos de aprendizaje automático en el hardware de Volterra, ARM es compatible con WSL (Subsistema de Windows para Linux), donde puede instalar rápidamente marcos comunes de aprendizaje automático. Microsoft se asociará con muchos proyectos familiares de código abierto para proporcionar compilaciones nativas de ARM, por lo que todas sus cadenas de herramientas estarán listas para la próxima generación de hardware de Windows.

Si bien el SDK de procesamiento neuronal de Qualcomm era parte de la cadena de herramientas original del Proyecto Volterra, en realidad fue solo el comienzo. A medida que haya más chips NPU disponibles, debería ver que Microsoft crea compatibilidad con Windows a través de su propio SDK de desarrollador y tiempos de ejecución independientes del hardware que le permiten compilar código de IA una vez y ejecutarlo en cualquier lugar.

Introducción a la IA portátil con WinML y ONNX

Podemos ver cómo se ve mirando las herramientas de WinML ya disponibles en el SDK de Windows que pueden usar la aceleración de GPU para alojar modelos ONNX. ONNX, Open Neural Network Exchange, es un tiempo de ejecución común para modelos portátiles de IA que pueden usar sistemas informáticos de alto rendimiento como Aprendizaje automático de AzureAquí puede usar la gran cantidad de datos que necesita para entrenar el aprendizaje automático con la potencia informática necesaria, utilizando marcos de trabajo de aprendizaje automático familiares como PyTorch y TensorFlow, y luego exportar el modelo entrenado a ONNX para usarlo en WinML.

Las NPU no son solo para dispositivos de escritorio. Son clave para la estrategia de IoT de Microsoft, Plataforma Azure Percept de bajo código Construido alrededor de la unidad de procesamiento de visión Intel Movidius, puede manejar tareas complejas de visión por computadora sin necesidad de hardware de alta potencia. Este es probablemente el mayor beneficio de usar NPU para acelerar las tareas de IA: poder ejecutarlas en el borde de la red en hardware de costo relativamente bajo.

NPU en el silicio del futuro

Al observar las hojas de ruta de chips de varios proveedores de procesadores y GPU, está claro que la aceleración de IA es la clave para su hardware de próxima generación. Intel está integrando esto en su línea 2023 de procesadores móviles Meteor Lake, y el Raptor Lake de escritorio se utiliza con un módulo acelerador de IA basado en M.2. Mientras tanto, AMB está trabajando para integrar optimizaciones de IA y ML en su hardware Zen 5 de próxima generación.

Si bien solo unas pocas PC como Surface Pro X actualmente admiten NPU, está claro que el futuro se ve muy diferente, con diferentes tipos de aceleradores de IA integrados en SoC de chiplet o como complementos que utilizan puertos PCIe ampliamente disponibles. Mientras Microsoft se prepara para proporcionar herramientas para crear código que pueda usarlas, así como para mostrar sus mejoras de inteligencia artificial en Windows, parece que no tendremos que esperar para aprovechar las NPU, especialmente porque deberían integrarse en nuestro próximo PC de última generación.