- La operación propuesta pone de relieve el compromiso de Red Hat de capacitar a los clientes para que puedan entregar cualquier aplicación o carga de trabajo, incluso de IA, en cualquier lugar de la nube híbrida, desde las instalaciones hasta la nube pública y el edge
- Neural Magic aportará su experiencia en ingeniería de rendimiento de IA generativa, algoritmos de optimización de modelos de vanguardia y servicios de inferencia de CPU y GPU de alto rendimiento.
16 de noviembre de 2024.- Red Hat, Inc., el proveedor líder mundial de soluciones open source, anunció hoy que ha firmado un acuerdo definitivo para adquirir Neural Magic, una empresa pionera en software y algoritmos que aceleran las cargas de trabajo de inferencia de la IA generativa (gen AI). La experiencia de Neural Magic en ingeniería de rendimiento de inferencia y el compromiso con el código abierto se identifican con la visión de Red Hat de lograr cargas de trabajo de IA de alto rendimiento que se correspondan directamente con casos de uso y datos específicos del cliente en cualquier lugar de la nube híbrida.
Si bien la promesa de la IA generativa domina gran parte del panorama tecnológico actual, el volumen de los modelos de lenguaje de gran tamaño (LLM) que sustentan estos sistemas sigue en aumento. Como resultado, crear servicios de LLM rentables y confiables requiere una gran potencia informática, recursos energéticos y habilidades operativas especializadas. Para la mayoría de las empresas, estos problemas hacen que los beneficios de una IA personalizada, con mayor enfoque en la seguridad y lista para implementar, queden efectivamente fuera de su alcance.
El objetivo de Red Hat es abordar estos problemas y hacer que la IA generativa sea más accesible para más organizaciones a través de la innovación abierta de vLLM, desarrollada por UC Berkeley. vLLM es un proyecto open source impulsado por la comunidad para el servicio de modelos abiertos (la forma en que los modelos de IA generativa infieren y resuelven problemas), que admite todas las familias de modelos clave, la investigación avanzada de aceleración de inferencia y distintos back-ends de hardware, que incluyen GPU de AMD, AWS Neuron, TPU de Google, Intel Gaudi, GPU de NVIDIA y CPU x86. El liderazgo de Neural Magic en el proyecto vLLM combinado con el sólido portfolio de tecnologías de IA en la nube híbrida de Red Hat ofrecerá a las organizaciones una opción abierta para desarrollar estrategias de IA que satisfagan sus necesidades particulares, donde sea que se encuentren sus datos.
Red Hat + Neural Magic: el futuro de la IA generativa lista para la nube híbrida
Neural Magic surgió del MIT en 2018 con el objetivo de crear software de inferencia de alto rendimiento para el deep learning o aprendizaje profundo. Con la tecnología y la experiencia en ingeniería de rendimiento de Neural Magic, Red Hat pretende acelerar su visión del futuro de la IA, impulsada por el portfolio de tecnologías de Red Hat AI. Red Hat aprovecha la innovación open source, diseñada para superar los desafíos de la IA empresarial a gran escala, para democratizar aún más el acceso al poder transformador de la IA a través de:
- modelos con licencia open source, desde la escala de parámetros 1 B hasta 405 B, que se pueden ejecutar en cualquier lugar de la nube híbrida: en centros de datos de las empresas, en múltiples nubes y en el edge;
- capacidades de ajuste fino que permiten a las organizaciones personalizar más fácilmente los LLM según sus datos privados y casos de uso con una postura de seguridad más firme;
- experiencia en ingeniería de rendimiento de inferencia, que da como resultado una mayor eficiencia operativa y de infraestructura; y
- un partner, un ecosistema open source y estructuras de soporte que brindan al cliente mayor libertad de elección, desde LLM y herramientas hasta hardware de servidor certificado y arquitecturas de chips subyacentes.
Liderazgo en vLLM para optimizar Red Hat AI
Neural Magic aprovecha su experiencia y sus conocimientos de vLLM para crear una pila de inferencia de nivel empresarial que permite a los clientes optimizar, implementar y escalar cargas de trabajo de LLM en entornos de nube híbrida con pleno control sobre la elección de la infraestructura, las políticas de seguridad y el ciclo de vida del modelo. Neural Magic también se dedica a la investigación de optimización de modelos, crea LLM Compressor (una biblioteca unificada para optimizar LLM mediante algoritmos de cuantificación y dispersión de vanguardia) y mantiene un repositorio de modelos preoptimizados listos para implementar con vLLM.
Red Hat AI tiene como objetivo ayudar a que los clientes reduzcan los costos de IA y el déficit de habilidades mediante tecnologías poderosas, que incluyen:
- Red Hat Enterprise Linux AI (RHEL AI), una plataforma de modelos base para desarrollar, probar y ejecutar de manera más fluida la familia de LLM Granite de IBM con licencia open source para aplicaciones empresariales en implementaciones de servidores Linux;
- Red Hat OpenShift AI, una plataforma de IA que proporciona herramientas para desarrollar, entrenar, entregar y monitorear modelos de aprendizaje automático con rapidez en entornos distribuidos de Kubernetes en las instalaciones, en la nube pública o en el edge; e
- InstructLab, un proyecto accesible de la comunidad de IA de código abierto creado por Red Hat e IBM, que permite a cualquier persona definir el futuro de la IA generativa a través de la mejora colaborativa de los LLM Granite con licencia de código abierto mediante el uso de la tecnología de ajuste fino de InstructLab.
El liderazgo tecnológico de Neural Magic en vLLM potenciará la capacidad de Red Hat AI de admitir implementaciones de LLM en cualquier lugar de la nube híbrida con una pila de inferencia abierta, altamente optimizada y lista para usar.
La operación está sujeta a las revisiones normativas aplicables y a otras condiciones de cierre habituales.
Citas de apoyo
Matt Hicks, presidente y CEO, Red Hat
“Las cargas de trabajo de la IA deben poder ejecutarse dondequiera que residan los datos de los clientes en la nube híbrida. Esto hace que las plataformas y herramientas abiertas, flexibles y estandarizadas sean una necesidad, ya que permiten que las organizaciones seleccionen los entornos, los recursos y las arquitecturas que mejor se adecuen a sus necesidades operativas y de datos particulares. Estamos encantados de complementar nuestro portafolio de IA orientado a la nube híbrida con la revolucionaria innovación en IA de Neural Magic, que refuerza nuestro objetivo de ser no solo el ‘Red Hat’ del open source, sino también el ‘Red Hat’ de la IA».
Brian Stevens, CEO, Neural Magic
“El código abierto ha demostrado repetidas veces que impulsa la innovación a través del poder de la colaboración de la comunidad. En Neural Magic, hemos armado un equipo con algunos de los mejores talentos del sector en ingeniería de rendimiento de IA con la única misión de crear capacidades de servicio de LLM abiertas, ultraeficientes y multiplataforma. Sumarnos a Red Hat no es solo una coincidencia a nivel cultural, sino que además beneficiará a empresas grandes y pequeñas en sus procesos de transformación de la IA”.
Darío Gil, vicepresidente sénior y director de Investigación, IBM
“A medida que nuestros clientes busquen escalar la IA en sus entornos híbridos, los LLM virtualizados y nativos de la nube creados sobre bases abiertas se convertirán en el estándar de la industria. La combinación del liderazgo en código abierto de Red Hat, la elección de modelos de código abierto eficientes, como Granite de IBM, y las ofertas de Neural Magic para escalar la IA en todas las plataformas proporcionan a las empresas el control y la flexibilidad que necesitan para implementar la IA en toda su extensión”.
