Databricks adquiere MosaicML y su IA generativa por 1.300 millones de dólares
Descubra lo que significa la adquisición de Databricks para las empresas que buscan modelos fundacionales de IA generativa públicos o privados.
Imagen: Yingyaipumi/Adobe Stock
Databricks anunció el lunes que MosaicML se unirá a la familia Databricks en un acuerdo de $ 1.3 mil millones y proporcionará su «fábrica» para construir modelos de inteligencia artificial generativa patentados. Las empresas pueden usar este tipo de IA para disipar las preocupaciones sobre la infracción de la propiedad intelectual.
La tecnología de gestión de datos de Databricks combinada con la capacidad de MosaicML para construir modelos de IA permitirá a las empresas crear sus propias plataformas de lenguaje a gran escala, en lugar de depender de la IA generativa pública como ChatGPT de OpenAI.
MosaicML creó dos modelos base para la IA generativa: MPT-7 (con 6700 millones de parámetros) y MPT-13 (con 29900 millones de parámetros). El modelo base de MPT se unirá a los LLM de código abierto propios de Databricks: Dolly 1 y 2.
Salta a:
Por qué Databricks eligió MosaicML
El CEO y cofundador de Databricks, Ali Ghodsi, dijo en la Cumbre de Databricks + AI el martes que MosaicML fue la elección correcta para que Databricks la adquiriera porque tiene «la fábrica más fácil de usar en el mercado».
También cita una cultura empresarial similar y competitiva como la razón por la que MosaicML encajaba bien.
La adquisición aún está sujeta a la aprobación regulatoria; se espera que la transacción se cierre a fines de julio. Una vez que se complete ese proceso, Databricks tendrá más información sobre cómo los productos de entrenamiento e inferencia de IA de MosaicML se integrarán con el software de Databricks, dijo Ghodsi.
¿Qué es un bloque de datos?
Databricks proporciona principalmente software de almacenamiento y administración de datos para organizaciones empresariales, y maneja la migración de plataformas de datos y el análisis de datos. Databricks tiene asociaciones con AWS y otros grandes proveedores de software empresarial y software como servicio.
Por qué Databricks planea un futuro lleno de inteligencia artificial privada
Ghodsi señaló que su empresa aprovechará los recursos de MosaicML para proporcionar «fábricas» donde los clientes puedan crear y capacitar LLM según sus propias especificaciones. Esto significa que las empresas no tienen que pagar por las conexiones API ni compartir datos de propiedad exclusiva con nadie más que use el modelo; esto último se ha convertido en una preocupación para las empresas que usan ChatGPT o Google Bard. Los clientes de Databricks podrán elegir entre las series Dolly y MPT, o crear una IA generada personalizada en uno de los modelos existentes.
VER: Consejos sobre cómo decidir si los modelos de IA generativos públicos o privados son adecuados para su organización (Tecnopedia)
Ghodsi dijo que si usar modelos fundamentales de IA de código cerrado o de código abierto es una pregunta que todos tienen en mente hoy. Databricks está firmemente del lado del código abierto.
«Creemos que es mejor para todos si hay una investigación pública para comprender estos modelos», dijo Godsey durante una sesión de preguntas y respuestas en la cumbre. «Es importante que entendamos sus fortalezas, debilidades, sesgos, etc.
Más cobertura de IA de lectura obligada
«Pero también creemos que la conclusión es que las empresas quieren tener su propio modelo… No quieren simplemente usar un modelo que alguien proporciona porque es propiedad intelectual. Y es competitivo».
Los clientes quieren controlar su IP y bloquear sus datos, dijo Ghodsi.
Junaid Saiyed, director de tecnología de la empresa de software de análisis y gestión de datos Alation, también ve a los clientes preguntando por la IA generativa. Sin embargo, dijo en un correo electrónico a Tecnopedia que es importante que las organizaciones sepan si los datos que proporcionan para los modelos de capacitación son buenos.
«La proliferación de fuentes de datos y el volumen de datos ha hecho que sea más difícil que nunca buscar y descubrir los datos confiables y seleccionados necesarios para entrenar modelos de IA”, dijo Saiyed. «Para ser verdaderamente efectivos, los modelos generativos deben apuntar a dominios específicos. los catálogos de datos están ajustados y los humanos deberían revisar su salida».
Cómo decidir entre IA pública y propietaria
Umesh Sachdev, cofundador y director ejecutivo de la empresa de automatización e IA conversacional Uniphore, aconseja a los líderes empresariales que se pregunten lo siguiente al decidir si construir su propia IA en modelos fundamentales como MosaicML, o utilizar la IA pública como la pregunta de la familia GPT:
- ¿Cuánto me costará el proveedor del modelo y cuánto agregará la GPU al costo de la infraestructura?
- Con las conversaciones regulatorias aún en sus primeras etapas, ¿cuánto debemos inclinarnos hacia adelante? Si nuestra empresa usa ChatGPT, ¿podríamos ser un objetivo legítimo para los proveedores de contenido que cuestionan legalmente la propiedad o la capacitación de los datos?
- Si no queremos usar datos entrenados en datos públicos o abiertos, sino usar más conjuntos de datos patentados de nuestra propia industria, podríamos preguntarnos si todos nuestros datos están listos para estar en un solo lugar.
- Si nuestro piloto tiene éxito, ¿se ampliará? ¿Qué tal si conectamos todos nuestros sistemas heredados a esta capa de IA?
El objetivo es facilitar el entrenamiento, el ajuste y la creación de IA.
«Para la mayoría de las organizaciones, tienen tareas especializadas que quieren realizar… para eso, queremos que puedan entrenar y ajustar modelos específicos», dijo Ghodsi en la cumbre Databricks + AI.
Ghodsi dijo que los clientes empresariales necesitan un cierto umbral técnico para construir inteligencia artificial generativa. Él espera que MosaicML satisfaga la necesidad de formas más fáciles de construir y entrenar tecnologías de IA.
«Esperemos que eventualmente te dejemos hacer esto con solo unos pocos clics del mouse», dijo Ghodsi en la cumbre.
«Esta tecnología (IA generativa) aún está en pañales y todavía hay mucho que revelar sobre la soberanía, la escalabilidad y el costo de los datos”, dijo Sachidev en un correo electrónico a Tecnopedia. «Las empresas se anuncian rápidamente y se toman decisiones, pero al igual que con En la mayoría de las grandes olas tecnológicas, las oportunidades surgirán en la segunda o tercera ola”.
«Esta transformación de IA revela a los líderes empresariales y tecnológicos el verdadero estado de sus entornos de datos”, dijo Saiyed. «Las organizaciones con una plataforma de inteligencia de datos y un gobierno de datos federado podrán aprovechar GenAI antes que aquellos que invierten en la modernización ahora el poder de [their] Estrategia de gestión de datos. «
¿Quiénes son los competidores de MosaicML?
El espacio de capacitación en IA es altamente competitivo; MosaicML compite con NVIDIA, OpenAI, Anthropic y Google. El lunes, NVIDIA anunció una asociación con Snowflake para agregar la plataforma de desarrollo NVIDIA NeMo LLM y la computación acelerada por GPU de NVIDIA a la nube de datos de Snowflake.
VER: Selecciones de Snowflake Summit 2023: estrategia de datos y ambiciones de ML (Tecnopedia Premium)
Más noticias de Databricks + AI Summit
La cumbre Databricks + AI también lanzó otras cuatro actualizaciones importantes:
- este Marco de almacenamiento de código abierto de Delta Lake Ahora estará disponible en la versión 3.0, que agrega el formato universal (UniForm), el núcleo Delta Connector y el diseño de datos de Liquid Clustering para facilitar el acceso.
- CI de la casa del lago es una IA de chat de lenguaje natural que se ejecuta en Databricks Unity Catalog.
- Inteligencia artificial de la casa del lago es un conjunto de herramientas para LLM en la plataforma de datos de Lakehouse;
- Unión de la casa del lago es una herramienta para unificar arquitecturas de cuadrículas de datos previamente aisladas.
