Cómo podría funcionar el plan de una startup para romper los grilletes de TI sobre los datos

La nueva startup Dremio acaba de surgir, con el objetivo de democratizar los datos para los profesionales de BI de la misma manera que AWS abrió su infraestructura para los desarrolladores.

Imagen: iStockphoto/seewhatmitchsee

Es realmente difícil ser un dinosaurio tecnológico en el espacio de la infraestructura de datos en estos días. Si bien todavía tienen relaciones de gestión senior con los clientes y las trabas de los contratos de mantenimiento, una nueva ola de proveedores de infraestructura de datos está facilitando la vida del desarrollador promedio que ya no necesita el permiso del CIO para hacer nada.

Ahora, una nueva empresa emergente, Dremio, está democratizando los datos de la misma manera que el acceso al hardware en la nube de AWS. Derramemos una lágrima por TI mientras celebramos esta nueva libertad para BI.

Los científicos de datos también son humanos

Antes de AWS, a nadie realmente le importaban los desarrolladores de bajo nivel. AWS tiene una ventaja de 6 a 7 años sobre sus primos de la nube al identificar y satisfacer primero las necesidades de los desarrolladores para una infraestructura de alta calidad, incluso cuando los proveedores de servidores dominantes los ignoran a favor de lucrativos contratos de CIO. En los días de BC (antes de la nube), si un desarrollador quería implementar una aplicación, tenía que preguntarle a TI adecuadamente y esperar meses para obtener la infraestructura necesaria. En los días de AD (regla de AWS), el mismo desarrollador tenía acceso instantáneo a una gran infraestructura de hardware con una tarjeta de crédito.

Resulta que los desarrolladores no son la única multitud ansiosa por respirar libremente.

VER: Cómo la IA y el aprendizaje automático pueden ayudar a resolver los problemas de gestión de datos de TI (Tecnopedia)

Con los datos de hoy, la situación es similar a la del mundo BC, excepto que el mercado desatendido incluye analistas de BI y científicos de datos que dependen completamente de TI para entregar los datos. Cuando hablamos del surgimiento del científico de datos, el mismo científico de datos pasa por un viaje de meses esperando que TI extraiga sus datos a través de procesos ETL, data marts, etc. para finalmente darle los datos que necesita para hacer su trabajo.

Esto no será un problema a menos que las empresas de cualquier tamaño no tengan todos sus datos en un solo lugar. Sin embargo, irónicamente, cada herramienta que manipula datos asume que todos los datos están en una base de datos de alto rendimiento. Esto simplemente no es el caso.

Boleto dorado de Dremio

Lo que las empresas realmente necesitan es un modelo de autoservicio para los usuarios comerciales, y eso es exactamente lo que Dremio, recién salido de un grupo de grandes estrellas de rock de datos al frente, comenzó a hacer como Dremio CMO (y ex ejecutivo de MongoDB) Kelly Stirman en un entrevista dime cuando.

Dado que los datos empresariales residen en silos en toda la empresa, la estrategia principal para usarlos es replicar los datos en una ubicación central, como un clúster de Hadoop, y luego exportarlos a una plataforma como HPE Vertica para acelerar el procesamiento de datos (porque Hadoop es perro-lento). Sin embargo, Dremio elimina esta necesidad de mover datos porque virtualiza el acceso a todas las fuentes de datos dispares de la empresa. En otras palabras, Dremio hace que parezca que todos los datos de la empresa residen en un solo lugar, como tablas en una base de datos relacional, un paradigma que emplea toda herramienta de BI.

VER: Startup Dremio irrumpe con motor de consultas de BI en memoria (ZDNet)

Ah, y Dremio ofrece velocidades de interacción similares a HPE Vertica, sin pagar grandes sumas por Vertica, por supuesto. (Andrew Brust explica cómo funciona todo en ZDNet).

No es que Dremio sueñe con empresas que se deshagan de Teradata, Informatica, HPE Vertica y otras fuentes de datos «de pago». De todos modos, todavía no. En cambio, como dijo Stirman, Dremio espera mejorar esas inversiones al virtualizar nuevamente el acceso a estas fuentes de datos dispares.

El cofundador de Cloudera, Mike Olson, dijo una vez: «En la última década, no ha habido una infraestructura de software de nivel de plataforma dominante en una forma patentada de código cerrado», y Dremio mantiene esta tendencia. Dremio tiene la licencia de Apache y se basa en el proyecto Apache Arrow, una excelente herramienta para el análisis de la memoria. Piense en el Arrow como el motor y en el Dremio como el resto del automóvil, sugiere Stirman.

ciertamente. Pero prefiero pensar en Dremio como otra forma en que el código abierto se hace cargo de la infraestructura de datos y lleva a los gigantes de TI a la espada. No es excelente para sus ingresos trimestrales, pero es excelente para los científicos de datos y los analistas de BI que tienen trabajo que hacer y necesitan datos ahora mismo.