El flujo de datos va en aumento, según los desarrolladores
Una encuesta de 800 profesionales de TI encontró que los desarrolladores están luchando para satisfacer la creciente demanda de la industria de servicios de datos en tiempo real.
Informe de la firma analista The New Stack y el creador de microservicios Lightbend Más que nunca, las empresas recurren al streaming como una forma de transmitir datos.
«Ahora estamos viendo un renacimiento en el que se les pide a los desarrolladores que sean más ‘inteligentes con los datos’”, dijo Mark Brewer, director ejecutivo de Lightbend. «La transmisión de datos es la apuesta para los casos de uso futuros más interesantes, especialmente la inteligencia artificial y las máquinas. aprendizaje, lo que conduce a una serie de lenguajes de programación, marcos y herramientas para crear y ejecutar aplicaciones centradas en la transmisión de datos».
Si bien muchas organizaciones han tenido problemas para encontrar desarrolladores que puedan manejar sistemas complejos, aún entienden que la transmisión es el camino hacia el futuro, ya sea que estén listos o no.
«Las presiones competitivas están impulsando a las organizaciones a adoptar la transmisión de datos para extraer información útil de los datos entrantes más rápido y brindar resultados impactantes a los clientes a través de AI/ML», dijo el informe.
«La naturaleza ‘siempre activa’ de las canalizaciones de transmisión requiere la misma escalabilidad, resiliencia y eficiencia que brindan los microservicios, razón por la cual las herramientas maduras como Akka Streams que cierran la brecha son populares».
VER: Consejos para desarrollar una carrera exitosa como ingeniero de software (PDF gratuito) (Tecnopedia)
En su informe, New Stack habló con más de 800 profesionales de TI, en su mayoría de Europa y América del Norte, y descubrió que la cantidad de empresas que procesan datos de IA/ML en tiempo real aumentó del 6 % en 2023 al 33 % este año.
El procesamiento de datos en tiempo real para dispositivos de Internet de las cosas (IoT) también ha aumentado significativamente, lo que según el informe solo aumentará a medida que estos dispositivos se vuelvan más populares y las empresas busquen hacerlos más amigables con una variedad más amplia de contenido.
Afortunadamente, a medida que crece la demanda de microservicios y sistemas de transmisión más complejos, el nivel de habilidad de los desarrolladores está mejorando. Según The New Stack: «Las arquitecturas distribuidas de escalamiento horizontal son creadas por equipos de desarrolladores cuya experiencia dicta qué tecnologías de flujo de datos encajan en los servicios que están construyendo y administrando. Las arquitecturas de flujo de datos creadas para microservicios se convierten en una decisión importante».
Pero advirtieron que las barreras para desarrollar y administrar la infraestructura necesaria para ejecutar plataformas de transmisión siguen siendo altas. Lo llaman «tecnología compleja que requiere comprender cómo mantener resistentes las aplicaciones de larga duración y poder escalar hacia arriba y hacia abajo».
«Los equipos de desarrollo se están adaptando y experimentando con nuevos flujos de trabajo, pero si se desconoce el impacto en el rendimiento, hay mucho en juego. Acertar con el problema sigue siendo el mayor desafío en la adopción de tecnologías de flujo de datos emergentes», escribieron.
«A medida que sus servicios se vuelvan más avanzados, y el aprendizaje automático y la inteligencia artificial se vuelvan más importantes para lograr un mayor valor comercial, pronto seguirá una mayor adopción de flujos de datos».
El informe encontró que los microservicios y las secuencias se usan más comúnmente para el monitoreo de aplicaciones y la agregación de registros, principalmente porque ambos deben poder encontrar problemas rápidamente en lugar de esperar un análisis fuera de línea.
En lugar de conservar todos los datos sin procesar generados por las aplicaciones y los sistemas modernos, las empresas eligen agregar y almacenar datos en bases de datos de «series temporales» que en realidad solo almacenan métricas que son fáciles de analizar.
«El usuario final de la aplicación es una preocupación particular cuando el procesamiento de flujo se usa en aplicaciones que requieren equipos no técnicos para usar activamente la aplicación», escriben, y explican que muchas organizaciones han tardado en adoptar tecnologías modernas porque no tener suficiente personal para manejar sistemas complejos.
«Como resultado, las organizaciones que utilizan el procesamiento de transmisión se centran más en un tipo de usuario (DBA) cuando tienen casos de uso de almacenamiento de datos activos y otro cuando integran transmisión de datos en paneles para obtener información operativa (analista de negocios)».
Para obtener más información, consulte «¿Cuáles son los mejores nuevos lenguajes de programación para que aprendan los desarrolladores de software?»
