Lossless o lossy: si tiene muchos datos, sepa qué tipo de compresión usar
Los diferentes tipos de compresión pueden tener un gran impacto en las grandes transferencias de datos. Saber qué tipo usar es muy importante para su negocio.
Ilustración: Lisa Hornung/iStockPhoto
Informes de big data de lectura obligada
El mundo genera 2,5 terabytes de datos todos los días, y los datos no estructurados son un problema para el 95 % de las empresas. Un problema al que se enfrentan las empresas es cómo almacenar todos estos datos y cómo liberar suficiente ancho de banda para transferir los grandes datos.
mirar: Informe: las pymes no están preparadas para abordar los problemas de privacidad de datos (República Tecnológica Premium)
Aquí es donde entra en discusión la compresión de datos. En la compresión de datos, los datos se codifican utilizando menos bits que los datos originales. Hay dos métodos de compresión de datos: compresión sin pérdida, que elimina la redundancia sin perder ninguno de los datos originales, y compresión de datos con pérdida, que modifica los datos eliminando información innecesaria o menos importante.
El uso de la compresión de datos en la transmisión y almacenamiento de big data es importante porque reduce la cantidad de ancho de banda de red y almacenamiento que TI debe proporcionar para estos datos. Igual de importante, hay algunos tipos de big data que realmente no desea conservar, como la fluctuación del protocolo de enlace entre dispositivos como parte de los datos de comunicación de Internet de las cosas (IoT).
Sin embargo, para maximizar las operaciones de compresión de datos para big data, debe saber cuándo y dónde usar los diferentes tipos de herramientas y fórmulas de compresión de datos disponibles. Aquí hay algunas pautas útiles para tener en cuenta al elegir un método de compresión de datos.
Cuándo usar la compresión de datos sin pérdidas
Si tiene una aplicación de big data y no puede perder ningún dato y necesita descomprimir cada byte de datos que se comprime, entonces necesitará un método de compresión de datos sin pérdidas.
mirar: Navegador de privacidad de datos (PDF gratuito) (República tecnológica)
Un ejemplo de cuándo necesita una compresión de datos sin pérdidas (incluso si eso significa que tiene que almacenar más datos) es cuando comprime datos que se originan en una base de datos. Cuando elige volver a enviar estos datos a la base de datos, debe descomprimir los datos completos para que puedan compararse y almacenarse con los datos en el lado de la base de datos.
Cuándo usar la compresión de datos con pérdida
A veces no necesita o no necesita todos los datos, como la fluctuación de IoT y los dispositivos de red. No necesita estos datos, solo datos que le brinden la información contextual que necesita su empresa. Un segundo ejemplo es el uso de inteligencia artificial (IA) en una fórmula de compresión de datos que se puede usar en la etapa inicial del proceso de ingesta de datos. Si está trabajando en un problema específico y solo necesita datos que sean directamente relevantes para ese problema, puede decidir que su fórmula de compresión de datos excluya cualquier dato que no sea relevante para ese problema.
Cómo ahorrar en el procesamiento
Los ciclos de procesamiento de la CPU son costosos para big data, por lo que parte del proceso de compresión de datos debe centrarse en descargar el procesamiento de la CPU.
Esto se puede hacer usando un Field Programmable Gate Array (FPGA), que es un microchip que puede configurar como un procesador adicional para su computadora. Al usar un FPGA, puede descargar parte del procesamiento de compresión de la CPU y acelerar el rendimiento del hardware.
Cómo elegir el códec correcto
Un códec es una combinación de hardware y software que comprime y descomprime datos, por lo que desempeña un papel central en las operaciones de compresión y descompresión de big data. Hay muchos tipos de códecs, por lo que es importante elegir el tipo correcto de códec para el tipo de datos o archivo correcto.
El tipo de códec que elija dependerá de los datos y el tipo de archivo que intente comprimir. Hay códecs para datos sin pérdida y con pérdida. También hay algunos códecs que deben procesar todos los archivos de datos «como un todo», mientras que otros códecs pueden dividir los datos para que puedan procesarse en paralelo y luego volver a ensamblarlos en el destino. Algunos códecs están configurados para datos visuales, mientras que otros solo se ocupan de datos de audio.
¿Por qué es importante la compresión de datos?
Determinar el tipo de compresión de datos que se usará para big data es una parte importante de las operaciones de big data. Solo en términos de recursos, TI no puede permitirse el costo del procesamiento desbocado y el almacenamiento floreciente. Los datos, incluso si deben almacenarse en su totalidad, deben estar lo más comprimidos posible.
Dicho esto, hay pasos adicionales que puede tomar para limitar el almacenamiento y el procesamiento, y las operaciones que funcionan mejor para los algoritmos y métodos que usa en la compresión de big data. Dominar estas opciones es un punto de datos crítico para TI.
