Grandes datos

4 pasos hacia la computación de alto rendimiento para el procesamiento de Big Data

Si su empresa necesita computación de alto rendimiento en su big data, entonces las operaciones internas pueden funcionar mejor. Esto es lo que necesita saber, incluidas las diferencias entre HPC y Hadoop.

En el mundo de los grandes datos, no todas las empresas necesitan computación de alto rendimiento (Computación de alto rendimiento)pero casi todos los que usan big data han adoptado análisis de estilo Hadoop calcular.

La diferencia entre HPC y Hadoop es difícil de distinguir porque los trabajos de análisis de Hadoop se pueden ejecutar en dispositivos HPC, pero no al revés. Tanto el análisis de HPC como el de Hadoop utilizan el procesamiento paralelo de datos, pero en un entorno de análisis/Hadoop, los datos se almacenan en hardware básico y se distribuyen a través de múltiples nodos de ese hardware. En HPC, los archivos de datos son mucho más grandes y el almacenamiento de datos está centralizado. HPC, debido a su gran cantidad de archivos, también requiere una comunicación de red más costosa, como banda ilimitadaDebido a que el tamaño de los archivos que maneja requiere un alto rendimiento y baja latencia.

El mensaje para los CIO de la empresa es claro: si puede evitar HPC y solo usar Hadoop para análisis, hágalo. Es más barato y fácil de ejecutar para sus empleados, e incluso puede ejecutarse en la nube donde otros (como proveedores externos) pueden ejecutarlo.

Desafortunadamente, para muchas empresas e instituciones de ciencias de la vida, meteorológicas, farmacéuticas, mineras, médicas, gubernamentales y académicas que requieren procesamiento de HPC, no es posible ser una tienda de Hadoop. Las comunicaciones de red estándar o la conexión a la nube tampoco son una alternativa debido a los archivos grandes y las demandas de procesamiento extremadamente altas.

LEER  Cómo SSE Renewables usa Azure Digital Twins más allá de las máquinas

En resumen, HPC es el ejemplo perfecto de una plataforma de big data que se ejecuta mejor dentro de un centro de datos. Debido a esto, el desafío es: ¿cómo se aseguran usted (y sus empleados) de que el costoso hardware en el que está invirtiendo esté en la mejor forma para el trabajo que necesita?

«Este es un desafío para muchas empresas que deben usar HPC para el procesamiento de big data», dijo Alex Lesser, director de estrategia. Laboratorio PSCC, Big Data Hadoop y proveedor de plataforma HPC. «La mayoría de estas empresas tienen un historial de soporte de infraestructura de TI tradicional. Están felices de salir de esa mentalidad y manejar el entorno informático analítico de Hadoop porque utiliza hardware básico con el que ya están familiarizados, pero en el lado de HPC, el la respuesta suele ser «Deje que el proveedor se encargue».

Mirar: Cómo ganar con el análisis prescriptivo (Informe especial de ZDNet)| Descargue el libro electrónico en PDF gratuito (República tecnológica)

Si considerar cambiar a HPC parece ser lo correcto para su empresa, aquí hay cuatro pasos a seguir:

1. Confirme que tiene un alto nivel de soporte para HPC

La alta dirección y la junta no son necesariamente expertos en HPC, pero nunca se debe suponer su comprensión y apoyo. Ambos equipos deben tener una comprensión lo suficientemente buena de HPC y lo que puede hacer por su empresa para respaldar claramente las inversiones sustanciales en hardware, software y capacitación que puede realizar. Esto significa que se les debe educar en dos áreas: 1) qué es HPC y por qué es diferente de los análisis tradicionales y requiere hardware y software especiales; 2) por qué es necesario que las empresas usen HPC en lugar de los análisis tradicionales para lograr sus objetivos. objetivos de negocio. Ambas tareas educativas deben ser realizadas por el CIO o CDO.

«Las empresas que son más agresivas en la adopción de HPC son las que piensan que son las verdaderas empresas de tecnología y que la tecnología les dará una ventaja en el espacio», dijo Lesser, refiriéndose a Amazon, cuyo servicio en la nube de AWS se lanzó originalmente. de la venta al por menor de Amazon El negocio – ahora es un gran centro de ganancias en sí mismo.

Consulte: Política de compra de hardware de TI (Tech Pro Research)

2. Considere una plataforma de hardware preconfigurada que pueda personalizar

Empresas como PSSC Labs ofrecen hardware HPC preempaquetado y preconfigurado. «Tenemos un paquete base basado en las mejores prácticas de HPC y luego trabajamos con el cliente para personalizar ese paquete base según las necesidades informáticas del cliente», dijo Lesser, señalando que casi todos los sitios tienen alguna personalización que se debe hacer.

3. Comprende las devoluciones

Al igual que con cualquier inversión en TI, HPC debe tener una justificación de costos para la empresa, y usted debe poder desarrollar un retorno de la inversión (ROI) que la gerencia y la junta puedan tener en cuenta. «Un buen ejemplo es el diseño gráfico», dijo Lesser. “La inversión en HPC fue considerable, pero cuando la empresa vio que podía usar HPC para ejecutar simulaciones de diseño y obtener cinco nueves de precisión y que ya no necesitaba alquilar un túnel de viento físico, recuperó rápidamente la inversión en HPC”.

Mirar: Convierta Big Data en información empresarial (Número especial de ZDNet) | Descargar como PDF (Tecnopedia)

4. Forma a tu personal

La informática HPC no es una transición fácil para su personal de TI, pero si está ejecutando operaciones locales, debe posicionar a su equipo para que sea autosuficiente.

Inicialmente, es posible que deba contratar a un consultor externo para comenzar, pero los objetivos de una tarea de consultoría siempre deben ser dobles: 1) hacer que la aplicación HPC funcione y 2) transmitir el conocimiento al personal para que puedan tomar sobre la operación No debe contentarse con menos.

Básicamente, el equipo de HPC necesita un científico de datos que pueda desarrollar los algoritmos altamente complejos que HPC necesita para responder a las preguntas de su empresa. También requiere un programador de sistemas sólido con competencia en C+ o Fortran y la capacidad de trabajar en un entorno de procesamiento paralelo, y un experto en comunicaciones de red.

«La conclusión es que si su empresa va a ejecutar trabajos solo una o dos veces cada quince días, debe ir a la nube para alojar su HPC», dijo Lesser, «pero si usa recursos de HPC y ejecuta trabajos varias veces al día, deberías Al igual que una empresa farmacéutica o genética, estás desperdiciando dinero al ejecutar en la nube y ejecutar tus propias operaciones internas debe ser muy considerado».

Ver también:

Imagen: iStock/PhonlamaiPhoto

LEER  Encuesta sobre tecnología electoral: ¿Qué campaña presidencial es la más experta en tecnología?

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Botón volver arriba