Nube

La iniciativa Azure de LinkedIn no se trata tanto de escala como de velocidad de innovación

LinkedIn ha invertido tanto en administrar sus propios centros de datos que lanzó su propia versión Proyecto de Computación Abierta (OCP) basado en un rack de 19 pulgadas, abierto 19también para Microsoft SONIC Un sistema operativo de red para soportar las funciones requeridas por su propia red de centro de datos. Pero ahora está planeando mudarse a Azure.

unos meses después anuncio preliminarTecnopedia se sienta con el CTO de LinkedIn Raghu Hiremagalur Pregunte por qué las empresas se están mudando a la nube y qué progreso se ha hecho hasta ahora. No, dijo, no es porque Microsoft los posea o los presione, se trata de la oportunidad de escalar con nuevo hardware y servicios que LinkedIn nunca podrá construir por sí mismo.

verdadera hiperescala

linkedin cto hiremagalur
Raghu Hiremagalur, director de tecnología, LinkedIn.
Imagen: LinkedIn

Por un lado, mientras que Open19 se trata en gran medida de cómo simplificar y reducir el costo de operar un centro de datos, migrar a Azure elimina la necesidad de construir un nuevo centro de datos.

Mirar: Microsoft Azure: la guía de información privilegiada (PDF gratuito) (República tecnológica)

Hace una década, el problema de LinkedIn era mantener su sitio disponible a medida que crecía el tráfico, y pasó varios años enfocándose en migrar a microservicios Y tener la capacidad suficiente para atender a los miembros. Luego comenzó a considerar expandir la red y construir una arquitectura de centro de datos activo-activo. En los últimos tres años, esto se ha transformado en tratar de construir centros de datos como una nube de hiperescala como Azure, cambiando la red para satisfacer las necesidades de las aplicaciones que se ejecutan en ella, en lugar de requerir que los desarrolladores de aplicaciones utilicen la infraestructura, el ancho de banda y la latencia disponibles.

Pero ha estado haciendo esto en centros de datos de tamaño mediano en lugar de centros de datos gigantes para nubes de hiperescala, y es más probable que el problema sea la falta de espacio que la falta de energía. LinkedIn tiene alrededor de 250 000 servidores en cinco centros de datos, y ese número crece en un tercio cada año. También tiene 20 puntos de presencia y 4000 pares de red, pero eso no se compara con Azure.

«Estamos en EE. UU. Oeste, EE. UU. Este, Singapur y Texas; en realidad son 57 regiones», explicó Hiremagalur. «Poder usar la red troncal de Microsoft es una ventaja inmediata: es probablemente una de las mejores redes troncales desde el punto de vista de una red troncal privada, y tienen más de 160 ubicaciones de borde puerta de entrada azulPor lo tanto, nuestra capacidad para servir a nuestros miembros será mejor de lo que somos hoy porque podremos terminar sus reuniones cerca de donde están. «

LEER  Cilium Service Mesh: un nuevo puente de regreso al núcleo de la infraestructura nativa de la nube

Hiremagalur dice que LinkedIn está haciendo más que solo conectarse con Azure: «Nuestro plan es mover todas nuestras cargas de trabajo (producción, cómputo fuera de línea, cómputo actual) a Azure. En algún momento en el futuro, no queremos operar centro de datos.»

Eso no se debe a que LinkedIn no pueda seguir haciendo crecer sus centros de datos: Hiremagalur no ve ningún problema para expandir su red, la capacidad del centro de datos, la energía u otros requisitos de infraestructura durante al menos los próximos cinco años.

LinkedIn no se trasladará a la nube solo porque lo necesita. Pero para aprovechar la oportunidad que ofrece Azure: agilidad, vale la pena una migración bastante disruptiva de cargas de trabajo complejas.

«Ya sea la resiliencia y la capacidad, o las inversiones en infraestructura de borde que aprovechan Azure Front Door, o su red troncal, o lo que están haciendo en silicio personalizado, y el centro de datos y las redes que están usando para acelerar las redes y FPGA y almacenamiento innovaciones… esas son todas las cosas que esperamos obtener con el tiempo», dijo Hiremagalur. «Y estas no son cosas en las que invertiríamos de forma independiente en nosotros mismos; no tendría sentido que invirtiéramos de forma independiente en estas cosas».

LinkedIn también adoptará herramientas de IA en la nube como AzureML«Las capacidades de Azure para lo que están haciendo en IA son asombrosas. El nivel de computación de GPU que tienen, definitivamente nos beneficiaremos mucho de eso», dijo Hiremagalur.

Migración a lo largo de los años.

Ser parte de Microsoft significa que LinkedIn puede obtener una comprensión más profunda de las tendencias de Azure. Hiremagalur quería iniciar una migración que tardaría años en prepararse. «Dada la cantidad de tiempo que creemos que tomará migrar las cargas de trabajo a Azure, queremos comenzar el proceso ahora y estar listos para aprovechar todos estos beneficios cuando todos estén listos para nosotros».

Mientras tanto, LinkedIn continuará con su propio desarrollo de productos, pero mientras tanto, se preparará para la mudanza y considerará qué puede dejar de hacer una vez que se ejecute en Azure.

«En general, las interfaces que nuestros componentes básicos de infraestructura (como los índices de almacenamiento) brindan al resto de la organización de ingeniería deben permanecer iguales o al menos muy similares, por lo que nuestro equipo de infraestructura asumirá la responsabilidad de adaptar nuestros componentes básicos de infraestructura. El trabajo pesado es ejecutándose en la nube pública», dijo Hiremagalur.

Pero no quería terminar con una copia de la infraestructura actual de LinkedIn, solo en la nube. «Esta es nuestra oportunidad de dividir la computación y el almacenamiento. Tenemos la oportunidad de aprovechar la elasticidad de escala extrema para manejar el patrón de carga de trabajo diurno y nocturno que LinkedIn tiene [with most users logging in during working hours]Estas son las cosas que queremos comenzar a aprovechar en nuestro camino hacia Azure. «

LinkedIn utiliza una base de datos de gráficos muy grande; hay muchos Kafka (desarrollado por LinkedIn, procesando más de un billón de eventos por día para 2015), y samza Sistemas de procesamiento de flujo construidos sobre Kafka, como computación fuera de línea y aprendizaje automático. Esto es muy intensivo en la red: por cada byte de datos que ingresa a un centro de datos de LinkedIn desde la actividad del usuario, hay aproximadamente 1,000 bytes de tráfico este-oeste dentro del centro de datos (análisis de gráficos de LinkedIn y sistemas de aprendizaje automático para obtener información como recomendaciones Personas Deberias saber).

«Podremos aprovechar esta agregación de red y almacenamiento a escala, y la capacidad de escalar la computación y el almacenamiento de forma independiente. Somos un sistema con muchos datos, por lo que poder administrar estas dos cosas como dos unidades separadas también es un gran ventaja para nosotros», dijo Hiremagalur.

«Cuanto menor sea la latencia de la red, más se puede hacer con el recorrido de la base de datos de gráficos», señaló. «La capacidad de recorrer nuestro gráfico de maneras muy interesantes obviamente requiere sistemas distribuidos muy buenos y con una arquitectura muy buena, pero también una red de primera clase. Estoy ansioso por poder usar sin servidor a escala para este tipo de cargas de trabajo, Mientras que no se preocupe por cómo se encienden y apagan estas cosas. Estas cosas son excelentes candidatas para la informática sin servidor».

Mirar: Informe especial: Preparación para la informática sin servidor (PDF gratuito) (República tecnológica)

Ya sea migrando a Azure o permaneciendo en su propio centro de datos, LinkedIn considera este cambio de arquitectura. Pero el movimiento significa que LinkedIn puede entregar completamente el espacio de la infraestructura a Azure.

«Ejecutar cargas de trabajo a gran escala en la nube pública es diferente a administrar las cosas nosotros mismos, donde tenemos el 100 % del control de casi todo. Por lo tanto, tenemos que aprender a operar el sitio web de una manera muy estable para manejar estos cambios», dijo Hiremagalur.

En lugar de considerar las fallas de hardware y servicio, explicó Hiremagalur, los ingenieros tendrán que planificar los ciclos de actualización más allá de su control. «Tenemos que entender cómo responder a la señal de que Azure nos va a servir y averiguar cómo mover o suspender las cargas de trabajo. La forma en que gestionamos la seguridad será diferente. Las capas de la pila que controlamos al 100 % solo se reducirán». : no controlamos la red, no controlamos diferentes conjuntos de datos, por lo que nuestra visión de la seguridad de la información debe evolucionar, y nuestra visión de la seguridad del perímetro debe evolucionar”.

Esta es la historia habitual de migración a la nube: en lugar de mover aplicaciones a diferentes servidores, mueve el trabajo que debe realizarse a un tipo diferente de abstracción. Una vez que haya hecho el trabajo, la recompensa es que puede concentrarse en problemas de nivel superior.

«Creo que se debe a nuestra capacidad para concentrarnos en las áreas en las que ofrecemos un valor único y confiar en nuestros pares en Azure para hacer lo que hacen a una escala extrema y hacerlo muy bien”, dijo Hiremagalur. «Me imagino que el aumento del nivel del mar : Para nosotros, lo que pasa bajo el agua es en lo que confiamos en Azure. El resto es lo que seguimos haciendo y en lo que podemos enfocarnos más”.

Local es el nuevo mainframe

Hiremagalur dijo que el programa Open19 no va a desaparecer. «Obtuvimos mucho valor: lo implementamos en nuestros centros de datos, aportamos mucha tecnología a OCP y continuaremos trabajando con ellos».

Pero además de las grandes organizaciones como Facebook que ejecutan sus propias nubes, Hiremagalur espera que, con el tiempo, más y más empresas migren a la nube pública para sus grandes cargas de trabajo, ya que sus propios desarrolladores lo necesitarán.

«Si no puede obtener la innovación que está sucediendo en la nube pública en los próximos cinco a 10 años, es probable que su empresa sea vista de la misma manera que una empresa que se ejecuta en un mainframe, y ninguna empresa quiere estar en esa posición».

ver también

LEER  Cómo agregar carpetas de dispositivos a la copia de seguridad y sincronización de Google Drive en Android 12

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Botón volver arriba