Computación de alto rendimiento: ¿la necesitas?

Computación de alto rendimiento: ¿la necesitas? A medida que los costos caen y los casos de uso se multiplican, la informática de alto rendimiento está atrayendo a nuevos adoptantes de todos los tipos y tamaños. Las opciones de expansión incluyen sistemas HPC basados ​​en supercomputadora, HPC basada en clúster y servicios HPC en la nube.
En el mundo actual basado en datos, la informática de alto rendimiento (HPC) está emergiendo como la plataforma de acceso para las empresas que buscan obtener una visión profunda de áreas tan diversas como la genómica, la química computacional, el modelado de riesgos financieros y las imágenes sísmicas. Inicialmente aceptado por los científicos de investigación que necesitaban realizar cálculos matemáticos complejos, HPC ahora está llamando la atención de un número más amplio de empresas que abarcan una variedad de campos.

“Los entornos que prosperan en la recopilación, análisis y distribución de datos, y dependen de sistemas confiables para soportar un flujo de trabajo optimizado con una inmensa potencia computacional, necesitan HPC”, dice Dale Brantly, director de ingeniería de sistemas en Panasas , un sistema de almacenamiento de datos HPC proveedor.

Aunque la adopción por parte de las pequeñas y medianas empresas sigue siendo relativamente escasa, la tecnología tiene un gran potencial para las organizaciones que están dispuestas a invertir en tecnología y experiencia del personal.

Por lo general, los casos de uso de HPC se centran en algún tipo de simulación. “La simulación del flujo de aire sobre un ala, la combustión en un motor, los sistemas meteorológicos planetarios, una reacción nuclear o la valoración de una cartera de inversiones”, dice Kevin Kissell, director técnico de HPC y computación cuántica en la oficina del CTO en Google Cloud .

Otros casos de uso apuntan a objetivos analíticos, como medir el ROI de la publicidad o evaluar el desempeño de una unidad de negocios. Aún otros casos de uso se pueden clasificar como traslacionales o transformacionales. “Como la representación de películas y videos”, señala.

Computación de alto rendimiento sin la supercomputadora

Un error que muchos líderes empresariales y de TI sostienen es que todos los sistemas HPC están basados ​​en supercomputadoras. De hecho, mientras que las supercomputadoras producidas por empresas como Atos , IBM , HPE / Cray y Fujitsu se encuentran en el corazón de numerosos sistemas especializados de HPC, un enfoque más ampliamente utilizado es integrar múltiples computadoras pequeñas en un clúster interconectado para proporcionar capacidades de HPC.

Bajo tal disposición, cada computadora dentro del clúster sirve como un nodo. Cada nodo generalmente está equipado con múltiples procesadores, llamados núcleos de cómputo, que manejan las tareas de cómputo. Los procesadores, las unidades de procesamiento gráfico (GPU) y los recursos de memoria dentro de cada nodo están interconectados para crear un sistema HPC.

Dado que el costo de obtener y operar una supercomputadora y su software personalizado puede llegar fácilmente a los millones de dólares, la tecnología permanece mucho más allá del alcance financiero de la mayoría de las empresas. Los HPC de tipo clúster, que usan computadoras interconectadas relativamente económicas que ejecutan software estándar, generalmente son más asequibles de implementar y operar. Aún así, incluso un HPC basado en clúster de tamaño modesto puede representar una inversión significativa para la mayoría de las empresas, particularmente aquellas con necesidades limitadas de HPC.

Esta situación ahora está cambiando. Las empresas que buscan obtener acceso a HPC sin romper sus presupuestos de TI ahora tienen la opción de recurrir a servicios de nube pública, como Google Cloud, Microsoft Azure , Amazon Web Services (AWS) e IBM Cloud .

“Estos servicios permiten a las empresas tener acceso a las capacidades de HPC para satisfacer sus necesidades comerciales sin tener que invertir mucho en la infraestructura de hardware de un clúster de HPC”, dice Maksym Pavlov, líder técnico de .NET en Ciklum , una empresa de ingeniería de software y servicios digitales. “El surgimiento de la nube ha nivelado el campo de juego en cierta medida entre pequeñas y grandes compañías”, agrega David Turek, vicepresidente de computación de exascale de IBM.

Pasar del clúster HPC a la nube HPC

La Universidad de Carolina del Norte en Chapel Hill (UNC-Chapel Hill) ha dependido durante mucho tiempo de su clúster HPC local para apoyar actividades de investigación en múltiples áreas científicas, de ingeniería y médicas. Sin embargo, a medida que las necesidades informáticas de investigación continúan creciendo, la demanda de los usuarios comienza a superar los recursos y la capacidad informática del sistema actual. En lugar de expandir su inversión en HPC existente, la universidad decidió recurrir a la nube para proporcionar a los usuarios un entorno de HPC a pedido.

El enfoque demostró ser rentable y altamente flexible. “Con la nube, podemos aprovisionar el cómputo necesario para hacer el trabajo solicitado y tener ese cómputo exactamente durante el tiempo que se requiera el trabajo”, dice Michael Barker, CIO interino de UNC-Chapel Hill. “Es una forma muy efectiva de cumplir los requisitos para ejecutar el trabajo computacional”.

El cambio a la nube fue necesario y bienvenido, dice Jeff Roach, investigador asociado de UNC-Chapel Hill. “Tenemos un clúster local muy tradicional”, dice. Sin embargo, con el tiempo se hizo evidente que el sistema no lograba seguir el ritmo de un número creciente de usuarios que requerían potencia informática de punta y un rendimiento más rápido. “Estamos descubriendo que nuestro clúster local funciona realmente bien para las personas para las que fue diseñado, pero algunos de sus casos límite se están volviendo menos”, dice.

Con los casos de uso informáticos exigentes que se están convirtiendo rápidamente en la norma, UNC-Chapel Hill comenzó a trabajar con Google Cloud y el proveedor de software de simulación y análisis Techila Technologies para trazar su viaje a la nube HPC. El primer paso después de la planificación fue una evaluación de prueba de concepto. “Llevamos a uno de los investigadores en el campus que estaba haciendo un montón de memoria alta, computación interactiva, y tratamos de probar su carga de trabajo”, dice Roach. El resultado fue un éxito incondicional, señala. “El investigador realmente lo disfrutó; hizo su trabajo”. La misma tarea podría haber tardado hasta una semana en ejecutarse en el clúster local HPC de la universidad. “Pudo completar gran parte de su carrera en pocas horas”, dice Roach.

Al otro lado del Atlántico, la Universidad de York también decidió adoptar un enfoque de HPC basado en la nube. James Chong, miembro de la Royal Society Industry Fellow y profesor del Departamento de Biología de la Universidad de York, señala que HPC es ampliamente utilizado por profesores y estudiantes en departamentos de ciencias como biología, física, química y ciencias de la computación, así como en lingüística y Varias otras disciplinas.

El departamento de Chong está utilizando Google Cloud para analizar datos de secuencia de ADN. “Específicamente, mi grupo está interesado en los microbiomas, comunidades microbianas mixtas que participan en la conversión de material de desecho, en nuestro caso, lodos de depuradora, en biogás”, explica. “Utilizamos HPC para volver a unir secuencias cortas de ADN en un metagenoma y luego separar los genomas de los diferentes microbios para que podamos entender cómo estos organismos responden a los cambios en sus condiciones de crecimiento”.

Al igual que sus homólogos de UNC-Chapel Hill, Chong aprecia el poder y la flexibilidad que puede proporcionar un servicio en la nube de HPC. “Nuestro HPC necesita poder hacer frente a una variedad de requisitos: algunos usuarios quieren muchos procesadores, otros necesitan máquinas de alta memoria”, dice. “Como biólogos, algunas de las aplicaciones que usamos se unen a E / S muy rápidamente, por lo que el acceso ultrarrápido al disco también es útil”.

La nube HPC que usa la universidad también tiene la capacidad de adaptarse a las necesidades cambiantes. “Varios de nosotros estamos comenzando a utilizar técnicas de aprendizaje automático y queremos aprovechar diferentes arquitecturas”, señala Chong. “La amplia gama de usuarios [de la universidad] significa que también requerimos acceso a una variedad de paquetes diferentes”, agrega. Como la mayoría de los HPC en la nube, el servicio que usa York permite que varios tipos de investigadores se muevan entre herramientas de software de manera fácil y rápida, sin perder tiempo en problemas de adquisición, implementación o configuración.

HPC con una supercomputadora

Si bien los servicios de HPC en la nube ofrecen ciertas ventajas, no siempre es la mejor opción o la más lógica para las empresas preocupadas por la seguridad y la privacidad. “Hay una gran sensibilidad sobre dónde se encuentran los datos”, observa Turek. “Especialmente cuando nos fijamos en las restricciones GDPR en Europa, por ejemplo”. (GDPR es el Reglamento General de Protección de Datos, la ley de privacidad de la Unión Europea).

Al abordar tanto la privacidad como la necesidad de una potencia informática masiva, la Universidad de Miami recientemente optó por invertir en un nuevo sistema HPC basado en supercomputadora local. Lo más crítico es que la universidad cree que los proyectos de investigación con conjuntos de datos multidimensionales masivos pueden ejecutarse mucho más rápido en supercomputadoras de alto rendimiento especialmente diseñadas.

En agosto pasado, la escuela presentó su nueva supercomputadora IBM Triton, basada en servidores Power Systems AC922. Más de 2.000 estudiantes y profesores ya están utilizando el sistema para trabajar en proyectos como predicción climática, genómica, bioinformática, visión por computadora y trabajo de inteligencia artificial, señala Nicholas Tsinoremas, director del Centro de Ciencias Computacionales de la Universidad de Miami y viceproveedor de datos y investigación informática.

La implementación, aunque exitosa, se topó con algunos obstáculos iniciales en el camino que casi cualquier adoptador de HPC puede esperar, independientemente de su tamaño, campo o necesidades informáticas. “Los problemas de migración siempre son un problema”, dice Tsinoremas. La cuestión de la capacitación y el reciclaje de los usuarios también tuvo que abordarse. “La integración del nuevo sistema con los sistemas de almacenamiento heredados fue otro desafío”, señala.

Todas estas preocupaciones resaltan el hecho de que si un sistema HPC se basa en las instalaciones o en la nube, la adopción sin problemas requiere una gran cantidad de planificación y preparación. “La experiencia interna es necesaria, y la institución debe tener un plan”, advierte Tsinoremas. Comprender la naturaleza y los requisitos de las cargas de trabajo también es importante. “En otras palabras, [los adoptantes] necesitan entender qué problemas están tratando de resolver y cómo esperan que HPC los ayude a resolverlos”, dice.

Comenzando con las cargas de trabajo de HPC

Otra conclusión es la importancia de seleccionar las herramientas de gestión de recursos adecuadas, que permiten a una organización acceder y optimizar los entornos HPC. “Ya sea que esté comprando un entorno de hardware HPC tradicional, aprovechando HPC en la nube o una combinación de ambos, seleccionar el administrador de carga de trabajo HPC adecuado para sus tipos de trabajo y requisitos de rendimiento es primordial”, dice Jérémie Bourdoncle, director senior de administración de productos. en Altair , un proveedor de software de simulación y otras herramientas y servicios relacionados con HPC. Un administrador de carga de trabajo puede automatizar la programación de trabajos, así como las funciones de administración, monitoreo e informes.

Kissell sugiere una estrategia de adopción que se centra en el conocimiento, la simplicidad, las opciones y la precaución. “Puede ser un viaje largo, así que planifique su viaje pero dése la oportunidad de corregir el curso”, aconseja. Elija un caso de prueba que sea simple pero representativo, y donde el conocimiento y las percepciones obtenidas de las simulaciones o análisis de HPC se puedan identificar claramente. “Luego seleccione una breve lista de paquetes de software diseñados para su clase de problema y pruébelos”.