Descargar el PDF
Descargar el PDF
¿Necesitas una máquina que pueda hacer ciento de billones de cálculos por segundo en coma flotante o simplemente necesitas una historia para contarla en el bar de cómo la supercomputadora que tienes en el sótano reventó un interruptor? Crear tu proprio clúster computacional de alto rendimiento, es decir, una supercomputadora es un desafío que cualquier persona experta con un fin de semana libre y dinero puede abordar. Técnicamente hablando, una supercomputadora moderna con multiprocesamiento es una red de computadoras que trabajan en paralelo para resolver un problema. Este artículo describirá cada paso del proceso brevemente, centrándose más en el hardware y el software.
Pasos
Descargar el PDF
-
Determina que componentes hardware y recursos necesitas. Necesitarás un nodo central, al menos una docena de nodos de cálculo idénticos, un conmutador Ethernet, una unidad de distribución de energía y un rack. Determina la demanda eléctrica, la refrigeración y el espacio necesario. También decide la dirección IP que vas a utilizar para tu red privada, el nombre de cada nodo, qué paquetes de software quieres instalar y a que tecnología quieres aplicar las capacidades de computación paralela (se hablará más adelante sobre esto).
- Aunque el hardware es caro, todo el software incluido en esta guía es gratuito y la mayoría de código abierto.
- Si quieres ver lo rápido que será tu supercomputadora en teoría, puedes utilizar la siguiente herramienta: http://hpl-calculator.sourceforge.net/
-
Crear los nodos computacionales. Necesitarás hacer los nodos computacionales o comprar servidores preconstruidos.
- Elige un chasis de servidor que maximice el espacio, la refrigeración y la eficiencia energética.
- O puedes utilizar servidores usados y desactualizados. De esta manera te puedes ahorrar una cantidad considerable de dinero. Todos los procesadores, adaptadores de red y placas base deben ser idénticos para que todo el sistema esté en armonía. Por supuesto, no te olvides de la memoria RAM y del almacenamiento para cada nodo y al menos una unidad óptica para el nodo central.
-
Instala los servidores en el rack. Empieza desde la parte inferior para que la parte superior del rack no pese demasiado. Necesitarás un amigo que te ayude con esto ya que los servidores pueden ser muy pesados y guiarlos en los carriles que los sostienen en el rack puede ser difícil.
-
Instala el conmutador Ethernet encima del chasis del servidor. Aprovecha ahora para configurar el conmutador: permite tamaños de 9000 bytes para tramas Jumbo, configura la dirección IP poniendo la dirección estática que decidiste en el primer paso y desactiva los protocolos de enrutamiento innecesarios como el SMTP Snooping.
-
Instala la PDU (Unidad de Distribución de Energía, por sus siglas en inglés). Dependiendo de la corriente que necesitarán tus nodos a carga máxima, es posible que necesites 220 voltios para las operaciones computacionales de alto rendimiento.
-
Con todo instalado, puedes empezar el proceso de configuración. Linux es el sistema operativo de facto para los clústeres HPC, no solo son el entorno ideal para la computación científica, sino que también son fáciles de instalar en cientos o incluso en miles de nodos. ¡Imagínate cuánto te costaría instalar Windows en todos esos nodos!
- Comienza con la instalación de la última versión de BIOS de la placa base y el firmware, que debería ser igual en todos los nodos.
- Instala la distribución de Linux preferida en cada nodo, con un interfaz gráfica para el nodo central. Las más populares son CentOS, OpenSuse, Scientific Linux, RedHat y SLES.
- El autor recomienda utilizar la distribución Rocks Cluster. Además de instalar todas las herramientas necesarias para que un clúster computacional funcione, Rocks utiliza un gran método para "distribuir" muchas instancias de sí mismo a los nodos de manera muy rápida utilizando el arranque PXE y el procedimiento "Kick Start" de Red Hat.
-
Instala la interfaz de paso de mensajes, el administrador de recursos y otras bibliotecas necesarias. Si no has instalado Rocks en el paso anterior, tendrás que configurar manualmente el software necesario para habilitar los mecanismos de cálculo paralelo.
- Primero necesitarás un sistema portátil de gestión bash, como por ejemplo el administrador de recursos Torque, que te permitirá dividir y distribuir tareas entre varias máquinas.
- Empareja el Torque con el Maui Cluster Scheduler para completar la configuración.
- A continuación necesitas instalar la interfaz de paso de mensajes, necesaria para procesos individuales en nodos computacionales separados para que compartan la misma información. Utilizar OpenMP es algo obvio.
- No te olvides de la bibliotecas matemáticas para multihilo y los compiladores para construir los programas de computación paralela. ¿Se ha mencionado que simplemente puedes instalar Rocks?
-
Conecta los nodos computacionales juntos. El nodo central envía tareas de cálculo a los nodos computacionales, que a su vez deben enviar el resultado de vuelta, así como enviar mensajes entre sí. Cuanto más rápido, mejor.
- Utiliza una red Ethernet privada para conectar todo los nodos del clúster.
- El nodo central puede actuar también como servidor NFS, PXE, DHCP, TFPT y NTP sobre la red Ethernet.
- Debes separar esta red de las redes públicas, lo que asegura que los paquetes de difusión no interfieren con otras redes de tu LAN.
-
Prueba el clúster. Lo último que querrás hacer antes de liberar todo el poder de cálculo a los usuarios, es comprobar su rendimiento. El benchmark HTP (High Performance Lynpack) es una opción muy popular para medir la velocidad computacional de un clúster. Tienes que compilarlo desde la fuente con todas la optimizaciones posibles que tu compilador ofrece a la arquitectura elegida.
- Por supuesto, debes compilar desde la fuente con todas las opciones de optimización posibles para tu plataforma. Por ejemplo, si tienes CPUs de AMD, compila con Open64 con el nivel de optimización -0fast.
- ¡Compara tus resultados en TOP5000.org para ver si tu clúster está entre las 500 supercomputadoreas más rápidas del mundo!
Anuncio
Consejos
- Para velocidades de red realmente altas, busca interfaces de red de InfiniBand. Aunque tienes que prepárate para pagar un precio muy alto.
- La IPMI puede hacer que la administración de un gran clúster sea muy fácil proporcionando KVM dedicado sobre IP, opciones de apagado y encendido remoto y más cosas.
- Utiliza Ganglia para monitorizar la carga computacional de los nodos.
Anuncio
Advertencias
- Asegúrate de que la infraestructura que tienes puede manejar la carga.
Anuncio
Acerca de este wikiHow
Esta página ha recibido 12 828 visitas.
Anuncio
¡Suscríbete al boletín gratuito de wikiHow!
Encontrarás instructivos útiles en tu bandeja de entrada cada semana.
¡Suscríbeme!
