Necessiteu una màquina que pugui oferir centenars de bilions de càlculs de coma flotant per segon? O necessiteu una història de bar sobre com el superordinador del soterrani va fer girar un interruptor? Construir el vostre propi clúster de càlcul d’alt rendiment, també conegut com a superordinador, és un desafiament per a qualsevol geek expert amb un cap de setmana de temps lliure i una mica d’efectiu per cremar. Tècnicament parlant, un superordinador modern i multiprocessador és una xarxa d’ordinadors que treballen junts en paral·lel per resoldre un problema. En aquest article es descriurà breument cada pas del procés, centrant-se en el maquinari i el programari.
Passos
Pas 1. Determineu primer els components i recursos de maquinari necessaris
Necessitareu un node principal, com a mínim una dotzena de nodes de càlcul idèntics, un commutador Ethernet, una unitat de distribució d’energia i un bastidor. Determineu la demanda elèctrica, la refrigeració i l’espai necessari. També decidiu quina adreça IP voleu per a les vostres xarxes privades, com anomenar els nodes, quins paquets de programari voleu instal·lar i quina tecnologia voleu proporcionar les capacitats informàtiques paral·leles (més informació sobre això més endavant).
- Tot i que el maquinari és car, tot el programari que apareix en aquest manual és gratuït i la majoria són de codi obert.
- Si voleu veure la velocitat que teòricament tindria el vostre superordinador, utilitzeu aquesta eina:
Pas 2. Construïu els nodes de càlcul
Haureu de reunir els nodes de càlcul o adquirir servidors de compilació prèvia.
- Trieu un xassís de servidor d’ordinador que maximitzi l’espai, la refrigeració i l’eficiència energètica.
- O podeu fer servir una dotzena de servidors obsolets i obsolets, el conjunt dels quals superarà la suma de les seves parts, però us estalviarà una quantitat considerable d’efectiu. Tots els processadors, adaptadors de xarxa i plaques base haurien de ser idèntics perquè tot el sistema jugui bé junts. Per descomptat, no us oblideu de la memòria RAM i l’emmagatzematge per a cada node i, com a mínim, d’una unitat òptica per al node principal.
Pas 3. Instal·leu els servidors al bastidor
Comenceu per la part inferior, de manera que el bastidor no sigui massa pesat. Necessitareu un amic per ajudar-vos amb això: els servidors densos poden ser molt pesats i és difícil guiar-los cap als rails que els subjecten al bastidor.
Pas 4. Instal·leu el commutador Ethernet a sobre del xassís del servidor
Preneu-vos aquest moment per configurar el commutador: permeteu mides de trama jumbo de 9000 bytes, configureu l'adreça IP a l'adreça estàtica que heu decidit al pas 1 i desactiveu protocols d'encaminament innecessaris, com ara SMTP Snooping.
Pas 5. Instal·leu la PDU (unitat de distribució d'energia)
Segons la quantitat de corrent que poden necessitar els vostres nodes a la càrrega màxima, és possible que necessiteu 220 volts per a un càlcul d'alt rendiment.
Pas 6. Amb tot instal·lat, podeu començar el procés de configuració
Linux és el sistema operatiu de facto per als clústers HPC, no només és l’entorn ideal per a la informàtica científica, sinó que no costa gens d’instal·lar-lo a centenars o fins i tot a milers de nodes. Imagineu quant costaria instal·lar Windows a tots aquests nodes.
- Comenceu amb la instal·lació de la versió més recent de la BIOS i el microprogramari de la placa base, que haurien de ser els mateixos en tots els nodes.
- Instal·leu la vostra distribució Linux preferida a cada node, amb una IU gràfica per al node principal. Les opcions més populars inclouen CentOS, OpenSuse, Scientific Linux, RedHat i SLES.
- Aquest autor recomana fer servir Rocks Cluster Distribution. A més d’instal·lar totes les eines necessàries perquè un clúster de càlcul funcioni, Rocks utilitza un mètode fantàstic per “distribuir” moltes instàncies de si mateix als nodes molt ràpidament mitjançant l’arrencada PXE i el procediment de “Kick Start” de Red Hat.
Pas 7. Instal·leu la interfície de transmissió de missatges, el gestor de recursos i altres biblioteques necessàries
Si no heu instal·lat Rocks al pas anterior, haureu de configurar manualment el programari necessari per habilitar els mecanismes informàtics paral·lels.
- Primer necessitareu un sistema de gestió bash portàtil, com ara el gestor de recursos de parell, que us permet separar i distribuir tasques a diverses màquines.
- Vinculeu el parell amb el Maui Cluster Scheduler per completar la configuració.
- A continuació, haureu d'instal·lar la interfície de transmissió de missatges, necessària perquè els processos individuals dels nodes de càlcul separats puguin compartir les mateixes dades. OpenMP no és obvi.
- No us oblideu de les biblioteques i compiladors matemàtics multi-threading per construir els vostres programes d’informàtica paral·lela. He dit que només hauríeu d'instal·lar Rocks?
Pas 8. Connecteu junts els nodes de càlcul
El node principal envia les tasques de càlcul als nodes de càlcul, que al seu torn han d'enviar el resultat, així com enviar missatges entre ells. Com més ràpid millor.
- Utilitzeu una xarxa ethernet privada per connectar tots els nodes del clúster.
- El node principal també pot actuar com a servidor NFS, PXE, DHCP, TFTP i NTP a través de la xarxa Ethernet.
- Heu de separar aquesta xarxa de les xarxes públiques, cosa que garanteix que els paquets de difusió no interfereixin amb altres xarxes de la vostra LAN.
Pas 9. Proveu el clúster
L'últim que podeu fer abans de lliurar tota aquesta potència de càlcul als vostres usuaris és provar-ne el rendiment. El punt de referència HPL (High Performance Lynpack) és una opció popular per mesurar la velocitat de càlcul del clúster. Haureu de compilar-lo des de l'origen amb totes les optimitzacions possibles que ofereix el vostre compilador per a l'arquitectura que heu triat.
- Per descomptat, heu de compilar des de la font amb totes les opcions d’optimització possibles per a la vostra plataforma. Per exemple, si utilitzeu CPU AMD, compileu amb Open64 amb un nivell d'optimització ràpid -0.
- Compareu els vostres resultats a TOP500.org per comparar el vostre clúster amb els 500 superordinadors més ràpids del món.
Vídeo: mitjançant aquest servei, es pot compartir informació amb YouTube
Consells
- Per obtenir velocitats de xarxa molt altes, consulteu les interfícies de xarxa InfiniBand. Tanmateix, prepareu-vos per pagar preus premium.
- IPMI pot fer que l’administració d’un gran clúster sigui una brisa proporcionant KVM-over-IP, cicle de potència remot i molt més.
- Utilitzeu Ganglia per controlar les càrregues computacionals als nodes.
