Obsah

• kroky
• Tipy
• varovanie

Hľadáte stroj schopný vykonávať stovky biliónov výpočtov s pohyblivou rádovou čiarkou za sekundu? Alebo sa len chcete chváliť priateľmi o superpočítači namontovanom vo vašej izbe? Vybudovanie vysokovýkonného počítačového klastra alebo superpočítača je výzvou, ktorú sa môže pokúsiť splniť každý nadšenec s voľným víkendom a zvyšnými peniazmi. Technicky vzaté, multiprocesorový superpočítač je sieť počítačov, ktoré spolupracujú pri riešení problému. Tento článok stručne popisuje jednotlivé kroky procesu so zameraním na hardvér a softvér.

kroky

1. 

   Najskôr zistite požadované hardvérové ​​komponenty a zdroje. Budete potrebovať hlavný uzol, najmenej 12 identických sieťových uzlov, ethernetový prepínač, jednotku distribúcie energie a stojan. Stanovte požadovaný dopyt po elektrine, chladení a priestore. Tiež sa rozhodnite, ktorú adresu IP chcete pre svoje súkromné ​​siete, ako pomenovať uzly, softvérové ​​balíky, ktoré chcete nainštalovať a ktorá technológia sa použije na vykonanie paralelného výpočtu (viac o tom neskôr).
   • Aj keď je hardvér drahý, všetky programy uvedené v príručke sú bezplatné a väčšina z nich je otvorený zdroj.
   • Ak chcete vidieť, ako rýchlo by bol váš superpočítač teoreticky, použite tento nástroj: http://hpl-calculator.sourceforge.net/

2. 

   
   
   Vytvorte uzly. Budete musieť pripojiť uzly alebo zakúpiť vopred zostavené servery.
   • Vyberte si šasi servera, ktoré maximalizuje priestor, chladenie a spotrebu energie.
   • Môžete tiež použiť niekoľko zastaraných serverov - ktorých celkové náklady budú vyššie ako súčet častí, ale stále veľa ušetríte. Aby systém fungoval správne, musia byť všetky procesory, sieťové adaptéry a základné dosky identické. Samozrejme nezabudnite zahrnúť RAM a úložný priestor v každom uzle a aspoň jednu optickú jednotku pre hlavný uzol.

3. 

   
   
   Nainštalujte servery do stojana. Začnite zdola, aby horná časť nebola príliš ťažká. Na to budete potrebovať pomoc od svojich priateľov - husté servery môžu byť veľmi ťažké a ich vedenie po stopách, ktoré ich držia, je ťažké.

4. 

   Nainštalujte prepínač Ethernet nad skrinku servera. Vykonajte tento čas na nakonfigurovanie prepínača: povoľte veľkosť rámcov jumbo 9000 bajtov, nastavte adresy IP na statickú adresu určenú v prvom kroku a vypnite nepotrebné smerovacie protokoly, ako je napríklad SMTP Snooping.

5. 

   
   
   Nainštalujte silový rozvádzač. V závislosti na tom, koľko prúdu budú uzly vyžadovať pri plnom zaťažení, možno budete potrebovať 220 voltov na vysokovýkonné výpočty.

6. 

   Po nainštalovaní všetkého môžete začať proces konfigurácie. Linux je ideálnym OS pre klastre HPC - nielen je to ideálne prostredie pre vedecké výpočty, ale je tiež zadarmo nainštalovať na stovky alebo dokonca tisíce uzlov. Predstavte si, koľko by stálo inštaláciu systému Windows na všetky tieto uzly?
   • Začnite inštaláciou najnovšej verzie základnej dosky BIOS a firmvéru, ktorá musí byť na všetkých uzloch rovnaká.
   • Nainštalujte svoju obľúbenú verziu systému Linux do každého uzla s grafickým rozhraním na hlavnom uzle. Medzi obľúbené možnosti patria CentOS, OpenSuse, Scientific Linux, RedHat a SLES.
   • Môžete tiež použiť distribúciu klastrov Rocks. Okrem inštalácie všetkých nástrojov potrebných na fungovanie klastra používa spoločnosť Rocks vynikajúcu metódu na veľmi rýchlu distribúciu viacerých inštancií do uzlov pomocou bootovania PXE a postupu Kick Start od spoločnosti Red Hat.

7. 

   Nainštalujte rozhranie správ, správu zdrojov a ďalšie potrebné knižnice. Ak ste v predchádzajúcom kroku neinštalovali Rocks, budete musieť manuálne nakonfigurovať softvér potrebný na povolenie mechanizmov paralelného výpočtu.
   • Najprv budete potrebovať prenosný rozsiahly systém riadenia, ako je napríklad Správca zdrojov krútiaceho momentu, ktorý vám umožní rozdeliť a distribuovať úlohy medzi viac počítačov.
   • Pre dokončenie inštalácie spárujte krútiaci moment s plánovačom klastrov Maui.
   • Ďalej budete musieť nainštalovať rozhranie na prenos správ, potrebné pre jednotlivé procesy rôznych uzlov na zdieľanie rovnakých údajov. OpenMP sa ľahko používa.
   • Nezabudnite na viacvláknové matematické knižnice pre paralelné počítačové programy. Je to naozaj jednoduchšie, ak si nainštalujete Rocks.

8. 

   Pripojte uzly počítača. Hlavný uzol odosiela úlohy do uzlov počítača, ktoré potom musia poslať výsledok späť, ako aj posielať správy navzájom. Čím rýchlejšie, tým lepšie.
   • Na pripojenie všetkých uzlov v klastri použite súkromnú sieť Ethernet.
   • Hlavný uzol môže tiež fungovať ako server NFS, PXE, DHCP, TFTP a NTP v sieti Ethernet.
   • Túto sieť musíte oddeliť od verejných sietí, čo zaisťuje, že prenosové pakety nebudú rušiť iné siete vo vašej sieti LAN.

9. 

   Otestujte klaster. Poslednou vecou, ​​ktorú chcete urobiť pred uvoľnením všetkej výpočtovej sily svojim používateľom, je otestovať ich výkon. Referenčná hodnota HPL (High Performance Lynpack) je obľúbenou voľbou na meranie výpočtovej rýchlosti klastra. Budete ho musieť kompilovať zo zdroja so všetkými možnými optimalizáciami, ktoré ponúka kompilátor pre zvolenú architektúru.
   • Je zrejmé, že musíte kompilovať zo zdroja so všetkými možnými optimalizáciami pre svoju platformu. Napríklad pri použití CPU AMD kompilujte s Open 64 s rýchlou optimalizačnou úrovňou.
   • Porovnajte výsledky na serveri TOP500.org a porovnajte svoj klaster s 500 najrýchlejšími superpočítačmi na svete!

Tipy

• IPMI môže uľahčiť správu veľkého klastra, poskytovať KVM-over-IP, relé na vzdialené spracovanie a ďalšie.
• Ak chcete dosiahnuť skutočne vysoké rýchlosti siete, vyhľadajte sieťové rozhrania InfiniBand. Ceny však nie sú príliš prijateľné.
• Použite Ganglia na monitorovanie výpočtového zaťaženia uzlov.

varovanie

• Uistite sa, že vaša infraštruktúra dokáže zvládnuť zaťaženie, ktoré im ukladá.