Klaster obliczeniowy PLATON (Blueocean)

Oprogramowanie Kto korzysta Pytania i odpowiedzi Regulamin usługi Kontakt Mapa usługi
Archiwum

 

22.12.2016

Aktualizacja całego środowiska rozproszonego systemu plików została zakończona.
Wprowadzone zmiany zapewniły przyrost wydajności realizowanych operacji wejścia/wyjścia (I/O) w przestrzeniach składowania klastra Blueocean oraz podniosły poziom bezpieczeństwa środowiska składowania danych.

Poniższy przykład testu obrazuje o jakim przyroście wydajności zapisu możemy mówić po aktualizacji:

Zapis danych w klastrze:

Przed aktualizacją:
dd if=/dev/zero of=~/testfile bs=16k count=16384
16384+0 records in
16384+0 records out
268435456 bytes (268 MB) copied, 80,0032 s, 3,4 MB/s

Po aktualizacji:
dd if=/dev/zero of=./testfile bs=16k count=16384
16384+0 przeczytanych recordów
16384+0 zapisanych recordów
skopiowane 268435456 bajtów (268 MB), 2,31166 s, 116 MB/s

Przykład wskazuje na 34 krotne zwiększenie wydajności zapisu.

 

31.08.2016 przeprowadzono aktualizację serwera zarządzającego rozproszonym systemem plików tj. przestrzenią składowania plików.
Nowa wersja niesie ze sobą szereg usprawnień, funkcjonalności, a szczególnie podnosi wydajność środowiska. Aktualizacja pozwoliła na wdrożenie w środowisku technologii wspierających proces transmisji danych jak:  agregacja połączeń, obsługę pakietów Jumbo Frames (mtu 9000).
 

Opis usługi

Usługa HPC realizowana w Centrum Komputerowym Politechniki Łódzkiej pełni rolę narzędzia wspierającego naukę oraz dydaktykę. Celem nadrzędnym jest umożliwienie doktorantom oraz pracownikom naukowym rozwoju intelektualnego polegającego na prowadzeniu zaawansowanych obliczeń wsadowych na klastrze komputerowym w wielu równorzędnych środowiskach programistycznych np.: Matlab, Jaguar, JDK, Intel Cluster Studio, Gaussian, Gamess, Ansys, QT, Project R. Uruchomiony do celów dydaktyczno-obliczeniowych klaster komputerowy o nazwie blueocean pracuje z zainstalowanym system kolejkowy Sun Grid Engine (SGE), ze zintegrowanym środowiskiem umożliwiającym równoległe wykonywanie obliczeń: Mpich2.  Usługę uruchomiono w oparciu o projekt Platon (Platforma Obsługi Nauki) - http://www.platon.pionier.net.pl/.

Dla użytkowników publikujących wyniki otrzymane na klastrze prosimy o zamieszczenie krótkiego tekstu:

Opracowania w języku angielskim:

"The calculations mentioned in this paper are performed using  the PLATON project's infrastructure at the Technical University of Lodz Computer Center".

Opracowania w języku polskim:

"Wyniki obliczeń zamieszczone w niniejszym opracowaniu uzyskano dzięki infrastrukturze projektu PLATON w Centrum Komputerowym Politechniki Łódzkiej"

Jak zacząć?

W celu uzyskania dostępu do klastra obliczeniowego prosimy o kontakt e-mailowy z administratorem pod adresem: platon@info.p.lodz.pl.

Uruchamianie obliczeń jest możliwe tylko przez łącze szyfrowane za pomocą protokołu ssh.

Opis techniczny

Klaster Blueocean pracuje pod kontrolą systemu kolejkowego Sun Grid Engine. Przykładowa specyfikacja pojedynczego noda przedstawiona jest poniżej:

Architektura procesora/node: x86_64
Model procesora/node: Intel(R) Xeon(R) CPU E5620 @ 2.40 GHz
Ilość procesorów/node: 2
Ilość rdzeni/node: 8
HT (hyper threading): nie
Pamięć RAM/node: 32 GB
Rozproszony System Plikowy: 4 T

Test wydajnościowy dla pojedynczego noda obliczeniowego wykazał:

### linpack-10.3.3 benchmark ###
CPU frequency: 2.399 GHz
Number of CPUs: 2
Number of cores: 8
Number of threads: 16
============= Timing linear equation system solver =================
Size LDA Align. Time(s) GFlops Residual Residual(norm)
30000 30000 4 255.850 70.3608 8.439482e-10 3.326853e-02
Performance Summary (GFlops)
Size LDA Align. Average Maximal
30000 30000 4 70.3608 70.3608
### End of tests ###

Parametry wydajnościowe klastra Blueocean na dzień 04.04.2016

Ilość rdzeni
[szt.]
Ilość RAM
[GB]
Przestrzeń dyskowa
[TB]
Moc obliczeniowa
[Tflops]
776 3728 249,7 10,24

Podane wielkości mogą ulec zmianie ponieważ planowana jest ciągła rozbudowa klastra o nowe nody obliczeniowe.

Uruchomienie klastra wymagało połączenia w jedną całość szeregu usług takich jak: PXE, SGE, ACTIVE DIRECTORY, MFS, NFSv4. Ich wspólne istnienie pozwala na pracę w oparciu o najnowsze rozwiązania informatyczne takie jak:. rozproszona struktura pamięci. Pozwala ona na przechowywanie danych logicznie należących do wspólnego systemu ale rozlokowanych w wielu miejscach sieci komputerowej, która realizowana jest dzięki rozproszonemu systemowi plików.

Korzyści i zalety

Zaletą korzystania z usługi HPC jest dostęp 24/7/365 w jednym miejscu do wielu bardzo drogich i zaawansowanych środowisk programistyczno-obliczeniowych. Uruchamianie obliczeń lub plików wsadowych realizowane jest przy pomocy systemu kolejkowego SGE. System kolejkowy jest narzędziem wspomagającym obliczenia pod względem definiowania zasobów oraz wymagań środowiskowych na których użytkownik chce uruchomić zadanie. Dodatkowo pozwala na uporządkowanie pracy na klastrze. Kolejną zaletą jest wykorzystanie rozproszonego systemu plików, który zabezpiecza klaster przed usterkami poszczególnych nodów obliczeniowych bez ryzyka utraty danych przechowywanych w katalogach domowych użytkowników.

Literatura

Gaussian09:

Gamess:

Jaguar:

Matlab:

Mpich2:

  • Strona główna: http://www.mcs.anl.gov/research/projects/mpich2/

Synchronizacja nodów:

  • Strona główna: https://www.rostlab.org/owiki/index.php/Cluster_node_sync-on-boot_technology

Środowisko programistyczne QT

  • Strona główna: http://qt.nokia.com/

Ansys

  • Strona główna: http://www.ansys.com/

Środowisko obliczeń statystycznych "R"

  • Strona domowa projektu: http://www.r-project.org/