Klaster obliczeniowy (PL/HPC) - roadmap

Powrót do usługi

Stan obecny usługi

Usługa HPC jest obecnie w fazie produkcyjnej, wszelkie zmiany nie będą wpływały na proces obliczeniowy.

Aktualnie dostępna wersja klastra Blueocean: v.1.6.0


KOPL - Klaster obliczeniowy PLATON - 1.7.0 (8.1.7) Blueocean:

Typ wersji: rozwojowa

Data wydania:
Wykaz podstawowych zmian:
Plan prac:
Do zrobienia w ramach wersji:
  • Standaryzacja i udokumentowanie kontenera uruchamiania
  • Zmiana sposobu prezentacji aplikacji
  • Publikacja informacji o sposobie transferu danych do klastra i z klastra
  • Ustandaryzowane zarządzanie zmiennymi środowiskowymi (module)
  • Ograniczenia/limity wykorzystania zasobów dla użytkowników klastra
  • Środowisko graficzne oparte o SL7
  • Blokowanie usuwania współdzielonych danych użytkowników (SCRATCH)
=============================================================
Zrobione w ramach wersji:

 

Typ wersji: aktualna,produkcyjna

Data wydania: 15-04-2017
Wykaz podstawowych zmian:
  • Przeniesienie noda dostepowego klastra na nową platformę sprzętowo/systemową. Dzięki zmianie dostep do klastra (do noda dostepowego) zawiera mechanizmy wysokiej dostepności (HA) co w konsekwencji zminimalizuje niedostępność klastra,
  • Aktualizacja oprogramowania wspierającego: DNS, Firewall, NTP, Logowania (dziennika zdarzeń), PXE/NFS,
  • Zmiana modelu komunikacji z serwerami licencji oprogramowania używanego w klastrze. Nowy model pozwala na bezpośredni dostep do serwerów licencji po separowanym segmencie sieci, co w konsekwencji usprawni komunikację i dostep do serwerów licencji w klastrze,
  • Wdrożenie standardu logowania adminstracyjnego CK. Standard obejmuje cały szereg mechanizmów zabezpieczających środowisko klastra w zakresie: ograniczenia nieuprawnionego dostepu, rozliczalności działań administratorów i użytkowników, bezpiecznego logowania administracyjnego itp.,
  • Wdrozenie rozszerzonego monitoringu wykorzystania zasobów klastra.
 

Historia:

Blueocean v.1.5  (11.12.2015)

Niektóre zmiany wprowadzane w środowisku 1.5:

  • Rozproszony system plików. Dzięki aktualizacji znacznie zwiększy się wydajność, stabilność oraz możliwości rozproszonego systemu plików m.in. mechanizm limitów, wsparcie ACL-i,
  • System kolejkowy - aktualizacja pozwoli uruchamiać obliczenia równoległe (parallel), ponadto daje możliwość bardziej elastycznego zarządzania zasobami klastra
  • Aktualizacja systemów operacyjnych środowiska klastra Blueocean. Dzięki aktualizacji systemów operacyjnych(jądra systemu) użytkownicy klastra będą mieli dostęp do nowych wersji oprogramowania i bibliotek systemowych. Ponadto nowe wersje pozbawione są wielu błędów co pozwoli uzyskać większa stabilność, a zastosowanie nowych rozwiązań poprawi wydajność systemów,
  • Punkt dostępowy klastra - aktualizacja przewiduje wprowadzenie punktu dostępowego (Access gateway), swojego rodzaju pośrednika służącego do logowania, bardziej elastycznego i bezpiecznego dla środowiska.
  • Rozbudowa o nowe nody obliczeniowe - w zasobach klastra pojawią się nowe nody wyposażone w procesory najnowszej generacji (Intel Haswell). Dzięki takiemu działaniu zwiększona w stopniu znaczącym zostanie wydajność klastra w zakresie CPU, pamięci operacyjnej (RAM).
  • Mechanizm przestrzeni lokalnej i przestrzeni rozproszonej, będzie to rozwiązanie które pozwoli zachować proces obliczeniowy niezależnie od działania sieci i systemu rozproszonego - wpłynie znacząco na stabilność środowiska. Ostatecznie po zakończeniu obliczenia automatycznie wyniki przekazywane będą do rozproszonego systemu plików.
  • Interaktywne uruchamianie obliczeń - Dzięki takiej metodzie uruchamiania zadań użytkownik będzie mógł przenieść się do noda na którym rzeczywiście prowadzone są obliczenia (noda obliczeniowego) i tam w sposób interaktywny z poziomu linii komend uruchamiać zadania obliczeniowe. Rozwiązanie było dostępne już w poprzedniej wersji klastra jednak w tej odsłonie zostanie standaryzowane  i opisane.  
  • Zabezpieczenie na poziomie sieci - do infrastruktury klastra zostanie dodany element umożliwiający redundancję połączeń sieciowych. Dzięki takiemu rozwiązaniu znacznie ograniczy się liczba  błędów związanych z niedostępnością rozproszonego systemu plików.
     

Blueocean v1.4 (17.01.2014)

Wygaszana wersja: Bluoeocean v1.4

Niektóre zmiany wprowadzone w środowisku 1.4:

  • Aktualizacja systemów operacyjnych środowiska klastra Blueocean. Dzięki aktualizacji systemów operacyjnych (jądra systemu) użytkownicy klastra mają dostęp do nowych wersji oprogramowania i bibliotek systemowych. Ponadto nowe wersje pozbawione są wielu błędów co pozwala uzyskać większą stabilność, a zastosowanie nowych rozwiązań poprawiło wydajność systemów,
  • Instalacja nowego oraz aktualizacja dotychczasowego oprogramowania użytkowego np.: „Medea Vasp”, ”R Project v3.0.2”, „VirtualGL (3D rendering)”, „TurboVNC”,
  • Przeniesienie infrastruktury zarządzającej klastrem do środowisk wirtualnych. Przejście do środowiska wirtualnego zaowocowało zwiększeniem niezawodności i elastyczności środowiska,
  • Dostęp do środowiska graficznego klastra, który umożliwia wizualizację prowadzonych prac.
  • Zdalny rendering modeli 3D, dzięki takiemu rozwiązaniu możliwe jest przetwarzanie obiektów 3D bezpośrednio w zasobach klastra,
  • Umożliwienie prowadzenia obliczeń wykorzystujących technologię GPU CUDA, Rozbudowa środowiska o karty graficzne wykorzystujące tą technologię. Potencjalny znaczny przyrost prędkości obliczeń,
  • Scentralizowanie systemu uwierzytelniania różnych dystrybucji/nodów klastra. Ujednolicenie sposobu logowania, zmieni system uwierzytelnienia na prostszy w użytkowaniu i bezpieczniejszy,
  • Rozbudowanie zasobów klastra przez włączenie zasobów pochodzących z innych niż CK jednostek PŁ, jako początek integracji środowisk obliczeniowych w jedno spójne środowisko obliczeniowe PŁ. Dzięki nawiązaniu współpracy z ośrodkami: Katedrą Przyrządów Półprzewodnikowych i Optoelektronicznych, Fabryką Inżynierów XXI wieku, Międzyresortowym Instytutem Techniki Radiacyjnej (MITR), które wyraziły zgodę na współużytkowanie części swoich zasobów w ramach klastra Bluecoean, powstaje spójne środowisko obliczeniowe dysponujące większą mocą oraz posiadające szereg nowych funkcjonalności. Dalsze rozmowy z kolejnymi ośrodkami PŁ są prowadzone, mamy nadzieję na szybką finalizację uzgodnień oraz zwiększenie możliwości środowiska klastra Blueocean,
  • Większa i bardziej wydajna przestrzeni składowania. Powodem rozbudowy była szybko kurcząca się przestrzeń przeznaczona na wyniki prowadzonych obliczeń. Rozbudowa umożliwia przechowywanie wyników obliczeń, z którymi praca nie była dotychczas możliwa.

 

Blueocean v1.3 (06.04.2012)

Obowiązująca wersja: Bluoeocean v1.3

Niektóre zmiany wprowadzone w środowisku 1.3:

  • Rozbudowa klastra

W nowej strukturze do obliczeń wykorzystane będą nody IBM x3650 oraz IBM HS22 co powinno znacznie (niemal dwukrotnie) zwiększyć moce obliczeniowe klastra.

  • Zmiana sposobu inicjowania nodów obliczeniowych - administracja centralna.

Zmiana dotyczy wykorzystania mechanizmów PXE oraz synchronizacji nodów z centralnym hostem. Docelowa struktura pozwala na centralne zarządzanie nodami obliczeniowymi. Dzięki temu rozwiązaniu znacznie  ograniczono czas potrzebny na administrację oprogramowaniem oraz zwiększono bezpieczeństwo całego środowiska.

  • Reorganizacja oprogramowania

Instalacja nowego w zależności od potrzeb użytkowników oprogramowania oraz aktualizacja istniejącego. 

  • Wielokrotnie zwiększona przestrzeń składowania !

Dzięki zastosowaniu tanich rozwiązań dyskowych opartych o rozproszony system plików przestrzeń składowania zwiększy się co najmniej kilka razy. Biorąc pod uwagę aspekt bezpieczeństwa środowiska klastrowego wszystkie dane będą zdublowane co pozwoli osiągnąć bezpieczne rozproszone środowisko składowania danych.

  • Oprogramowanie Ansys

Wdrożenie środowiska umożliwiającego wykonywanie obliczeń wsadowych wykorzystując oprogramowanie Ansys w wersji 14.  

 

Blueocean v1.2 ( testowana do 02.2012, autor/twórca: dr. Sebastian Pierzgalski )

Wersja testowa, data zapoczątkownia budowy środowiska: 12.2011, data odstapienia od środowiska: 2.2012.

Wersja 1.2 nigdy nie została wdrożona jako klaster produkcyjny. Wersja ta roboczo nazwana "Redocean" z uwagi na zbyt dużą zależnośc od sieci oraz problemy w administracji klasterm została porzucona.  

Charakterystyczne cechy dla wersji:

- Wersja oparta o środowisko PXE/NFS

- Całkowita zależność od hosta zarzadzającego (SPOF)

 

Blueocean v1.1 ( obowiazywała do 06.04.2012, autor/twórca: dr. Sebastian Pierzgalski )

Wersja obowiązywała do 06.04.2012

Pierwowzór obecnie istniejącej struktury. Na wersji 1.1 były prowadzone obliczenia od ponad roku. Z datą 06.04.2012 klaster został zastąpiony zupełnie nową infrastrukturą: v1.3

Charakterystyczne cechy dla wersji:

- System instalowany bezpośrednio na dyskach twardych zarówno dla hosta zarzadzającego jak i nodów obliczeniowych.

- Zwielokrotniona administracja - per nod ( korzystanie z oprogramowania jeden do wielu takiego jak: parallel-ssh, jak najbardziej spełniało swoją rolę, jednak istniało prawdopodobiestwo niespojności danych/pakietów nodów )

Powrót do usługi