Klaster obliczeniowy (PL/HPC) - roadmap

Powrót do usługi

Stan obecny usługi

Usługa HPC jest obecnie w fazie rozwojowej, wszystkie zamiany będą na bieżąco zamieszczane na stronie.

Aktualnie  dostępna  dla użytkowników jest wersja  klastra v.1.5.

Blueocean v.1.5  (11.12.2015)

Niektóre zmiany wprowadzane w środowisku 1.5:

  • Rozproszony system plików. Dzięki aktualizacji znacznie zwiększy się wydajność, stabilność oraz możliwości rozproszonego systemu plików m.in. mechanizm limitów, wsparcie ACL-i,
  • System kolejkowy - aktualizacja pozwoli uruchamiać obliczenia równoległe (parallel), ponadto daje możliwość bardziej elastycznego zarządzania zasobami klastra
  • Aktualizacja systemów operacyjnych środowiska klastra Blueocean. Dzięki aktualizacji systemów operacyjnych(jądra systemu) użytkownicy klastra będą mieli dostęp do nowych wersji oprogramowania i bibliotek systemowych. Ponadto nowe wersje pozbawione są wielu błędów co pozwoli uzyskać większa stabilność, a zastosowanie nowych rozwiązań poprawi wydajność systemów,
  • Punkt dostępowy klastra - aktualizacja przewiduje wprowadzenie punktu dostępowego (Access gateway), swojego rodzaju pośrednika służącego do logowania, bardziej elastycznego i bezpiecznego dla środowiska.
  • Rozbudowa o nowe nody obliczeniowe - w zasobach klastra pojawią się nowe nody wyposażone w procesory najnowszej generacji (Intel Haswell). Dzięki takiemu działaniu zwiększona w stopniu znaczącym zostanie wydajność klastra w zakresie CPU, pamięci operacyjnej (RAM).
  • Mechanizm przestrzeni lokalnej i przestrzeni rozproszonej, będzie to rozwiązanie które pozwoli zachować proces obliczeniowy niezależnie od działania sieci i systemu rozproszonego - wpłynie znacząco na stabilność środowiska. Ostatecznie po zakończeniu obliczenia automatycznie wyniki przekazywane będą do rozproszonego systemu plików.
  • Interaktywne uruchamianie obliczeń - Dzięki takiej metodzie uruchamiania zadań użytkownik będzie mógł przenieść się do noda na którym rzeczywiście prowadzone są obliczenia (noda obliczeniowego) i tam w sposób interaktywny z poziomu linii komend uruchamiać zadania obliczeniowe. Rozwiązanie było dostępne już w poprzedniej wersji klastra jednak w tej odsłonie zostanie standaryzowane  i opisane.  
  • Zabezpieczenie na poziomie sieci - do infrastruktury klastra zostanie dodany element umożliwiający redundancję połączeń sieciowych. Dzięki takiemu rozwiązaniu znacznie ograniczy się liczba  błędów związanych z niedostępnością rozproszonego systemu plików.

 

 

Plany rozwoju usługi

Plany rozwoju skupiają się wokół utworzenia coraz bardziej wydajnego środowiska obliczeniowego z zachowaniem norm przyjętych w CK Politechniki Łódzkiej.

- Organizacja kolejek, przydziału zasobów

- Wizualizacja prowadzonych prac

- Wirtualizacja kluczowych elementów klastra w celu zapewnienia niezawodności.

- Integracja uwierzytelniania z Centralnym Katalogiem Użytkowników PŁ

- Zmiana systemu kolejkowego na PBS Torque

- Wdrożenie kolejnych środowisk programistyczno-obliczeniowych zakupionych w projekcie PLATON.

 

Historia

Blueocean v1.4 (17.01.2014)

Wygaszana wersja: Bluoeocean v1.4

Niektóre zmiany wprowadzone w środowisku 1.4:

  • Aktualizacja systemów operacyjnych środowiska klastra Blueocean. Dzięki aktualizacji systemów operacyjnych (jądra systemu) użytkownicy klastra mają dostęp do nowych wersji oprogramowania i bibliotek systemowych. Ponadto nowe wersje pozbawione są wielu błędów co pozwala uzyskać większą stabilność, a zastosowanie nowych rozwiązań poprawiło wydajność systemów,
  • Instalacja nowego oraz aktualizacja dotychczasowego oprogramowania użytkowego np.: „Medea Vasp”, ”R Project v3.0.2”, „VirtualGL (3D rendering)”, „TurboVNC”,
  • Przeniesienie infrastruktury zarządzającej klastrem do środowisk wirtualnych. Przejście do środowiska wirtualnego zaowocowało zwiększeniem niezawodności i elastyczności środowiska,
  • Dostęp do środowiska graficznego klastra, który umożliwia wizualizację prowadzonych prac.
  • Zdalny rendering modeli 3D, dzięki takiemu rozwiązaniu możliwe jest przetwarzanie obiektów 3D bezpośrednio w zasobach klastra,
  • Umożliwienie prowadzenia obliczeń wykorzystujących technologię GPU CUDA, Rozbudowa środowiska o karty graficzne wykorzystujące tą technologię. Potencjalny znaczny przyrost prędkości obliczeń,
  • Scentralizowanie systemu uwierzytelniania różnych dystrybucji/nodów klastra. Ujednolicenie sposobu logowania, zmieni system uwierzytelnienia na prostszy w użytkowaniu i bezpieczniejszy,
  • Rozbudowanie zasobów klastra przez włączenie zasobów pochodzących z innych niż CK jednostek PŁ, jako początek integracji środowisk obliczeniowych w jedno spójne środowisko obliczeniowe PŁ. Dzięki nawiązaniu współpracy z ośrodkami: Katedrą Przyrządów Półprzewodnikowych i Optoelektronicznych, Fabryką Inżynierów XXI wieku, Międzyresortowym Instytutem Techniki Radiacyjnej (MITR), które wyraziły zgodę na współużytkowanie części swoich zasobów w ramach klastra Bluecoean, powstaje spójne środowisko obliczeniowe dysponujące większą mocą oraz posiadające szereg nowych funkcjonalności. Dalsze rozmowy z kolejnymi ośrodkami PŁ są prowadzone, mamy nadzieję na szybką finalizację uzgodnień oraz zwiększenie możliwości środowiska klastra Blueocean,
  • Większa i bardziej wydajna przestrzeni składowania. Powodem rozbudowy była szybko kurcząca się przestrzeń przeznaczona na wyniki prowadzonych obliczeń. Rozbudowa umożliwia przechowywanie wyników obliczeń, z którymi praca nie była dotychczas możliwa.

 

Blueocean v1.3 (06.04.2012)

Obowiązująca wersja: Bluoeocean v1.3

Niektóre zmiany wprowadzone w środowisku 1.3:

  • Rozbudowa klastra

W nowej strukturze do obliczeń wykorzystane będą nody IBM x3650 oraz IBM HS22 co powinno znacznie (niemal dwukrotnie) zwiększyć moce obliczeniowe klastra.

  • Zmiana sposobu inicjowania nodów obliczeniowych - administracja centralna.

Zmiana dotyczy wykorzystania mechanizmów PXE oraz synchronizacji nodów z centralnym hostem. Docelowa struktura pozwala na centralne zarządzanie nodami obliczeniowymi. Dzięki temu rozwiązaniu znacznie  ograniczono czas potrzebny na administrację oprogramowaniem oraz zwiększono bezpieczeństwo całego środowiska.

  • Reorganizacja oprogramowania

Instalacja nowego w zależności od potrzeb użytkowników oprogramowania oraz aktualizacja istniejącego. 

  • Wielokrotnie zwiększona przestrzeń składowania !

Dzięki zastosowaniu tanich rozwiązań dyskowych opartych o rozproszony system plików przestrzeń składowania zwiększy się co najmniej kilka razy. Biorąc pod uwagę aspekt bezpieczeństwa środowiska klastrowego wszystkie dane będą zdublowane co pozwoli osiągnąć bezpieczne rozproszone środowisko składowania danych.

  • Oprogramowanie Ansys

Wdrożenie środowiska umożliwiającego wykonywanie obliczeń wsadowych wykorzystując oprogramowanie Ansys w wersji 14.  

 

Blueocean v1.2 ( testowana do 02.2012, autor/twórca: dr. Sebastian Pierzgalski )

Wersja testowa, data zapoczątkownia budowy środowiska: 12.2011, data odstapienia od środowiska: 2.2012.

Wersja 1.2 nigdy nie została wdrożona jako klaster produkcyjny. Wersja ta roboczo nazwana "Redocean" z uwagi na zbyt dużą zależnośc od sieci oraz problemy w administracji klasterm została porzucona.  

Charakterystyczne cechy dla wersji:

- Wersja oparta o środowisko PXE/NFS

- Całkowita zależność od hosta zarzadzającego (SPOF)

 

Blueocean v1.1 ( obowiazywała do 06.04.2012, autor/twórca: dr. Sebastian Pierzgalski )

Wersja obowiązywała do 06.04.2012

Pierwowzór obecnie istniejącej struktury. Na wersji 1.1 były prowadzone obliczenia od ponad roku. Z datą 06.04.2012 klaster został zastąpiony zupełnie nową infrastrukturą: v1.3

Charakterystyczne cechy dla wersji:

- System instalowany bezpośrednio na dyskach twardych zarówno dla hosta zarzadzającego jak i nodów obliczeniowych.

- Zwielokrotniona administracja - per nod ( korzystanie z oprogramowania jeden do wielu takiego jak: parallel-ssh, jak najbardziej spełniało swoją rolę, jednak istniało prawdopodobiestwo niespojności danych/pakietów nodów )

Powrót do usługi