Wybrane problemy techniczne budowy infrastruktury informacyjnej i komunikacyjnej

Infrastruktura IT służy organizacjom do świadczenia szerokiego zakresu usług, które, aby zachować konkurencyjność, muszą być nieustannie rozwijanie. W związku z tym, organizacje zobligowane są do zwiększania mocy obliczeniowej i uruchamiania nowych serwerów, na których pracować będą nowe usługi. Sytuacja, w której organizacje zmuszone są do ciągłego wzrostu ilości serwerów fizycznych, prowadzi do pojawiania się typowych trudności. Bez wątpienia dodanie nowych serwerów fizycznych do istniejącej infrastruktury, poza kosztem samych maszyn, generuje powiększenie kosztów związanych z zasilaniem, chłodzeniem, utrzymaniem i administracją infrastruktury. Często stosowaną praktyką jest przydzielanie pojedynczego serwera fizycznego do obsługi pojedynczej aplikacji. Wyskalowanie go w sposób, który uchroni zainstalowaną aplikację przed ewentualnymi wzrostami obciążenia doprowadza do sytuacji, w której na przykład zasoby samego procesora wykorzystane są na poziomie 10%. Sprawia to, że zwrot z takiej inwestycji, często wypada niekorzystnie. Kolejnymi trudnościami bez wątpienia staje się administracja coraz większą liczbą serwerów fizycznych, przez co pracownicy departamentów IT swój czas poświęcają na zadania związane z ich utrzymaniem, zamiast na strategiczne projekty, które zwiększają jakość usług a co za tym idzie maksymalizują zyski organizacji.

Odpowiedzią na wyzwania związane ze wzrostem ilości serwerów i niewykorzystaniem ich możliwości sprzętowych są rozwiązania wirtualizacyjne. Technologia wirtualizacji pozwala na instalację systemu operacyjnego i aplikacji w serwerze wirtualnym, których to następnie duża ilość może pracować na pojedynczym, fizycznym serwerze x86. Dzięki temu wartość współczynnika konsolidacji przekracza 10 maszyn wirtualnych na jeden procesor fizyczny. Każde obciążenie, które kiedyś wymagało dedykowanego serwera fizycznego oraz znacznego nakładu pracy administracyjnej, przy pomocy tej technologii, w łatwy sposób może być umieszczone na maszynie wirtualnej.

Istniejący na rynku producenci oprogramowania do wirtualizacji, dostarczają szereg narzędzi i technologii do jeszcze lepszego wykorzystania zasobów informatycznych. Możliwe jest połączenie wielu rożnych fizycznych serwerów x86 w zdefiniowaną grupę serwerów (klaster), która obejmuje ich procesory, pamięć operacyjną i zasoby dyskowe. Maszyny wirtualne są wtedy przypisane do grupy, a nie do pojedynczego serwera, co sprawia, że odpowiednie narzędzia potrafią utrzymywać równowagę obciążeń pojedynczych serwerów wchodzących w skład grupy według wcześniej zdefiniowanych reguł. Kolejne mechanizmy służą między innymi do migracji pracujących maszyn wirtualnych między serwerami fizycznymi w celu zapewnienia ustalonego poziomu usług, w momencie, gdy obciążenie maszyny wzrasta. Możliwe jest również nie tylko budowanie klastrów wydajnościowych, ale także klastrów wysokiej dostępności (HA). A podczas gdy wiele maszyn wirtualnych pracuje w zdefiniowanej grupie serwerów, wykorzystanie dostępnych zasobów procesorowych przekracza poziom 70% co zwiększa zwrot z inwestycji zakupionych serwerów fizycznych.

Wirtualizacja serwerów to obecnie już nie tylko trend, a pewnego rodzaju standard. Rośnie liczba organizacji, które już wdrożyły rozwiązania wirtualizacyjne, zapewniając skuteczną konsolidację i hermetyzację serwerów fizycznych, dzięki czemu już zdecydowanie obniżyły koszty posiadania i eksploatacji zasobów IT, usprawniły zarządzanie, zwiększyły poziom utylizacji sprzętu i przede wszystkim odpowiednio przygotowały się na wzrost.


Piotr Harasimowicz, Michał Małka

Udostępnianie serwerów obliczeniowych w badaniach naukowych i technicznych


Komputerowe wspomaganie badań naukowych jest współcześnie realizowane na wielu etapach pracy badawczej i dotyczy różnych jej aspektów. Zdarza się, że podczas przeprowadzania eksperymentów w tradycyjnych laboratoriach badacz napotyka na liczne trudności związane z dokładnym śledzeniem zachodzących procesów. Dlatego duża część badań przeprowadzana jest obecnie z wykorzystaniem symulacji komputerowych, zanim zespół badawczy przystąpi do pracy eksperymentalnej. Konstruowane są modele komputerowe badanych obiektów i na nich wykonuje się pierwsze testy i analizy. Do przeprowadzania takich symulacji konieczne jest korzystanie z infrastruktury HPC (High Performance Computing).

Rozwój technologii komputerowych i sieciowych w ostatnich latach pozwolił na osiągnięcie wydajności komputera rzędu 1 PetaFlop/s. Superkomputery ostatnich lat często bazują na rozwiązaniach i technologiach klastrowych, zaś klastry, przez stosowanie coraz szybszych sieci połączeń i dedykowanych rozwiązań, stają się podobne do superkomputerów. Sieci gridowe rozwijają się równie dynamicznie. Rozwiązywanie niektórych problemów jest możliwe z wykorzystaniem silnie rozproszonych struktur, jakimi są gridy, część problemów wymaga jednak dostępu do superkomputerów o architekturze SMP (Symmetric Multiprocessing) i NUMA (Non-Uniform Memory Access). Budowane są także superkomputery o architekturze specyficznej, projektowanej pod kątem rozwiązywania konkretnego problemu lub klasy problemów (np. oparte o programowalne układy FPGA, czy VLSI).

Wychodząc naprzeciw powyższym wyzwaniom realizowany jest aktualnie projekt PL Grid, jego celem jest dostarczenie polskiemu środowisku naukowemu usług gridowych, pozwalających na realizację w ramach programów określanych mianem e Science wykorzystania zaawansowanych technologii informatycznych do badań naukowych w takich dziedzinach jak: fizyka, astronomia, chemia, biologia, meteorologia, medycyna i inne. Cel główny projektu zostanie osiągnięty poprzez następujące działania:
• budowę infrastruktury produkcyjnej i, po jej uruchomieniu, bieżące zarządzanie polskim gridem,
• umożliwienie działania gridów dziedzinowych,
• dostosowanie gridu do wymagań użytkowników,
• testowanie i instalacja oprogramowania aplikacyjnego,
• zapewnienie wsparcia użytkownikom gridu.

Budowana polska infrastruktura gridowa będzie „kompatybilna” i „interoperacyjna” z gridem europejskim i światowym, i podejście to do udostępniania usług obliczeniowych (skoordynowane i spójne) jest jednym z elementów, które może podnieść konkurencyjność polskich badań naukowych.

Józef Janyszek, Agnieszka Kwiecień

Koordynacja partnerstwa w wirtualnych systemach informacji przedmiotowej

Wspólne przestrzenie informacyjne systemów wirtualnej organizacji działań – WOD i konkretne wirtualne sieci zasobów danych cyfrowych – D i wiedzy przedmiotowej – WP: e-SD&WP kształtują metody wymiany plików inspirowane zastosowaniami architektury P2P do integracji zasobów. Wspólne przestrzenie informacyjne budowane są w infrastrukturze sieciowo konsolidowanych, rozproszonych serwerów i sieciowej integracji zasobów cyfrowych. Pojawiają się „gridowe” środowiska usług infrastruktury informacyjno-komunikacyjnej, struktury P2P partnerskich zasobów cyfrowych. Przykładem może być infrastruktura informacyjna i komunikacyjna Sieci laboratoriów WOD. Chodzi o organizację wymiany danych konsolidującą procedury tworzenia i wymiany dokumentów źródłowych w schematach WP poszczególnych partnerów WOD.

Problemowo zorientowane systemy integracji danych i pozyskiwania informacji, których zasobami są odpowiednio strukturalizowane zasoby D i WP, kształtują struktury infosfery KsBO-MSI.

Zasoby D to dokumenty informacji prymarnej (dokumenty źródłowe) w postaci plików komputerowych. Sposoby tworzenia zasobów D określają technologie digitalizacji, sieciowego gromadzenia i obiegu dokumentów (skanowanie, indeksowanie, przechowywanie, odtwarzanie i archiwizacja).

Struktura zasobów WP wynika z rozumienia wiedzy jako interpretacji zasobów D i reprezentowania tej interpretacji jako wiedzy wykorzystywanej i generowanej w procesach myślowodecyzyjnych człowieka. WP jest więc pojęciem funkcjonalnym, a zasoby WP to nie tylko technologie gromadzenia zasobów D i dostęp do problemowo zorientowanej informacji (dokumenty pozyskiwane z zasobów D), lecz także stan umysłu człowieka (stan wynikający z interpretacji zasobów D), zestawiane w schemat WP (modelach skojarzeniowych), tworzonych przez człowieka (human factors technologii WOD).

Sieci te to wspólna przestrzeń informacyjna – wirtualne środowisko informacji – potrzebne w kształtowaniu struktur cyfrowej organizacji działań. Wspólna przestrzeń informacyjna kształtowana jest przez gridowe środowisko aplikacji sieciowej integracji zasobów D i pozyskiwania WP. Mówimy o wirtualnych systemach informacji przedmiotowej (osobowej, zespołowej itd.), wykorzystywanych dla koordynacji partnerstwa i działań kooperacyjnych w pojawiających się strukturach cyfrowej organizacji działań społeczeństwa informacyjnego.

Architektura P2P udostępnia rozproszone mechanizmy wymiany, wynikające ze znaczenia partnerstwa, m.in. tzw. sąsiedztwa, czy znajomości. W architekturze P2P nie istnieje schemat globalnego opisu zasobów. Grupy partnerów mogą tworzyć sieci – wirtualne systemy informacji przedmiotowej (osobowej, zespołowej itd.) – dla rozwiązywania różnorodnych zadań, z koordynacją partnerstwa i działań kooperacyjnych w różnorodnych strukturach cyfrowej organizacji działań. W architekturze P2P partnerzy wymieniają między sobą polecenia, realizują te polecenia, a serwery pełnią rolę centralnych katalogów i wspomagania wyszukiwania zapotrzebowań informacyjnych partnerów. Zasada działania sieci polega na tym, że wszyscy partnerzy włączani są w proces wymiany plików. Zwykle plik dzielony jest na fragmenty stanowiące jednostki wymiany. Niezbędna jest kontrola autentyczności fragmentów. W architekturze P2P odwzorowywane są procesy wymiany danych. P2P składa się z otwartej sieci rozproszonych aplikacji sieciowych partnerów (ang. peer), gdzie każda aplikacja może wymieniać dane i usługi ze zbiorem innych aplikacji, tworzących zbiór jego znajomych (ang. acquaintances). Zakłada się, że aplikacje są w pełni autonomiczne w wyborze swoich znajomych. Ponadto zakłada się, że nie ma kontroli w formie globalnych rejestrów, usług, ani globalnego zarządzania zasobami. Dane pamiętane w różnych bazach danych mogą mieć współzależność (semantyczną). Związki te mogą być wyrażane za pomocą formuł koordynacyjnych określających sposób powiązań aplikacji z jego znajomymi. Formuły koordynacyjne wymuszają spójność danych i propagację uaktualnień. Dodatkowo aplikacje wymagają znajomości protokołu wymiany i ustalenia poziomu koordynacji między nimi. Poziom koordynacji powinien być dynamiczny, co oznacza, że zestaw formuł koordynacyjnych może się zmieniać w zależności od tego, czy powiązania między parami są luźne, zacieśniają się, czy są w ogóle likwidowane (z powodu zmiany zainteresowań i zadań poszczególnych aplikacji). Przy tak dynamicznych zmianach nie można przyjąć istnienia globalnego schematu dla wszystkich zasobów danych w sieci P2P, a nawet dla wszystkich znajomych zasobów danych. Co więcej, zmiany te oznaczają, że partnerzy powinni mieć możliwość wzajemnej integracji przy minimalnej interwencji człowieka. Mamy więc do czynienia ze środowiskiem dynamicznym i rozszerzalnym. Partnerzy mogą wchodzić i wychodzić z systemu. Partner wchodząc do systemu wnosi swoje dane, swoje schematy oraz odwzorowania między schematami swoimi i swoich partnerów. W ten sposób dynamicznie kształtuje się sieć na różne sposoby powiązanych ze sobą systemów współpracujących w procesach integracji i wymiany danych. Wymiana danych między partnerami wiąże się z problemami koordynacji tej wymiany oraz integracji danych w procesie wymiany.

Różnorodne systemy WOD łączą, poprzez środowisko informacyjne, funkcje i zadania partnerów współdziałania.
Inaczej niż dotąd – w tradycyjnych zastosowaniach komputerów i sieci komputerowych – trzeba spojrzeć m.in. na kwestie strukturalizacji środowiska informacyjnego współdziałania, ponieważ współdziałanie odwzorowywane jest w sieciowo gromadzonych zasobach danych cyfrowych D, uwzględniających różne sposoby dostępu do danych i ich interpretacji jako odpowiednich kategorii wiedzy przedmiotowej – WP.

Punktem wyjścia budowy różnorodnych e-SD&WP jest strukturalizacja sieciowego gromadzenia danych cyfrowych,
a także synteza usług koordynacji ich wymiany. Rezultatem jest ustanawianie partnerstwa we współdziałaniu, które wynika z ustalenia reguł koordynacji współdzielenia partnerskich zasobów danych cyfrowych (peer digital data resources).

Podczas tworzenia warunków partnerstwa w środowisku wirtualnych systemów informacji przedmiotowej napotykamy na kilka problemów, które należy rozwiązać. Pierwszym z jakim mamy tutaj do czynienia jest tworzenie mechanizmu zarządzania informacją w oparciu o syntezę reguł partnerstwa. Reguły partnerstwa ustalają zasady, bądź współpracy ludzi w rozwiązywaniu ustalonych zadań, bądź współdziałania organizacji (rozwiązywanie wielozadaniowych problemów).

Reguły współdziałania wirtualnych systemów informacji przedmiotowej zakładają że zbiór wszystkich danych w sieci P2P składa się z lokalnych (relacyjnych) baz danych. Każda z baz zawiera zbiór znajomych, który definiuje topologię sieci P2P. Między każdą parą partnerów definiowane są odwzorowania pozwalające na transformację danych, przy czym odwzorowania te powinny być odkrywane automatycznie na podstawie dostępnych metadanych, takich jak schematy czy ontologie. Bardziej złożone zależności semantyczne między danymi w różnych bazach danych mogą być definiowane za pomocą tzw. formuł koordynacyjnych. Formuły koordynacyjne mogą być użyte na dwa sposoby. Po pierwsze, do definiowania ograniczeń, które muszą zostać spełnione przez zbiór relacji. Po drugie, formuły koordynacyjne mogą być użyte do tworzenia zapytań.

Nie mniej ważnym problemem w wirtualnych systemach informacji przedmiotowej jest utrzymywanie wirtualnego środowiska informacji, a w szczególności struktur wirtualnych sieci danych cyfrowych i wiedzy przedmiotowej w procesach koordynacji przepływu informacji we wzajemnej (interaktywnej) wymianie partnerskich zasobów danych. Do rozwiązania tych problemów możemy korzystać z algorytmów zarządzania, takich jak np. Pastry, EpiChord i in.

Jednym z poważniejszych problemów z jakimi się spotykamy w procesach koordynacji przepływu informacji jest wiele jednoczesnych zmian (przyłączeń i odłączeń) różnych węzłów sieci.

Dla zapewnienia niezawodności sieci, węzły sąsiadujące wymagają uaktualnień z węzłami dołączanych lub opuszczających sieć. Jeżeli tablica tras węzła straci dokładność, wzrośnie opóźnienie systemu spowodowane wysyłaniem wiadomości do nieistniejącego węzła. Jeżeli zjawisko to będzie dalej wzrastać, sieć zacznie się dzielić, znacznie obniży się wydajność i jakość sieci. Mechanizmy utrzymania sieci wymagają skutecznych metod znajdowania nieaktualnych wpisów w tablicach tras i zamiany ich na aktualne.

Ponieważ wyszukiwanie zapytań w sieci i utrzymanie ruchu sieci leżą u podstawy przepustowości łącza, to utrzymanie ruchu powinno zostać ograniczone tylko do tego, co jest ściśle potrzebne do posiadania precyzyjnej tablicy tras. Intuicyjnie, utrzymanie ruchu przez węzeł powinno być proporcjonalne do tempa zmian jego sąsiadów. Dlatego algorytmy utrzymania powinny być skonstruowane w taki sposób, by zawierać skuteczne mechanizmy radzące sobie z tak dynamicznymi zmianami.

Literatura:
[1] Tarłowski P., Pankowski T., Koordynacja wymiany danych w środowisku P2P, Rozdział w książce pt. Bazy Danych
– Struktury, Algorytmy, Metody; Wydawnictwo Komunikacji i Łączności, Warszawa 2006, s. 37-45
[2] Kierzkowski Z., N’Sir M., Talaga Z., Tarłowski P., Współdziałanie i nauczanie w przemianach strukturalnych społeczeństwa
informacyjnego, Biuletyn Organizacyjny i Naukowo- Techniczny Stowarzyszenia Elektryków Polskich – Artykuły naukowe i techniczne, wrzesień (9) 2007; s. X-XII
[3] Tarłowski P., Koordynacja partnerstwa w środowisku informacyjnym współdziałania, XI Seminarium problemowe WOD: Technologie i kultura współdziałania w społeczeństwie informacyjnym, Sesja problemowa: Budowa wirtualnego środowiska informacji – temat główny, Polkowice 15-16 listopada 2007, Towarzystwo Naukowe Prakseologii – Sieć Laboratoriów WOD, Wydawnictwo SORUS, WarszawaŁódź- Olsztyn-Polkowice-Poznań 2007, Plan-Tematyka-Tezy (opracowanie: Z. Kierzkowski), s. 15

Piotr Tarnowski