demoGRID logo

A demoGRID projekt részletes leírása megtalálható az interneten. Csapatunk (Budavári Tamás, Csabai István, Frei Zsolt, Katona Gergely, Popping Attila, Purger Norbert és Sipos Balázs) azt vállata, hogy, egyrészt a Sloan Digital Sky Survey (SDSS) adatbázisát itthon elindítja, és GRID rendszerbe kapcsolja, másrészt a GRID rendszer kihasználásával asztrofizikai problémákat old meg. Ez utóbbi vállalás is az SDSS adatainak felhasználására épül.

A demoGRID projekt (87639263 azonosító számmal) az ITKA pályázatán 2001-ben sikerrel vett részt. A pályázat sikeréhez személyesen is hozzájárultunk (lásd a személyi részt, pályázati anyag, elsõ kötet), ill. a pályázatban vállalásainkat munkaszakaszokra bontva is rögzítettük (lásd a második kötet 29. oldalát). A sikeres pályázat pénzügyi feltételeit a szerzõdés mögötti belsõ költségvetésben mindenki egyezõ akaratával rögzítettük.

2002 tavaszán sikerrel zártuk az elsõ munkaszakaszt. Hardware fejlesztés: beszereztük az SDSS adatbázisának tanulmányozásához szükséges számítógépet, és részt vettünk az ELTE TTK-n a GRID-es infrastruktúra fejlesztésében (nagysebességû kapcsolók beszerzését finanszíroztuk). Elvégeztük az SDSS adatbázisának tanulmányozását, és fejlesztettük a csillagászati képek feldolgozásához szükséges szoftvert. A munkaszakaszról készült beszámolót a projekt vezetõjének megküldtük.

Részletek az elsõ munkaszakaszról:

Az SDSS tudományos adatbázisának két verziója létezik. Az elsõ verzió az Objectivity objektum-orientált adatbázisát használja. Az SDSS tervezési fázisa idején ugyanis az objektum-orientált adatbázisok nagy ígéretként voltak jelen. Azóta a trend megfordult, a relációs adatbázisok behozták lemaradásukat, sõt visszaszorították az objektum-orientáltakat, új szoftverek jelentek meg. Így létrejött egy a Microsoft SQL serverére alapozott verzió is. Jelenleg az SDSS mindkét verziót támogatja, a friss adatok az Objectivity adatbázisból érhetõek el a belsõ kutatóknak, a publikus hozzáférés pedig az utóbbin keresztül valósul meg elsõsorban

A demo grid szempontjából mindkét változatnak vannak elõnyei és hátrányai, késõbbi döntésünket azonban fõként a praktikus szempontok határozták meg. A Microsoft SQL Server adatbázison alapuló verzió az adatokon kívül viszonylag kis hozzáadott szoftver részt tartalmaz, felállítása, karbantartása egyszerûbb.

Mindezekkel a tanulmányokkal párhuzamosan az elos3 szakaszban elkészült egy szoftver, amely alkalmas csillagászati képek feldolgozására, a GRDI-es környezetben is (olyan exe file-t eredményez, ami a Condor rendszerbe könnyen integrálható, lásd alább). Katona Gergely és Sipos Balázs (jelenleg negyedéves fizikushallgatók elsõ díjat nyertek ezzel a munkával ez ELTE TDK konferenciáján).

Az elsõ munkaszakasz teljes beszámolója elérhetõ az interneten.

2002 nyarán sikerrel zártuk a második munkaszakaszt is. A VIRGO laborban sikeresen bemutattuk az újonan felállított SDSS adatbázist. Továbbfejlesztettük az adatbázis technológiát, és letöltöttük az un. Early Data Release (EDR) adatait). Részletes munkabeszámolónkat errõl a szakaszról is elkészítettük.

Részletek a második munkaszakaszról:

Ebben a fázisban egy adatbázis szervert szereztünk be. Az ezen installált rendszert kell a késõbbiekben több példányban replikálni. A hardver maga egyelõre 1 db adatbázis szerver gép: 1.7 Ghz-es Pentium processzor, 800 MHz FSB, 512 Mb memória, RAID vezérlõ, 4*80 Gb diszk az adatoknak + 40 Gb az operációs rendszernek és a telepített és tesztelt szoftvereknek.

A Microsoft a kutatásokat támogatandó és az ELTE-n dolgozó kutatók munkáját elismerve, ingyenesen rendelkezésünkre bocsátott egy Microsoft SQL Server adatbázis programot, és a hozzá szükséges Windows 2000 Server operációs rendszert és fejlesztõ eszközöket.

Az SDSS adatbázisának elsõ, azóta már publikált részletét, az úgynevezett Early Data Releaset (EDR) hoztuk el, majd töltöttük be a MS SQL adatbázisba. Az adatbázis mûködik, használható. Hogy képet kapjunk a tipikus sebességekrõl, számos keresést futtatunk végig.

A Web services és a Grid kapcsolata:

A "Web services" egy új technológia, amely ígérete szerint könnyen alkalmazható, platform független szétosztott adat- és programkezelést támogat. A nemrégiben felmerült ötlet, hogy ez a technológia nem csak az üzleti rendszerekben használható - ahol a létrehozó cégek azt erõteljesen terjesztik, - azóta is lázban tartja a szakmát. A Web services segítségével elvileg szinte ugyanazok a célok megvalósíthatóak, amit a Grid filozófia el?revetített, pl. a számítási kapacitás szétosztása "volunteer computing" rendszerben, úgy hogy az erõforrások kívülrõl nézve könnyen hozzáférhetõek és platform függetlenek legyenek.

A Web services használatában az a nagy lehetõség rejlik, hogy egy olyan szoftvert használjunk, amely mögött jelentõs (és nem utolsósorban jelentõs összegekkel támogatott) fejlesztés áll, amely várhatóan egy hatékony, széleskörben elterjedt ipari szabványt eredményez. Kicsit hasonlít talán a helyzet ahhoz, mint ami a hardver szintjén bekövetkezett az Intel processzorok használatával: a speciálisabb (pl. tudományos célra fejlesztett) szuperszámítógép processzorok, vagy pl. a párhuzamos programozásra kifejlesztett Transzputerek, nem bírták felvenni a versenyt, a szélesebb körben terjesztett így nagyobb ipari háttérrel támogatott processzorokkal, így gyakorlatilag teljesen kiszorultak. Az akadémiai és üzleti szférában fejlesztett rendszerek kölcsönhatásáról szintén számos példát hozhatnánk (pl. a WWW illetve a HTML története). A folyamat egyik legutóbbi mozzanataként megemlíthetjük a Globus Toolkit 3.0 verziójában tervezett Open Grid Services Architektúrát, mely explicit módon a Web services és az eddig hagyományosnak mondható Grid szoftverek integrációját t?zi ki célul.

Összfoglalva, a Web services jól kapcsolódik az általunk kiválasztott adatbázishoz, demo szintû használata egyben a Grid mozgalom egyik legújabb törekvését is jól demonstrálja.

Popping Attila ERASMUS keretében érkezett az ELTE-re Hollandiából, és Frei zsolttal szorosan együttmûködve megkezdte az SDSS adatainak letöltését, az elõbb említett adatbázison túl azoknak a képeknek a letöltését, amelyeken a korábban fejlesztett szoftverek GRID-es környezetben futtathatók majd le.

Az második munkaszakasz teljes beszámolója ugyancsak elérhetõ az interneten.


Email remarks to frei@zsolt-frei.net
This page was last updated on Oct 12, 2002.