FastT-ESX-Cluster-Exchange – migráció – IV. rész

Ott hagytam abba, hogy volt egy jó kis fürtünk, amelynek az egyik lába már Windows Server 2003.

Villámgyorsan (egy óra alatt) elvégeztük a maradék alkalmazások telepítését (MIS Alea, TSM) illetve felkészítésüket a fürtözésre, majd átmozgattunk minden erőforráscsoportot. Minden hibátlan. Még egy gyors ellenőrzés. Igen, minden működik, a régi node-ot el lehet távolítani. (evict node). A parancs kiadása után megjelent egy hibaüzenet, amely arról tudósított, hogy az eltávolítás nem volt tökéletes. Nagyon sajnálom, hogy nem őriztem meg a képernyőt, mert mai tudásommal biztosan állíthatom, soha több nem fogom látni ezt a dialógusablakot. Egy gyors Google-olzás után találtam egy cikket, amely arról szólt, hogy előfordulhat az evict node parancs nem tökéletes lefutása főleg, ha egy vegyes (W2000/W2003) fürtből el szeretnénk távolítani a W2003-at. Ilyenkor a cluster [clustername] /force[clean] paranccsal fejezhető be a művelet. Hát, nálunk a helyzet fordított, egy Windows 2000-es node-ot távolítunk el a Windows 2003-as fürtről, de ettől még a leírtak igazak lehetnek. Hátha maradt valami a quorum logban amit ki kellene takarítani, nézzük meg azt a forceclean kapcsolót úgysem hallottam még róla.

Megnéztem a súgót is – lásd az Exchange migárció fotóalbumban – és eléggé ködös magyarázatot találtam: „Manually restores the configuration of the cluster service on the specified node to its original state” Hát ez lehet akár jó is. Nézzük meg parancssorbó, hátha az bőbeszédűbb:

 cluster /forceclean /?

 Nos, ezt nem kellett volna. Az eredmény alapján már egyértelmű volt a /forceclean kapcsoló jelentése. Nem, nem az eltávolítás utáni takarítás…

Hadd legyek teljesen pozitív: végre sikerült megtalálni az egyetlen olyan törlési parancsot, amelyet nem bástyázott körül a Microsoft öt-hat megerősítési kérdéssel, semmi olyan, hogy „tényleg a kardodba dőlsz?” vagy legalább annyi, hogy „Biztos?”. Ez a parancs hanyag eleganciával eldobta a „/?” kapcsolót, majd a hiányzó clusternevet automatikusan behelyettesítve TÖRÖLT MINDEN CLUSER INFORMÁCIÓT, BELEÉRTVE A SERVICE-T IS!!!

Aha… Így utólag persze érthető. A Windows 2003-ban nem kell „telepíteni” a cluster szolgáltatást, az rajta van a rendszeren, csak kb. életre kell kelteni, inicializálni kell. A forceclean az eredeti, inicializálás előtti állapotot hozta vissza. Windows 2000-es fogalmakkal ez egy precíz UNINSTALL. (És persze itt nem volt semmilyen gátló tényező, az eljárás „hibamentesen” lefutott.)

Szombat este tízkor tehát volt egy hibátlan fürtünk egyetlen Windows Server 2003-as node-al, amelyről egyszer csak lekaptuk a clustert. Gyors helyzetfelmérés: Az Exchange 2000 adatbázis már 2003-as, sőt minden 2003-as. A korábbi node-ra visszaút nincs. A Windows Server 2003-ról –hiszen éppen csak létrehoztuk – nincs systemstate mentés. Újra adódik a kérdés: mit csináljunk? Dobjunk el mindent, építsük fel újra a node-ot, próbáljuk meg megetetni a teljesen új Exchange 2003-al a régi adatbázis? Vagy vadásszunk elő valahogy egy épkézláb Quorum adatbázist és próbáljunk meg azzal elindulni?

Ez utóbbi választottuk. Az ötlet mögött az volt az elgondolásunk, hogy tulajdonképpen mindenünk megvan, csak egy (nem OSI értelemben vett)  prezentációs, vagy még inkább virtualizációs réteg hiányzik. Az viszont ott van egy jó quorum adatbázisban. Ha sikerül egy olyan varázslat, amely azt a quorumot megszólítja, elindítja, akkor még van keresnivalónk. Gondolom a szakszöveg elhagyása kellőképpen mutatja a határozottságunkat…

Először azzal a fürttaggal próbálkoztunk, amelyiket utolsóként eltávolítottunk a fürtből, mert az eltávolításkor épp ki volt kapcsolva. A /resetquorumlog kapcsoló sem segített rajta. Fura hibaüzenetet adott vissza, de megfejtettük: a fürttag azért nem indult, mert a másik fürttag eltávolította a fürtből. Igen, tényleg ez történt. Akkor nem marad más hátra Systemstate restore azon a gépen, ahol készült systemstate. Továbbra sem indult. Újabb töprengés következett, majd egy briliáns ötlet: használjuk fel a 2 GB-os eredeti lemezt. Wááoohhh, ahogy az amerikaiak mondanák. Szerencse a sok szerencsétlenségben! Mégiscsak van nekünk egy mentésünk a Windows Server 2003-as fürttagról! Igaz még nincs rajta az Exchange, de azt majd ráimádkozzuk. Némi gépújraindítgatás, már ment is az elfuserált rendszerlemezű „mentésünk”. És igen, a fürt elindult, csurom panasz, hogy nincsenek bizonyos erőforrástípusok regisztrálva (persze az Exchange-ek), de ami elindulhatott az elindult. Mielőtt újra megnyújtanánk a lemezt, próbáljuk ki az Exchange telepítést. Feldobjuk, menni fog, kinyújtjuk újra azt a fájlt, aztán minden rendben lesz. Nos, az Exchange nem volt hajlandó települni. Először úgy tűnt, hogy kevés a hely, de aztán minden tömörítés után kiderült, hogy nem hajlandő felmenni sehogy. Egy működő system attendant-ot várt a „másik node”-on. Olyannal nem szolgálhattunk.

Ekkor már hajnali négy óra volt és Viktornak el kellett mennie. Néhány korábban használt gyors parancsot még levésett nekünk, aztán sűrű bocsánatkérések közepette elment. Pedig nem kellett volna bocsánatot kérnie, sőt csak mi tartoztunk neki köszönettel, hogy ilyen sokáig záporoztak az ötletei.

Azt hiszem ez volt az egész átállás legkétségbeejtőbb pillanata. Elvileg mindent tudtunk, ami az ESX-es induláshoz kell, és Viktor véső soron ezért volt itt, ugyanakkor azt éreztem, hogy a slamasztikából az húzna ki minket, ha évg nélkül ontanánk a megoldási javaslatokat. Többen, többet gondolhatunk, ez pedig megmenthet minket.

Nagyon szeretek bölcseletet olvasni, kinaiakat, hindukat, tibetieket, görögöket. Ők valahogy úgy bíztattak volna: ha az aggodalmaskodás elveszi a higgadtságodat, akkor megfosztattál az eszköztől, amely a bajból megmentene. Türelem, távolság a problémától, alázat. Ezek az előfeltételek.

Nem emlékszem már pontosan, hogyan történt. Azt bizosan tudom, hogy én mondtam, a clusdb a quorum adatbázis egy olyan példánya, amelye a node rendszerlemezén, a WINNTcluster könyvtárban található. Az igazi quorum betöltése előtt ezt használja a fürttag, a „legalább ennyit tudok” elve alapján. A helyi clusdb mondja meg, hogy hol is van a tényleges quorum adatbázis. Később a rendszer eldobja és a tényleges quorumot tölti be, majd abból készít egy új, helyi clusdb-t. A próbálkozások egy fázisában a szombat délután legelőször eldobott fürttag clusdb-jével próbáltuk megetetni azt a Windows 2000-es fürttagot, amelyet utóbb távolítottunk el a clusterből. Persze nem jutottunk eredményre. Viszont végre feltettük magunknak azt a döntő kérdést, ami a megoldás felé lendített minket: MI A QUORUM ADATBÁZIS? A válasz: A Quorum adatbázis egy registry hive. Csak semmi misztika. Betölthető, „kézzel” szerkeszthető. És a semmiből jött még egy felismerés: a /forceclean mindent törölt, ami a fürttel kapcsolatos a node rendszerlemezéről, de meghagyta a quorum lemez MSCS könytárát és annak teljes tartalmát. Vagyis, van nekünk egy hozzávetőlegesen jó adatbázisunk, fürttag nélkül. És végül az ötlet: mentsük le az eredeti MSCS könyvtárat, inicializáljunk egy új cluster, majd, dobjuk el az így létrehozott quorum adatbázis és a helyi clusdb-t, viszont másoljuk a helyükre az eredeti MSCS könytárban található adatbázis állományt.

Így is lett. Indítás (debug kapcsolóval): a fürt nem indult, mert nem volt a clusdb-ben definiált node a fürtben.. Hmm. Igen a regedit azt mutatta, hogy a quorum csak egy node 2-ről tud. Nosza, kézzel átkalapáltunk minden node 2 hivatkozást node 1 – re. Ezután más hibát kaptunk. Nincs a clusdb-ben definiált network interface – kézzel töröltük a clusdb-ből. Újabb indítás: egy másik interfész is felesleges. Töröltük. Újabb indítás: ÉS ELINDULT A FÜRT!! Háromnegyed hét, vasárnap reggel.

Nem csak a fürt, de annak erőforrásai is elindultak, beleértve az Exchange-et is. Igaz az erőforrásokhoz tartozó checkpoint elveszett, de ezt javítani tudja egy Resource Kit utility. Ettől kezdve már kétségtelen volt a majdani siker. Hazaballagtunk reggelizni és bedobni egy kávét Krisztiánnal. Halász Jani kollégánk is elköszönt tőlünk, így kemény magként ránk hárult a maradék munka elvégzése.

A reggeli után végre visszaköthettük az eddig SAN kapcolat nélküli ESX-02.es gépet. Miközben mi a fürtöt próbáltuk helyre tenni Viktor beállította azt a HBA konfigot, amely nem „rángatja” a SAN LUN-okat. Jó munkát végzett, az új ESX is jól működött. Jani ennek az ESX-nek a helyi lemezén készített elő egy virtuális gépet, ezt most a megfelelő SAN LUN-ra másoltuk. Ezután ESX-01 lekapcsolás, hogy az ESX-02 lefoglalhassa a lemezeket. Az új virtuális gép knofig állományát átszerkesztettük, hogy ő is lássa a neki szánt LUN-okat. Az utolsó lemezt vagy háromszor kellett felvinni, mire tényleg meg is látta, ma sem tudom, hogy miért. Miután meggyőződtünk arról, hogy az M04 látja a mjadani lemezeit, lekapcsoltuk, majd az őt hostoló ESX-02-őt is. Indulhatott az ESX-01, rajta az M03, azon meg a kijavított fürt. M04-en fürt inicializálás, csatlakoztatás az M03-hoz. Elsőre!! Exchange telepítés az M04-en. Hibátlanul.

Győztünk.

Vasárnap, délután egy óra. Még felraktuk a  vírusirtót, a mentési szoftvert és az Exxhange antivírusát, és azt mondtuk kész. Persze nem volt kész teljesen, maradtak még elvarratlan szálak, de a felhasználók szepontjából minden működött, és ez volt a fontos.

Huhh. Van egy kétnode-os virtuális szerverekre alapozott fürtünk, valódi LUN-okkal. Szép az élet. Szeretem.

3 Responses to FastT-ESX-Cluster-Exchange – migráció – IV. rész

  1. Petrenyi Jozsef says:

    Ember… ez valami hihetetlen történet – de benne van a szakma minden szépsége.:)

  2. Tamas says:

    Köszönöm. Őszintén szólva nem gondoltam, hogy ekkora csavarok lesznek benne. Ha nincs ez a forceclean, akkor éjfélig végeztünk volna. Sak kis alattomos hibácskákkal küzdöttünk. Valahogy úgy érzem, hogy megéri. Egy petákot sem kapunk a túlóráért, egészen biztosan belső lelki szükséglet, hogy állandóan a "Legyen Ön is Milliomos" húszmilliós kérdéseire keressem a választ IT témakörben.

  3. Andrew says:

    re, en ezt vegigszoptam 2007 el , 2003 al is , nem rossz a tortenet (en nem szoptam ennyit :D ) , legkozelebb irj :]]]andras

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: