FastT-ESX-Cluster-Exchange – migráció – II. rész

A kényszerű várakozást azzal töltöttük, hogy megnéztük a storage firmware verzióit, letöltöttük a legfrissebbeket, kicseréltük a lejárt szavatosságú storage cache akkumulátort stb. A teljes leállás háromnegyed hattól indult. Azért döntöttünk a teljes leállás mellett, mert a firmware frissítések a teljes SAN-t érintették, és ilyenkor jobb az óvatosság. Tehát sorrendben előbb a fiókokat, aztán az egyik majd másik kontrollert is újabb mikrokóddal láttuk el. A FastT 500-as kontrollereinek legutolsó firmware sorozata az 5.30-as. A Redbookok mindenhol 5.40-es verzióval, vagyis már a DS4000-es tárolórendszerekkel készültek, de ez nem zárta ki, hogy a leírtak nálunk ne működhetnének. Befejezésképp le kellett futtatnunk egy NVSRAM scriptet mindkét  storage kontrolleren, eleget téve a  VmWare ide vonatkozó ajánlásának.

Miután úgy láttuk, hogy minden működik, megkezdtük a HBA kontrollerek cseréjét, a storage átkonfigurálását (meg kell adni, hogy melyik partícióban melyik HBA kártyák jelennek majd meg), végül a SAN switchek aktualizálását. Elindítottuk a kiszolgálókat. Minden működött, de már elmúlt kilenc óra. (Jöttek is a telefonok, miszerint szeretnének a felhasználók a JDE rendszerbe belépni, meg internetezni, VÁM ügyeket intézni. Sajnos a kérést nem lehetett teljesíteni.)

Következett a SAN switchek azon konfigurációjának betöltése, amellyel a múltkor úgy megborítottuk a rendszerünket. És… most is elhasalt minden. Ez nem lehet igaz!! De most minden szakértő itt volt. István előkapta a storage logot… és láss csodát: Egyrész azt láttuk, hogy az clusterünk által használt LUN-ok átugrálnak a B kontrollerre, majd vissza. A kapcsolási ábráról látszik, hogy a fürt csak az A kontrollerről éri el a LUN-okat, egy ilyen költözés tehát teljes összeomláshoz vezet. De miért is költözik át minden, amikor a már említett VmWare ajánlást figyelembe véve kikapcsoltuk az Auto Volume Transfer szolgáltatást?

Khhmm. Hát azért, mert az ESX-02 meg nem képes az A kontrollerrel kommunikálni! Egyszerűen kénytelen magához rántani a LUN-okat. A clusterünk meg vissza, erre az ESX-02 újra erősködik… Megvilágosodott bennünk, hogy a migrációt kicsit másképp kell lebonyolítani. Az ESX-02 HBA kontrollereit lehúztuk a SAN-ról és úgy döntöttünk, hogy az ESX-01 hosttal és az azon futó Guest OS-el indulunk el. De ez nem volt elég az üdvösséghez. Az ESX-01-et indítva azt tapasztaltuk, hogy a beállított preferált útvonal ellenére egy másodpercre mégiscsak a másik kontrollerre kerültek a LUN-ok. Mint kiderült, a HBA kártyák PCI slotokban való sorrendje meghatározta, hogy melyik HBA éled fel először. A VmWare ajánlása a feltöltött harmadik kapcsolási rajz. Ott mindkét kontroller minkét SAN switchhez kapcsolódik, így egy 2 HBA-s ESX legalább négy utat ismer fel egy adott LUN felé, és kontrollerváltást még csak véletlenül sem kezdeményez. A mi szűkös portszámunk miatt ezt a kapcsolást majd csak a legvégső fázisban lehet megvalósítani, ezért „kézzel” kellett biztosítani, hogy az ESX biztosan az A kontrollert használja. Ezt úgy értük el, hogy felcseréltük a PCI kártyákat. (Először némi kommunikációs hiba miatt a kábeleket is felcseréltük, vagyis, mintha semmit sem csináltunk volna. Később ezt javítottuk. Volt olyan ötletünk is, hogy letiltjuk a második kártyát, de ezt végül elvetettük.) Az egyes próbálkozások után az ESX kiszolgálót folyton kellett indítani, ami legalább hat-hét perc volt, így aztán „repült az idő”. Végül azt kaptuk, amit szerettünk volna: az ESX-01 nem bántotta az LUN elérési útvonalakat induláskor. Jöhetett a fürtünk: ESX-01 lekapcsolás, fürttagok indítása, majd ESX-01 indítása… és VÉGRE MINDEN RENDBEN MŰKÖDÖTT. Nem voltak ftdisk hibák, egyáltalán nem volt semmi de semmi hiba. Csak az idő járt hajnali fél kettő felé.

Úgy döntöttünk, hogy nem folytatjuk, csak másnap. Viktor csak déutánra tudta magát ígérni. Lett volna kolléga a BCSS-től, aki felválthatta volna, de túlságosan sok időbe telt volna belerázódnia a projektbe. Inkább elhalasztottuk a migrációt szombat délután négyre.

 

Folytatom…

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: