File system clustering su debian: odi et amo 2° parte (Barlumi di funzionamento?)

Rieccoci alla seconda parte della triste vicenda su file system GFS su Debian.

Con la storia precedente vi avevo lasciati su quella fantastica schermata di kernel panic.

Appena arrivato in web farm quindi, avevo subito intuito che il pomeriggio sarebbe stato più lungo e faticoso del previsto, decido quindi di togliermi il giubbotto, agguantare una sedia e mettermi comodo.

Non avendo ben molto da fare incasso il pugno e riavvio la macchina: 1 – 0 Le macchine stanno vincendo.

Al riavvio noto con (dis)piacere che il demone open-iscsi viene si avviato, ma scade in un bel timeout non riuscendo a contattare lo storage, lasciando il boot appeso per un minuto scarso, e me a ravanarmi la capa cercando di capire perchè al secondo tentativo (automatico dopo il timeout) invece la procedura si conclude con successo…

"BAH…sarà da cambiare la priorità agli script di init..poi vedo"

…parte open-iscsi, vengono avviati gli altri demoni, arriva il turno di gfs2….

[ 31.133223] BUG: soft lockup – CPU#0 stuck for 61s!

"ennocazzo allora è vizio questo"

…riavvia di nuovo la macchina, aspetta che open-iscsi si decida di lavorare, aspetta il turno di gfs2…CTRL+C

"fanculo ti ho fregato"

…il boot prosegue, debian sale. Bene adesso rimane da capire PERCHE’ prima open-iscsi ed adesso GFS2 mi fulminano la macchina, controllo le configurazioni, sembrano ok; la rete, ok; va beh riavviamo il demone a manella e speriamo…

:~# /etc/init.t/cman restart
Warning! cman daemon not yet started, trying to start….

Andato O_o

"questa è bella, perchè al boot non parte ed a macchina appena avviata parte??!"

…controllo se tutto è andato bene, volume montato, cluster "joinato", dmesg muto, syslog muto, apparentemente sembra che tutto vada bene si vedono i primi barlumi di funzionamento.

Per esserne sicuro procedo con un altro reboot della macchina..non si sa mai: solita solfa, attendo i demoni e quando arriva il turno di gfs2:

[ 31.133223] BUG: soft lockup – CPU#0 stuck for 61s!

Sembra che vada in timeout quando provi ad entrare dentro al cluster: 2 – 0 Le macchine raddoppiano…

"va bene se mi dici che è un bug probabilmente lo sarà…"

Inizio a surfare il web armato del buon google e l’unica fonte utile che trovo è per l’appunto un bug aperto presso il launchpad di Red Hat (sembra che sto minchia di gfs lo usino in 2 forse 3 al mondo…che culo), dove ad un utente che lamentava lo stesso problema, ma su RHEL, è stato consigliato di upgradare il pacchetto (rilasciato a seguito della sua segnalazione).

"evvai sono fottuto…dove lo prendo un pacchetto più aggiornato adesso"

N.B. SI ho già vagliato l’ipotesi di compilare gfs2-tools a manina e NO è stata la mia risposta, primo perchè non ne avevo voglia, secondo perchè dalla documentazione vista sembra che la compilazione sia una procedura lunga e tortuosa.

come se non bastasse, su SID (avevo vagliato un eventuale pinning dei pacchetti), il pacchetto in questione è rimasto alla stessa versione, ringraziamo mamma debian…

sconsolato e con le mani legate telefono al capo con la coda tra le gambe:

Boss: Si
Io: non ho buone notizie, sembra che il pacchetto gfs2-tools sia buggato…
Boss: e quindi?
Io: e quindi ciccia dobbiamo trovare un altro metodo gfs2 è troppo inaffidabile,
senza contare che su 4 macchine sicuramente non funzionerà.
Boss: Ale devi trovare la soluzione, liferay deve girare su 4 macchine, vedi tu…
[click]

Mentre nella mia testa c’era una voce insistente e persistente che diceva "dai le dimissioniiiiiii, manda tutto a puttane ed apri un bar in brasileeeee" mi resi conto che erano le 19:00 passate e quindi ora di tornare a casa, raccattai la mia roba, misi a posto i ferri e mi incamminai verso la mia macchina…più pensieroso che mai…