13.05.2024 Intsident - postmortem

Tere,

Kui vint.ee on maas, tuleb sellest kirjutada. Et järeltulevad põlved sellest õppida saaksid.

Eile, 13.05.2024, oli vint.ee maas umbes tund aega (23.00 - 00.00).
Katastroofid juhtuvad kui kokku langevad mitu ebasoodsat asjaolu, nii juhtus ka seekord.

Lugu algab kaks nädalat tagasi kui avastasin, et vint.ee serverit on hakanud pommitama eriti agressiivsed crawlerid / botid. Vint.ee serveri keskmine load oli normaalse 0.5 asemel 3.
Hakkasin siis selle vastu rohtu otsima ja leidsin viisi kuidas nginx tasemel botid ära keelata (user agendi põhjal).
Tegin konfis muudatused ja kõik toimis - botid olid blokeeritud.

Paar päeva hiljem hakkasin muid uuendusi üles panema ja siis selgus, et see nginx konf oli gitis mida ma giti serverisse pushida ei saanud. uuenduste pullimisel serverisse tekkisid aga merge konfliktid. Midagi ma seal susisin ja sain konfliktid lahendatud aga ma ei pannud tähele, et nginx-i konf kadus vint.ee serverist üldse ära.

13.05.2024 õhtul kell 23.00 nginx-i käitumine muutus. Tõenäoliselt tuvastas ta puuduva konfifaili ja, tegi reloadi ja vint.ee oligi maas.

Vint.ee tagasitoomine võttis aga aega. Ja lõpuks sain ma sellega hakkama ainult tänu sõber Kaspari abile:
Nimelt avastasin ma, et nginx-i konfi olid loetud ka vanad mindoku.com konfiguratsioonifailid. Eemaldasin need ära, et nad ei segaks.
Nüüd on aga selgunud, et nendes mindoku konfifailides oli midagi vajalikku, et server kõik need aastad töötaks. Meil läks üle poole tunni et sellest aru saada ja vastavad muudatused nüüd vint.ee konfifailis teha. Ja nii server uuesti tööle hakkaski.

Nüüd aga midagi positiivset:
Oleme saanud viimastel kuudel teateid, et osadest arvutitest vint.ee avades tuleb teade "Ebaturvaline veebileht" vms.
Hetkel on teooria, et see teade tuligi selle mindoku.com konfiguratsioonifailide tõttu ehk äkki saime käesoleva intsidendiga selle vana probleemi lahendatud :) Elame-näeme.

Parimat,
Marten Meikop