Telah terjadi DOS attempt pada salah satu akun yang dihosting di Mangkuk Merah pada pagi hari pukul 09:13 WIB. Langkah preventif sudah dilakukan dengan suspend sementara akun tersebut dan null-route beberapa IP yang memiliki koneksi lebih dari 200.
[Sushi] Down via DOS Attempt
[09:13] Panopta melaporkan adanya downtime
[09:20] Server masih bisa di ping namun sangat lambat saat diakses. Dilakukan netstat untuk memeriksa koneksi yang tersambung dan diketemukan koneksi abnormal dari beberapa IP yang menyerang satu akun yang dihosting di Mangkuk Merah.
Beberapa contoh koneksi
5409 173.2xx.xxx.xxx
2265 173.2xx.xxx.xxx
2233 173.2xx.xxx.xxx
1537 173.2xx.xxx.xxx
1506 173.2xx.xxx.xxx
[09:40] IP yang memiliki koneksi lebih dari 200 sudah di null-route kan dan akun yang menjadi incaran DOS sudah di suspend sementara.
[09:43] Restart Apache dilakukan
[09:45] Sushi UP kembali
Total Downtime : 39 Menit 58 Detik
[Baso] RFO (Reason For Outage) Untuk Outage 03 November 2011
RFO dari Data Center sudah keluar. Berikut keterangan RFO dari Data Center :
“Pada pukul 08:24 Terjadi pemadaman listrik PLN selama 1 Menit, pada saat Sumber listrik menyala,teganggan listrik melebihi batas toleransi dari UPS (Over Voltage), sehingga UPS on batere melebihi kapasitas backup time UPS selama 10 menit. “
[Baso] Hardware Failure di Data Center
[08:30] Pertama kali terasa ada yang melambat di Baso dan Panopta melaporkan timeout tetapi masih bisa diakses.
[09:05] Baso tidak resolve. SSH tidak dapat diakses. Dilakukan inquiry via telfon ke DTP untuk menanyakan masalah yang terjadi. Dilaporkan bahwasanya terjadi hardware failure dari sisi data center.
[09:10] Data center menyatakan ETA akan berlangsung secepat mungkin tanpa memberikan kepastian lamanya terjadi hardware failure. Update akan diberikan via Email oleh Data center dan Mangkuk Merah akan meneruskan update dari Data center kepada klien via wasw.us.
[09:42] Server Baso resolve kembali. Menantikan RFO dari pihak Data center. Total downtime 51 Menit 32 Detik
[Sushi] Apache tidak Stabil
[16:00] Apache yang baru di upgrade tidak stabil dan menyebabkan beberapa website tidak dapat diakses. Beberapa website tetapi aman dan dapat diakses dengan baik.
[16:15] Dilakukan perubahan di MaxClients dan ServerLimit Apache. Apache di rebuild kembali
[16:45] Apache kembali tidak stabil, dan beberapa website kembali tidak dapat diakses.
[17:18] Masih dicari penyebab Apache tidak stabil
[19:35] Beberapa value FastCGI diubah, terutama di IOTimeOut , tetap tidak memberikan hasil.
[20:00] Diputuskan untuk mencoba berpindah ke suPHP . Dilihat kestabilannya.
[21:20] Stabil dan tidak diketemukan masalah lagi di Apache. Workaround : Sementara berpindah dahulu ke suPHP sebagai Apache Handler.