WASWUS

[Baso] Wide Failure di Data Center

mangkukmerah — Thu, 19 Apr 2012 14:22:38 +0000

[21:11] Panopta melaporkan Baso down

[21:12] Akses ke Data Center juga gagal , diduga terjadi failure di Data Center, sedang dicoba untuk mengkomunikasikan dengan DC.

[21:15] Ada terjadi problem pada upstream di Data Center dan sedang di periksa oleh teknisi di Data Center

[21:19] Solved, Baso kembali dapat diakses.

Total Downtime 7 Menit 34 Detik

[Baso] MySQL Tidak Stabil

mangkukmerah — Thu, 16 Feb 2012 11:13:56 +0000

[16:00] Mangkuk Merah mendapatkan laporan terkadang koneksi MySQL tidak stabil dan terkadang tidak mau konek

[17:00] MySQL kembali tidak stabil dan menyatakan /tmp penuh padahal kondisi /tmp sudah dibersihkan dengan menjaga soket MySQL, dicurigai permasalahan ada pada hdd.

[18:00] MySQL berjalan normal kembali secara tiba-tiba

[18:12] Setelah melihat kondisi, diputuskan untuk melakukan reboot server yang sudah tidak dilakukan selama beberapa bulan.

[18:18] Graceful Reboot Selesai

[19:30] MySQL masih tidak stabil dengan memberikan error:28 yang berarti disk full. Disk sama sekali tidak full dan masih banyak tersisa.

[19:35] Diputuskan untuk melihat keluar dari standar troubleshooting dan melakukan pemeriksaan untuk inodes dari partisi /tmp

[19:36] Inodes FULL . Diketemukan permsalahannya, walaupun HDD masih kosong, ternyata inodes untuk partisi /tmp sudah penuh.

[19:45] Berusaha untuk memperbaiki masalah inode yang full.

[19:55] Fixed :)

[Sushi] High Load Report

mangkukmerah — Wed, 08 Feb 2012 09:25:54 +0000

[15:54] Server melaporkan High Load

[15:55] Seluruh proses Apache, Nginx , PHP dan SQL di matikan lalu di restart

[15:57] Server kembali normal.

Total Downtime : 1 menit 14 detik

[17:30] Sushi kembali berulah dan kali ini harus di reboot.

Load mendadak naik menjadi 29 dari nilai normal 2-4

[18:03] Currently fsck-ing

[18:31] Fsck masih berjalan

[19:28] Fsck sekarang : 54% . Perlu dipertimbangkan untuk mempensiunkan Sushi dan mengganti dengan server baru atau dipindahkan ke Udon.

[20:36] Sushi up and Running. Pemberitahuan lebih lanjut akan dilakukan segera apakah berpindah server ke Udon atau mengganti dengan server baru.

[Sushi] Down High CPU

mangkukmerah — Thu, 29 Dec 2011 05:12:38 +0000

[12:01] Sushi down dengan laporan High CPU Usage, sedang dicari permasalahannya. Kemungkinan terbesar serangan lagi.

[12:14] Diputuskan untuk dilakukan Remote Reboot karena SSH terkonek namun sangat lambat dikarenakan load yang sangat tinggi

[12:20] Running fsck

[13:31] fsck berlangsung lebih lama dari yang diharapkan, yang ingin akunnya dipindahkan ke server udon harap segera hubungi support

[16:17] fsck masih berlangsung. Beberapa akun sudah dipindahkan ke server Udon.

[18:07] Server Sushi sudah up. Untuk RFO dan SLA akan segera menyusul. Akun klien yang telah dipindahkan akan dikembalikan ke Sushi kembali.

[19:43] Notice RFO dan SLA sudah dikirimkan via eMail kepada seluruh klien yang berada di server Sushi.

[Baso] Down Karena High CPU

mangkukmerah — Thu, 15 Dec 2011 16:01:36 +0000

[22:05] Laporan monitoring memberitahukan proses CPU sangat tinggi

[22:06] Restart Apache, Nginx dan MySQL dilakukan secara bertahap, namun karena akses untuk restart sangat lambat dikarenakan CPU usage yang tinggi, membutuhkan waktu yang lama

[22:10] Proses restart selesai, server UP kembali. Sedang dicari penyebab CPU yang mendadak tinggi dan diketemukan swapping yang cukup besar.