【解決済】LogPushの配信が大幅に遅延する・配信ができない

Pocket

状況
通常通りLogPushの全ての機能をご利用いただけます。
引き継ぎ、更に障害を未然に防ぐための監視体制の強化を進めて参ります。

この度は大変ご迷惑をおかけして誠に申し訳ございませんでした。今後ともLogPushをご愛顧いただきますよう、どうぞ宜しくお願い致します。

過去の状況
[2016年03月20日 23:55]
3月20日21時頃からLogPushにてPUSH配信が大幅に遅延したり、配信できない障害が発生しております。

[2016年03月21日 01:16]
3月21日1時より緊急メンテナンスのため、配信を緊急停止しております。

[2016年03月21日 10:00]
3月21日10時より緊急メンテナンスを実施しております関係で、復旧までLogPushをご利用頂けません。メンテナンス終了時刻は未定で、復旧後は再度メールにてお知らせいたします。なお、3月21日午前2時頃から復旧までに配信が予定されているプッシュ通知は、実施されません。誠に申し訳ございませんが予めご了承ください。

[2016年03月21日 21:00]
3月21日午前10時頃より実施しておりましたLogPushの緊急メンテナンスは、3月21日午後9時に完了致しました。今回の障害が原因により、3月20日午後9時頃から3月21日午後6時頃までに配信が予定されていたプッシュ通知は配信されておりません。なお配信の詳細ログでは正常に配信されたように表示されますが、緊急メンテナンス中の情報は正しく記録できておりませんので、後日ほど削除させていただきます。

[2016年03月22日 15:21]
配信が正常に行われなかった可能性がある配信ログを削除しました。

原因
データベースへの負荷が増加したため、ジョブキューが急激に積み上がるようになっておりました。

対処
データベースのI/Oスループットを増強するとともに、キューを処理するノードを拡張しました。