2025年1月11日0時頃から同1時頃までの障害について

概要

#

2025年1月11日0時頃から同1時頃にかけて発生した連合先インスタンスからの投稿がタイムラインに表示されない障害についての文章です。(真面目な文章ではありません)

障害発生時刻

#

2025年1月11日0時頃

障害復旧時刻

#

2025年1月11日1時頃

障害内容

#

https://negi.usbharu.devにおいてInboxが詰まり、連合先インスタンスからの配送の処理が止まりました。投稿がタイムラインに表示されず、リアクションなども受け取れていませんでした。

障害範囲

#

• https://negi.usbharu.devに存在する全てのローカルアカウント

発生原因

#

多分リモートユーザーの中にピン留めノートの数がすごい多い人がいて、制限に引っかかってエラーが発生しそのままリトライになった結果Inboxが爆発したと思われる。ちゃんとした調査はしてない。

一次対応

#

• Inboxのジョブキューの設定を大幅に強化し、パワーでぶん殴りました。
• ジョブの強制リトライを手動実行しました。
• リモートユーザーに対してピン留めノート数の制限を大幅に緩めました。

今後の対応

#

• ジョブキューの監視をおこない早期に対処できるようにします。
• GTLの監視をおこないInboxの問題を早期に対処できるようにします。

障害経緯

#