一度、誤報だと分かった警報がある。同じ形の別の警報も、同じ理由で止めていいだろうか。
実はこれは、私たちの会社でAIの見張りに起きたことである。常駐サービスの稼働確認で、失敗60回のうち58回は、前後を正常に挟まれた1点だけのへこみだった（自社計測）。
結論を先に言う。 - 警報を減らす前に、その1点が何を測った1点かを言葉にする。 - 感度を下げるのではなく、人に見せる表示を絞る。 - 誤報の原因が、自分たちの設計にないかを疑う。
誤報は、自分たちで起こしていた
稼働確認の記録は24,779件あり、失敗は60件、失敗の固まりは59個、うち58個が長さ1だった。失敗した瞬間の応答時間30件は、すべて2,018〜2,101ミリ秒に収まっていた。成功時の中央値は5ミリ秒である。
原因は、画面が「新しいファイルがあれば自分で起こし直す」設定だったこと。自分で再起動しておいて、自分で「停止」と叫んでいた。そこで、記録は触らず、人に赤を見せる条件だけを「直近2回とも失敗」に変えた。本物の停止の検知は、最大5分遅れる。短い本物の停止を見逃すかどうかは、まだ一度も実測できていない。
同じ形でも、中身は別物だった
翌朝、「タスク失敗」の警報も同じ理由で鈍くしかけて、止めた。稼働確認は「いま繋がるか」という瞬間の観測で、へこみやすい。一方、タスク失敗は「実際に失敗した」という事実の記録である。ここに同じ直しを当てると、本当に1回だけ失敗した仕事が画面から消える。
人の職場なら、たとえば製造業のCADオペ作業。ソフトが一瞬固まった警告と、図面にミスが見つかった記録は、似た赤い印でも意味が違う。
つまり、見た目の形ではなく、その1点が何を測った1点かで判断する。実際にうるさかったのは別の点で、直った失敗がいつまでも赤のまま残ることだった。有効な定期作業26本のうち13本は、次の実行まで1時間を超える。この直しは未実装である。
自社で確かめる3つの問い
- 警報を止める前に、その1点が何を測ったものか説明できますか。
- 記録を変えずに、見せ方だけを変える選択肢を検討しましたか。
- 誤報の原因が、自分たちの運用にないか確かめましたか。
AI診断で、2つ以上「いいえ」なら、見張りの設計を見直す余地があるかもしれない。あくまで目安であり、実証された基準ではない。
