書類棚が一杯になったので古い書類を倉庫へ移したら、棚の前で書類を探す人だけが何も見つけられなくなった。そんな経験はないだろうか。
実はこれは、私たちの会社でAIの判断記録に起きたことである。実行することが無くなった記録を1日1回かたづける仕組みを入れた2分後、記録の一覧表示が止まった。気づいたのは1時間50分後である。
結論を先に言うと、持ち帰れることは3つある。 - 記録の片付けは、消すのではなく「空の印」を残す形にする。 - 機械の動作確認だけでなく、人が確かめに行く入口も試す。 - 片付けると、公表済みの数字が縮んで見える。出どころを固定する。
行を抜かず、空の印を残した
記録は、番号で呼ばれている。画面のボタンも、回答の書き戻しも、通知済みの印も、すべて「何番目の記録か」で対象を指す。途中の行を抜くと後ろの番号がずれ、開いたままの画面で押した回答が別の判断に記録されてしまう。
そこで中身だけを別の場所へ移し、番号を守るための空の印を残した。移したのは29件である(実測)。
落ちたのは、人が確かめるための窓だった
一覧表示は、中身のない行から項目を取りに行って停止した。生きた判断は257件あるのに、3件を表示した時点で止まり、254件が見えなくなった(自社計測)。
皮肉なのは、止まったのが機械の経路ではなく、人が手で確かめるための入口だったことだ。機械のための動作は全部動いていて、人が確かめる窓だけが閉じていた。
機械の側は1件も壊れなかった
記録を読むプログラム12本のうち、「退避済み」を知っているのは1本だけだった。残り11本は壊れなかった。全部、条件で絞ってから読む作りだったからである(実測)。設計の意図が効いたとは言い切れない。「絞り込みが結果として安全装置になっていた」が正しい言い方だと、私たちは考えている。
人の職場にたとえるなら、経費の仕訳を処理する担当は、対象の伝票だけを見ていたので影響を受けなかった。無関係な棚を丸ごと見に行った人だけが、困った。
片付けると、過去に公表した数字が縮んで見える
9月9日に公表した「183件」は、台帳だけを数え直すと154件になる。移した29件を足して、ちょうど183件に戻る(実測)。記録を片付けた側が、数字の出どころを固定しておかないと、次に数える人が静かに間違える。
なお、この一覧表示を通す自動試験はまだ無い。今回の穴は、人が使って見つかった。
自社で確かめる3つの問い
- 記録を整理するとき、番号や参照先がずれないか確かめているか。
- 人が手で確かめる入口を、整理のあとに実際に開いているか。
- 公表した数字の数え方と出どころを、1か所に書いているか。
2つ以上「いいえ」なら、任せる仕組みの足元に穴があるかもしれない。目安として、AI診断で確かめてみてほしい。


