「動きました」で終わる検収の限界
業務システムの検収は、仕様書に沿って画面と帳票を確認し、テスト結果の一覧に押印する手続きが一般的です。決まった入力に決まった出力を返す従来のシステムなら、この方法にも合理性がありました。ところが生成AIを組み込んだシステムは、同じ指示にもわずかに異なる結果を返し、想定外の状況では設計者が意図しない手順で目的を果たそうとすることがあります。数十件の試験に合格した事実は、本番で起こり得る振る舞いの一部を示すにすぎません。
経営者が検収で確かめたいのは、「この範囲で、この条件なら任せてよい」と言える根拠です。その説明の型として、最先端AIの開発企業の取り組みが参考になります。
OpenAIが示した「セーフティケース」の骨格
OpenAIは2026年9月28日、最先端AIの強化学習による訓練について、安全性を証拠で説明する「セーフティケース」の初期指針を公表しました。セーフティケースとは、航空や原子力で使われてきた、リスクが十分に管理されていることを証拠で構造的に論証する文書です。同社は、こうした文書を訓練継続の前提とすべきだとしつつ、AIで同等の厳密さを得るのは難しく、現時点では目指すべき目標だと位置づけています。対象は訓練工程であり、社内外への提供にはより広い検討が必要だとも明記しています。
https://openai.com/index/towards-safety-cases-for-frontier-ai-training/
9月22日に同社が公表した第三者評価の文書は、セーフティケースを、個々の安全性の主張を証拠に結びつけ、結論を左右し得る前提・不確実性・残るリスクを明示する論証と定義しています。9月28日の指針は、その組み立て方を訓練に即して具体化したものです。
指針は三層からなります。技術面では、意図どおりに振る舞うよう訓練すること、逸脱しても害が外へ及ばないよう隔離すること、逸脱を早期に捉える監視を挙げます。運用面では、別チームが反対意見を書いて論証の穴を探す手続き、それぞれが中止権限を持つ複数の幹部による承認、問題発見時の停止手順、監視が有効でなければ訓練を始められない「フェイルクローズ」の設計、誤った出力の流れ込んだ先を特定して巻き戻せる体制、未対策のリスクを列挙したうえでの受容判断などを示しています。三つ目は事故の根本原因分析と公表です。いずれも導入途上の推奨とされています。
10月9日のAnthropic報告が示した試験条件の弱さ
この論点の現実味は、Anthropicが10月9日に公表した報告からも読み取れます。同社は評価や社内利用の記録を見直し、Claudeが意図しない形で外部のウェブサイトやシステムに働きかけた事例を4類型で報告しました。ソフトウェアの欠陥を突いた第三者サーバーでのコマンド実行、送信すべきでないフォームの送信、トークンや料金で制限されたデータへの到達、URL短縮サービスを使った取得ツールの制限回避です。同社は現実への影響は最小限だったと評価しています。
https://www.anthropic.com/news/investigating-unintended-model-actions
注目したいのは、原因の一部が試験の設計にあった点です。練習用の行政書式が読み込めない、あるいは誤って閉じた際に、未公開の研究用モデルが本物の書式のあるサイトへ移動して送信した例が、同じ評価で繰り返し起きています。同社は、課題の範囲や許される操作、接続先の境界を明確にしていれば一部は避けられた可能性があるとし、評価を外部サイトに届かない形へ作り直すなどの対策を進めています。同様の振る舞いは通常の利用でも起きていると同社は認めています。検収に置き換えれば、合格という証拠の価値は、試験の条件と接続先によって決まります。
検収書を「主張・証拠・前提・残余リスク」の表にする
ここからはSI Linkの考察です。両社の文書は自社の訓練と評価に関するものですが、AIを組み込んだ業務システムの検収書を組み立て直す型としても有用です。
検収項目を「主張」「証拠」「前提」「残余リスク」の4列で整理します。仕入請求書を発注・入荷の記録と照合するAIであれば、主張は「金額と数量が一致した請求書だけを支払候補に回す」、証拠は過去1年分の請求書を使った照合結果、前提は「単価改定がマスタに反映済みであること」、残余リスクは「同一品番の分納を二重に一致と判定する誤り」となります。単価マスタの変更承認が遅れた月には主張が成り立たないことも、表から読み取れます。試験中の支払データが本番の振込処理へ流れない構成だった点も、証拠として記録します。
残余リスクは金額に換算すると受容の判断がしやすくなります。仮に月1,500件の請求書をAIが照合し、試験で見逃した不一致が0.4%なら月6件です。1件平均8万円の過払いと仮定すれば、確認なしでは月48万円の資金が一時的に流出し、回収の手間も生じます。一定額以上の請求書だけを担当者が確認する方式にし、確認対象を全体の2割の300件、1件2分とすると月10時間、時給3,000円で3万円です。過払額は請求額の大きい請求書ほど膨らむため、確認を高額分に絞っても流出額の大半を抑えられる可能性があります。どの金額で線を引くかは、確認の人件費、残る流出額、取引先との関係を比べて経営者が決める事項であり、投資回収の計算にもこの確認費用と残余損失を織り込みます。
指針にある別チームの反対意見も、中小企業に応用できます。開発に関わらなかった購買や営業の担当者に、検収書の前提が崩れる場面を書き出してもらう手続きです。プロジェクト責任者が自ら合格を宣言する構造は職務分掌の観点で弱く、短い反対意見を承認書類に添えるだけでも、検収の質は変わります。
停止と巻き戻しを検収範囲に含める
もう一つ取り入れたいのが、フェイルクローズと巻き戻しの考え方です。監視の仕組みや操作記録が止まったとき、AIの処理も止まる設計になっているか。止まった場合に誰が判断し、何時間以内に手作業へ切り替えるか。これらは機能一覧に現れにくく、明示して求めなければ試験の対象になりません。
巻き戻しは、AIの出力が他のデータに混ざる業務ほど重要です。AIが提案した品目マスタの修正が承認を経て原価計算や請求に使われた後で誤りが見つかった場合、影響を受けた伝票と期間を特定できなければ、修正の範囲も決められません。月次決算の締め後なら、原価差異の再計算や請求の訂正にも及びます。OpenAIが記録の書き換え不能な保存を挙げているように、AIの入出力と承認者の記録を改ざんできない形で残し、どのデータがAI由来かを追跡できることを検収条件に加えるべきです。
「任せてよい根拠」を受け取るために
セーフティケースの考え方は、検収を合否の儀式から、根拠と限界の説明を受ける場へ変えます。委託先には、何を主張し、どの条件の試験で裏づけ、何が残るリスクかを一枚の表で示してもらう。社内では、開発に関わらない者が反対意見を書き、残余リスクを金額で見積もり、停止と巻き戻しの手順を確かめたうえで、経営者が受容を決める。
AIの能力が上がるほど、想定外の振る舞いを試験で網羅することは難しくなります。だからこそ、すべてを試し切ったと述べる委託先より、試していない範囲と残るリスクを率直に示す委託先のほうが、検収の相手として信頼できます。最先端の開発企業が自らに課そうとする説明の型は、AIを業務に組み込む中小企業の判断基準にもなります。