AI開発会社の選び方。実績より先に見る精度の評価方法と運用体制の9か所

AI 開発会社を選ぶとき、最初に開くのは実績一覧であることが多い。「大手製造業の需要予測」「金融機関の社内 RAG」といった行が並び、数が多いほど安心に見える。

だが実績が答えてくれる問いは、思っているより少ない。実績は「似た案件を納めたことがある」ことしか示さない。その案件で精度をどう測ったのか、納めた後に誰がどう面倒を見ているのかは、一覧には書かれていない。そしてこの 2 つが、AI 案件の成否と総額をほぼ決める。

ここでは精度の評価方法と稼働後の運用体制の 2 点に絞って、提案書と見積書のどこを見れば分かるのかを書く。会社選びの全体の観点はAI開発会社の選び方。10のチェックポイントに別途まとめてある。

当番表の埋まり具合が違う3冊の提案書と、針のないメーター

なぜ実績より先に、この 2 点なのか

実績が答えない問いは、具体的には次の 3 つである。

問い	実績一覧から分かるか
その案件は、業務で使える精度に届いたのか	分からない。納品と成功は別
精度は誰が、どのデータで測ったのか	分からない
納品後の 2 年目・3 年目はどうなっているのか	分からない。止まった案件も一覧には残る

AI 開発が従来のシステム開発と違うのは、仕様どおり動いても使えないことがある点にある。文字が読めている、回答が返っている、それでも業務で使えない。使えるかどうかを決めるのは精度であり、精度は測り方で数字が変わる。

もう 1 つ、納品時点が性能のピークになるという性質がある。扱う文書が増え、業務の言葉が変わり、使うモデルが廃止される。放っておけば精度は下がる。だから運用体制が要る。

この 2 点は提案書と見積書に必ず痕跡が残る。書いてあるか、書いていないかで差が出る。

見るところ 1. 精度の評価方法 — 提案書と見積書の 4 か所

1-1. 評価データを誰が作るか、見積書に行があるか

精度を測るには、入力と正解の組が数百〜数千件要る。この正解を付けられるのは、原則として業務を知っている発注側である。

見積書に「評価データ作成」の行があるか。 あれば、その工数と単価を見る
行が無い場合、どちらかである。開発費に溶かし込んでいるか、発注側に無償で作らせる前提になっているか
後者なら、自社側の工数が何人日かかるのかを聞く。ここを聞かずに契約すると、現場の負担として後から降ってくる

誰が測るかには 3 つの型がある。詳しくはAIの精度評価は誰がやるかで費用と独立性を比較した。

1-2. 判定基準が数字で書いてあるか

「高精度を目指します」は基準ではない。見るのは次の形になっているかである。

指標名（正解率・適合率・再現率など）が書かれている
合格ラインの数値が書かれている
その数値の出どころが書かれている。現在の人手の精度は何%か、何%あれば業務が回るのか

3 つ目が最も重要で、かつ最も書かれていない。合格ラインは技術で決まるものではなく、業務の許容から逆算するものである。AIの精度をどう評価するかに指標の選び方を書いた。

1-3. 「測らない範囲」が書いてあるか

良い提案書には、測らない範囲・保証しない条件が書いてある。

対象外の書式・言語・画質
想定していない入力が来たときの挙動
精度が出なかった場合に、どこまで追加で手を入れるか

書いていない提案書は、悪意があるとは限らない。考えていないだけのこともある。どちらにせよ、後から「それは想定外です」で止まるリスクは同じである。

1-4. 合格しなかったときの手順と費用

合格ラインに届かなかったときに何が起きるかを、提案書で確認する。

追加のデータ整備・チューニングは契約の範囲内か、別見積か
何回まで繰り返すのか
それでも届かなかったときに、どう終わらせるのか

ここが書かれていない見積書は、安く見えても最終的な総額が読めない。撤退の線の引き方はAI開発をいつ止めるかにまとめている。

見るところ 2. 稼働後の運用体制 — 見積書の 5 か所

運用費の行が「保守費月額 ○○円」の一行だけなら、中身を分解して聞く。確認するのは次の 5 点である。

2-1. 監視の対象と担当

何を見ているのかを具体的に聞く。「サーバーが動いているか」だけの監視と、「出力の品質が落ちていないか」の監視はまったく別物で、費用も違う。

稼働監視（止まっていないか）
使用量の監視（API 利用料が跳ねていないか）
品質の監視（精度が下がっていないか・おかしな出力が増えていないか）

3 つ目まで含んでいる見積書は少ない。含まれていないなら、誰が気づく役なのかを決める必要がある。設計の全体像はAIシステムの運用監視をどう設計するかに書いた。

2-2. 一次受付の時間帯と連絡経路

受付時間は平日日中か、業務時間に合っているか
連絡経路は個人のメールか、窓口があるか
一次回答までの目安時間が書かれているか

担当者 1 人のメールアドレスだけが窓口になっている体制は、その人が辞めた時点で止まる。

2-3. 再学習・プロンプト更新の頻度と費用

精度を保つ作業が、定額に含まれるのか都度請求かで総額が変わる。

契約の型	向く案件	注意点
定額に含む	更新が定期的に発生する案件	含まれる回数の上限を確認する
都度見積	更新が稀な案件	単価と最低発注量を先に決める

API の実費を誰が持つかも同じ論点である。AI運用費は定額保守か従量精算かで 3 つの契約型を比較した。

2-4. 外部要因で直すときの扱い

モデルの廃止、API の値上げ、提供条件の変更。発注側にも開発側にも非がない理由で改修が必要になる領域である。

モデル廃止に伴う差し替えは保守に含むか
API の値上げ分は誰が負担するか
法規制の変更に伴う対応は別見積か

ここを決めていないと、必要な改修のたびに交渉が発生する。運用費の内訳はAI開発の運用費・ランニングコストの実態にまとめた。

2-5. 引き継げる形になっているか

その会社と続けられなくなったときに、他社や自社が引き取れるかどうか。確認する対象はAI開発の引き継ぎ。保守移行で確認する12項目に一覧がある。見積書の段階では、納品物にプロンプト・評価データ・運用手順書が含まれているかを見れば足りる。

そのまま使える質問文

商談で聞くなら、次の形で短く聞く。答え方そのものが判断材料になる。

「精度は誰が・どのデータで・何を基準に測りますか。評価データを作るのは御社と当社のどちらですか」
「合格ラインの数値は、何を根拠に決めますか」
「合格しなかった場合、追加の作業は契約の範囲内ですか、別見積ですか」
「保守費には、出力の品質の監視が含まれますか。含まれるなら、何を見ますか」
「モデルが廃止されたときの差し替えは、保守に含まれますか」

これらに即答できる会社は、同じ問いを過去の案件で通ってきている。調べて折り返す会社も悪くはない。曖昧なまま話題を変える会社だけが、避ける対象になる。商談全体の質問はAI開発会社との商談で聞くべき30の質問に並べた。

実績はいつ見るか

実績を見るなというわけではない。見る順番と、見る角度が違う。

評価方法と運用体制の説明を聞いた後に、その説明が実績の案件でも実際にそうだったかを確かめる
件数ではなく、1 件を深く聞く。何%を目標にして、実際は何%で、いまも動いているか
「いまも動いていますか」に淀みなく答えられるかどうかが、運用体制の実態をよく表す

2 点を揃えて複数社に聞く

この 2 点は、会社ごとに質問の仕方を変えると比べられなくなる。評価データの作成を当社が持つ前提で答えた会社と、先方が持つ前提で答えた会社では、金額が違って当然だからである。

無料で相見積もりの案件票では、精度の目標・評価データの用意の有無・運用の受付時間・再学習の想定頻度を選択式の項目として揃え、各社に同じ形式で見積もりを出してもらっている。条件を揃えないと見積もりがどう割れるかは相見積もりで条件を揃える12項目で説明した。

まとめ

AI 開発会社の実績一覧は、過去に何を納めたかを示す。だが精度をどう測るかと納めた後をどう支えるかは、そこに書かれていない。この 2 点は提案書と見積書に必ず痕跡が残り、書いてある会社と書いていない会社の差ははっきり出る。見るべき場所は、評価データの行・合格ラインの根拠・測らない範囲・不合格時の扱い、そして監視の中身・受付の経路・再学習の費用・外部要因の負担・引き継げる納品物である。実績はその後、1 件を深く確かめる材料として使えばよい。