生成AIの回答はそのまま使わない｜必ず人が最終確認する理由

こんにちは!Legal Agent 代表弁護士の朝戸です。

生成AIは、契約書のドラフトづくりやリサーチの下調べを驚くほど速くこなしてくれます。法務の現場でも、NDA(秘密保持契約)のたたき台を数分で出してもらったり、長い業務委託契約書の要点を箇条書きにしてもらったりと、活躍する場面が増えてきました。便利さは本物だと感じています。

その一方で、出てきた回答をそのまま使ってしまったために、思わぬ失敗につながる場面も見てきました。たとえば、AIが作った「秘密保持義務の存続期間は契約終了後5年」という条文案を、確認せずにそのまま相手方へ送ってしまい、後から自社の社内基準は3年だったと気づく、といったケースです。条文としては自然に見えるので、読んだだけでは違和感に気づきにくいのです。

法務で生成AIを使ううえで、最も基本となる考え方は「最後は必ず人が確認する」ことだと考えています。この記事では、なぜ人の確認が欠かせないのか、どの場面で何を確認すればよいのかを、具体的な例を交えながら整理します。

AIは「自信ありげに間違える」ことがある

生成AIの厄介な特徴は、事実と異なる内容でも、自然で自信ありげな文章で答えてしまうことがある点です。専門的には「ハルシネーション(もっともらしい誤り)」と呼ばれます。条文番号、判例、数字、固有名詞などを、実在しないのにそれらしく作ってしまうことがあります。

法務は、正確さが決定的に重要な仕事です。「だいたい合っている」では足りません。たとえば、損害賠償条項のレビューを頼んだとき、AIが「民法第415条により債務不履行責任を負う」と書いてきたとして、条番号が正しいか、その条文が本当にその場面に当てはまるかは、人が原典で確かめる必要があります。

だからこそ、AIの回答は「正しいかもしれない下書き」として扱い、人が裏取りをすることが欠かせないと考えています。下書きとして使えば非常に有効ですが、最終的な成果物として無条件に信じるのは危険です。

AIは「自社の事情」を知らない

もう一つの限界は、AIが自社の固有の事情を知らないことです。自社のリスク許容度、これまでの交渉の経緯、過去の取引実績、相手方との力関係、社内の決裁ルールなどは、AIの知らない情報です。

たとえば、ある業務委託契約で、相手方が提示した「損害賠償の上限は委託料1か月分」という条項について、AIは一般論として「上限が低めなので交渉の余地があります」と答えるかもしれません。しかし、その取引が自社にとって戦略的に重要で、多少不利でも早く始めたい案件なのか、それとも代替先がいくらでもある定型業務なのかによって、結論は変わります。この判断は、事情を知る人にしかできません。

同じように、解除条項についてAIが「無催告解除を認めるのは不利です」と指摘したとしても、その相手方とは長年の信頼関係があり、現実にそこまで警戒しなくてよい関係かもしれません。一般論として正しくても、自社にとって最適とは限らないのです。AIの回答を採用するかどうか、相手方に出すかどうかは、最終的に人が判断する必要があります。

どの場面で、何を確認するか

確認といっても、すべてを同じ深さで見る必要はありません。場面ごとに、見るべき点が違います。実務で意識したい確認のポイントを整理します。

• 事実(条文番号・判例・数字・日付・固有名詞)は、原典で裏を取る
• 一般論が、自社の状況や立場に本当に合っているかを考える
• 外部(相手方・取引先)に出す文章は、出してよい内容・表現になっているかを確認する
• 自社に不利な方向の条項(損害賠償・解除・知的財産の帰属など)ほど、慎重に読む
• 契約金額が大きい案件、個人情報や秘密情報を扱う案件ほど、人がしっかり読む

特に、秘密保持条項の存続期間、損害賠償の上限額、知的財産権の帰属先といった「数字や帰属が一文字違うだけで結論が変わる箇所」は、AIの出力を鵜呑みにせず、必ず目で追って確認することが大切だと考えています。

良い役割分担は「AIが下準備、人が判断」

では、どう付き合えばよいのでしょうか。私は「AIが下準備、人が判断」という分担が現実的だと考えています。

AIに任せやすいのは、契約書の要約、論点の洗い出し、修正案のたたき台づくり、社内向けメモの初稿づくりといった下準備です。一方で、人が担うのは、自社のリスク許容度に照らした判断、相手方に出すコメントの強さの調整、法令解釈が分かれる論点の見極め、そして最終的に受け入れるかどうかの決定です。

たとえば、NDAのレビューであれば、AIに「秘密情報の定義・目的外利用の禁止・存続期間について、受領者側に不利な点を挙げて」と下準備をさせ、人がその指摘を取捨選択し、自社の立場に合わせて相手方向けのコメントに仕上げる、という流れです。こうすると、スピードを上げながらも、品質と責任を手元に残せます。

「AIに任せる」のではなく、「AIと一緒に進めて、最後は自分が決める」。この姿勢が、法務で生成AIを安全に使う土台になると考えています。

サンプル:最終確認を前提にした頼み方(基本形)

確認を前提にする姿勢は、頼み方の段階から組み込んでおくと習慣になりやすいです。まずは基本形として、不確かな箇所を正直に申告させるプロンプトを紹介します。

あなたは企業法務の補助をするアシスタントです。
次の契約条項について、考えられる論点を挙げてください。

条件:
・条文番号や判例を挙げる場合、不確実なものには「要確認」と明記すること
・推測で番号や事実を作らないこと
・最終判断は人が行う前提で、断定せず「論点」として示すこと

【ここに条項を貼り付け】

このように頼んでおくと、AIが不確かな点を隠さずに出してくれるため、人が確認すべき箇所を見つけやすくなります。

サンプル:相手方に出す前のセルフチェック(応用形)

応用形として、AIに作らせたコメント案を、外部送付の前に自分でチェックするためのプロンプトです。AIの出力を、別の視点でAI自身に点検させるイメージです。

次の文章は、相手方に送る予定の契約修正コメントの案です。
送付前のチェックとして、以下の観点で気になる点を挙げてください。

・自社の秘密情報や社内事情が、不用意に書かれていないか
・表現が強すぎて、交渉を硬直させるおそれがないか
・事実や条文の引用で、確認が必要な箇所はどこか

なお、最終的な送付可否と表現の調整は人が行います。

【ここにコメント案を貼り付け】

ここで挙がった「確認が必要な箇所」は、必ず人が原典や社内資料に当たって確かめます。AIのチェック結果も、あくまで参考意見として扱うことが大切です。

よくある失敗

最後に、現場で見聞きしやすい失敗を挙げておきます。

一つ目は、AIが作った条文案を確認せずにそのまま契約書に貼り付けてしまうことです。一見整っていても、自社の社内基準(秘密保持期間や賠償上限など)とずれていることがあります。

二つ目は、「AIがそう言ったから」を社内外への説明の根拠にしてしまうことです。AIの回答は根拠になりません。最終的な責任は、それを採用した人と会社にあります。

最後に多いのが、急いでいるときほど確認を飛ばしてしまうことです。重要案件や急ぎの案件ほど、確認を省いた結果のダメージが大きくなりやすいので、忙しいときこそ最終確認を残す運用が大切だと考えています。

使うときの注意点

• どんなに精度が上がっても、人による最終確認を省く運用は避けることが望ましいです
• AIに入力する内容に、秘密情報や個人情報が含まれていないかを、入力前に確認することが大切です
• 「AIがそう言った」は、社内外への説明や書面の根拠にはなりません
• 確認の手間を減らしたいときは、確認を省くのではなく、頼み方を工夫して確認しやすい出力にすることが有効だと考えています