条文番号・出典は必ず自分で確認する｜生成AIの落とし穴

こんにちは。LegalAgent 代表弁護士の朝戸です。

生成AIに法律のことを尋ねると、条文番号や判例、出典をすらすらと答えてくれます。「下請法では支払期日は60日以内と定められています」「最高裁の判例があります」といった具合に、いかにも詳しそうに返ってくるので、とても便利に見えます。

ところが、ここに大きな落とし穴があります。その条文番号や判例が、実在しないことがあるのです。AIに「個人情報保護法の第○条」といった条番号を挙げてもらい、念のため公式データベースで引いてみると、内容がまったく別の条文だった、ということが実際に起こり得ます。文章としては自然で自信ありげなので、知らなければそのまま信じてしまいそうになります。

法務の信頼は、結論だけでなく、その結論を支える出典の正確さで決まります。生成AIの回答は調査対象を探す入口として使い、条文、判例、行政資料の存在と内容は、それぞれの一次情報で確定する作業が必要です。

AIは存在しない条文・判例を作ることがある

生成AIは、もっともらしい条文番号や判例名を、実在しないのに作ってしまうことがあります。専門的には「ハルシネーション(もっともらしい誤り)」と呼ばれる現象です。文章として自然なので、知らないと気づきにくいのが怖いところです。

特に注意したいのは、具体的であればあるほど信じやすくなる、という点です。「○○法第○条第○項」「最高裁○年○月○日判決」といった精密な引用ほど、本物らしく見えます。たとえば、業務委託契約の偽装請負リスクを尋ねたときに、AIが実在しない通達番号を挙げてくることがあります。番号の桁数や形式が整っているので、つい本物だと思ってしまうのです。

具体的な引用ほど、そのまま信じず、自分で確認することが大切だと考えています。

なぜ間違えるのか

理由を知っておくと、確認の必要性が腑に落ちると思います。生成AIは、意味を理解して正確に引用しているのではなく、大量の文章のパターンから「それらしく続く言葉」を組み立てています。条文番号も、内容を参照して引いているのではなく、「この文脈ではこういう番号が来そうだ」という形で出力していることがあります。

そのため、形式は正しそうに見えても、中身が実在しなかったり、別の条文と取り違えていたりします。さらに、AIの知識には学習時点という区切りがあるため、最新の法改正に追いついていないこともあります。たとえば、フリーランス保護に関する新しい法律や、個人情報保護法の改正後の条番号などは、古い情報のまま答えてしまうおそれがあります。

確認すべき情報の種類

確認といっても、何を確認すべきかが分かっていないと動けません。法務の場面で特に裏取りが必要なのは、次のような情報だと考えています。

• 条文番号(○○法第○条第○項):番号と内容が一致しているか
• 判例(裁判所名・年月日・事件番号):実在し、引用の趣旨と合っているか
• 期間・金額・要件の数字:法令上の数字を正確に写しているか
• ガイドライン・通達・告示の名称や番号:発出元と最新版を確認できるか
• 法改正の有無と施行時期:最新の状態を反映しているか

たとえば、下請法(下請代金支払遅延等防止法)に関する論点では、支払期日や禁止行為の細かな要件をAIが答えてきても、原典で文言を確かめることが欠かせません。

確認の手順

具体的な確認の手順は、次のように整理できます。情報の種類ごとに、当たるべき一次情報が違います。

• 条文:e-Gov法令検索など、公式の法令データベースで現物を確認する
• 判例:裁判所のウェブサイトや公的な判例データベースで、実在と内容を確認する
• 数字・要件:条文や公式資料の原典に当たって、文言をそのまま確認する
• ガイドライン:所管省庁の公式サイトで、名称・番号・最新版を確認する

大切なのは順番です。AIの答えは「探すための手がかり」として使い、最終的な根拠は必ず一次情報で確かめる。この順番を守れば、AIの速さを活かしながら、安全に使えると考えています。逆に、AIの答えをそのまま結論にしてしまうのは避けたいところです。

サンプル:不確かな点を申告させる聞き方(基本形)

確認しやすくするには、頼み方の工夫も有効です。まず基本形として、不確実な引用を正直に申告させるプロンプトです。

次のテーマについて説明してください。

条件:
・条文番号や判例を挙げる場合、それが不確実なら「要確認」と明記すること
・推測で条番号や判例名を作らないこと
・確実でない場合は「条文名のみ」を挙げ、番号は断定しないこと

【ここに質問を記入】

「要確認」と書かせておくと、どこを自分で裏取りすべきかが一目で分かります。ただし、これはあくまで確認の手間を減らす工夫であって、確認そのものを省くものではありません。

サンプル:引用箇所を洗い出させる聞き方(応用形)

応用形として、すでにAIが書いた文章から、確認が必要な引用箇所だけを抜き出させるプロンプトです。長い回答の中から裏取り対象を探す手間が減ります。

次の文章の中から、条文番号・判例・法令上の数字・ガイドライン名など、
出典の確認が必要な箇所だけを一覧にしてください。

各項目について、
・引用されている内容
・確認に使うべき一次情報(例:e-Gov法令検索、裁判所サイト等)
を併せて示してください。

なお、実際の確認は人が一次情報に当たって行います。

【ここに確認したい文章を貼り付け】

ここで挙がった項目を、一つずつ公式のデータベースで確認していきます。AIが「確認先」まで示してくれると、裏取りの作業が進めやすくなります。

よくある失敗

現場で起こりやすい失敗も挙げておきます。

一つ目は、AIが挙げた条文番号を、確認せずに契約書のコメントや社内メモに書き写してしまうことです。番号がずれていると、説明全体の信頼を損ないかねません。

二つ目は、判例の「結論だけ」を信じてしまうことです。判例名が実在しても、事案が自社のケースと違えば、当てはまらないことがあります。実在の確認と、内容が合っているかの確認は、別の作業として行うことが大切だと考えています。

最後に多いのが、改正前の古い情報をそのまま使ってしまうことです。法改正の前後で条番号や要件が変わることは珍しくないため、最新の状態かどうかも確認したいところです。

使うときの注意点

• AIが示した出典は、引用する前に必ず原典（公式の法令データベース等）に当たってください
• 確認には、内容を尋ねる際に秘密情報や個人情報を不用意に入力しないよう注意してください
• 出典の最終確認は、必ず人が一次情報に当たって行う前提です
• 「AIが言っていた」は、社内外への説明や書面の根拠にはなりません