生成AIがうまくいかないときのチェックリスト｜入門

こんにちは！Legal Agent代表弁護士の朝戸です。

生成AIを使っていると、「思った答えが返ってこない」「なんだかズレている」と感じることがあります。たとえば、業務委託契約書のレビューを頼んだのに、当たり障りのない一般論しか返ってこない。NDAの修正案を頼んだら、自社が受領者(情報を受け取る側)なのに、なぜか開示者(情報を出す側)に有利な修正を提案してくる。こういう「惜しい」結果は、誰にでも起こります。

そして多くの場合、原因はAIの性能そのものではなく、頼み方にちょっとした工夫の余地があることが多いです。少し見直すだけで、同じAIでも結果が大きく変わります。逆に言えば、頼み方のクセを知らないまま使うと、いつまでも「使えない」と感じてしまいます。

この記事では、うまくいかないときに見直すポイントを、チェックリストの形で整理します。法務の場面に引きつけた具体例とサンプルプロンプトも添えますので、迷ったときの手元の確認表として使っていただければと思います。

この記事で分かること

期待した答えが出ないときの原因の見つけ方、すぐ試せる改善のコツ、頼み方を直すサンプルプロンプト、そして「形が整うこと」と「内容が正しいこと」の違いを整理します。最後によくある失敗もまとめます。

まず見直すチェックリスト

うまくいかないと感じたら、次を順に見直してみてください。多くの場合、このどれかが抜けていることが原因です。

• 目的を伝えたか:誰向けに・何のために欲しいかを書いたか
• 立場を伝えたか:自社が委託者か受託者か、開示者か受領者かを補ったか
• 形を指定したか:箇条書き・表・文字数など、出力の形を伝えたか
• 前提を伝えたか:契約金額、取引の重要度、相手方との関係などを補ったか
• 一度に欲張りすぎていないか:質問を分けると改善することがある
• お手本を見せたか:望む形のサンプルを1つ添えたか

たとえば、NDAの修正案がちぐはぐだったケースでは、たいてい「自社が受領者である」という立場を伝え忘れています。立場を一行加えるだけで、見るべき条項(秘密情報の範囲、目的外利用、存続義務など)の力点が変わり、答えがぐっと実務的になります。

「目的」と「立場」は特に効く

チェックリストの中でも、法務の場面で特に効くのが「目的」と「立場」です。少し詳しく説明します。

目的とは、その文章を「誰に・何のために」使うのかです。たとえば同じ契約書の要約でも、社内の上司に報告するための要約と、相手方に送る前のセルフチェックのための要約では、力点が違います。「事業部長に5分で説明するために、リスクの大きい順に3点へ絞って」と目的を伝えると、出力が一気に使いやすくなります。

立場とは、自社が取引のどちら側かです。業務委託契約なら委託者か受託者か、NDAなら開示者か受領者か、SaaS利用規約ならサービス提供者か利用者かによって、有利・不利の見え方が逆になります。立場を伝えないと、AIは中立的な一般論に流れがちです。この二つを補うだけで、ズレの多くは解消します。

それでもズレるときのコツ

チェックリストを見直してもまだズレるときは、次のコツを試してみてください。会話を重ねながら軌道修正していくイメージです。

• やり直しを頼む:「もっと短く」「この点を詳しく」「受託者に不利な点だけに絞って」と追い質問する
• 視点を変えさせる:「逆の立場(相手方)から見ると、どこを突いてくるか」と聞く
• 会話を始め直す:長く続けて前提がずれてきたら、新しい会話で条件を整理し直す
• 別のサービスで試す:ChatGPT、Claude、Geminiなど、得意分野が違うことがある

たとえば、損害賠償条項のレビューで指摘が浅いと感じたら、「逆に、相手方の立場ならこの条項をどう正当化するか」と視点を変えさせると、見落としていた論点が出てくることがあります。

サンプル:頼み方を立て直す(基本形)

ここからは、頼み方を立て直すサンプルです。まず基本形として、目的・立場・形・前提を一度に補うプロンプトです。

あなたは企業法務の補助をするアシスタントです。
次の契約条項について、レビューの観点を挙げてください。

前提:
・当社の立場:受託者(業務を受ける側)
・目的:事業部長への報告用
・出力の形:リスクの大きい順に、箇条書きで3点まで
・各点は、なぜ問題か・どう直したいかを一文ずつ

【ここに条項を貼り付け】

立場・目的・形・件数を最初に指定しておくと、一般論に流れにくくなり、報告にそのまま使いやすい出力になります。

サンプル:ズレた答えを直す一言(応用形)

応用形として、すでに返ってきた答えがズレているときに、どこがズレたかを伝えて直させるプロンプトです。一から頼み直すより速いことが多いです。

今の回答は、社内の非専門家には少し難しく、量も多すぎます。
次のように直してください。

・専門用語は避け、必要なら短い言い換えを添える
・重要な3点に絞る
・箇条書きで、各点は2行以内

なお、事実や条文の正確性は人が別途確認します。

【必要なら、特に分かりにくかった箇所をここに記入】

このように、どこがどうズレていたかを一言添えるだけで、次の答えは大きく良くなります。「ダメ」とだけ伝えるより、「誰向けに・どう直したいか」を示すのがコツです。

「答えが合っているか」は別問題

ここは特に強調したい点です。頼み方を工夫して答えの形が良くなっても、内容が正しいかどうかは別の話です。

形が整っていても、事実が誤っていることはあります。たとえば、きれいな箇条書きで条文番号が並んでいても、その番号が実在しなかったり、別の条文だったりすることがあります。チェックリストで改善できるのは「伝わりやすさ」であって、「正確性」ではありません。

正確性は、必ず人が確認する前提です。条文番号、判例、数字、金額、固有名詞といった事実は、e-Gov法令検索など公式の一次情報で裏を取ることが大切だと考えています。見た目が整っているほど信じやすくなる、という点はむしろ警戒材料です。

よくある失敗

最後に、ありがちな失敗を挙げておきます。

一つ目は、答えがズレたときに、頼み方を見直さずに同じ質問を何度も繰り返してしまうことです。条件を足さない限り、結果はあまり変わりません。

二つ目は、一度の質問に複数の依頼を詰め込みすぎることです。「要約して、リスクを挙げて、修正案も作って」と一度に頼むと、どれも中途半端になりがちです。分けて頼む方が、結果的に速いことが多いです。

最後に多いのが、形が整った答えを「正しい」と思い込んでしまうことです。形の良さと内容の正しさは別であり、内容の確認は人の役割として残ることを忘れないようにしたいところです。

使うときの注意点

• 形が整っても、内容の正確性は人が確認する前提です
• 改善のために情報を足すときも、秘密情報・個人情報の取扱いに注意することが大切です
• 立場や目的を伝える際に、未公表の取引条件などを不用意に入力しないよう気をつけてください
• 最終的に外部へ出す文章は、人が内容と表現を確認してから使うことが望ましいです