仕事柄裁判の判例を読むことも多いのですが、裁判の判決文は人の人生を左右する大事な内容、当然長いことが多いので読むのが大変です。
しかし、今流行りのchatGPTを利用すれば、判例を分かりやすく要約してくれるのではないでしょうか?
というわけで今回は話題のchatGPTを早速試してみることにしました。
そもそも裁判の判例って?
裁判所のwebサイトでは、過去の判例を公開しており(全てではありません)、誰でも閲覧することが可能です。
今回はこちらの損害賠償請求事件の要約を試してみましょう。
そもそも、人間でさえ裁判の判決文の要約には個人差が出ます。右の要約も違う、と異論を言う人もきっといることでしょう。果たしてchatGPTはどういった要約をしてくれるのでしょうか。
chatGPTによる要約精度への不安
そもそもですが、実は正直今回の検証、あまりchatGPTに期待はしていません。
なぜならそもそも判決文には無駄がないことが多いからです。
判決文とは裁判官がその事件の内容、争点、そして結論を導き出すための理由をまとめ上げ、最終的な結論を記載した、その裁判の集大成と言えるものであり、頭の良い裁判官は冗長に文章を書いたりしません。つまり判決文とはそもそもそれ自体が要約されたものとも言えるのです。
ですから、要約するにしても難易度が非常に高い対象ですから、chatGPTにそれができるのか…
今回の挑戦はダメ元なのです。
chatGPTヘの指示内容 プロンプト公開
今回chatGPTに依頼した内容は以下のような内容です。
あなたはwebのライターです。
以下のURLに載っている裁判の判例を読んで、1000文字以内で分かりやすく要約してください。
#対象となるurl:
https://www.courts.go.jp/app/files/hanrei_jp/716/091716_hanrei.pdf
chatGPTの要約がこちら!
?????
(なんだこれ・・・)
一見、日本語としてはきちんとしたものが出てきていますが、内容は全くもって違います。
間違っているというより、全然関係無いものを要約しているような・・・
全く意味の分からない返答をするchatGPT
あまりに要約内容が間違っている、(というか別のものを要約している)ため、対象を確認したところ、これまた全く知らない・関係ないURLを出してきました。
そして、このリンク先は窃盗事件であるのに対し、chatGPTの新しい要約は大麻所持事件です。
なんだ???
何が起こってるんだ?
chatGPTが間違える理由・仮説
あの優秀なchatGPTがこれほど間違えるとは…
そもそもchatGPTはブラウザにアクセスするのが苦手なようです。
chatGPTは2021年9月時点までに集積されたデータベースを元に回答を作成しており、新規にブラウザにアクセスしたりすることは苦手なのでしょう。今回も指定したURLではなく、自分が持っているデータベースの中から近いものを引っ張ってきた可能性が高いのではないかと思われます。
その後も手を変え品を変え、プロンプトを変えて、指示を出しましたが、結局一度も近い回答を出すことはありませんでした。
結論、2021年9月以降に存在するサイトにもアクセスは可能なようです。
しかし、サイト全体を読み込むことはできても、特定のページだけを読み込むことはできないようでした。
こうなれば別のAIに頼る
要約と言えば、chatGPTよりももっと前に一世を風靡したAIがありました。
東大松尾研究室発、大規模言語AI「ELYZA」です。
そしてその結果がこちら!
使えないけどだいぶ近いものが出ました。
結論:chatGPTのオンライン要約は使えない
有料版のapiであれば、判決文をそのままコピペすることが可能ですので、また違った使い方ができると思います。
しかし無料版の場合は文字数制限があるため、長文の裁判の判決をコピペすることはできず、結果ブラウザを読み込ませようと試みましたが、それはできませんでした。
無料版の限界はここまで、という感じでしょうか。
しかしchatGPTは本当に便利ですから、さらなる発展を期待しましょう。
コメント