یک دادستان ارشد سرویس دادستانی سلطنتی بریتانیا (CPS) در جریان رسیدگی به یک پرونده حساس در دادگاه عالی، به یک رویه قضایی و پرونده استنادی کاملاً جعلی و ناموجود ارجاع داد؛ خطایی که موج جدیدی از نگرانی‌ها درباره نفوذ توهمات هوش مصنوعی (AI Hallucinations) به ساختار نظام عدالت کیفری را در پی داشته است.
رویندر دیلون (Ravinder Dhillon)، نماینده دادستانی در واحد رسیدگی به پرونده‌های جرایم جدی، در لایحه دفاعی خود پیرامون تعقیب قضایی یک پسربچه ۱۱ ساله، به حکمی ساختگی تحت عنوان «CPS – R v J [2024] EWCA Crim 3529» استناد کرده بود. این دادخواست زمانی رسوا شد که وکلای مدافع متهم نتوانستند هیچ نشانه‌ای از سابقه این حکم در آرشیوهای حقوقی بیابند. دو قاضی ارشد دادگاه عالی توضیحات دیلون در این باره را «کاملاً غیرقانع‌کننده» توصیف کردند و کارشناسان حقوقی و فناوری آن را یک «شکست حرفه‌ای جدی» نامیدند. روزنامه گاردین دریافت که ارجاع اشتباه مذکور ناشی از پاسخ خلاصه هوش مصنوعی در جریان یک جست‌وجوی اینترنتی بوده است.
پروفسور برایان فلانگان، دانشیار حقوق در دانشگاه مینوت ایرلند که پیرامون کاربرد هوش مصنوعی توسط قضات و دادستان‌ها پژوهش می‌کند، در این باره گفت: «در این پرونده، از یک منبع ساختگی برای استدلال به منظور محاکمه کیفری یک کودک استفاده شده در حالی که چنین منبعی در عالم واقع وجود ندارد. این امر هنجارهای بنیادین اعتماد در دستگاه قضا را زیر سؤال می‌برد؛ استنادهای قضایی دارایی‌های مقدسی هستند و جعل آن‌ها از هر خط قرمزی عبور می‌کند. وقتی وکیل حاکمیت چنین خطایی می‌کند، به دلیل قدرت مهارنشدنی دولت، پیامدهای آن به مراتب ترسناک‌تر است.»
این پرونده دومین رویداد شناخته‌شده از اشتباهات مبتنی بر هوش مصنوعی در دادستانی سلطنتی بریتانیا به شمار می‌رود. در ماه فوریه نیز یکی از وکلای این سازمان در جریان استرداد دو مجرم رومانیایی به آرای غیرواقعی استناد کرده بود که تنها پس از بررسی موشکافانه وکلای طرف مقابل کشف شد. بر اساس آمارهای مستندشده در سامانه‌ای که متیو لی، وکیل دادگستری در لندن اداره می‌کند، تاکنون دست‌کم ۱۰۱ مورد از خطاهای فاحش قضایی ناشی از استناد به پاسخ‌های توهمی هوش مصنوعی در محاکم بریتانیا ثبت شده است.
سخنگوی دادستانی کل انگلستان و ولز در پاسخ به این رویداد اظهار داشت که سیاست‌های سخت‌گیرانه‌ای برای محدودسازی ابزارهای هوش مصنوعی اعمال می‌کند تا هرگز بدون بازبینی مستقیم انسانی در تصمیم‌گیری‌های قانونی استفاده نشوند. به دنبال این حادثه، بازبینی داخلی ضربتی انجام شده تا از عدم تکرار چنین اشتباهاتی اطمینان حاصل شود. پیش‌تر دِیم ویکتوریا شارپ، رئیس پیشین دیوان سلطنتی بریتانیا هشدار داده بود که تخلف وکلای دادگستری در به‌کارگیری غیرمسئولانه از ابزارهای هوش مصنوعی می‌تواند به صدور قرارهای توهین به دادگاه و پیگرد انضباطی یا قضایی منجر شود.