Исследование Института Гётеборга продемонстрировало, что передовые системы искусственного ума могут воспроизводить и распространять заранее неверную мед данные, невзирая на очевидные признаки вымысла в начальных данных.
Опыт с нереальным болезнью
Исследователь Альмира Османович Тунстрём (Almira Osmanovic Thunström) инициировала опыт, в рамках которого в марте–мае 2024 года на сервер подготовительных публикаций были размещены и расположены две липовые научные статьи о измышленном заболевании «биксонимания» — будто бы форме периорбитальной гиперпигментации, связанной с действием голубого света.
Авторами работ значился нереальный исследователь Лазлив Изгубленович (Lazljiv Izgubljenovic) из измышленного института Asteria Horizon University (Калифорния). В статьях содержались прямые распоряжения на фиктивность: фраза «эта публикация всецело вымышлена», благодарность «доктору Марии Бём из Академии Звёздного флота», также упоминание выделения финансовых средств от «Фонда доктора Сайдшоу Боба» и «Института Братства Кольца и Галактической триады».
Невзирая на это, большие ИИ-системы на протяжении нескольких недель после обнародования принимали «биксониманию» как реальное болезнь. Гугл Gemini уже 13 апреля 2024 года описывал предпосылки заболевания и посоветовал консультацию окулиста. 27 апреля Perplexity указывал статистику распространённости — один случай на 90 000 человек, а ChatGPT в этот же день предоставлял пользователям советы по признакам.
Попадание ложного сообщения в научную публикацию
Опыт получил продолжение, когда одна из фиктивных работ была включена в рецензируемую статью индийских исследователей. Публикация в журнале Cureus от 27 ноября 2024 года потом была отозвана 30 марта 2026 года.
В соответствии с официальному извещению, редакция нашла «три нерелевантные ссылки, в том числе ссылку на измышленное болезнь», что поставило под колебание надежность работы. Доп детали можно провести проверку в DOI-извещении об отзыве. При всем этом создатели статьи не согласились с решением редакции.
Детализированный разбор опыта и его последствий был размещен в журнале Nature 7 апреля 2026 года.
Рост внедрения ИИ в здравоохранении США
Наряду с выявленными рисками, муниципальные и личные структуры интенсивно вводят ИИ в мед процессы. Управление по санитарному надзору за качеством пищевых товаров и лекарственных средств США (FDA) в мае 2025 года окончило 1-ый экспериментальный проект научной экспертные исследования с внедрением ИИ.
В июне такого же года учреждение запустило инструмент Elsa для убыстрения изучения клинических протоколов и оценки безопасности. В декабре 2025 года FDA также квалифицировало 1-ый инструмент разработки фармацевтических средств на базе ИИ — AIM-NASH, который применяется для изучения гистологии при MASH.
На уровне медучреждений также обсуждаются радикальные изменения. Гендиректор системы NYC Health + Hospitals Митчелл Кац (Mitchell H. Katz) 25 марта 2026 года сообщил о возможной возможности поменять существенную долю радиологов методами ИИ в случае решения регуляторных вопросов, указав на значительное понижение издержек на визуализацию.
Мнение ИИ
Исходя из убеждений машинного изучения данных, такие происшествия с фиктивными научными публикациями укладываются в больше широкий паттерн незащищенности языковых моделей к авторитетно оформленным источникам. Система не «осознает» надежность, а оценивает структуру и правдоподобие текста, что делает препринты без рецензии потенциально небезопасным входом для обучения и генерации ответов.