Галлюцинации ИИ — сколько ошибок совершают Grok, Gemini и Claude

Илон Маск утверждает, что «его» ИИ Grok лидирует среди всех ИИ по «рейтингу негаллюцинации» — «Non-Hallucination Rate». Рейтинг Grok, как демонстрирует Маск в соцсетях, — 88%, что существенно выше, чем у других моделей ИИ.

«„Галлюциногенность“ ИИ, то есть склонность к глюкам, является причиной неверных ответов и решений, что весьма тревожит специалистов в этой сфере. Соответственно, сведение к минимуму уязвимости ИИ к галлюцинациям является важнейшим фактором повышения эффективности ИИ», — комментирует эту информацию российский сенатор Алексей Пушков.

Еще одно исследование показало, что ИИ-помощник Google Gemini ежедневно выдает миллионы неверных ответов. По данным исследования, каждый десятый ответ содержит фактические ошибки. Google обрабатывает около 5 трлн запросов в год, что означает более 57 млн неточных ответов в час или почти 1 млн в минуту.

В автономном режиме Gemini 3 ошибается в 28% случаев. После выхода версии 3 расхождения между ответами и источниками в интернете выросли с 37% до 56%.

ИИ легко поддается манипуляциям — заведомо ложная информация, опубликованная в блоге, через сутки использовалась Gemini как достоверная. В условиях использования Google и Microsoft отмечают, что ответы ИИ могут не соответствовать реальности, и рекомендуют перепроверять информацию.

Тем временем компания искусственного интеллекта Anthropic обратилась за помощью к Ватикану, так как их ИИ развивался слишком быстро. Как пишет Observer, на помощь пришёл 60-летний католический священник отец Брендан Макгуайр, который формулирует правила этики и мышления для проекта Claude.

По воскресеньям в его церкви собираются лучшие исследователи ИИ из Силиконовой долины. До того, как стать священником, Макгуайр был одним из них. В 1980-х годах он изучал криптосистемы в Дублине, затем переехал в США и стал исполнительным директором PCMCIA — организации, которая стандартизировала работу карт памяти в компьютерах.