Ученые обнаружили «серьезные недостатки» в тестах для оценки безопасности ИИ

Группа ученых выявила «серьезные недостатки» в 445 оценочных тестах, предназначенных для контроля безопасности и эффективности систем искусственного интеллекта.

Исследование под названием «Измерение важного: конструктная валидность в бенчмарках больших языковых моделей» провели специалисты по компьютерным наукам из Института безопасности искусственного интеллекта Великобритании совместно с 29 исследователями из 14 ведущих учреждений, среди которых университеты Стэнфорда, Беркли и Оксфорда.

В рамках научной работы был проведен систематический анализ 445 оценочных тестов, отобранных из материалов престижных конференций по «обработке естественного языка» и «машинному обучению» — ключевым подотраслям искусственного интеллекта.

По заключению экспертов, большинство проанализированных бенчмарков имеют существенные недостатки, которые могут «подорвать обоснованность полученных утверждений» относительно достижений в сфере ИИ.

Главный автор исследования Эндрю Бин, представляющий Оксфордский институт интернета заявил The Guardian, что именно эти оценочные тесты активно используются крупнейшими технологическими компаниями для демонстрации возможностей новейших моделей искусственного интеллекта, выводимых на глобальный рынок.

Бин особо отметил, что оценочные тесты формируют фундамент всех заявлений и утверждений в сфере ИИ, и без единых определений, а также надежных, научно обоснованных методов измерения становится крайне сложно объективно оценить, действительно ли модели демонстрируют реальный прогресс или же наблюдается лишь иллюзия развития.