Ученые не нашли у искусственного интеллекта здравого смысла
Одна из самых интересных и близких обычному человекау сфер применения искусственного интеллекта (ИИ) – это обработка естественного языка. Программисты учат компьютеры самостоятельно писать тексты и общаться с людьми. Хотя ученые добились немалых успехов на пути того, чтобы научить компьютеры разговаривать с людьми на «живом» языке, на их пути все еще есть значительные препятствия.
Одно из них обнаружили ученые из Департамента компьютерных наук Университета Южной Калифорнии доцент Сян Рен и аспирант Чэнь Линь. Они решили проверить, насколько современные модели ИИ используют в своих текстах здравый смысл.
Американские ученые создали новую методику тестирования, которая оценивает способность программ описывать естественные ситуации повседневной жизни. О результатах их исследования рассказывает EurekAlert!
Рен и Линь проверили способность моделей к рассуждению и показали, что существует большой разрыв между текущими моделями генерации текста и человеческими возможностями. Передовые компьютерные модели должны создавать правдоподобные предложения, описывающие повседневный сценарий. Хотя модели генерировали грамматически правильные предложения, они часто были логически бессвязными. Например, с помощью ключевых слов «собака, летающая тарелка, бросить, поймать» ИИ составлял предложение «Две собаки бросают друг в друга летающие тарелки».
Ученые проверяли системы ИИ с помощью набора данных из 35 тыс. концепций, связанных с 77 тыс. предложений. Они обнаружили, что даже самая эффективная модель достигла уровня точности всего 31,6% по сравнению с 63,5% для людей. Раньше исследователи в основном тестировали ИИ, предоставляя программе возможность выбирать из нескольких вариантов ответа. Добиться хороших результатов в таком тестировании не очень сложно, объясняет Рен, достаточно предоставить машине большую базу примеров для обучения.
Тест основан на понимании того, что здравый смысл – это не просто правильное владение языком. Это означает, что нет необходимости объяснять в разговоре базовые явления и понятия. Без такого уровня понимания языка чат-боты и голосовые помощники, построенные на современных моделях естественного языка, уязвимы для сбоев.
Если попросить робота принести горячего молока, он не должен нести вам всю коробку, объясняют исследователи. «Роботам необходимо понимать естественные сценарии нашей повседневной жизни, прежде чем они смогут предпринимать разумные действия для взаимодействия с людьми», – подвел итог Рен.
Читайте на смартфоне наши Telegram-каналы: Профиль-News, и журнал Профиль. Скачивайте полностью бесплатное мобильное приложение журнала "Профиль".
