Искусственный интеллект (ИИ), который поддерживает нашу повседневную жизнь, непрерывно совершенствуется благодаря инновациям в области языковых моделей. Современные разработки демонстрируют значительный прогресс в понимании и генерации текста, и ключевую роль в этом процессе играет механизм обратной связи от человека. Но как мы можем убедиться, что ИИ не только грамотно излагает мысли, но и делает это безопасным и этическим способом? Ответ кроется в новом подходе к обучению, который использует детализированную обратную связь от людей.
Принципы утончённого метода
В основе самого передового ИИ лежат предварительно обученные языковые модели, которые затем дообучаются через взаимодействие с человеком. Это сочетание элементов контролируемого обучения и подкрепления стало ещё эффективнее благодаря интеграции более точных форм человеческой оценки.
Ранее эксперты могли только выбирать лучший ответ из предложенных моделью или оценивать качество текста целиком. Однако теперь они могут указывать конкретные ошибки — будь то неточности или неуместные фрагменты — прямо на уровне отдельных предложений или даже фраз. Такая детализация позволяет создавать более тонко настроенные системы вознаграждения для тренировки ИИ.
Пример работы усовершенствованных методик
Представим простую задачу: система должна перечислить основные газы атмосферы Земли. Традиционный подход может поощрять целиком правильно сформированный ответ, не замечая незначительных ошибок. В то время как новый метод позволяет выделить каждое предложение ответа: если одно из них содержит неверное утверждение (скажем, “углекислый газ — третий по распространённости”), это конкретное место будет помечено как ошибочное.
Такой подход даёт возможность точечно корригировать ход мысли ИИ и направлять его к более точным результатам без потери контекстуальной связности всего текста.
Практическая ценность
Экспериментальная проверка нового методика на задачах “де-токсификации” (убирание токсичности из текстов) и развёрнутых ответов на вопросы продемонстрировала его значительную эффективность. Метод показал не только высокую точность исправления фактических ошибок и полную информативность текстов, но также он выигрышно отличается большей эффективностью по времени по сравнению со стандартными подходами.
Путь к персонализации
Одна из самых захватывающих возможностей новой системы — способность адаптироваться к нуждам пользователя благодаря изменении веса приоритетности каждой модели вознаграждения при тренировке ИИ. В зависимости от задачи можно скорректировать параметры таким образом, чтобы получить либо более лаконичный и строгий по факту ответ либо более развернутый комментарий с большим количеством контекстуальной информации.
На данный момент уже очевидно: принцип использования детализированной человеческой оценки ставит начало эры более сложного и одновремено доступного для пользователя ИИ-ассистента.
Источник: https://openreview.net/pdf?id=CSbGXyCswu
