NeurIPS 2023, ведущая конференция в области искусственного интеллекта, скоро распахнет свои двери для учёных со всего мира. С 10 по 16 декабря Новый Орлеан превратится в эпицентр новых открытий и инноваций, где будут представлены 3586 работ.
Примечательно, что большинство работ посвящены большим языковым моделям (LLMs), которые продолжают оставаться главным трендом в сфере NLP на сегодняшний день. Именно эти работы часто определяют направление развития отрасли.
Новаторские подходы к анализу свойств LLM
Заметное количество исследований было посвящено изучению способности LLMs к контекстуальному обучению и использованию глобальной статистики. Помощникам уделяется особое внимание: теперь они могут выстроить цепочки рассуждений или использовать сторонние инструменты для повышения способности решать задачи логического характера.
Моделирование предпочтений человека
Острый интерес вызвали работы, связанные с выравниванием моделей под человеческие предпочтения. Исследователи делали акцент на улучшении приемов обучения с подкреплением (RLHF) и анализе адаптации к конкретным чертам характера или верованиям.
Грань достижений LLMs
Существует пока не до конца понятное положение дел в понимании контекстного обучения — как оно происходит, сохраняется ли процесс при тренировке и как его можно изучать с байесовской точки зрения.
Интуитивное мышление моделей все еще является сложной задачей для разработчиков. Средоточие работ было направлено на то, чтобы улучшить выполнение различных видов задач рассуждение — от прагматичных до составления плана.
Путеводитель по новаторским техникам LLMs
Метод DPO
Например, Direct Preference Optimization (DPO) предложил простую классификацию пристрастий без необходимости RL! Это может значительным образом ускорить процесс выравнивания модели под человеческие предпочтения.
QLoRA
QLoRA, эффективный метод тонкой настройки квантованных LLMs, уже начал применяться на практике и поощрил создание новых моделей таких как Guanaco.
Эмерджентные способности
При изучении эмерджентных способностей возникают животрепещущие вопросы: является ли новая способность продуктом масштабирования модели или это результат выбранной метрики?
Разумность за шагами
Интересная перспектива открыта благодаря работам, что рассуждающее мышление возникает благодаря “chain-of-thought”, последующему соединению локальных зависимостей – типичная черта естественного языка.
В помощь программисту
Parsel – это рамка для исполнения сложных программ кодами LLMs. Jupyter-буква “GPT-4” продемонстрировала перед нами возможности этого фрейма: успех выполнения HumanEval возрос до значительных 85%.
Каждая из этих методик объединена одной целью – расшифровать потока информации и создать систему NLP нового поколения. Как мы видим — NeurIPS 2023 уже намечает курс будущего!
Такое полнотекстное выполнение провидца будет продолжаться двумя неделями зарядке экспертиз и инновациий; такое успешное мероприятие одновременно будет служить не только колоссальным шагом для AI сообщества но также серьёзными испытаниями текущих гипотез о функциональном будущем больших языковых моделей!
