Исследование генерации вопросов крупными языковыми моделями
Ученые из Калифорнийского университета в Беркли и Вашингтонского университета, провели исследование, чтобы выяснить, как крупные языковые модели формулируют запросы. В результате они обнаружили, что запросы, создаваемые искусственным интеллектом, отличаются от тех, что формулируют люди.
Классификация запросов
Исследователи разделили вопросы на несколько категорий.
- Простые фактические вопросы, требующие кратких и конкретных ответов
Связаны с запросами на получение определенной информации, такой как даты, имена или факты. Например, «Столица Франции?» или «Кто написал «Войну и мир»?» Такие вопросы помогают быстро получить необходимую информацию и используются в ситуациях, где важна скорость и точность получения данных без необходимости вникать в детали.
- Сложные вопросы, предполагающие детальные и развернутые ответы
Требуют более глубокого анализа и часто связаны с объяснением процессов, причин и следствий. Например, «Почему происходит глобальное потепление?» или «Каковы причины Второй мировой войны?» Ответы на такие вопросы требуют от респондента использования критического мышления и способности связывать различные аспекты информации. Вопросы важны в образовательных контекстах, где требуется не только знание фактов, но и их понимание и интеграция в более широкую картину.
Эти категории применялись как к вопросам, сгенерированным искусственным интеллектом, так и к вопросам из человеческих баз данных. Использование классификации вопросов помогает в разработке более эффективных систем обработки естественного языка, так как позволяет алгоритмам лучше понимать контекст и намерение пользователя.
Анализ ответов
Команда изучила, как AI отвечает на вопросы в различных контекстах:
- длина ответов. Исследователи определили, сколько информации требуется для ответа на каждый тип вопроса;
- контекст. Анализировалось, как наличие или отсутствие контекста влияет на формулировку ответа.
Сравнение вопросов, созданных AI, проводилось на основе двух наборов данных из Википедии:
- вопросы на основе текстов. Включали вопросы, сформулированные по конкретным текстам;
- существующие вопросы. Использовались вопросы из разделов Википедии.
Основные выводы
AI чаще создает вопросы, требующие подробных объяснений (44% всех вопросов). Люди склонны задавать более простые и фактические вопросы. Они больше концентрируются на начале текста, тогда как AI распределяет их по всему содержимому.
Практическое и коммерческое применение
Исследование имеет значительные практические и коммерческие применения:
- тестирование систем RAG: особенности AI-вопросов могут помочь в тестировании и выявлении случаев, когда AI генерирует информацию;
- формулировка запросов: результаты исследования могут помочь пользователям составлять запросы, имитирующие человеческие вопросы или обладающие определёнными характеристиками;
- коммерческое использование: AI-сгенерированные вопросы уже применяются в продуктах, таких как Amazon и чат-боты, для улучшения пользовательского опыта и предоставления более полной информации.
Это исследование подчеркивает различия в подходах AI и людей к формулировке вопросов и открывает новые возможности для их применения в различных областях.
