Скачать или смотреть JSON ломает рассуждения LLM? Почему формат ответа ухудшает качество (и когда помогает)

Почему одна и та же LLM может решить задачу правильно в обычном тексте, но начать ошибаться, если попросить ответ в JSON? В этом видео разбираю исследование “Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models” (arxiv.org/abs/2408.02442).

Что внутри:
3 уровня ограничений: JSON-mode (constrained decoding), FRI (инструкции “ответь в JSON”), NL-to-Format (сначала подумай, потом отформатируй)
Результаты на рассуждении (GSM8K и похожие): чем строже формат, тем хуже
Неожиданно: на классификации (DDXPlus) формат может улучшать точность
Почему так происходит: порядок полей (answer раньше reasoning) и “коммит” до рассуждения
Практические советы: как выбирать формат, когда стоит платить за 2 вызова, и как не убить качество схемой

#llm #promptengineering #structuredoutput #jsonmode #constraineddecoding #chainofthought #reasoning #gsm8k #classification #toolcalling #functioncalling #gpt #claude #gemini #nlp #machinelearning #airesearch #arxiv #llmevaluation #formatbias #json #xml #yaml #mlengineering #datascience #ai