NLP-собеседования: что спрашивают про архитектуры LLM и их оптимизацию

На технических собеседованиях по NLP и LLM теперь всё чаще проверяют не просто знание трансформеров, а реальное понимание того, как устроены современные GPT-подобные модели. Кандидатам приходится объяснять, почему большинство генеративных языковых моделей выбирают decoder-only архитектуру, чем LLaMA отличается от классического Transformer, зачем в моделях используются такие компоненты, как RoPE, RMSNorm, SwiGLU и GQA. Вопросы становятся глубже и практичнее, а от соискателей ждут не заученных определений, а умения рассуждать о компромиссах и причинах тех или иных инженерных решений.

Отдельный блок вопросов посвящён инференсу — этапу, когда модель уже обучена и используется для ответов. Почему он такой дорогой и какие оптимизации реально помогают ускорить работу? Здесь эксперты выделяют несколько ключевых направлений: использование fused-ядер, FlashAttention, кэширование ключей и значений с помощью KV-cache и PagedAttention, непрерывный батчинг, спекулятивное декодирование, а также квантизацию и дистилляцию. На собеседованиях всё чаще просят не просто перечислить эти термины, но и объяснить, как каждый из методов влияет на скорость, потребление памяти и качество ответов.

Материал сопровождается схемами и наглядными иллюстрациями, которые помогают разобраться в архитектурах и тонкостях оптимизации. В конце представлен полный перечень вопросов, которые реально встречались на собеседованиях в разных компаниях. Такой список может стать отличной основой для подготовки как начинающим специалистам, так и тем, кто хочет систематизировать свои знания перед важным интервью.