Une étude systématique remet en question l'architecture QKV des Transformers. Éliminer Query ou Key réduirait les coûts d'entraînement de 33% sans perte de performance.
Cette découverte pourrait révolutionner l'économie des LLMs. OpenAI et Anthropic pourraient diviser par 3 leurs factures GPU en réarchitecturant leurs modèles futurs.
Newsletter
Cet article t'a intéressé ? Reçois les suivants.
Chaque matin à 8h, les chiffres qui comptent. Gratuit, sans spam.