L'un des auteurs originaux d'« Attention is All You Need » plaide pour abandonner l'architecture Transformer. Dans un débat Pathway sur les modèles post-Transformer, il argue que l'attention n'est plus suffisante face aux défis d'échelle actuels.
Le paper original génère encore 47 000 citations par an et rapporte environ 2,8 millions de dollars en licensing à Google. Mais son auteur estime que les prochains modèles à 1 trillion de paramètres nécessitent des architectures fondamentalement différentes. Wall Street suit de près : une rupture architecturale pourrait redistribuer 200 milliards de valorisation IA.
Newsletter
Cet article t'a intéressé ? Reçois les suivants.
Chaque matin à 8h, les chiffres qui comptent. Gratuit, sans spam.