Révolution dans l'univers du jeu vidéo : NVIDIA présente une innovation en intelligence artificielle

Une carte graphique récente n'affiche plus seulement des pixels qu'elle a calculés. Une partie de l'image sortie à l'écran est reconstruite, devinée, interpolée par des réseaux de neurones entraînés pour cela. Cette bascule s'est faite discrètement, jeu après jeu, pilote après pilote, et elle explique une bonne part des annonces que NVIDIA a multipliées autour de l'intelligence artificielle et du jeu vidéo au fil des années 2020.

En 2024, le fabricant a beaucoup communiqué sur des personnages non joueurs animés par des modèles de langage, capables de tenir une conversation improvisée avec le joueur. La démonstration était jolie. Elle a surtout servi de vitrine à quelque chose de moins spectaculaire et de bien plus installé : le rendu graphique repose désormais sur des approximations statistiques, et le pari est que le joueur ne les voit pas.

Le pixel calculé est devenu un luxe

Le principe du rendu classique tient en une phrase : pour chaque image, la machine détermine la couleur de chaque point à partir de la géométrie de la scène et des sources de lumière. Ajoutez le lancer de rayons, qui suit le trajet de la lumière au lieu de le simuler par des astuces, et le coût explose. Une scène qui tournait à cent images par seconde en rendu traditionnel peut tomber à vingt ou trente quand on active un éclairage complet par rayons.

D'où l'idée : calculer moins, puis reconstruire. On rend l'image en interne à une définition inférieure, disons 1280 par 720, et un réseau la reconstitue en 2560 par 1440. Le gain de puissance est net, parce que le nombre de pixels réellement calculés est divisé par quatre. Le reste du travail est fait par un modèle qui a appris, sur des milliers d'images de référence, à quoi ressemble une texture nette, un bord franc, un reflet cohérent.

La mise à l'échelle marche, mais pas partout pareil

Il faut reconnaître à ces techniques une réussite : sur des plans larges, en mouvement lent, la reconstruction tient. Un joueur qui n'a pas les deux versions côte à côte ne repère rien. Les meilleurs algorithmes s'appuient sur l'historique des images précédentes et sur les vecteurs de mouvement fournis par le moteur du jeu, ce qui leur donne beaucoup plus d'information qu'un simple agrandissement.

Les ennuis commencent aux endroits où l'historique ment. Une grille métallique fine, un grillage, des câbles électriques qui traversent le ciel : ces motifs à haute fréquence sont typiquement ce qu'un rendu en définition réduite perd, et ce que la reconstruction invente. On voit alors scintiller, ou baver. Même chose pour un objet qui apparaît brusquement derrière un autre : le modèle n'a aucun passé sur cette zone et improvise pendant deux ou trois images. Les particules, la pluie, la fumée transparente donnent aussi du fil à retordre, parce que leurs vecteurs de mouvement sont souvent absents ou faux.

Mon avis, après avoir comparé quelques titres : la mise à l'échelle est très bonne en 4K, correcte en 1440p, discutable en 1080p. Plus la définition de sortie est basse, moins le réseau a de matière, et plus l'image finale a cet aspect légèrement savonneux que les captures d'écran statiques ne montrent jamais.

Les images inventées entre deux images vraies

La génération d'images intermédiaires est un problème différent, et il vaut la peine de ne pas confondre les deux. Ici, la carte prend deux images successivement calculées et fabrique une image supplémentaire à insérer entre elles. Le compteur affiche cent vingt images par seconde au lieu de soixante. Le mouvement paraît plus fluide.

Sauf que cette image du milieu ne contient aucune information nouvelle. Elle n'intègre pas ce que le joueur vient de faire à la souris. Pire : pour l'insérer, la carte doit retenir l'image suivante le temps de calculer l'interpolation. Le rendu est donc affiché avec un retard supplémentaire d'au moins une image, parfois davantage selon la file d'attente du pilote.

La latence, la seule mesure qui compte vraiment

Ce qu'un joueur ressent, ce n'est pas le nombre d'images par seconde, c'est le délai entre son geste et l'effet à l'écran. Ce délai additionne le temps de traitement de la souris, le temps de simulation du jeu, le temps de rendu, le temps passé dans la file d'attente du pilote, et enfin le temps d'affichage de l'écran. Chaque étape ajoute ses millisecondes.

Les constructeurs le savent, et ils ont développé en parallèle des mécanismes de réduction de file d'attente qui empêchent le processeur de prendre trop d'avance sur la carte graphique. Ces mécanismes rendent une bonne partie de la latence ajoutée par la génération d'images. C'est un jeu à somme presque nulle : on gagne d'un côté ce qu'on a perdu de l'autre, et le résultat net dépend du jeu, de la définition, et du niveau de charge du processeur.

Une règle pratique se dégage : la génération d'images est agréable dans un jeu d'aventure à la troisième personne, dans un simulateur de vol, dans un jeu de gestion. Elle est à éviter dans un jeu compétitif rapide. Et elle n'a aucun intérêt si le taux d'images calculées est déjà bas au départ. Doubler trente images par seconde donne soixante images affichées avec une réactivité de trente : le résultat est étrangement désagréable, fluide à l'œil et mou à la main.

Ce que ça coûte en qualité, honnêtement

La question n'admet pas de réponse unique, parce que la dégradation n'est pas uniforme. Les zones qui souffrent sont toujours les mêmes : contours en mouvement rapide, transparences, texte affiché dans le monde du jeu, interfaces rendues avant la mise à l'échelle. Les zones qui ne souffrent pas sont la majorité de l'image, ce qui explique la satisfaction générale.

Un point mérite d'être signalé, parce que les comparatifs l'oublient : ces techniques changent aussi l'apparence du grain et de la netteté. Certaines reconstructions ajoutent un piqué artificiel que beaucoup de joueurs trouvent plus agréable que l'image d'origine, même si elle est moins fidèle. La fidélité et le plaisir visuel ne pointent pas dans la même direction, et les tests qui parlent de « qualité » sans préciser laquelle des deux ils mesurent ne servent pas à grand chose.

Les personnages parlants, une promesse d'un autre ordre

Reste la partie qui avait fait le plus de bruit : des personnages secondaires dont les répliques sont produites à la volée par un modèle de langage, avec synthèse vocale et animation faciale calquée sur le son. Techniquement, la démonstration tenait. Commercialement, elle posait trois problèmes que la vitrine ne réglait pas.

Le premier est le coût : faire tourner un modèle de langage pendant une partie consomme de la mémoire vive vidéo et du calcul, exactement les ressources que le rendu réclame. Le deuxième est éditorial : un studio qui écrit une histoire tient à ce que ses personnages disent ce qui a été écrit, pas ce qu'un modèle improvise. Le troisième est juridique et humain, avec la question des voix de synthèse et du travail des comédiens de doublage, qui a occupé une partie de l'industrie du divertissement à cette période.

Le contraste entre les deux sujets est instructif. La mise à l'échelle par IA s'est répandue parce qu'elle résout un problème que tout le monde avait, sans rien demander au directeur artistique. Le personnage bavard demande de repenser l'écriture, la direction d'acteurs et le contrôle qualité. Les technologies qui s'installent sont rarement les plus impressionnantes en démonstration ; ce sont celles qui se glissent dans un moteur existant sans obliger personne à changer de métier.