News
Nvidia, Switch2, DLSS : comprendre les apports pour les joueurs Switch
Actualité toujours chargée autour des Leaks Nvidia avec un groupe de pirates qui s'attaquent désormais à Samsung. Les informations techniques dérobées en février dernier permettent d'affiner certaines informations concernant le futur de la Switch.
News
Entendons nous bien sur le fait que les informations qui suivent correspondent à des études effectuées par différents développeurs sur la base des documents qui ont fuité et sur ce qui est connu officiellement via les Kits de développement de NVIDIA. Les forums asiatiques sont très en verve actuellement sur le sujet. Chaque donnée chiffrée ne peut être pris comme officielle à la virgule près car c'est l'ensemble du système qui va donner le "la" sur la performance globale de la machine. Mais en partant sur ce qui est fait d'habitude sur les différentes consoles et en prenant la fiche technique de la famille Switch actuelle, avec sa déclinaison OLED, on tient une fourchette de données qui apporte un résultat réaliste.
Des pirates qui après avoir attaqué Nvidia continue à attaquer de nouveaux grands acteurs
Revenons sur la cyberattaque ayant visé Nvidia le 23 février dernier, maintenant que le groupe de pirates responsable de cette attaque, LAPSUS$, vient à nouveau de refaire parler d’eux en s’attaquant cette fois à Samsung. Alors que les pirates ont volé environ 1 To de données sur les serveurs de NVIDIA et exige actuellement que NVIDIA publie des pilotes de GPU open-source et un contournement du limiteur de taux de hachage LHR du GPU, ils auraient volé 190 Go de données à Samsung, en particulier le code source des applets de confiance, du chargeur de démarrage et de l'authentification des comptes, ainsi que des algorithmes de déverrouillage biométrique et du code source confidentiel de Qualcomm, ce qui, si ces informations en provenance de Techpowerup étaient confirmées, pourrait avoir de graves conséquences sur la sécurité de Samsung et de Qualcomm. On se dirige clairement vers des actions de déstabilisation de grandes ampleurs des sociétés dominant le marché de l’électronique actuel.
Prudence, de nouveaux logiciels malveillants viennent d'être repérés utilisant des signatures volés à Nvidia
D’ailleurs les premiers signes concrets des vols sur Nvidia ont commencé à apparaître, avec l’apparition de nouveaux logiciels malveillants qui utilisent des certificats de signature de code NVIDIA volés pour se faire passer comme des logiciels dignes de confiance sur nos PC Windows. Ce sont des variantes du RAT (remote-access trojan) Quasar, signé avec des certificats NVIDIA, qui ont ainsi abusé le fournisseur d’antivirus VirusTotal. Pour expliquer ce qu'est un RAT, c'est un programme qui fonctionne en arrière-plan, accordant un accès à distance à votre machine à un groupe d'attaquants ayant un accès en lecture-écriture, qui peut ensuite faire n'importe quoi, du vol de données à la demande de rançon en les chiffrant. C’est clairement très grave et quand on se rappelle déjà que des sites organisationnels, des grandes entreprises en France et même des villes ont vu leurs outils informatiques piratés avec rançon pour débloquer le tout, cela s’avère très inquiétant et on vous conseille d’être très prudent par rapport aux sites sur lesquels vous vous balader et sur ce que vous téléchargez.
Retour en détails sur le NVIDIA T239 Drake
Revenons maintenant sur les informations autour de NVIDIA et la fameuse puce T239Drake censée équiper la future révision de la Switch : 1 GPC, 6 TPC, 12 SM, 12 RTcore, 1536 CUDA. On vous décrypte vite fait ces éléments en se basant sur la documentation de NVIDIA.
Un peu de technique....désolé
Le Graphics Processing Cluster (GPC) est un bloc matériel dédié au calcul, au tramage, à l'ombrage et au texturage. La plupart des fonctions graphiques de base du GPU sont exécutées à l'intérieur du GPC. Il est composé de quatre clusters de traitement de texture (TPC), chaque TPC contenant deux unités SM et un moteur de rastérisation. L'unité SM crée, gère, planifie et exécute les instructions de nombreux threads en parallèle. Les opérateurs Raster (ROP) continuent d'être alignés avec les tranches de cache L2 et les contrôleurs de mémoire. Les performances du SM en matière de géométrie et de traitement des pixels en font un outil très adapté au rendu d'interfaces utilisateur avancées, en particulier sur des appareils dont l'alimentation est limitée.
Chaque SM est partitionné en quatre blocs de traitement distincts (appelés SMP), chaque SMP contient son propre tampon d'instructions, son planificateur, ses cœurs CUDA et ses cœurs Tensor. À l'intérieur de chaque SMP, les cœurs CUDA effectuent l'ombrage des pixels, des sommets et de la géométrie, ainsi que les calculs physiques et informatiques, et chaque cœur Tensor fournit un réseau de traitement matriciel 4x4x4 pour effectuer des opérations mathématiques FMA (Fused Multiply-Add) de précision mixte. Les unités de texture effectuent le filtrage des textures et les unités de chargement/stockage récupèrent et enregistrent les données en mémoire. Les unités de fonctions spéciales (SFU) gèrent les instructions d'interpolation transcendantale et graphique. Enfin, le moteur PolyMorph gère la récupération des sommets, la tessellation, la transformation de la fenêtre, la configuration des attributs et la sortie du flux.
Au final: 6 fois plus de coeurs CUDA pour le nouveau SoC par rapport au TegraX1 présent dans nos Switch actuelles, tous modèles pris en compte
On ne rentrera pas plus loin dans les informations techniques qui expliquent la quantité de composants dédiés présents dans la puce T239Drake, retenons que les unités de calcul CUDA sont chargées des calculs (Shaders, données graphiques) et des rendus 3D tels que nous les connaissons depuis longtemps. On passe ainsi de 256 Cuda du tegra X1 à 1536 CUDA, soit un facteur 6 de puissance que nous avions évoqué lors de notre précédent billet.
Le Boost de puissance par rapport au TegraX1 de l’actuelle gamme Switch est donc flagrant.
Notre dérivé du SoC Orin a donc un CPU ARM Cortex-A78AE 64 bits, qui prend en charge ARMv8.2-A, permettant un traitement facultatif des données à virgule flottante demi-précision au niveau du traitement et diverses améliorations du modèle mémoire. C’est surtout lié à la prise en compte du multithreading simultané (SMT) qui permet d’améliorer les performances de débit global.
Une ouverture sur l'ensemble des formats vidéo, en particulier l'AV1
Nous aurions avec notre Soc T239 le support de l’ensemble des formats : H.265 (HEVC), H.264, VP9, VP8, Mpeg-4 ; Mpeg-2, VC1 et AV1.Ce dernier codec est très intéressant car il est ouvert et libre de droits, créé en 2018 et conçu pour la diffusion de flux vidéo sur Internet et réseaux IP. On imagine tout de suite son intérêt au niveau de l’eSport.
Mais l’AV1 n’est pas le seul intérêt, puisque de ce format de vidéo gratuit peut être extrait un nouveau format d’image, qui peut restituer une grande gamme dynamique et prendre en compte les Live Photos et autres images animées. Ce format est l’AVIF, il combine une très bonne qualité d’image (tout particulièrement pour les images HDR avec une profondeur de couleur supérieure à 8 bits) à de nombreuses autres fonctions (comme HEIF d'Apple, le format AVIF surpasse le format JPEG à cet égard).
Par rapport au format standard JPEG établi, le format AVIF peut réduire la taille d’une image de 50 % en moyenne sans dégradation visible, ce qui est considérable. La compression AVIF est elle aussi très efficace ; elle réduit le temps de chargement des sites Web, épargne les bandes passantes des réseaux et réduit les flux de données en provenance des fournisseurs de services vidéo à la demande, de Cloud (très très important quand on voit les problèmes de lag actuel avec des titres proposés ainsi sur Switch) et d’hébergements Web. L’économie en Mégaoctets et donc en stockage et en bande passante serait significative avec ce format et ce n’est surement pas un hasard si Nintendo of America et Nintendo of Canada ont basculé leurs affichages dans ce nouveau format, en lieu et place des anciens JPEG ou même du Wepb.
Avec notre nouvelle génération Nvidia, la console rafraichi est apte à gérer efficacement tous les outils qui sont utilisés aujourd'hui.
Comprendre le DLSS de Nvidia
C’est le gros morceau qui nous intéresse avec ce nouveau SoC. Cette technologie améliore la qualité d’image, mais elle permet aussi de soulager le processeur graphique grâce à l’upscaling par IA. En gros, l’upscaling par IA permet au GPU de calculer les images dans une résolution inférieure, ensuite l’IA se charge de redimensionner l’image et d’ajouter les informations manquantes. D'un autre côté, si votre tampon de couleurs de sortie est au format RGBA16, DLSS peut l'utiliser pour stocker certaines données temporaires internes, et la quantité de mémoire allouée sera alors plus petite.
Mouaip, on peut être plus concret SVP ?
Le DLSS peut être activé suivant cinq modes possibles :
1 - Performance Mode
2 - Balanced Mode
3 - Quality Mode
4 - Ultra-Performance Mode
5 - Ultra-Quality Mode
Prenons comme exemple l’algorithme DLSS, exécuté en " mode performance ", où le nombre de pixels en entrée est égal au quart du nombre de pixels en sortie :
- Des résultats de 1920x1080 sont générés à partir d'une taille de tampon d'entrée de 960x540 pixels (520p, soit une qualité supérieure au DVD mais des résolutions que l’on a vu souvent en fonctionnement dans les jeux en mode portable, résolution dynamique genre Doom). Se dire que des titres qui ont été adaptés via des solutions de résolutions dynamiques pourraient via le DLSS sortir en résolution 1080p est tout de même étonnant. Attention cependant, en partant d’une résolution de base aussi réduite, pas de miracle, le rendu sera propre mais pas aussi fouillée qu’une image conçue initialement à une résolution supérieure et portée en 1080p. On comble les trous mais on n’invente pas ce qui est absent au niveau des textures, le rendu est cependant pas mal du tout surtout quand on entre dans les options.
- Des résultats de 2560x1440 sont générés à partir d'une taille de tampon d'entrée de 1280x720 pixels (cela correspond à notre 720p que votre écran Switch peut afficher). En clair, votre programme est optimisé en 720p et via le DLSS, on peut générer en sortie du 2560x1440 (sortie TV), soit une résolution QHD, WQHD, Quad HD, le fameux 1440p.
- Des résultats de 3840x2160 (le vrai 4k) sont générés à partir d'une taille de tampon d'entrée de 1920x1080 pixels (notre actuel 1080p).
Au niveau mobile, on peut logiquement se dire que le noyau du tenseur sera réduit ou la fréquence abaissée, et qu'en partant d'une résolution de 360p, on peut obtenir en sortie 720p.
Génial, on signe quand ?
Évidemment toute aussi géniale que soit cette technologie, elle consomme de la RAM pour effectuer ses manipulations. La bibliothèque DLSS alloue une certaine quantité de RAM sur le GPU en interne. La quantité de mémoire allouée peut être demandée à l'aide de NVSDK_NGX_DLSS_GetStatsCallback(). Selon d'anciennes fiches techniques aperçues des kits 2019 qui ne devraient pas avoir beaucoup changé au niveau des besoins, pour manipuler du 1920x1080, il faut 61 Mo de mémoire allouée.
Source : Nvidia
Tout va se jouer là en fonction de la quantité de mémoire que Nintendo va mettre dans sa console. Ce n’est pas pour rien qu’on évoque régulièrement une résolution capée max à 1440p avec éventuellement la possibilité d’afficher du 4k en 30 Fps pour des jeux en 2D car on ne voit pas Nintendo augmenter fortement la mémoire interne dans ses composants. Mais en l’état actuel, entre upscale simple des jeux actuels ou leur faire profiter du surplus de puissance via des patchs, on peut déjà transformer pas mal le quotidien des futurs acquéreurs de cette future Switch sous amphétamine.
Switch + Switch 2 : un casse-tête pour les développeurs ?
A la question : est-ce que cela va compliquer le travail des développeurs, la réponse est non, au contraire. Les SDK de 2019 pointaient déjà des conseils pour permettre l’affichage des titres en cours de développement à des résolutions supérieures tendant vers le 4K, à une époque où ce SDK devait préparer l’arrivée d’un SOC Xavier qui a été mis de côté avec la pandémie pour basculer directement vers l’architecture Orin.
En clair, via le DLSS, un programmeur peut programmer son titre comme il le ferait habituellement, optimisé pour une Switch classique. L’upscale via DLSS permettra aux possesseurs de la Switch 2 de faire tourner le même jeu dans une résolution plus importante. Bref on laisse l’environnement DLSS faire le boulot (il faut cependant quand même travailler l’implantation du DLSS dans le programme, la procédure est expliquée dans le KIT de développement, on voit notamment les PDF visibles dans les captures d’écran autour du leak, même si pas mal de documents ne sont pas secrets).
Nvidia précise tout de même que si le jeu ou le moteur de rendu utilise un format personnalisé pour les vecteurs de mouvement, il doit être décodé avant d'appeler le DLSS. Un travail tout particulier est à effectuer lors des transitions cinématiques, où l’on change de manière importante le flux d’information par rapport aux scènes du jeu. Comme le DLSS s'appuie sur des techniques de reconstruction spatio-temporelle et exploite les informations temporelles recueillies dans les images précédentes, l'algorithme peut être perturbé en cas de changement complet (ou important) de la scène d'une image à l'autre. Cela peut entraîner des artefacts visuels tels que des transitions décalées ou des "images fantômes" de la scène précédente qui se reportent sur la nouvelle scène. Les développeurs doivent donc tenir compte de certains paramètres pour ne pas se faire piéger par de tels artefacts techniques. Depuis le temps que le DLSS existe, les aides sont très bien documentées et ne devraient pas poser beaucoup de problèmes à ce niveau.
Sinon, le développeur peut apporter une optimisation spéciale pour la Switch 2 via des patchs particuliers, pour prendre en compte la plus grande quantité de mémoire, les nouvelles API plus performantes etc…On a même aperçu des documents techniques évoquant la possibilité de la console de gérer le 720p à 120 FPS, mais que Nintendo aurait souhaité brider à 60 FPS pour une question de prise en charge des écrans derrière.
En revanche, il risque de se passer un bon moment avant de voir débarquer des titres spécifiquement développés pour la Switch 2 car cela reviendrait à se couper de la base de 103 millions de Switch déjà vendus. Mais ce serait clairement une solution pour des jeux actuellement commercialisés sous format Cloud, qui pourraient tourner hors Cloud avec la nouvelle puissance de la Switch 2.
L'intérêt de jeter un dernier coup d'oeil au dock OLED
Il est intéressant de regarder ce fameux dock OLED, sous-exploité par la Switch OLED. Les caractéristiques de l’ancien modèle (version standard) sont les suivants :OUTPUT 15V1.2A (18W) HDMI 1.4.
Le modèle OLED donne ceci : OUTPUT 15V2.6A (39W) HDMI2.0HDR
On note tout de suite le surcroit de puissance qui devait logiquement profiter au SoC Xavier qui avait une consommation de 20 – 25W contre les 15W de l’actuel TegraX1. Avec le T239 Drake, on reste dans la zone des 20W. On peut donc logiquement penser que Nintendo et Nvidia feront fonctionner la nouvelle console à des fréquences identiques de l’actuelle console mais que pour une question d’optimisation plus tard, on peut augmenter la fréquence (et donc la consommation) dans une fourchette un peu plus importante (un coup de boost ponctuel) si nécessaire et donc augmenter encore la performance globale de la console.
Un petit retour sur les performance espérées
Horloge mode portable : 307,2 Mhz (mode mobile 1) : 0,944 Tflops (environ 3 fois la Wii U)
384 Mhz (mode mobile 2) : 1,18 Tflops
460 Mhz (mode mobile 3 ) : 1,413 Tflops (on est au-dessus d’une Xbox One)
Mode TV : 768 Mhz : 2,359 Tflops (on est largement au-dessus de la PS4 donnée aux alentours de 1,84 Tflops mais moins que la PS4 Pro qui est à 4,2 Tflops). Il suffirait de faire tourner la puce à 1GHZ pour basculer vers une puissance de 3,07 Tflops. Cela reste peu probable mais quelques boosts ponctuels peuvent être envisagés dans certaines situations.
Source : de nombreuses informations sont extraites d'articles rédigés par le site TechPowerUp
Avec l'ensemble de ces informations, on voit clairement se dessiner la roadmap de l'avenir de la Switch. Mais avec l'histoire des leaks et des intrusions au sein de NVidia, rien ne dit que ce qui était prévu ne soit à nouveau bousculé et rendu caduque pour basculer sur autre chose. Cela peut sembler peu plausible car la Switch actuelle a déjà 5 ans et que le SDK récent semble coller parfaitement avec ce Soc T239Drake, Nvidia n'ayant rien d'autre dans ses cartons à proposer immédiatement. Un nouveau report peut donc sembler compliquer mais on se méfie toujours de Nintendo qui n'aime pas trop voir ses cartes abattues à l'avance.
Ce serait dommage car en l'état actuel du projet, le T239 permet vraiment l'évolution de la famille Switch souhaitée par Iwata. Des rafraichissements réguliers, une conservation de rétrocompatibilité de bon niveau, des solutions techniques pour amener la Switch vers de nouveaux cieux de performance sans perdre en chemin l'importante base installée existante, qui pourra progressivement migrer vers le matériel supérieur tout en conservant une très grande part (et on se doute que Nintendo va faire le maximum à ce niveau) ou l'intégralité de sa collection de jeux. Pas de segmentation de marché brutale mais un transition qui ouvre la porte à une amélioration du flux d'information entre les serveurs et devrait bénéficier au Online comme au Cloud. Effectivement, comme le dit très finement Nintendo, en suivant ce chemin, il n'y a pas de nouvelle console, juste un rafraichissement technique de la famille.
On reste néanmoins inquiet sur un point : le piratage organisé des grands de l'industrie électronique. Ce sont des attaques ciblées : Nvidia, Samsung, à qui le tour ? Car d'un côté les pirates font pression pour défendre le marché du libre. Mais ils se décrédibilisent quand cela tourne autour du juteux marché des cryptomonnaies ou quand en parallèle ils sortent à partir des informations volées des logiciels pour voler encore plus efficacement nos données et nous rançonner. Ce sont de nouvelles actions mafieuses inquiétantes et après le chamboulement lié à l'épidémie COVID, on risque de connaître une nouvelle zone de turbulence avec ces cyberattaques régulières, qui vont empoissonner la vie des sociétés, et peut être même notre modèle de société.
Ce serait dommage car en l'état actuel du projet, le T239 permet vraiment l'évolution de la famille Switch souhaitée par Iwata. Des rafraichissements réguliers, une conservation de rétrocompatibilité de bon niveau, des solutions techniques pour amener la Switch vers de nouveaux cieux de performance sans perdre en chemin l'importante base installée existante, qui pourra progressivement migrer vers le matériel supérieur tout en conservant une très grande part (et on se doute que Nintendo va faire le maximum à ce niveau) ou l'intégralité de sa collection de jeux. Pas de segmentation de marché brutale mais un transition qui ouvre la porte à une amélioration du flux d'information entre les serveurs et devrait bénéficier au Online comme au Cloud. Effectivement, comme le dit très finement Nintendo, en suivant ce chemin, il n'y a pas de nouvelle console, juste un rafraichissement technique de la famille.
On reste néanmoins inquiet sur un point : le piratage organisé des grands de l'industrie électronique. Ce sont des attaques ciblées : Nvidia, Samsung, à qui le tour ? Car d'un côté les pirates font pression pour défendre le marché du libre. Mais ils se décrédibilisent quand cela tourne autour du juteux marché des cryptomonnaies ou quand en parallèle ils sortent à partir des informations volées des logiciels pour voler encore plus efficacement nos données et nous rançonner. Ce sont de nouvelles actions mafieuses inquiétantes et après le chamboulement lié à l'épidémie COVID, on risque de connaître une nouvelle zone de turbulence avec ces cyberattaques régulières, qui vont empoissonner la vie des sociétés, et peut être même notre modèle de société.
Cet article vous a intéressé ? Vous souhaitez réagir, engager une discussion ? Ecrivez simplement un commentaire.
Donc on aura des jeux avec des bonnes résolutions, des bon framerate, mais des modèles qui pop et des temps de chargement dans tout les sens.
Si tendo arrive a nous donné la puissance de la switch 2 sur les jeux switch 1 ont aura les résolution dynamique fixe au maximum (720p en portable /1080-900p en docke) et le framerate fixe a 30 s'il n'est pas verrouillé ce sera du 60 .
Faut espérer que tendo trouve une solution et nous la donne avec les outils de nvidia ,un bon dlss pour tout les jeu switch .