Microsoft et l'État pontifical présentent une réplique numérique de la Basilique Saint-Pierre qui montre, dans une visite virtuelle immersive, des détails et des lieux de l'église emblématique impossibles à voir en personne

 

FRANCISCO DOMÉNECH Rome - 16 NOVEMBRE 2024 -

 

Dans une ville de Rome encore plongée dans les préparatifs du Jubilé de 2025 , les travaux compliquent plus que d'habitude la circulation dans le centre historique, où les échafaudages éclipsent encore les visites de lieux emblématiques comme la fontaine de Trevi ou la Piazza Navona. Pendant ce temps, le Vatican finalise un lifting sans précédent pour l'épicentre déjà brillant de ces célébrations, la basilique Saint-Pierre. Il s’agit d’une restauration technologique qui a utilisé l’intelligence artificielle générative pour créer pour la première fois une réplique numérique de la basilique. Et avec cela, l'État pontifical aspire à offrir « une nouvelle expérience spirituelle », selon les mots du père Enzo Fortunato, qui a participé au projet de la Fabbrica , l'institution papale chargée de la conservation de l'édifice monumental.

Microsoft est le partenaire technologique de cette initiative, dans laquelle son président, Brad Smith, a été personnellement impliqué : « Ce modèle 3D, d'un grand réalisme et de très haute résolution, est un jumeau numérique ; quelque chose que nous sommes beaucoup plus habitués à voir dans une usine industrielle, où il est utilisé pour surveiller les opérations et déterminer si quelque chose a besoin d'être réparé. Ici, en revanche, nous avons une extraordinaire opportunité d'utiliser un jumeau numérique non pas pour gérer son fonctionnement, mais pour élargir les connaissances humaines », a expliqué lundi dernier le directeur de la multinationale américaine, lors de la présentation officielle du projet avec le Cardinal. Mauro Gambetti , archiprêtre de la basilique Saint-Pierre. EL PAÍS a été invité à cette présentation par Microsoft

Avec cette philosophie de base, la technologie pure et simple a fait le premier pas. La startup française Iconem a utilisé deux drones, pilotés par intelligence artificielle et équipés de caméras et de lasers, pour prendre plus de 400 000 images à l'aide de techniques avancées de photogrammétrie. Il a fallu trois semaines de travail, profitant des heures de la journée sans visiteurs, pour scanner l'ensemble de la basilique, intérieur et extérieur, en enregistrant chaque détail. Mais le résultat n'était pas seulement des photos, mais les capteurs laser ( LiDAR ) mesuraient la distance à chaque objet et relief photographié : ainsi plus de 9 000 millions de points ont été obtenus, avec lesquels une première carte tridimensionnelle a été dessinée, à la fois le basilique et tout son contenu.

Le total des données dépassait 20 pétaoctets d’informations, ce qui, comme le souligne Smith, « remplirait 5 millions de DVD qui, une fois empilés, formeraient une tour de 6 000 mètres de haut ». Le président de Microsoft a expliqué à EL PAÍS qu'il aurait été impossible de combiner toutes ces informations — c'est-à-dire de coller toutes ces photos sur cette carte d'innombrables points, pour construire un modèle 3D ultra précis et réaliste — sans utiliser les technologies les plus avancées. techniques d’IA générative, « qui n’étaient pas disponibles il y a seulement deux ou trois ans ».

Impossible sans IA ?

Juan Lavista, vice-président et responsable de la science des données chez Microsoft, se souvient qu'« il y a 20 ans, ces types de processus pour construire des modèles 3D étaient réalisés à la main. Mais pour un projet de cette taille et de cette complexité, je pense qu’il ne serait pas possible ou prendrait de nombreuses années sans intelligence artificielle. L'IA développée par le laboratoire de recherche dirigé par Lavista au sein du géant de la technologie a été utilisée non seulement pour construire le jumeau numérique mais pour le rendre gérable et, malgré l'énorme quantité d'informations avec laquelle il est construit, le modèle 3D peut être rendu et déplacé avec agilité. Ce n’est qu’ainsi, avec cette dernière étape, que l’idée de voir la basilique sous n’importe quel point et angle pourra être mise en pratique.

Pour le Père Paolo Benanti, la question de savoir si ce projet serait possible sans l’IA a une réponse plus philosophique : « Van Gogh aurait-il pu peindre son art s’il ne l’avait pas fait avec des couleurs synthétiques, ce que n’avaient pas auparavant des artistes comme Rubens ? leur élimination ? Si les outils utilisés conditionnent une œuvre, il est clair que sans intelligence artificielle le modèle 3D serait tout simplement différent : ce n'est pas une représentation graphique, c'est une représentation générée avec l'IA", explique ce moine franciscain, conseiller du Pape. Francis sur la question de l'utilisation éthique de la technologie et a collaboré au projet. Benanti précise que l'IA est essentielle pour pouvoir simuler avec cette réplique à quoi ressemblerait la basilique quelles que soient la lumière et les conditions météorologiques.

v

Ce jumeau numérique est le cœur d'une nouvelle exposition avec laquelle le Vatican enrichira la visite de la Basilique Saint-Pierre lors du Jubilé de 2025. Quelques semaines avant son inauguration, EL PAÍS a eu accès à cet espace d'exposition — appelé Petros ení ( Pierre est ici, en grec), qui se déroule entre deux salles octogonales inutilisées de la basilique. Sa grande attraction est une visite virtuelle immersive. Une vidéo en ultra haute définition est projetée sur un écran géant incurvé qui traverse le jumeau numérique : depuis le tombeau de l'apôtre, dans les salles souterraines, jusqu'au sommet de la coupole, conçue par Michel-Ange et qui reste l'intérieur le plus élevé. hauteur — 118 mètres — jamais construite. La visite vidéo vous emmène à plusieurs endroits de la basilique impossibles à voir en personne et zoome pour révéler des détails invisibles lorsque vous parcourez le bâtiment monumental. Ainsi, le visiteur virtuel peut voir de ses propres yeux ce que les guides nous disent lors des visites de la basilique : aucun de ce qui ressemble à des peintures ne l'est, ce sont toutes des mosaïques.

Lumières et ombres d'une visite immersive

Le président de Microsoft le décrit dans ce journal comme une expérience religieuse : « Il y a un moment où vous commencez les pieds sur terre et regardez vers le sommet du dôme. C'est si haut que vous ne pouvez pas voir ce qu'il y a là, mais dans cet espace virtuel vous pouvez monter dans les airs et alors vous réalisez que ce qu'il y a là est une mosaïque extraordinaire et vous êtes assez près pour y voir le visage de Dieu ; et ensuite, vous pouvez regarder en bas et voir la basilique telle que Dieu la voit », explique Brad Smith. C'est ce qu'ont vu ceux qui ont construit et décoré le grand dôme, achevé en 1590, des décennies après la mort de Michel-Ange. Smith souligne que des siècles se sont écoulés sans que personne n’ait la possibilité d’avoir ce point de vue, « que nous pouvons aujourd’hui envisager d’utiliser la puissance de l’IA ». D'autre part, Mauro Gambetti illustre l'expérience et ce que propose le jumeau numérique construit avec l'intelligence artificielle avec une métaphore scientifique : « C'est comme regarder un ciel étoilé une nuit d'été : les nouveaux outils agissent comme un télescope ou un vaisseau spatial, pour voyez-le mieux ou sous un autre angle », dit le cardinal.

Enthousiasmés par ces réalisations, les chefs de projet ont voulu relever un autre défi : apporter cette expérience immersive partout dans le monde, à des personnes qui ne peuvent peut-être pas se rendre au Vatican mais ont accès à un ordinateur, un téléphone portable ou comprimé. Le résultat est désormais visible sur une nouvelle page, virtual.basilicasanpietro.va : là, la section « Explorez la Basilique Saint-Pierre » donne accès à une visionneuse Web interactive du jumeau numérique. Dans sa version initiale, publiée cette semaine, il présente une interface peu pratique, ce qui rend la navigation dans la basilique difficile et déroutante (il est facile de se perdre dans des espaces irréels entre les murs). Le chargement est lent, même avec une connexion haut débit, et le niveau de détail est bien inférieur à celui des vidéos de l'exposition physique : au lieu de percevoir chaque carreau des mosaïques, ce que vous voyez sont des artefacts sous forme de lignes qui brouillent ces œuvres. de l'art.

Microsoft et le Vatican ont également annoncé qu'ils apporteraient également dans les mois à venir la réplique numérique de la basilique à l' espace éducatif du jeu vidéo Minecraft , signe d'un effort de connexion avec les nouvelles générations. Leurs projets incluent également la possibilité de créer une version pour lunettes de réalité virtuelle et augmentée ; et en regardant vers l'avenir, une plus grande aspiration : « Ce modèle 3D durera pour toujours », déclare Juan Lavista, responsable du laboratoire Microsoft AI for Good , qui souligne que son équipe a pu développer un outil d'IA qui détecte chacun des éléments manquants. des fragments des mosaïques de la basilique, ainsi que des fissures dans les murs, les colonnes et les voûtes. Cela a permis de créer une carte détaillée des vulnérabilités structurelles, que Microsoft et Iconem ont mise à la disposition du Vatican pour guider les futures interventions pour l'entretien et la restauration de ce complexe historique, artistique et religieux.

« C'était la première fois que nous abordions ce problème de détection de pièces manquantes et de fissures, nous ne savions pas si nous allions pouvoir le résoudre. Et maintenant que nous en sommes sûrs, nous allons l'utiliser dans d'autres projets », déclare Lavista, qui promet également que s'ils démontrent que cet utilitaire peut être généralisé à d'autres monuments, sa société publiera les algorithmes d'IA utilisés et fera les open source pour faciliter leur utilisation dans la conservation du patrimoine.

La première réplique 3D de la basilique Saint-Pierre, réalisée avec Microsoft AI

Microsoft avait déjà une expérience plus modeste dans le domaine de la numérisation du patrimoine. Egalement en collaboration avec la société Iconem, il avait précédemment travaillé sur la reconstitution du Mont Saint-Michel (France) et les vestiges archéologiques d' Olympie (Grèce) ; Dans les deux cas, ils avaient déjà utilisé l’IA pour créer des modèles 3D qui ont servi de base à la fois à des expériences immersives et à de futurs plans de restauration. Mais aucune de ces initiatives n'avait les dimensions et la complexité de la réplique de la Basilique Saint-Pierre, qui, selon Brad Smith, "est sans aucun doute l'un des plus grands projets de ce type jamais réalisés". Son entreprise n'a pas voulu révéler combien d'argent elle a investi dans le nouveau jumeau numérique, mais elle espère que précisément l'expérience d'avoir porté l'idée à une échelle aussi énorme servira à réduire le coût et la durée de ces projets, et ainsi assurer que d'autres sont faits.

Bien que l'initiative de Microsoft et du Vatican serve à populariser et à rendre moins coûteux le développement de jumeaux numériques avec l'IA de nouvelle génération, il s'agit de l'une des nombreuses initiatives de conservation qui ont tenté de combiner les deux technologies ces dernières années, comme l'ont noté James Hutson et Joseph. Weber dans son article de 2023 Jumeaux numériques et conservation du patrimoine culturel . La startup Iconem, née en 2013, s'est spécialisée dans la numérisation de lieux patrimoniaux de l'humanité et menacés par des conflits de guerre, dans des pays comme la Syrie, l'Iran ou l'Afghanistan .

Pour Brad Smith, le fait qu'un jumeau numérique puisse reproduire un monument historique et permettre une visite virtuelle, avec certains avantages par rapport à une visite physique – ou même le maintenir en vie d'une manière ou d'une autre, même s'il est détruit – ne remplacera jamais la contemplation en personne. cela ne conduira pas non plus à un désintérêt pour sa conservation : « En fait, si nous avions eu un jumeau numérique de la cathédrale Notre-Dame avant son grand incendie, la reconstruction aurait été beaucoup plus facile et plus rapide », a déclaré le numéro deux de Microsoft dans le présentation officielle du projet Basilique Saint-Pierre, une expérience améliorée par l'IA .