3D Avatar Diffusion

Réseau neuronal expérimental de Microsoft pour créer des avatars 3D détaillés à partir d'une description de photo ou de texte.

3D Avatar Diffusion

Aperçu général

3D Avatar Diffusion, également connu sous le nom RODIN Diffusion, est un projet de recherche Microsoft axé sur la production d'avatars humains en trois dimensions. La technologie est construite sur une architecture de diffusion en plusieurs étapes qui permet la création de modèles volumétriques avec un rendu détaillé de la forme, de la texture et de l'éclairage. Le système peut fonctionner avec un portrait photographique de l'utilisateur et une description texte de le caractère désiré.

Le projet devrait être considéré comme une démonstration scientifique des capacités plutôt qu'un produit fini. Les développeurs publient des résultats d'exemples et une description de la méthodologie, mais aucun accès public complet à l'outil pour un large public n'est fourni.

Concept et recherche

L'objectif principal de la recherche est de montrer comment les modèles de diffusion peuvent être appliqués au domaine de la génération tridimensionnelle de figures semblables à l'homme. À la différence de nombreux services commerciaux, ce projet se concentre sur le volet technique de la question et explore les limites de la qualité de l'information. les modèles 3D générés.

Comment ça marche

Au stade actuel, il n'est pas possible de générer votre propre avatar à travers le site Web de Microsoft. Malgré l'existence de la page Web du projet et des documents publiés, le système est un ensemble de développements scientifiques et d'exemples plutôt qu'un service interactif.

Caractéristiques de diffusion 3D Avatar

  • Oui.

Caractéristique Valeur

  • Oui. Type de recherche réseau neuronal Catégorie de modèles et objets 3D, création de caractères AI Équipe de développeurs associée à Microsoft Site web du projet Date de publication sur le site web Ouvrir l'accès

Pour qui la diffusion 3D Avatar convient-elle?

Chercheurs et développeurs en vision informatique

Les personnes qui étudient les méthodes de production de contenu 3D à l'aide de modèles de diffusion peuvent trouver des informations précieuses dans ce projet. Les documents publiés décrivent des solutions architecturales et des approches de génération en plusieurs étapes qui peuvent être utiles pour leurs propres expériences.

Spécialistes de la création de caractères numériques

Les professionnels des industries du jeu, de l'animation et de la réalité virtuelle qui suivent le développement des technologies automatiques de génération de caractères peuvent considérer ce projet comme une source d'inspiration et une référence pour les futurs outils commerciaux.

Nombre d'utilisateurs réguliers

Pour un large public, le projet n'offre malheureusement pas encore de valeur pratique — il est impossible d'essayer la technologie vous-même.

Comment utiliser 3D Avatar Diffusion?

Aucune interface publique

Il est important de comprendre qu'il n'y a pas actuellement de bouton « essayer » ou de formulaire de téléchargement disponible pour chaque visiteur du site. Vous ne pouvez pas simplement télécharger votre photo et obtenir un avatar tridimensionnel.

Étudier le matériel de recherche

La seule façon d'interagir avec le projet est étudier les publications, les exemples de modèles générés et la documentation technique présentée sur le site. Toutes les capacités du système sont démontrées par des exemples préétablis.

Principales caractéristiques de la diffusion 3D Avatar

Génération à partir d'une photo de portrait

Le système peut reconstruire une figure humaine tridimensionnelle basée sur une seule photo de portrait. L'approche à plusieurs niveaux permet d'abord de créer une forme rugueuse puis d'ajouter séquentiellement du volume, des textures et de régler l'éclairage.

Génération à partir d'une description texte

Il est possible de générer des caractères à partir de zéro un texto. L'utilisateur (dans les scénarios de recherche) peut spécifier des détails tels que la couleur des cheveux, les caractéristiques vestimentaires, les traits du visage et d'autres caractéristiques qui seront prises en compte lors de la création du modèle.

Édition de la figure créée

La technologie permet de modifier un modèle 3D déjà généré. Par exemple, vous pouvez changer la coiffure d'un personnage ou ajouter des accessoires, tandis que les autres paramètres de la figure et de ses textures sont préservés.

Avantages de la diffusion d'Avatar 3D

Niveau de détail élevé dans les résultats

Grâce à l'architecture de diffusion en plusieurs étapes, le système réalise un rendu de haute qualité des éléments fins : structure de la peau, plis de vêtements et caractéristiques d'éclairage. Cela distingue le projet de nombreux générateurs d'avatar plus simples.

La polyvalence des méthodes d'entrée

La capacité de travailler avec une image et une description de texte offre une flexibilité dans le processus créatif. L'utilisateur peut commencer par une personne réelle ou créer un personnage complètement fictif.

Fonction post-traitement

La possibilité d'éditer un chiffre déjà fini ouvre des cas d'utilisation supplémentaires : vous pouvez par itérative affiner un caractère pour obtenir le résultat souhaité.

Inconvénients de la diffusion d'Avatar 3D

Pas de version ouverte

Le principal inconvénient est que le projet n'est pas accessible à un large public. L'utilisateur ne peut pas télécharger sa photo et obtenir un avatar ; toutes les capacités restent seulement dans le domaine de recherche.

Contenu public limité

Seuls les développements de recherche, les exemples et une description de la technologie sont publiés sur le site. Aucune démonstration interactive complète n'est fournie à toute personne intéressée.

Risques éthiques

Les développeurs notent le danger potentiel de la technologie: elle peut être utilisée pour créer des images fausses réalistes des gens. Les auteurs recommandent que l'étiquetage donne des résultats pour éviter les abus et la désinformation.

Quelles tâches la diffusion 3D Avatar résout-elle ?

Création d'avatars 3D personnels

La tâche principale du système est de générer un avatar tridimensionnel détaillé basé sur une image de portrait unique d'une personne. Cela pourrait être utile pour les applications futures dans la réalité virtuelle, les jeux ou les systèmes de communication vidéo.

Générer des personnages fictifs

La technologie permet de créer des chiffres 3D à partir de zéro sur la base d'une description texte, sans utiliser de photos de référence. L'utilisateur peut spécifier les caractéristiques d'apparence souhaitées et obtenir un modèle correspondant.

Réglage des modèles 3D existants

Le système prend en charge l'édition d'une figure générée : changement de coiffure, ajout d'accessoires et autres modifications. Cela permet de personnaliser un avatar pour des tâches spécifiques sans avoir besoin d'une régénération complète.

Prix de diffusion 3D Avatar

Aucune information sur le coût d'utilisation n'est disponible. Le projet est un projet de recherche et n'a pas de modèle de distribution commerciale. Étant donné que le public n'a pas accès à la technologie, il est prématuré de parler de tarifs ou de plans d'abonnement. Il est probable que si une version commerciale du produit apparaît, la politique de prix sera annoncée séparément.

Conditions d'utilisation de 3D Avatar Diffusion

Statut du projet scientifique

Le système est distribué exclusivement dans le cadre des activités de recherche. Cela signifie que tous les matériaux sont fournis pour l'étude et l'analyse scientifique, et non pour une utilisation pratique par les utilisateurs finaux.

Recommandations pour l'étiquetage des résultats

Les auteurs soulignent l'importance de l'étiquetage du contenu généré. Les images et les modèles 3D créés avec la technologie devraient être marqués comme étant synthétiques pour empêcher leur utilisation à des fins trompeuses.

Disponibilité de la diffusion d'Avatar 3D

À ce jour, il n'y a pas d'accès complet au réseau neuronal pour les utilisateurs finaux. Malgré l'existence du site web du projet avec des publications et des exemples, la fonctionnalité pour créer des avatars n'est pas disponible pour quiconque sauf les membres de l'équipe de recherche. Pour essayer la technologie, un large public devra attendre une sortie séparée ou l'émergence de solutions tierces basées sur cette technologie.

Comment la diffusion d'Avatar 3D diffère des alternatives

Architecture de diffusion multi-étapes

La principale différence par rapport à de nombreuses solutions existantes est l'approche de génération. Au lieu de créer un modèle à une étape, le système fonctionne étape par étape : d'abord une forme de base est formée, puis le volume, les textures et la lumière sont ajoutés. Cela permet d'obtenir des résultats de meilleure qualité.

Données d'entrée combinées

Une caractéristique rare est la possibilité de travailler avec deux types de données d'entrée (photo et texte) dans un modèle unique. La plupart des concurrents se spécialisent dans l'une de ces méthodes de génération. De plus, la possibilité de modifier un chiffre déjà créé n'est pas trouvée dans tous les outils similaires.

Nature de la recherche

Contrairement aux services commerciaux de production d'avatar, ce projet ne vise pas à créer un produit fini. Sa mission principale est : de démontrer les capacités techniques et de publier les résultats scientifiques, tandis que la plupart des alternatives visent l'utilisateur de masse et offrent une interface interactive simple.

Conclusion

  • Oui.

La diffusion RODIN, ou diffusion Avatar 3D, est un exemple frappant de la façon dont les modèles de diffusion peuvent être appliqués à la tâche de génération de caractères tridimensionnels. Le développement de Microsoft démontre des résultats impressionnants en créant des avatars détaillés à partir de photos ou de descriptions de texte et ouvre de nouveaux horizons pour l'industrie. Toutefois, au stade actuel, le projet reste un développement en laboratoire : il est impossible de Allez sur le site Web de Microsoft et créez votre propre avatar. Un large éventail d'utilisateurs ne peuvent que suivre le développement de la technologie et attendre que des produits commerciaux construits sur sa base apparaissent.

Création d'avatars personnalisés pour les jeux
Génération de modèles 3D pour la réalité virtuelle
Prototypage de caractères
Objectifs de recherche

Foire aux questions

Voir aussi

Diffusion d'Avatar 3D - Microsoft Neural Network Review