Agrandir / Palette.fm effectue la colorisation des photos AI en utilisant des invites de texte pour le raffinement.
Benj Edwards / Ars Technica
Un chercheur suédois en apprentissage automatique nommé Emil Wallner a publié un outil Web gratuit appelé Palette.fm qui colorise automatiquement les photos en noir et blanc à l’aide de l’IA. Après avoir téléchargé une photo, les utilisateurs peuvent choisir un filtre de couleur ou affiner les couleurs à l’aide d’une description textuelle écrite.
Palette.fm utilise un modèle d’apprentissage en profondeur pour classer les images, qui guide ses suppositions initiales pour les couleurs des objets dans une photo ou une illustration. Nous avons demandé à Wallner quel type de technologie back-end gère le site, mais il n’est pas entré dans les détails. “J’ai créé un modèle d’IA personnalisé qui utilise l’image et le texte pour générer une colorisation”, a répondu Wallner. “Un modèle crée le texte et l’autre prend l’image et le texte pour générer la colorisation.”
Après avoir téléchargé une image, l’interface élégante du site fournit une légende estimée (description) de ce qu’il pense voir dans l’image. Si vous n’aimez aucun des filtres de couleur prédéfinis, vous pouvez cliquer sur l’icône en forme de crayon pour modifier vous-même la légende, qui guide le modèle de colorisation à l’aide d’une invite de texte.
Pour le tester, nous avons pris une photo d’une petite citrouille et avons supprimé la couleur à l’aide de Photoshop. Ensuite, nous avons téléchargé la version en noir et blanc et expérimenté la sélection des filtres prédéfinis fournis par Palette.fm. Une fois que nous avons trouvé un bon filtre, nous avons édité la légende pour affiner les couleurs en décrivant les objets de la scène. Par exemple, Palette.fm pensait à l’origine que la citrouille était une “griffe” et ne reconnaissait pas le trottoir. Mais une fois que nous avons mis ces termes dans l’invite écrite, les couleurs avaient plus de sens. Nous avons encore affiné l’image plus tard (non illustrée dans l’exemple ci-dessous) en spécifiant “feuilles vertes” en arrière-plan.
Publicité
Agrandir / Une photo de test Ars originale (à gauche), une sans couleur (au centre) et une colorisée par Palette.fm (à droite).
Benj Edwards / Ars Technica
Pour l’instant, Palette.fm est disponible en tant que service gratuit, mais Wallner prévoit d’ajouter une option payante. Le site traite les images en ligne, dans le cloud. En ce qui concerne la confidentialité des photos téléchargées, le site Palette.fm indique : “Nous ne stockons pas vos images”. Mais comme pour tout service cloud, prenez cela avec un grain de sel en ce qui concerne les photos privées. De manière rafraîchissante, Palette.fm ne nécessite aucun type d’enregistrement de compte d’utilisateur pour le moment.
Jusqu’à présent, Palette.fm a trouvé un écho auprès des personnes de Hacker News qui ont utilisé l’outil actuellement gratuit pour coloriser des photos de parents bien-aimés et des photographies historiques.
Mise à jour:
Il convient de souligner que le concept de colorisation des photos avec l’IA n’est pas nouveau pour Palette.fm, y compris un filtre neuronal “coloriser” dans Photoshop. Wallner lui-même travaille sur la colorisation alimentée par l’IA depuis cinq ans, dit-il. Une variante de la technologie de colorisation de Wallner est également disponible en tant que bot sur Twitter depuis la fin de l’année dernière.
