Malgré la nature succès de ChatGPT et d’autres grands modèles de langage, les réseaux de neurones artificiels (ANN) qui sous-tendent ces systèmes pourraient être sur la mauvaise voie.
D’une part, les ANN sont “super gourmands en énergie”, a déclaré Cornelia Fermüller, informaticienne à l’Université du Maryland. “Et l’autre problème est [their] manque de transparence.” De tels systèmes sont si compliqués que personne ne comprend vraiment ce qu’ils font, ou pourquoi ils fonctionnent si bien. Ceci, à son tour, rend presque impossible de les amener à raisonner par analogie, ce que font les humains – en utilisant des symboles pour les objets, les idées et les relations entre eux.
Ces lacunes proviennent probablement de la structure actuelle des RNA et de leurs éléments constitutifs : les neurones artificiels individuels. Chaque neurone reçoit des entrées, effectue des calculs et produit des sorties. Les RNA modernes sont des réseaux élaborés de ces unités de calcul, formés pour effectuer des tâches spécifiques.
Pourtant, les limites des RNA sont évidentes depuis longtemps. Considérez, par exemple, un ANN qui sépare les cercles et les carrés. Une façon de le faire est d’avoir deux neurones dans sa couche de sortie, un qui indique un cercle et un qui indique un carré. Si vous voulez que votre ANN discerne également la couleur de la forme, par exemple, bleu ou rouge, vous aurez besoin de quatre neurones de sortie : un pour le cercle bleu, le carré bleu, le cercle rouge et le carré rouge. Plus de fonctionnalités signifie encore plus de neurones.
Cela ne peut pas être la façon dont notre cerveau perçoit le monde naturel, avec toutes ses variations. “Vous devez proposer que, eh bien, vous avez un neurone pour toutes les combinaisons”, a déclaré Bruno Olshausen, neuroscientifique à l’Université de Californie à Berkeley. “Donc, vous auriez dans votre cerveau, [say,] un détecteur Volkswagen violet.
Au lieu de cela, Olshausen et d’autres soutiennent que l’information dans le cerveau est représentée par l’activité de nombreux neurones. Ainsi, la perception d’une Volkswagen violette n’est pas codée comme les actions d’un seul neurone, mais comme celles de milliers de neurones. Le même ensemble de neurones, tirant différemment, pourrait représenter un concept entièrement différent (une Cadillac rose, peut-être).
C’est le point de départ d’une approche radicalement différente du calcul, connue sous le nom de calcul hyperdimensionnel. La clé est que chaque élément d’information, comme la notion d’une voiture ou sa marque, son modèle ou sa couleur, ou tout cela ensemble, est représenté comme une seule entité : un vecteur hyperdimensionnel.
Un vecteur est simplement un tableau ordonné de nombres. Un vecteur 3D, par exemple, comprend trois nombres : les coordonnées x, y et z d’un point dans l’espace 3D. Un vecteur hyperdimensionnel, ou hypervecteur, pourrait être un tableau de 10 000 nombres, par exemple, représentant un point dans un espace à 10 000 dimensions. Ces objets mathématiques et l’algèbre pour les manipuler sont suffisamment flexibles et puissants pour amener l’informatique moderne au-delà de certaines de ses limites actuelles et pour favoriser une nouvelle approche de l’intelligence artificielle.
“C’est ce qui m’a le plus enthousiasmé, pratiquement de toute ma carrière”, a déclaré Olshausen. Pour lui et pour beaucoup d’autres, l’informatique hyperdimensionnelle promet un nouveau monde dans lequel l’informatique est efficace et robuste et les décisions prises par les machines sont entièrement transparentes.
Entrez dans les espaces de grande dimension
Pour comprendre comment les hypervecteurs rendent le calcul possible, revenons aux images avec des cercles rouges et des carrés bleus. Tout d’abord, nous avons besoin de vecteurs pour représenter les variables SHAPE et COLOR. Ensuite, nous avons également besoin de vecteurs pour les valeurs qui peuvent être attribuées aux variables : CERCLE, CARRÉ, BLEU et ROUGE.
Les vecteurs doivent être distincts. Cette distinction peut être quantifiée par une propriété appelée orthogonalité, ce qui signifie être à angle droit. Dans l’espace 3D, il existe trois vecteurs orthogonaux : un dans la direction x, un autre dans la direction y et un troisième dans la direction z. Dans un espace à 10 000 dimensions, il existe 10 000 vecteurs mutuellement orthogonaux.
