Ce n’est un secret pour personne – même si cela n’a pas encore été clairement ou largement articulé – que nos vies et nos données sont de plus en plus entrelacées, presque impossibles à distinguer. Pouvoir fonctionner dans la société moderne, c’est se soumettre à des demandes de numéros d’identification, d’informations financières, de remplissage de champs numériques et de listes déroulantes avec nos données démographiques. Une telle soumission, dans tous les sens du terme, peut pousser nos vies dans des directions très particulières et souvent troublantes. Ce n’est que récemment, cependant, que j’ai vu quelqu’un essayer de comprendre les implications plus profondes de ce qui se passe lorsque nos données – et les formats auxquels elles doivent s’adapter – deviennent une partie inextricable de notre existence, comme un nouveau membre ou organe auquel nous devons nous adapter. “Je ne veux pas prétendre que nous ne sommes que des données et rien d’autre que des données”, déclare Colin Koopman, président du département de philosophie de l’Université de l’Oregon et auteur de “Comment nous sommes devenus nos données”. Je prétends que vous êtes aussi vos données.” Ce qui signifie à tout le moins que nous devrions penser à cette transformation au-delà des préoccupations les plus évidentes en matière de sécurité des données. « Nous sommes étonnamment apathiques », déclare Koopman, qui travaille sur un livre de suivi, provisoirement intitulé « Data Equals », « à propos de l’attention que nous accordons : que montrent ces données ? Quelles hypothèses sont intégrées dans la configuration des données d’une manière donnée ? Quelles inégalités sont intégrées dans ces systèmes de données ? Nous devons faire plus de travail à ce sujet.”
Pouvez-vous expliquer davantage ce que signifie dire que nous sommes devenus nos données ? Parce qu’une réaction naturelle à cela pourrait être, eh bien, non, je suis mon esprit, je suis mon corps, je ne suis pas des chiffres dans une base de données – même si je comprends que ces chiffres dans cette base de données ont une réelle incidence sur ma vie . L’affirmation selon laquelle nous sommes des données peut également être considérée comme une affirmation selon laquelle nous vivons nos vies à travers nos données en plus de vivre nos vies à travers notre corps, à travers notre esprit, à travers quoi que ce soit d’autre. J’aime adopter une perspective historique à ce sujet. Si vous remontez le temps quelques centaines d’années en arrière ou si vous vous rendez dans certaines communautés, le refoulement ne serait pas : « Je suis mon corps », le refoulement serait : « Je suis mon âme ». Nous avons ces perceptions évolutives de nous-mêmes. Je ne veux nier à personne que, ouais, tu es ton âme. Mon affirmation est que vos données sont devenues quelque chose de plus en plus incontournable et certainement incontournable dans le sens d’être obligatoire pour votre personne moyenne qui vit sa vie. Il y a tellement de nos vies qui sont tissées ou rendues possibles par divers points de données que nous accumulons autour de nous – et c’est intéressant et préoccupant. Il devient maintenant possible de dire : ”Ces points de données sont essentiels à qui je suis. J’ai besoin de m’occuper d’eux et je me sens submergé par eux. J’ai l’impression qu’il est manipulé au-delà de mon contrôle. » Beaucoup de gens ont cette relation avec leur pointage de crédit, par exemple. C’est à la fois très important pour eux et très mystérieux.
En ce qui concerne quelque chose comme nos cotes de crédit, je pense que la plupart d’entre nous peuvent comprendre à un niveau de base que, oui, il est étrange et troublant que nous n’ayons pas d’idées claires sur la façon dont nos données personnelles sont utilisées pour générer ces cotes, et ce malaise est aggravé par le fait que ces scores limitent alors ce que nous pouvons et ne pouvons pas faire. Mais qu’est-ce que l’utilisation de nos données de cette manière suggère en premier lieu, au sens le plus large possible, sur notre place dans la société ? Les côtés informationnels de nous-mêmes clarifient que nous sommes vulnérables. Vulnérable dans le sens d’être exposé à de grands systèmes impersonnels ou à des fluctuations systémiques. Pour faire un parallèle : j’ai peut-être l’impression que si je fais du jogging, que je prends mes vitamines et que je mange sainement, mon corps ira bien. Mais ensuite, il y a cette pandémie, et nous réalisons que nous sommes en fait supervulnérables. Le contrôle que j’ai sur mon corps ? Ce n’est en fait pas mon contrôle. C’était un ensemble de structures sociales. Donc, en ce qui concerne les données, nous voyons cette structure mise en place de manière à ce que les gens aient une vision plus claire de cette vulnérabilité. Nous sommes dans cette position, je fais de mon mieux pour optimiser mon pointage de crédit ou, si je possède une petite entreprise, comment optimiser mon classement dans les moteurs de recherche. Nous chargeons simultanément de plus en plus de nos vies dans ces systèmes et sentons que nous avons peu ou pas de contrôle ou de compréhension sur la façon dont ces systèmes fonctionnent. Cela crée un grand déficit démocratique. Cela sape notre sens de notre propre capacité à nous engager démocratiquement dans certains des termes fondamentaux par lesquels nous vivons avec les autres dans la société. Une grande partie de cela n’est pas un effet des technologies elles-mêmes. Cela tient en grande partie à la façon dont notre culture a tendance à vouloir considérer la technologie, en particulier la technologie de l’information, comme cette chose scintillante et passionnante, et son importance repose sur le fait qu’elle dépasse votre compréhension. Mais je pense qu’il y a beaucoup de choses que nous pouvons accepter concernant, disons, une base de données dans laquelle nous avons été chargés. Je peux être impliqué dans un débat sur la question de savoir si une base de données devrait stocker des données sur la race d’une personne. C’est une question dans laquelle nous pouvons nous voir nous engager démocratiquement.
Colin Koopman donnant une conférence à l’Oregon State University en 2013.
Université d’État de l’Oregon
Mais il est presque impossible de fonctionner dans le monde sans participer à ces systèmes de données dont on nous dit qu’ils sont obligatoires. Ce n’est pas comme si nous pouvions simplement nous retirer. Alors, quelle est la voie à suivre ? Il y a deux chemins de base que je vois. L’un est ce que j’appellerai la voie des libertés ou des libertés ou des droits. Qui est un souci avec, Comment ces systèmes de données proscrivent-ils mes libertés ? C’est quelque chose auquel nous devrions être attentifs, mais il est facile de perdre de vue une autre question que je considère comme tout aussi importante. C’est la question de l’égalité et des implications du caractère obligatoire de ces systèmes de données. Chaque fois que quelque chose est obligatoire, cela devient un terrain d’inégalité potentielle. Nous le voyons dans le cas de l’inégalité raciale il y a cent ans, où vous obtenez des impacts profonds à travers des choses comme la redlining. Certaines personnes ont été systématiquement mises en lock-out à cause de ces systèmes de données. Vous voyez cela se produire domaine après domaine. Vous obtenez ces systèmes de données qui chargent les gens, mais il est clair qu’on n’a pas pris suffisamment soin des effets inégaux de cette datafication.
Mais qu’est-ce qu’on en fait ? Nous devons réaliser qu’il y a un débat à avoir sur ce que signifie l’égalité et sur ce que l’égalité exige. La bonne nouvelle, dans la mesure où elle existe, concernant l’évolution de la démocratie au cours du XXe siècle, c’est que vous obtenez l’extension de cet engagement fondamental en faveur de l’égalité à de plus en plus de domaines. Les données sont un espace de plus où nous avons besoin de cette attention et de cette culture de l’égalité. Nous avons perdu cela de vue. Nous sommes toujours dans ce Far West, un terrain hautement non réglementé où les inégalités ne font que s’accumuler.
Je ne vois toujours pas quelle est l’alternative. Je veux dire, nous vivons dans un monde interconnecté de milliards de personnes. N’est-il donc pas nécessaire qu’il y ait une collecte, des flux et un formatage d’informations personnelles dont nous ne serons pas pleinement conscients ou que nous ne comprendrons pas ? Comment le monde pourrait-il fonctionner autrement ? Ce dont nous avons besoin n’est pas étonnamment nouveau : les démocraties libérales industrialisées ont un bilan décent dans la mise en place de politiques, de réglementations et de lois qui guident le développement et l’utilisation de technologies hautement spécialisées. Pensez à toutes les réglementations de la FDA concernant le développement et la livraison de produits pharmaceutiques. Je ne vois rien dans la technologie des données qui brise le modèle de gouvernance administrative de l’État. Le problème est fondamentalement traitable. Je pense aussi que c’est pourquoi il est important de comprendre qu’il y a deux composants de base dans un système de données. Il y a l’algorithme, et il y a les formats, ou ce que les informaticiens appellent les structures de données. Les algorithmes semblent assez insolubles. Les gens pourraient aller les découvrir ou apprendre à coder par eux-mêmes, mais vous n’avez même pas besoin d’atteindre ce niveau d’expertise pour comprendre le formatage interne. Il existe des exemples assez clairs : vous vous connectez à un nouveau compte ou site Web de réseau social, et vous devez saisir des informations personnelles vous concernant, et il y a une liste déroulante de genre. Cette liste déroulante indique-t-elle masculin-féminin ou comporte-t-elle un plus large éventail de catégories ? Il y a beaucoup à penser en ce qui concerne une liste déroulante de genre. Devrait-il y avoir des réglementations ou des conseils concernant l’utilisation des données de genre dans l’enseignement K-12 ? Ces réglementations pourraient-elles être différentes dans l’enseignement supérieur ? Pourraient-ils sembler différents dans les milieux médicaux? Cette approche réglementaire de base est précieuse, mais nous nous sommes heurtés au mur de l’acquisition effrénée de données par ces énormes sociétés. Ils ont mis en place ce modèle de, vous ne comprenez pas ce que nous faisons, mais croyez-nous que vous avez besoin de nous, et nous allons aspirer toutes vos données dans le processus. Ces entreprises ont vraiment échappé à la réglementation pendant un certain temps.
Où voyez-vous les inégalités les plus importantes en matière de données personnelles se jouer actuellement ? Dans la littérature sur les biais algorithmiques, il existe une foule d’exemples : les logiciels de reconnaissance faciale classant à tort les visages noirs, les cas dans les systèmes d’IA en informatique médicale. Ces cas sont clairs, mais le problème est qu’ils sont tous uniques. Le défi que nous devons relever est de savoir comment développer un cadre réglementaire plus large autour de cela ? Comment obtenir une approche plus fondée sur des principes afin de ne pas jouer à la taupe avec des problèmes de biais algorithmique ? La façon dont la taupe se fait frapper maintenant, c’est que quelle que soit l’entreprise qui a développé un système problématique, elle l’éteint, puis s’excuse – en s’inspirant de Mark Zuckerberg et de toutes les façons infinies dont il a gâché les choses, puis grince avec ces excuses très sincères. Tous les discours à ce sujet tendent maintenant à se concentrer sur « l’équité algorithmique ». L’esprit est là, mais se concentrer sur les algorithmes est trop étroit, et se concentrer sur l’équité est également trop étroit. Il faut aussi tenir compte de ce que j’appellerais l’ouverture d’opportunités.
Qui veut dire quoi dans ce contexte ? Pour essayer d’illustrer ceci : vous pouvez avoir un système équitable sur le plan procédural qui ne tient pas compte des différentes opportunités que pourraient avoir des personnes dans des situations différentes qui entrent dans le système. Pensez à un algorithme de prêt hypothécaire. Ou un autre exemple est un tribunal. Différentes personnes viennent dans des situations différentes avec des opportunités différentes en raison de leur situation sociale, de leur origine, de leur histoire. Si vous avez un système équitable sur le plan procédural dans le sens où nous n’allons aggraver aucune des inégalités existantes, cela ne suffit pas. Une approche plus complète serait réparatrice à l’égard de la reproduction continue des inégalités historiques. Il s’agirait de systèmes qui tiendraient compte des différences de situation entre les gens et de ce que nous pouvons faire pour créer des règles du jeu plus équitables tout en maintenant l’équité procédurale. L’équité algorithmique engloutit tout le temps d’antenne, mais elle n’aborde pas ces problèmes plus profonds. Je pense qu’une grande partie de cette focalisation sur les algorithmes provient de groupes de réflexion et d’instituts de recherche qui sont financés ou lancés par certaines de ces sociétés Big Tech. Imaginez si la recherche de pointe en matière de réglementation environnementale ou de politique énergétique sortait de groupes de réflexion financés par les grandes sociétés pétrolières ? Les gens devraient se dire : si Microsoft finance ce groupe de réflexion censé fournir des conseils aux Big Tech, ne devrions-nous pas être sceptiques ? Cela devrait être scandaleux. C’est une réponse longue et sinueuse. Mais c’est ce qu’on obtient quand on parle à un professeur de philosophie !
Illustration d’ouverture : Photographie source de Colin Koopman.
Cette interview a été éditée et condensée à partir de deux conversations.
David Marchese est rédacteur pour le magazine et rédige la rubrique Talk. Il a récemment interviewé Emma Chamberlain à propos de son départ de YouTube, Walter Mosley à propos d’une Amérique stupide et Cal Newport à propos d’une nouvelle façon de travailler.
