dimanche 12 juin 2016

« Les algorithmes peuvent creuser les inégalités et saper la démocratie »

Cathy O’Neil n’est pas un « data scientiste » comme les autres. C’est une femme, aux cheveux bleus, et surtout, elle se définit elle-même comme « data sceptique ».
Cette docteur en maths de la très prestigieuse université Harvard aux Etats-Unis tire la sonnette d’alarme contre certains algorithmes opaques et discriminatoires dans un livre à paraître en septembre, « Weapons of math destruction » (math au lieu de mass, vous aurez compris), que l’on pourrait traduire par « Armes de destruction matheuses ». Elle y raconte  « comment le big data augmente les inégalités et menace la démocratie ».
Couverture du livre à paraître en septembre
Couverture du livre à paraître en septembre -Crown Penguin Random House
Cette « supernana des maths » (c’est le nom de son blog) a été analyste quantitative (on dit « quant “ dans le métier) à Wall Street dans un hedge fund, avant de militer au sein dugroupe Occupy Finance. Elle a aussi travaillé dans des start-up de big data publicitaire, prédisant les achats et les clics des consommateurs.
Mais ce qui l’inquiète, c’est l’impact dévastateur de ces processus de décision automatisés et biaisés dans des domaines aussi déterminants pour un individu et une société démocratique que la justice et l’éducation.
Son ouvrage est ‘une magnifique analyse, aux conclusions perturbantes’, selon la chercheuse en sciences humaines, spécialiste de la génération numérique, danah boyd.
De passage à Paris cette semaine, Cathy O’Neil est venue lancer son cri d’alerte, étayé de nombreux exemples concrets, à la conférence technologique USI, devant un parterre d’ingénieurs et de spécialistes du numérique. Nous avons poursuivi la conversation. Entretien.
Rue89 : Des algorithmes peuvent être aussi dangereux que des armes selon vous ?
Cathy O’Neil  : Ce que j’appelle les armes de destruction matheuses, ce sont des algorithmes qui peuvent être mauvais pour la société, et qui se transforment en armes. Ils prennent souvent la forme de systèmes de scoring (notation) qui évaluent les individus. Ils empirent la situation au lieu de l’améliorer. Même s’ils peuvent avoir de bonnes intentions au départ.
Les gens y croient parce qu’ils sont pseudo-scientifiques. Parfois, ils sont relativement exacts mais ils sont mauvais de par leur nature opaque, leur fort impact et leur effet destructeur. Ils peuvent être ‘bons’ au sens de rentables pour les entreprises.
Je cite souvent l’exemple de la publicité prédatrice des universités privées à but lucratif [qui ciblent des individus vulnérables et s’enrichissent grâce aux aides fédérales, ce qui a donné lieu à plusieurs gros scandales aux Etats-Unis, ndlr] : cela rapporte beaucoup d’argent à ces universités et à Google, mais cela plonge plein de gens dans l’endettement sans les former vraiment. Donc c’est mauvais pour la société dans son ensemble.
Tous les algorithmes sont-ils mauvais ?
Non, ce n’est pas la majorité. Mais de nombreux algorithmes utilisés dans des lieux déterminants et menant à des décisions cruciales ne sont pas contrôlés. Tout ce qui concerne la prison, l’emploi, l’accès au crédit et, de manière générale, aux opportunités d’une vie. Tout ce qui peut avoir un impact majeur sur l’existence de quelqu’un.
Il faut s’assurer que ces algorithmes procèdent de façon équitable. Il n’y a aucune raison de penser que ce soit le cas, car il y a des opinions incrustées dans le code. Mon objectif est de mettre en lumière les exemples les pires, dans l’éducation et la justice typiquement, pour que tout le monde prête davantage attention à ce problème.
Cathy O'Neil à la conférence USI lundi 6 juin
Cathy O’Neil à la conférence USI lundi 6 juin - Delphine Cuny
Un exemple qui me met en colère, c’est l’évaluation du risque de récidive. Si votre risque est élevé vous allez plus longtemps en prison. Or les noirs sont considérés comme à haut risque deux fois plus que les blancs, à passé judiciaire identique.
Le problème, c’est que ce test comporte un élément de racisme. Cela vient des questions sur lesquelles repose le modèle : par exemple, on demande si vous vivez dans un quartier à criminalité élevée. On ne peut pas vous demander si vous êtes black ou latino car ce serait anticonstitutionnel mais ça revient au même.
On demande aussi si vous avez fini le lycée, si votre père a déjà été arrêté. Ce sont des éléments qui ne seraient pas recevables au tribunal mais ils sont cachés dans le code. Cette évaluation sert aussi pour la caution et la libération conditionnelle. C’est une prophétie auto-réalisatrice, un cercle vicieux. J’aimerais qu’on fasse mieux, qu’on contrôle ce problème de rétroaction destructrice.
Quand avez-vous eu la révélation du pouvoir néfaste de certains algorithmes ?
C’était après cette histoire de l’université privée de Phoenix. J’ai constaté que cette fac était le premier annonceur sur Google ce trimestre-là, au quatrième trimestre de 2012, alors que je n’avais jamais vu de publicité de cette université. J’ai réalisé que c’est en fait un problème silencieux, que ne perçoivent que les gens qui en souffrent, ignoré de tous les autres, c’est particulièrement pernicieux. C’est là que j’ai réalisé que cela aggravait les inégalités.
Qui cherchez-vous à sensibiliser ?
Il y a en fait plusieurs niveaux. D’abord, je veux alerter les data scientistes eux-mêmes et les inciter à prendre leurs responsabilités, à reconnaître qu’ils ont un impact. Je cherche à élever le débat : ce n’est pas à eux, les data scientistes, de décider ce qui est équitable, ils devraient dire ‘attention ce n’est pas mon job !’ 
Ensuite, j’aimerais que l’opinion publique exige qu’on leur rende des comptes sur ces systèmes de scoring qui peuvent leur refuser des opportunités. Ce peut être les tests de personnalité à l’embauche ou les notes de performances attribuées dans certains emplois, où personne n’est capable d’expliquer comment les notes sont construites. On doit pouvoir les contester. On ne peut pas accepter aveuglément les résultats et se contenter de dire ‘c’est mathématique !’
J’espère aussi pouvoir agir auprès de ceux qui font les lois, je vais leur envoyer mon livre. Aujourd’hui, on n’entend que les chantres de la technologie. Or la technologie en soi ne va pas rendre le monde meilleur. Elle peut aussi bien créer des problèmes qu’en résoudre.
Avez-vous l’impression d’être écoutée aux Etats-Unis ?
J’ai donné trois conférences en Europe cette année et les Européens sont plus sensibles à mes arguments, plus soucieux de ces sujets, car ce ne sont pas des techno-utopistes comme nous, les Américains. Je vous dis : continuez, restez sceptiques !