IBM construit et met en œuvre des solutions pour accélérer le développement d’une intelligence artificielle de confiance

Nous faisons confiance aux algorithmes d’intelligence artificielle exerçant beaucoup de tâches vraiment importantes. Mais ils nous trahissent tout le temps. Le biais algorithmique peut conduire à une surveillance excessive dans les zones à prédominance noire ; les filtres automatisés sur médias sociaux signalent les activistes tout en permettant aux groupes de haine de continuer à poster des messages non contrôlés.

Comme les problèmes causés par le biais algorithmique ont fait surface, les experts ont proposé toutes sortes de solutions pour rendre l’intelligence artificielle plus juste et plus transparente, de sorte qu’elle fonctionne pour tous.

Celles-ci vont de la soumission des développeurs d’IA à des audits tiers, dans lesquels un expert évaluerait leur code et leurs données sources pour s’assurer que le système résultant ne perpétue pas les préjugés et les partis pris de la société, en développant des tests pour s’assurer qu’un algorithme d’intelligence artificielle ne traite pas les gens différemment en fonction de facteurs tels que la race, le sexe ou la classe socioéconomique.

Les scientifiques d’IBM disposent désormais d’une nouvelle protection qui, selon eux, rendra l’intelligence artificielle plus sûre, transparente, équitable et efficace. Ils proposent que, juste avant que les développeurs ne commencent à vendre un algorithme, ils doivent publier une déclaration de conformité du fournisseur (SDoC, Supplier’s Declaration of Conformity). En tant que rapport ou manuel d’utilisation, le SDoC montrerait à quel point l’algorithme s’est bien comporté lors de tests standardisés de performance, d’équité et de facteurs de risque, ainsi que de mesures de sécurité. Et ils devraient le rendre accessible à toute personne intéressée.

Dans une étude, les scientifiques d’IBM soutiennent que ce type de transparence pourrait contribuer à renforcer la confiance du public et à rassurer les clients potentiels qu’un algorithme particulier ferait ce qu’il est censé faire sans être tromper par des données biaisées. Si un algorithme particulier semble vraisemblablement viser quelqu’un, le client (et même les citoyens intéressés) serait idéalement en mesure de distinguer les résultats des tests et choisir de ne pas les utiliser.

Dans leur document, les scientifiques d’IBM s’inspirent des donnés fournis par les SDoC dans d’autres secteurs, qui sont rarement exigés par la loi, mais sont encouragés afin de maintenir des clients potentiels d’aller vers des concurrents plus transparents. Par exemple, les consommateurs peuvent faire confiance aux freins d’une voiture, aux capacités de pilotage automatique d’un avion, à la résilience d’un pont parce que ces éléments sont testés de manière exhaustive sur la base de mesures standard bien connues. Et pourtant, il n’existe pas de test équivalent pour s’assurer que les outils d’intelligence artificielle fonctionneront comme prévu.

Les chercheurs proposent qu’un SdoC d’intelligence artificielle réponde à des questions telles que : « Est-ce que le jeu de données et le modèle ont-ils été vérifiés pour détecter les préjugés ? » et « Le service a-t-il été vérifié pour sa robustesse face aux attaques contradictoires ? ». En général, les questions évalueraient un algorithme en fonction de ses performances plutôt que de vérifier ses composants ou son code en tant qu’auditeur.

Voici quelques exemples d’une SDoC d’intelligence artificielle, comme l’écrivent les chercheurs dans l’étude :

« Le jeu de données utilisé pour former le service comporte-t-il une fiche technique ou un relevé de données ? »

« Le jeu de données et le modèle ont-ils été vérifiés pour déceler les préjugés ? Si oui, décrivez les politiques de préjugés qui ont été vérifiées, les méthodes de vérification des préjugés et les résultats. »

« Des mesures d’atténuation des préjugés ont-elles été effectuées sur l’ensemble de données ? Si oui, décrivez la méthode d’atténuation. »

« Les résultats de l’algorithme sont-ils explicables/interprétables ? Dans l’affirmative, expliquez comment l’explicabilité est atteinte (par exemple, modèle directement explicable, expliquabilité locale, explications par des exemples). »

« Quel type de gouvernance est utilisé pour suivre le flux de travail global des données vers les services de l’IA ? »

Demander aux développeurs de publier des SDoC ne résoudra pas tous les problèmes liés à notre dépendance croissante à l’IA. Nous savons comment les freins arrêtent une voiture en excès de vitesse, mais certains algorithmes plus complexes (comme ceux qui utilisent des techniques de deep learning) peuvent être impossibles à maîtriser. De plus, si un rapport de transparence basé sur des tests standardisés devait avoir un impact, tout le monde devrait jouer le jeu.

Bien sûr, les développeurs seraient motivés pour commencer à publier des SDoCs si leurs concurrents le font. Mais le système ne fonctionnera que si les clients, les gouvernements et les entreprises qui utilisent l’IA montrent qu’ils se soucient réellement de ce que disent ces rapports. Est-ce qu’un service de police comme celui de Los Angeles, qui utilise des algorithmes de surveillance ouvertement racistes, doit-il nécessairement se préoccuper suffisamment des détails d’une déclaration de conformité pour trouver un meilleur système ? La vérité, c’est que nous ne savons pas encore.

Ces rapports sont peu susceptibles de contraindre quiconque à utiliser davantage d’algorithmes éthiques, voire à les développer. Mais si vous combinez ces rapports avec d’autres outils tels que des audits tiers, le public peut exiger des algorithmes qui traitent tout le monde équitablement.

traduction Thomas Jousse

IBM, SD Times, Futurism