Professeur de droit américain, Franck Pasquale a écrit un ouvrage à charge sur la logique des boites noires. Cet ouvrage est aujourd'hui publié, traduit en Français, par Fyp Editions. Le principe de la boite noire est celui d'une décision algorithmique. Soient un ensemble de données et une question, un traitement va permettre de prendre une décision relative à cette question, sans intervention humaine et extrêmement rapidement. Cette décision peut être un simple score mais ce score peut avoir une grosse influence, par exemple un score de solvabilité va entraîner une acceptation ou un refus de prêt.
La principale critique formulée tient au manque de transparence propre à une boite noire. Les données utilisées, les algorithmes appliqués, etc. restent des mystères voire des secrets jalousement protégés, éventuellement en noyant toutes les informations relatives à ces algorithmes dans un fatras incompréhensible. L'auteur semble avoir une dent particulière contre Google qui s'introduit partout et, au final, décide de tout ou presque, en toute obscurité.
En fait, ce que professe Franck Pasquale est la fin de la démocratie. Il faudrait peut-être parler de datacratie avec les concepteurs d'algorithme comme nouveaux tyrans. Surtout, le principal risque est la pollution -volontaire ou non- des données entraînant des injustices. Et le scoring à outrance remet bien en cause le principe d'égalité de traitement voire d'Etat de droit. Le propos de l'auteur n'est cependant pas une simple condamnation de toute décision algorithmique. Mais il défend la transparence.