Алгоритм под названием Compas, который с 1998 года использовала американская полиция, осуществлял анализ данных о подсудимых, после чего помогал принять решение о том, следует ли продлить содержание преступника под стражей или же он может быть отпущен под залог.
При выборе меры пресечения система принимала во внимание такие факторы, как возраст преступника, его пол и «послужной список». Последние 20 лет с его помощью были приняты более миллиона решений, но недавно его признали некомпетентным и отозвали.
Специалисты Колледжа Дартмунта провели проверку точности системы и того, следует ли ей доверять. Для этого исследователи провели набор людей, не имеющих юридического образования, чтобы они выносили свои решения на основании тех же параметров, что и система.
Точность прогнозов, которые сделали фрилансеры, составила 70%. То есть программа, которая опиралась на 137 пунктов биографии, отстала от людей всего на 5%. К тому же по анализу алгоритма обнаружилось, что афро-американцев система подозревает гораздо чаще.
Авторы исследования говорят, что в этих случаях ошибки могут стоить людям очень дорого, а поэтому такой алгоритм не стоит использовать, вынося судебные вердикты.