Машина беспристрастна
May. 25th, 2016 08:36 amhttps://geektimes.ru/post/276284/
Алгоритм предсказания
преступников и будущих жертв
беспокоит правозащитников, хотя
он показал удивительную точность
(более 70% жертв огнестрела в
Чикаго в 2016 году были в списке,
заранее составленном
программой).
В последнее время аналитические
программы начали использовать в
судах. Судья должен определить,
наказать преступника по
минимальной или максимальной
строгости, предусмотренной
законом для конкретного
преступления. В этом случае
программа на основе имеющихся
данных вычисляет так
называемый «показатель оценки
риска» (risk assessment score).
Этот показатель определяет
вероятность повторения
преступления и, соответственно,
влияет на тяжесть приговора.
Так вот, тщательный анализ
результатов работы программы,
проведённый ProPublica , выявил
странную тенденцию: по какой-то
причине для афроамериканцев
(негров) программа выдаёт более
высокую оценку риска, чем для
белых. Другими словами, алгоритм
проявляет расовую
дискриминацию! И это при том,
что эту программу специально
внедряли в судебную систему Алгоритм предсказания
преступников и будущих жертв
беспокоит правозащитников, хотя
он показал удивительную точность
(более 70% жертв огнестрела в
Чикаго в 2016 году были в списке,
заранее составленном
программой).
В последнее время аналитические
программы начали использовать в
судах. Судья должен определить,
наказать преступника по
минимальной или максимальной
строгости, предусмотренной
законом для конкретного
преступления. В этом случае
программа на основе имеющихся
данных вычисляет так
называемый «показатель оценки
риска» (risk assessment score).
Этот показатель определяет
вероятность повторения
преступления и, соответственно,
влияет на тяжесть приговора.
Так вот, тщательный анализ
результатов работы программы,
проведённый ProPublica , выявил
странную тенденцию: по какой-то
причине для афроамериканцев
(негров) программа выдаёт более
высокую оценку риска, чем для
белых. Другими словами, алгоритм
проявляет расовую
дискриминацию! И это при том,
что эту программу специально
внедряли в судебную систему
именно для того, чтобы исключить
такую дискриминацию.
именно для того, чтобы исключить
такую дискриминацию.
Компания Northpointe уверяет, что
раса подозреваемого ни в коем
случае не учитывается при
анализе. Но учитываются другие
факторы, которые сильно
коррелируют с расой: уровень
образования, статус занятости,
криминальная история
родственников, приём
запрещённых наркотиков
друзьями/знакомыми и т.д. Вес
каждого фактора в итоговой
оценке засекречен — это
проприетарный алгоритм компании
Northpointe.
Алгоритм предсказания
преступников и будущих жертв
беспокоит правозащитников, хотя
он показал удивительную точность
(более 70% жертв огнестрела в
Чикаго в 2016 году были в списке,
заранее составленном
программой).
В последнее время аналитические
программы начали использовать в
судах. Судья должен определить,
наказать преступника по
минимальной или максимальной
строгости, предусмотренной
законом для конкретного
преступления. В этом случае
программа на основе имеющихся
данных вычисляет так
называемый «показатель оценки
риска» (risk assessment score).
Этот показатель определяет
вероятность повторения
преступления и, соответственно,
влияет на тяжесть приговора.
Так вот, тщательный анализ
результатов работы программы,
проведённый ProPublica , выявил
странную тенденцию: по какой-то
причине для афроамериканцев
(негров) программа выдаёт более
высокую оценку риска, чем для
белых. Другими словами, алгоритм
проявляет расовую
дискриминацию! И это при том,
что эту программу специально
внедряли в судебную систему Алгоритм предсказания
преступников и будущих жертв
беспокоит правозащитников, хотя
он показал удивительную точность
(более 70% жертв огнестрела в
Чикаго в 2016 году были в списке,
заранее составленном
программой).
В последнее время аналитические
программы начали использовать в
судах. Судья должен определить,
наказать преступника по
минимальной или максимальной
строгости, предусмотренной
законом для конкретного
преступления. В этом случае
программа на основе имеющихся
данных вычисляет так
называемый «показатель оценки
риска» (risk assessment score).
Этот показатель определяет
вероятность повторения
преступления и, соответственно,
влияет на тяжесть приговора.
Так вот, тщательный анализ
результатов работы программы,
проведённый ProPublica , выявил
странную тенденцию: по какой-то
причине для афроамериканцев
(негров) программа выдаёт более
высокую оценку риска, чем для
белых. Другими словами, алгоритм
проявляет расовую
дискриминацию! И это при том,
что эту программу специально
внедряли в судебную систему
именно для того, чтобы исключить
такую дискриминацию.
именно для того, чтобы исключить
такую дискриминацию.
Компания Northpointe уверяет, что
раса подозреваемого ни в коем
случае не учитывается при
анализе. Но учитываются другие
факторы, которые сильно
коррелируют с расой: уровень
образования, статус занятости,
криминальная история
родственников, приём
запрещённых наркотиков
друзьями/знакомыми и т.д. Вес
каждого фактора в итоговой
оценке засекречен — это
проприетарный алгоритм компании
Northpointe.