Abstract

Las definiciones cuantitativas de lo que es injusto y lo que es justo se han introducido en múltiples disciplinas durante más de 50 años, incluida la educación, la contratación y el aprendizaje automático. Trazamos cómo se ha definido la noción de equidad dentro de las comunidades de educación y contratación durante el último medio siglo, explorando el contexto cultural y social en el que han surgido diferentes definiciones de equidad. En algunos casos, las definiciones anteriores de equidad son similares o idénticas a las definiciones de equidad en la investigación actual sobre aprendizaje automático, y presagian el trabajo formal actual.

En otros casos, las percepciones sobre lo que significa equidad y cómo medirlo se han pasado por alto.

Comparamos las nociones pasadas y actuales de equidad a lo largo de varias dimensiones, incluidos los criterios de equidad, el enfoque de los criterios (por ejemplo, una prueba, un modelo o su uso), la relación de equidad con individuos, grupos y subgrupos, y método matemático para medir la equidad (p. ej., clasificación, regresión).

Este trabajo señala el camino hacia la investigación futura y la medición de la (des) imparcialidad que se construye a partir de nuestra comprensión moderna de la equidad al tiempo que incorpora conocimientos del pasado (1).

CONCLUSIONS

El aumento en el interés por la equidad en las pruebas en la década de 1960 surgió durante un momento de agitación social y política, con definiciones cuantitativas catalizadas en parte por la legislación federal antidiscriminación de los EE. UU. en los ámbitos de la educación y el empleo.

El aumento de la imparcialidad de hoy en día ha correspondido con el interés público en el uso del aprendizaje automático en las sentencias penales y la vigilancia predictiva, incluidas las discusiones sobre los compas [16, 20, 42] y PredPol [25, 49].

Cada era dio lugar a sus propias nociones de equidad y subgrupos relevantes, con ideas superpuestas que son similares o idénticas. En los años sesenta y setenta, la fascinación por determinar la equidad finalmente desapareció a medida que el trabajo se volvía menos vinculado a lo práctico, necesidades de la sociedad, la política y la ley, y más vinculadas a la identificación inequívoca de la equidad. Concluimos reflexionando sobre qué lecciones adicionales puede tener la historia de la equidad de prueba para el futuro de la equidad de ML.

Se debe prestar especial atención a las preocupaciones legales y públicas sobre la justicia.

Las experiencias del campo de la prueba de equidad sugieren que en los próximos años, los tribunales pueden comenzar a pronunciarse sobre la equidad de los modelos de LD. Si las definiciones técnicas de equidad se alejan demasiado de las percepciones públicas de equidad, entonces la voluntad política de utilizar contribuciones científicas antes de la política pública puede ser difícil de obtener. Tal vez los profesionales de ML deben prestar atención con cautela a la descripción de Coleand Zieky [15] de los desarrollos en su campo:

Los miembros del público continúan viendo interpretaciones aparentemente inapropiadas de los puntajes de las pruebas y el mal uso de los resultados de las pruebas. Ven esta área como una preocupación primaria de equidad. Sin embargo, la profesión de la medición ha luchado por comprender la naturaleza de su responsabilidad en esta área y, en general, no ha actuado con fuerza contra las situaciones de mal uso, ni ha actuado en concierto para atacar a los misioneros.

Damos la bienvenida a un debate más amplio sobre la equidad que incluye causas tanto técnicas como culturales, cómo el contexto y el uso de los modelos ML influyen aún más en la injusticia potencial y la idoneidad de las variables utilizadas en la investigación de la equidad para capturar la injusticia sistémica.

Estamos de acuerdo con Linn’s [ 44] argumento de 1976 de que los valores codificados por definiciones técnicas deben hacerse explícitos.

Al relacionar concretamente los debates de equidad con las teorías éticas y los sistemas de valores (como lo hizo [34,71]), podemos hacer que las discusiones sean más accesibles para el público en general y para los investigadores de otras disciplinas, así como ayudar a nuestra propia comunidad de ML Fairness a ser más sintonizados con nuestros propios prejuicios culturales implícitos.


Bibliografía

[1] Hutchinson, B; Michell M. (December, 2018). 50 Years of Test (Un)fairness: Lessons for Machine Learning . Recuperado (27/10/2019) de https://arxiv.org/pdf/1811.10104.pdf


@article{Hutchinson_2019, title={50 Years of Test (Un)fairness}, ISBN={9781450361255}, url={http://dx.doi.org/10.1145/3287560.3287600}, DOI={10.1145/3287560.3287600}, journal={Proceedings of the Conference on Fairness, Accountability, and Transparency – FAT* ’19}, publisher={ACM Press}, author={Hutchinson, Ben and Mitchell, Margaret}, year={2019} }