Psicología cognitiva para redes neuronales profundas: un estudio de caso de sesgo de forma

Las redes neuronales profundas (DNN) han logrado un rendimiento sin precedentes en una amplia gama de tareas complejas, superando rápidamente nuestra comprensión de la naturaleza de sus soluciones. Esto ha provocado un reciente aumento del interés en los métodos para hacer que los sistemas neuronales modernos sean más interpretables. En este trabajo, proponemos abordar el problema de la interpretabilidad en las DNN modernas utilizando la rica historia de descripciones de problemas, teorías y métodos experimentales desarrollados por psicólogos cognitivos para estudiar la mente humana. Para explorar el valor potencial de estas herramientas, elegimos un análisis bien establecido de la psicología del desarrollo que explica cómo los niños aprenden las etiquetas de palabras para los objetos y aplicamos ese análisis a las DNN. Usando conjuntos de datos de estímulos inspirados en los experimentos originales de psicología cognitiva, encontramos que los modelos de aprendizaje de última generación de una sola vez entrenados en ImageNet exhiben un sesgo similar al observado en humanos: prefieren clasificar los objetos según la forma en lugar del color.. La magnitud de este sesgo de forma varía mucho entre modelos arquitectónicamente idénticos, pero con semillas diferentes, e incluso fluctúa dentro de las semillas a lo largo del entrenamiento, a pesar de un rendimiento de clasificación casi equivalente.

Estos resultados demuestran la capacidad de las herramientas de la psicología cognitiva para exponer las propiedades computacionales ocultas de las DNN y, al mismo tiempo, proporcionarnos un modelo computacional para el aprendizaje de palabras humano. Durante la última media década, el aprendizaje profundo ha mejorado significativamente el rendimiento en una variedad de tareas (para una revisión, consulte LeCun et al. Los impulsos recientes han tenido como objetivo comprender mejor las DNN: las funciones y arquitecturas de pérdida a medida producen características más interpretables (Higgins et al. al., 2016; Raposo et al., 2017) mientras que los análisis de comportamiento de salida revelan operaciones previamente opacas de estas redes (Karpathy et al., 2015). Paralelamente a este trabajo, métodos inspirados en la neurociencia como la visualización de activación (Li et al.. , 2015), también se han aplicado análisis de ablación (Zeiler & Fergus, 2014) y maximización de activación (Yosinski et al., 2015). En conjunto, esta línea de investigación desarrolló un conjunto de herramientas prometedoras para comprender las DNN, y cada artículo produjo un destello de conocimiento. Aquí, proponemos otra herramienta para el kit, aprovechando métodos inspirados no en la neurociencia, sino en la psicología. Los psicólogos cognitivos han luchado durante mucho tiempo con el problema de comprender otro sistema inteligente opaco: la mente humana.

Sostenemos que la búsqueda de una mejor comprensión de las DNN puede beneficiarse de la rica herencia de descripciones de problemas, teorías y herramientas experimentales desarrolladas en psicología cognitiva. Para probar esta creencia, realizamos un estudio de prueba de concepto sobre DNN de última generación que resuelven una tarea particularmente desafiante: el aprendizaje de palabras de una sola vez. Siguiendo el enfoque utilizado en la psicología cognitiva, comenzamos con la hipótesis de un sesgo inductivo que nuestro modelo puede usar para resolver una tarea de aprendizaje de palabras. La investigación en psicología del desarrollo muestra que cuando aprenden nuevas palabras, los humanos tienden a asignar el mismo nombre a elementos de forma similar en lugar de elementos con color, textura o tamaño similares. Nuestros resultados son los siguientes: 1) Las redes de inicio entrenadas en ImageNet sí muestran un fuerte sesgo de forma. 2) Existe una gran variación en el sesgo entre las redes de Inception inicializadas con diferentes semillas aleatorias, lo que demuestra que, de lo contrario, las redes idénticas convergen en soluciones cualitativamente diferentes. 3) Los MN también tienen un fuerte sesgo de forma, y ​​este sesgo imita de cerca el sesgo del modelo Inception que proporciona información al MN.

4) Al emular el sesgo de forma observado en los niños, estos modelos proporcionan una cuenta computacional candidata para el aprendizaje humano de palabras de una sola vez. En conjunto, estos resultados muestran que la técnica de probar los sesgos hipotéticos utilizando conjuntos de datos de prueba puede generar conocimientos esperados y sorprendentes sobre las soluciones descubiertas por DNN capacitados. El uso de sondas conductuales para comprender la función de las redes neuronales se ha aplicado ampliamente dentro de la propia psicología, donde las redes neuronales se han empleado eficazmente como modelos de la función cognitiva humana (Rumelhart et al., 1988; Plaut et al., 1996; Rogers & McClelland, 2004; Mareschal et al., 2000). Por el contrario, en el presente trabajo abogamos por la aplicación de sondeos conductuales junto con teorías e hipótesis asociadas de la psicología cognitiva para abordar el problema de la interpretabilidad en las redes profundas modernas. A pesar de la adopción generalizada de métodos de aprendizaje profundo en los últimos años, hasta donde sabemos, el trabajo que aplica sondas de comportamiento a las DNN en el aprendizaje automático para este propósito ha sido bastante limitado; solo conocemos a Zoran et al.