
 
 
 
 
 
 
 
 
 
 
 
 Los autores: (1) Winnie Street, de Google Research; John Oliver Siy, investigador de Google. Geoff Keeling, investigador de Google. (4) Adrien Baranes, Google DeepMind; Benjamin Barnett, investigador de Google. (6) Michael Mckibben, Laboratorio de Física Aplicada, Universidad Johns Hopkins; (7) Tatenda Kanyere, Trabajo realizado en Google Research a través de Harvey Nash; Alison Lentz, investigadora de Google. Blaise Aguera y Arcas, investigadora de Google (10) Robin I. M. Dunbar, Departamento de Psicología Experimental, Universidad de Oxford istreet@google.com. Authors: (1) Winnie Street, de Google Research; John Oliver Siy, investigador de Google. Geoff Keeling, investigador de Google. (4) Adrien Baranes, Google DeepMind; Benjamin Barnett, investigador de Google. (6) Michael Mckibben, Laboratorio de Física Aplicada, Universidad Johns Hopkins; (7) Tatenda Kanyere, Trabajo realizado en Google Research a través de Harvey Nash; Alison Lentz, investigadora de Google. Blaise Aguera y Arcas, investigadora de Google (10) Robin I. M. Dunbar, Departamento de Psicología Experimental, Universidad de Oxford istreet@google.com. Mesa de la izquierda Abstracto y 1a Introducción 
 
 
 Trabajo relacionado Materiales y método 3.1 Procedimientos 3.2 Creación de datos 4 Resultados 4.1 Desempeño de la tarea 4.2 Desempeño de tareas efectivas 4.3 Comparación del rendimiento en ToM y tareas factuales y 4.4 Efecto de anclaje 5.  Discusión 6.  Limitaciones 7. investigaciones futuras 8.Conclusiones, reconocimientos y divulgación de financiación y referencias Anexo Abstracción Este artículo examina la medida en que los grandes modelos de lenguaje (LLM) han desarrollado la teoría de la mente de orden superior (ToM); la capacidad humana de razonar acerca de múltiples estados mentales y emocionales de una manera recursiva (por ejemplo, creo que usted cree que lo sabe). Este documento se basa en el trabajo previo al introducir un conjunto de pruebas escritas a mano – Teoría de la mente de orden múltiple Q&A – y usarlo para comparar el rendimiento de cinco LLM a un benchmark humano adulto recién reunido. Descubrimos que el GPT-4 y el Flan-PaLM alcanzan el nivel adulto y el rendimiento cercano al nivel adulto en las tareas de ToM en general, y que el GPT-4 supera el rendimiento adulto en las inferencias del sexto orden. Nuestros resultados sug 1 Introducción La teoría de la mente (ToM) es la capacidad de inferir y razonar sobre los estados mentales de uno mismo y de los demás [Premack y Woodruff, 1978, Wimmer y Perner, 1983, Wellman et al., 2001]. Los grandes modelos de idiomas (LLM) muestran cierta competencia ToM [Kosinski, 2023, Bubeck et al., 2023, Shapira et al., 2023]. La mayoría de la literatura sobre LLM ToM se ha centrado en ToM de segundo orden [Sap et al., 2022, Kosinski, 2023, Gandhi et al., 2024, Shapira et al., 2023], donde el 'orden de la intención' (en adelante, 'orden') es el número de estados mentales involucrados en un proceso de razonamiento ToM (es decir, una declaración de tercer orden es "Pienso que ella sabe"). En este artículo, examinamos el LLM ToM de las órdenes 2-6. Introducimos un nuevo benchmark: Teoría de múltiples órdenes de preguntas y respuestas mentales (MoToMQA). MoToMQA se basa en una prueba de ToM diseñada para adultos humanos [Kinderman et al., 1998], y involucra responder preguntas verdaderas / falsas sobre personajes en historias de forma corta. Valoramos cómo el orden de ToM afecta el rendimiento del LLM, cómo el rendimiento del LLM se compara con el rendimiento humano, y cómo el rendimiento del LLM en tareas de ToM se compara con el rendimiento en tareas reales de complejidad sintáctica equivalente. Mostramos que GPT-4 y Flan-PaLM alcanzan el rendimiento humano o casi humano en tareas de ToM respectivamente. 2 Trabajo relacionado 2.1 Orden superior ToM Los adultos humanos generalmente son capaces de hacer inferencias de ToM hasta 5 órdenes de intencionalidad (por ejemplo, creo que piensas que imagino que quieres que yo crea) [Kinderman et al., 1998, Stiller y Dunbar, 2007, Oesch y Dunbar, 2017].[1] La competencia de ToM de mayor orden varía dentro de la población, incluyendo por género [Hyde y Linn, 1988, Stiller y Dunbar, 2007], y no se implementa de manera fiable en todos los contextos sociales [Keysar et al., 2003]. ToM en órdenes superiores también está positivamente correlacionado con la complejidad social. 2.2 LLM en ToM Kostirinski Tokinski [2023] argumentó por el surgimiento espontáneo de datos de ToM en LLMs basado en el éxito de GPT-4 en una serie de tareas inspiradas en la clásica tarea de Sally-Anne.[2] Ullman [2023] desafió esta afirmación, demostrando un desempeño disminuido con perturbaciones de tareas menores. Más experimentos que involucran suites de referencia como BigToM [Gandhi et al., 2024] y SocialIQa [Sap et al., 2022] muestran resultados mixtos en las capacidades de LLM ToM. Por ejemplo, Shapira et al. [2023] encontraron éxito en algunas tareas pero fracasos en otros, sugiriendo que las capacidades de ToM existentes en los LLMs actuales no son robustas. Finalmente, calibramos los resultados del LLM contra un gran índice de referencia humano adulto recientemente recogido. Creemos que comparar el rendimiento del LLM con el de los adultos, en lugar de los niños, es la medida más relevante para la inteligencia social del LLM dado que los socios de interacción primarios de los LLM serán los adultos, y es un punto de comparación más concreto porque las capacidades de ToM de orden superior del hombre continúan desarrollándose hasta la edad adulta temprana [Valle et al., 2015]. Sin embargo, no asumimos que los mismos procesos cognitivos sustentan el rendimiento humano y el LLM en pruebas psicológicas. 
 
 Este artículo está disponible en archivo bajo la licencia CC BY 4.0. Este artículo está disponible en archivo bajo la licencia CC BY 4.0. Disponible en Archivo [1] Seguimos la convención de nombramiento para las órdenes desarrolladas para el IMT donde el “primer orden” es el estado mental del sujeto cuya capacidad de ToM se está evaluando, el “segundo orden” es la inferencia del sujeto sobre lo que otra persona piensa o siente, y así sucesivamente. [1985] mide la comprensión de las creencias falsas y sigue un escenario en el que un personaje, Sally, coloca un objeto en una ubicación y sale de la escena. Mientras Sally está ausente Anne mueve el objeto. [3] Los conjuntos de datos de pre-entrenamiento están contaminados con materiales en los que los LLM son posteriormente probados es un problema en vivo en la investigación de LLM que tiene implicaciones significativas para los resultados de los LLM en los parámetros de referencia. Por ejemplo, OpenAI informó que encontraron partes del conjunto de datos de BigBench contaminando el cuerpo de pre-entrenamiento de GPT-4 en una verificación de contaminación del conjunto de datos utilizado para pretrain GPT-4 [Achiam et al., 2023]

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

EScholar Technologies

EScholar

Este audio es producido en el idioma original de la historia!

¿Puede pensar en pensar?

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps