Apple investiga el uso de LLMs en comprensión espacial y lenguaje de señas

Apple no ha abandonado sus proyectos relacionados con la computación espacial, a pesar de los rumores que sugieren lo contrario. En abril de 2026, circuló la idea de que el Apple Vision Pro había fracasado y que no habría sucesor, pero esas afirmaciones ahora se cuestionan. La compañía sigue investigando en IA y realidad aumentada, como lo demuestran nuevos estudios publicados en su blog de Machine Learning.

Uno de estos estudios presenta un sistema para evaluar la inteligencia espacial y funcional de modelos multimodales de lenguaje (MLLMs). Este benchmark, llamado SFI-Bench, mide cómo los modelos comprenden la geometría de espacios y el uso de objetos en ellos, integrando razonamiento funcional y espacial en tareas visuales y de lenguaje.

El benchmark prueba si los modelos entienden qué objetos son, dónde están, cómo se usan y cómo se pueden arreglar.

Los investigadores de Apple compararon diferentes modelos, destacando a Google Gemini 3.1 Pro como el mejor en comprensión espacial, seguido por GPT-5.4-High de OpenAI. Sin embargo, todos enfrentan limitaciones en razonamiento lógico y memoria espacial, especialmente en tareas de conteo y relación de objetos.

Además, Apple desarrolló un método para que los modelos de IA puedan anotar automáticamente videos en lenguaje de señas, reduciendo costos y tiempo en la creación de datasets. Este sistema, basado en pseudo-anotaciones, logró resultados prometedores en reconocimiento de señas y dedos, con posibles aplicaciones en futuras funciones de traducción en dispositivos como los AirPods.

Otra línea de investigación explora cómo crear modelos 3D de cabezas humanas a partir de múltiples vistas, usando IA para transformar imágenes en modelos precisos y animados. Estas tecnologías podrían potenciar futuras aplicaciones en realidad aumentada y avatar digital, ampliando las capacidades de los productos de Apple en estos campos.

En definitiva, los estudios muestran que Apple mantiene su interés en la IA espacial, funcional y en reconocimiento de lenguaje de señas, con avances que podrían impactar en sus próximos productos y funciones en los próximos años.