Segundo os materiais publicados por NVIDIA, Cosmos 3 é o primeiro modelo de base de IA física omnimodal completamente aberto do mundo. Construído sobre a arquitectura híbrida Transformer propietaria de NVIDIA, o modelo integra tanto ramas de razoamento como de xeneración, permitindo o razoamento visual, a xeneración de mundos e a predición de accións dentro dun único modelo. Pode reproducir con precisión as regras físicas do mundo real, como a gravidade, a colisión e a fricción. A diferenza dos modelos multimodais xeralmente deseñados para a xeneración de contido de entretenemento, Cosmos 3 admite nativamente a entrada e xeneración de cinco modalidades: texto, imaxes, vídeo, audio ambiental e movemento humano e robótico. Preentrenado en grandes conxuntos de datos físicos anotados, o modelo pode xerar de forma autónoma datos de escenas realistas e trazados de movemento que seguen as leis físicas do mundo real.
A información oficial mostra que o Cosmos 3 está planeado en múltiples niveis de modelo. A versión Super, cun maior número de parámetros, está deseñada para fabricantes de automóbiles e empresas de robótica humanoide para a síntese de datos a gran escala e o desenvolvemento de algoritmos avanzados. A versión Base diríxese a equipos de I+D pequenos e medianos en diversas industrias, mentres que a versión Tiny está optimizada para o despregamento local en hardware de borda e incorporado. NVIDIA fixo completamente abertos os pesos do modelo, o código fonte e os conxuntos de datos de avaliación de apoio, dispoñendo recursos relacionados en plataformas abertas como Hugging Face e GitHub. Os desenvolvedores globais poden acceder aos recursos de forma gratuíta e axustalos segundo se necesite. En termos de eficiencia de despregamento, NVIDIA indica que o modelo pode comprimir os ciclos tradicionais de simulación e depuración para robótica, condución autónoma e proxectos de géneración de gêmeos dixitais industriais de varios meses a só uns poucos días, axudando a reducir o custo da recopilación de datos e das probas para o desenvolvemento de IA física.
Xunto co anuncio do produto, NVIDIA tamén desvelou a súa estratexia ecolóxica formando a NVIDIA Cosmos Coalition, unha alianza de colaboración global. Os membros fundadores inclúen laboratorios de IA líderes e empresas de robótica como Agile Robots, Black Forest Labs, Runway, LTX e Skild AI. No marco de colaboración da coalición, as organizacións membros poden compartir toda a pila tecnolóxica de Cosmos 3, acceder aos recursos de computación NVIDIA DGX Cloud segundo sexa necesario e intercambiar algoritmos, bancos de probas e datos de probas industriais do mundo real. A alianza ten como obxectivo desenvolver conxuntamente estándares comúns para modelos de mundo aberto e acelerar a iteración e comercialización de tecnoloxías de IA física de nova xeración.
A información dispoñible públicamente indica que varios fabricantes de automóbiles e fabricantes de equipos de automatización xa comezaron as probas internas de proxectos baseados en Cosmos 3. Os escenarios de despregamento potenciais inclúen o desenvolvemento de robots humanoides, simulación de condución autónoma, inspección visual industrial e creación de contido dixital realista.