L'apprendimento per imitazione è una delle tecniche più promettenti per insegnare ai robot a svolgere compiti manuali complessi. Tuttavia, spesso i robot faticano a generalizzare le abilità apprese a situazioni nuove. EgoMimic mira a superare questo limite raccogliendo dati di dimostrazione più vari e realistici.
Il framework si compone di diversi elementi chiave:
- Un sistema per catturare video egocentrici tramite gli occhiali smart Project Aria
- Un manipolatore robotico bimanuale a basso costo
- Tecniche di allineamento dei dati tra dominio umano e robotico
- Un'architettura di apprendimento per imitazione che si addestra su dati umani e robotici
Gli occhiali Project Aria, indossati sia dagli umani che dal robot, consentono di ridurre al minimo le differenze tra i due punti di vista. Il sistema robotico è composto da due braccia Viper X con telecamere RealSense di Intel, controllate da due braccia WidowX.
I ricercatori hanno testato EgoMimic su diversi compiti a lungo termine come raccogliere oggetti, piegare magliette e riempire borse della spesa. I risultati hanno mostrato prestazioni superiori rispetto ad altri metodi di apprendimento per imitazione, con una migliore capacità di generalizzazione a scenari nuovi.
Potenziale impatto e sviluppi futuri
Secondo i ricercatori, "EgoMimic ottiene un miglioramento significativo su una serie diversificata di compiti di manipolazione a lungo termine, sia con un singolo braccio che bimanuale, rispetto ai metodi di apprendimento per imitazione allo stato dell'arte, e consente la generalizzazione a scene completamente nuove".
Il codice del framework è stato reso disponibile su GitHub. In futuro, EgoMimic o sue varianti potrebbero essere utilizzati da altri ricercatori per migliorare le prestazioni e la versatilità di vari sistemi robotici nello svolgimento di compiti quotidiani che richiedono la manipolazione di oggetti.
Questa ricerca apre nuove prospettive per lo sviluppo di robot più adattabili e capaci di apprendere efficacemente dall'osservazione diretta delle attività umane. L'approccio egocentrico potrebbe rivelarsi cruciale per colmare il divario tra le capacità umane e robotiche in compiti manuali complessi.