Saopštenje za medije: NVIDIA
Ažuriranja najavljena na ROSCon-u imaju za cilj da ubrzaju razvoj robotskih ruku sa AI pogonom i autonomnih mobilnih robota.
Na ROSCon-u u Odenseu, jednom od najstarijih gradova u Danskoj i čvorištu automatizacije, NVIDIA i njeni partneri u ekosistemu robotike najavili su generativne AI alate, simulacije i perceptivne tokove rada za programere operativnog sistema za robote (ROS).
Među otkrićima su bili novi generativni AI nodovi i tokovi rada za programere ROS-a koji se primenjuju na NVIDIA Jetson platformu za Edge AI i robotiku. Generativna AI omogućava robotima da percipiraju i razumeju kontekst svog okruženja, prirodno komuniciraju sa ljudima i samostalno donose prilagodljive odluke.
Generativna AI dolazi u ROS zajednicu
ReMEmbR, izgrađen na ROS 2, koristi generativnu veštačku inteligenciju da poboljša robotsko razmišljanje i akciju. Kombinuje velike jezičke modele (LLM), jezičke modele vizije (VLM) i generaciju sa proširenim pronalaženjem kako bi omogućio robotima da grade i ispituju dugoročne semantičke memorije i poboljšaju svoju sposobnost navigacije i interakcije sa svojim okruženjem.
Mogućnost prepoznavanja govora pokreće WhisperTRT ROS 2 čvor. Ovaj čvor koristi NVIDIA TensorRT da optimizuje OpenAI-jev Whisper model kako bi omogućio zaključivanje sa malim kašnjenjem na NVIDIA Jetson-u, što rezultira reakcijom čoveka i robota.
Projekat ROS 2 robota sa glasovnom kontrolom koristi NVIDIA Riva ASR-TTS servise kako bi roboti razumeli i reagovali na izgovorene komande. NASA Laboratorija za mlazni pogon nezavisno je demonstrirala ROSA, agent za ROS koji pokreće AI, koji radi na svom robotu Nebula-SPOT i robotu NVIDIA Nova Carter u NVIDIA Isaac Simu.
Na ROSCon-u, Canonical je demonstrirao NanoOWL, model detekcije objekata sa nultim udarcem koji radi na NVIDIA Jetson Orin Nano sistemu-na-modulu. Omogućava robotima da identifikuju širok spektar objekata u realnom vremenu, bez oslanjanja na unapred definisane kategorije.
Programeri mogu da počnu danas rad na ROS 2 čvorovima za generativnu veštačku inteligenciju, koji nudi LLM i VLM optimizacije za NVIDIA Jetson radi poboljšanja mogućnosti robota.
Poboljšanje ROS tokova rada „Sim-First“ pristupom
photo: Nvidia
Simulacija je ključna za bezbedno testiranje i validaciju robota sa AI-om pre primene. NVIDIA Isaac Sim, platforma za simulaciju robotike izgrađena na OpenUSD-u, pruža programerima ROS-a virtuelno okruženje za testiranje robota tako što ih lako povezuje sa svojim ROS paketima. Novi vodič za početnike za ROS 2 radne tokove sa Isaac Sim-om, koji ilustruje tok rada od početka do kraja simulacije i testiranja robota, sada je dostupan.
Foxglove, član NVIDIA Inception programa za startap, demonstrirao je integraciju koja pomaže programerima da vizuelizuju i otklone simulacione podatke u realnom vremenu koristeći Fokglove embedovane ekstenzije, izgrađene na Isaac Sim-u.
Nove mogućnosti za Isaac ROS 3.2
NVIDIA Isaac ROS, izgrađen na softverskom frejmu otvorenog koda ROS 2, predstavlja paket računarskih akceleratora i AI modela za razvoj robotike. Izdanje 3.2 poboljšava percepciju robota, manipulaciju i mapiranje okruženja.
Ključna poboljšanja NVIDIA Isaac Manipulatora uključuju nove referentne radne tokove koji integrišu FoundationPose i cuMotion da bi se ubrzao razvoj pajplajna za biranje i postavljanje i praćenje objekata u robotici.
Drugi je NVIDIA Isaac Perceptor, koji ima novi vizuelni SLAM referentni tok rada, poboljšanu detekciju više kamera i 3D rekonstrukciju za poboljšanje ekološke svesti i performansi autonomnog mobilnog robota (AMR) u dinamičkim okruženjima kao što su skladišta.
Partneri koji usvajaju NVIDIA Isaac
photo: Nvidia
Kompanije za robotiku integrišu NVIDIA Isaac ubrzane biblioteke i AI modele u svoje platforme.
- Universal Robots, kompanija Teradine Robotics, lansirala je novi komplet alata za AI Accelerator kako bi omogućio razvoj aplikacija za kobot koji pokreće AI.
- Miso Robotics koristi Isaac ROS da ubrza svoju robotsku Flippi Fri stanicu za pomfrit sa AI pogonom i podstiče napredak u efikasnosti i tačnosti u automatizaciji usluga hrane.
- Wheel.me je u partnerstvu sa RGo Robotics i NVIDIA-om kako bi kreirao AMR spreman za proizvodnju koristeći Isaac Perceptor.
- Main Street Autonomy koristi Isaac Perceptor da pojednostavi kalibraciju senzora.
- Orbbec je najavio svoj Perceptor Developer Kit, AMR rešenje za Isaac Perceptor.
- LIPS Corporation je predstavila devkit za percepciju sa više kamera za poboljšanu AMR navigaciju.
- Canonical je istakao potpuno sertifikovano Ubuntu okruženje za ROS programere, nudeći dugoročnu podršku.
Povezivanje sa partnerima u ROSCon-u
Članovi i partneri ROS zajednice, uključujući Canonical, Ekumen, Foxglove, Intrinsic, Open Navigation, Siemens i Teradyne Robotics, su u Danskoj održali radionice, razgovore i demonstracije na štandovima, ali i organizovali sesije. Najvažnije su:
- „Nav2 User Meetup“ Birds of a Feather sesija sa Steveom Macenskim iz Open Navigation LLC
- „ROS in Large-Scale Factory Automation“ sa Michaelom Gentnerom iz BMW AG i Carstenom Braunrothom iz Siemens AG
- „Integrating AI in Robot Manipulation Workflows“ Birds of a Feather sesija sa Kalianom Vadrevuom iz NVIDIA-e
- „Accelerating Robot Learning at Scale in Simulation“ sesija Birds of a Feather sa Markusom Wuenschom iz NVIDIA-e
- „On Use of Nav2 Docking“ sa Macenskim Open Navigation
Pored toga, Teradyne Robotics i NVIDIA zajednički su organizovali prijem za ručak i večeru u utorak, 22. oktobra, u Odenseu, Danska.
Fondacija za robotiku otvorenog koda (OSRF) organizuje ROSCon. NVIDIA podržava Open Robotics, krovnu organizaciju za OSRF i sve njene inicijative.
Za najnovija ažuriranja posetite stranicu ROSCon.