Saopštenje za medije: NVIDIA

Ažuriranja najavljena na ROSCon-u imaju za cilj da ubrzaju razvoj robotskih ruku sa AI pogonom i autonomnih mobilnih robota.

Na ROSCon-u u Odenseu, jednom od najstarijih gradova u Danskoj i čvorištu automatizacije, NVIDIA i njeni partneri u ekosistemu robotike najavili su generativne AI alate, simulacije i perceptivne tokove rada za programere operativnog sistema za robote (ROS).

Među otkrićima su bili novi generativni AI nodovi i tokovi rada za programere ROS-a koji se primenjuju na NVIDIA Jetson platformu za Edge AI i robotiku. Generativna AI omogućava robotima da percipiraju i razumeju kontekst svog okruženja, prirodno komuniciraju sa ljudima i samostalno donose prilagodljive odluke.

Generativna AI dolazi u ROS zajednicu

ReMEmbR, izgrađen na ROS 2, koristi generativnu veštačku inteligenciju da poboljša robotsko razmišljanje i akciju. Kombinuje velike jezičke modele (LLM), jezičke modele vizije (VLM) i generaciju sa proširenim pronalaženjem kako bi omogućio robotima da grade i ispituju dugoročne semantičke memorije i poboljšaju svoju sposobnost navigacije i interakcije sa svojim okruženjem.

Mogućnost prepoznavanja govora pokreće WhisperTRT ROS 2 čvor. Ovaj čvor koristi NVIDIA TensorRT da optimizuje OpenAI-jev Whisper model kako bi omogućio zaključivanje sa malim kašnjenjem na NVIDIA Jetson-u, što rezultira reakcijom čoveka i robota.

Projekat ROS 2 robota sa glasovnom kontrolom koristi NVIDIA Riva ASR-TTS servise kako bi roboti razumeli i reagovali na izgovorene komande. NASA Laboratorija za mlazni pogon nezavisno je demonstrirala ROSA, agent za ROS koji pokreće AI, koji radi na svom robotu Nebula-SPOT i robotu NVIDIA Nova Carter u NVIDIA Isaac Simu.

Na ROSCon-u, Canonical je demonstrirao NanoOWL, model detekcije objekata sa nultim udarcem koji radi na NVIDIA Jetson Orin Nano sistemu-na-modulu. Omogućava robotima da identifikuju širok spektar objekata u realnom vremenu, bez oslanjanja na unapred definisane kategorije.

Programeri mogu da počnu danas rad na ROS 2 čvorovima za generativnu veštačku inteligenciju, koji nudi LLM i VLM optimizacije za NVIDIA Jetson radi poboljšanja mogućnosti robota.

Poboljšanje ROS tokova rada „Sim-First“ pristupom

ROSCon 2024

photo: Nvidia

Simulacija je ključna za bezbedno testiranje i validaciju robota sa AI-om pre primene. NVIDIA Isaac Sim, platforma za simulaciju robotike izgrađena na OpenUSD-u, pruža programerima ROS-a virtuelno okruženje za testiranje robota tako što ih lako povezuje sa svojim ROS paketima. Novi vodič za početnike za ROS 2 radne tokove sa Isaac Sim-om, koji ilustruje tok rada od početka do kraja simulacije i testiranja robota, sada je dostupan.

Foxglove, član NVIDIA Inception programa za startap, demonstrirao je integraciju koja pomaže programerima da vizuelizuju i otklone simulacione podatke u realnom vremenu koristeći Fokglove embedovane ekstenzije, izgrađene na Isaac Sim-u.

Nove mogućnosti za Isaac ROS 3.2

NVIDIA Isaac ROS, izgrađen na softverskom frejmu otvorenog koda ROS 2, predstavlja paket računarskih akceleratora i AI modela za razvoj robotike. Izdanje 3.2  poboljšava percepciju robota, manipulaciju i mapiranje okruženja.

Ključna poboljšanja NVIDIA Isaac Manipulatora uključuju nove referentne radne tokove koji integrišu FoundationPose i cuMotion da bi se ubrzao razvoj pajplajna za biranje i postavljanje i praćenje objekata u robotici.

Drugi je NVIDIA Isaac Perceptor, koji ima novi vizuelni SLAM referentni tok rada, poboljšanu detekciju više kamera i 3D rekonstrukciju za poboljšanje ekološke svesti i performansi autonomnog mobilnog robota (AMR) u dinamičkim okruženjima kao što su skladišta.

Partneri koji usvajaju NVIDIA Isaac

ROSCon 2024

photo: Nvidia

Kompanije za robotiku integrišu NVIDIA Isaac ubrzane biblioteke i AI modele u svoje platforme.

  • Universal Robots, kompanija Teradine Robotics, lansirala je novi komplet alata za AI Accelerator kako bi omogućio razvoj aplikacija za kobot koji pokreće AI.
  • Miso Robotics koristi Isaac ROS da ubrza svoju robotsku Flippi Fri stanicu za pomfrit sa AI pogonom i podstiče napredak u efikasnosti i tačnosti u automatizaciji usluga hrane.
  • Wheel.me je u partnerstvu sa RGo Robotics i NVIDIA-om kako bi kreirao AMR spreman za proizvodnju koristeći Isaac Perceptor.
  • Main Street Autonomy koristi Isaac Perceptor da pojednostavi kalibraciju senzora.
  • Orbbec je najavio svoj Perceptor Developer Kit, AMR rešenje za Isaac Perceptor.
  • LIPS Corporation je predstavila devkit za percepciju sa više kamera za poboljšanu AMR navigaciju.
  • Canonical je istakao potpuno sertifikovano Ubuntu okruženje za ROS programere, nudeći dugoročnu podršku.

Povezivanje sa partnerima u ROSCon-u

Članovi i partneri ROS zajednice, uključujući Canonical, Ekumen, Foxglove, Intrinsic, Open Navigation, Siemens i Teradyne Robotics, su u Danskoj održali radionice, razgovore i demonstracije na štandovima, ali i organizovali sesije. Najvažnije su:

  • „Nav2 User Meetup“ Birds of a Feather sesija sa Steveom Macenskim iz Open Navigation LLC
  • „ROS in Large-Scale Factory Automation“ sa Michaelom Gentnerom iz BMW AG i Carstenom Braunrothom iz Siemens AG
  • „Integrating AI in Robot Manipulation Workflows“ Birds of a Feather sesija sa Kalianom Vadrevuom iz NVIDIA-e
  • „Accelerating Robot Learning at Scale in Simulation“ sesija Birds of a Feather sa Markusom Wuenschom iz NVIDIA-e
  • „On Use of Nav2 Docking“ sa Macenskim Open Navigation

Pored toga, Teradyne Robotics i NVIDIA zajednički su organizovali prijem za ručak i večeru u utorak, 22. oktobra, u Odenseu, Danska.

Fondacija za robotiku otvorenog koda (OSRF) organizuje ROSCon. NVIDIA podržava Open Robotics, krovnu organizaciju za OSRF i sve njene inicijative.

Za najnovija ažuriranja posetite stranicu ROSCon.