Perceptron, een jong bedrijf opgericht door twee voormalige Meta-onderzoekers, wil visuele AI uit de digitale wereld halen en inzetten op de werkvloer. Hun nieuwste model, Isaac 0.5, moet robots helpen niet alleen te zien, maar ook te begrijpen en te handelen in echte industriële omgevingen.

Wat is Isaac 0.5?

Isaac 0.5 is een visueel AI-model dat is gemaakt om machines in fabrieken en magazijnen praktischer te laten werken. Het model helpt robots bij taken zoals navigeren tussen stellingen, labels op dozen lezen en beslissen welke doos eerst gepakt moet worden.

Het bijzondere aan dit model is dat het volgens zijn makers niet alleen voor één vaste, herhalende taak is gebouwd. In plaats daarvan is het bedoeld als een flexibele basis die zich kan aanpassen aan verschillende situaties op de werkvloer.

Perceptron geeft aan dat het model als open model wordt uitgebracht: de instellingen en trainingsgegevens zijn in te zien, zodat anderen kunnen controleren hoe het werkt.

Hoe leert het model?

Het leerproces van Isaac 0.5 draait om enorme hoeveelheden videomateriaal. Perceptron zegt dat het model is getraind met ongeveer een miljoen uur aan algemene video’s om te leren welke beelden en situaties bij een bepaalde omgeving horen.

Daarnaast gebruikte het bedrijf veel zogenaamde ego-video’s (video opgenomen vanuit het perspectief van iemand die een taak uitvoert, bijvoorbeeld met een draagbare camera) en UMI-video’s (opnamen die bewegingen van mensen herhalen zodat een robot die kan nabootsen). Deze beelden helpen het model te leren welke bewegingen en handelingen bij een bepaalde taak horen.

Het bedrijf noemt ook dat het intern datasets op petabyte-schaal heeft samengesteld, met verschillende soorten data: beelden, tekst, video en robottrajecten. Perceptron maakt niet precies bekend uit welke bronnen al die data komen.

Wat kan het in de praktijk?

Isaac 0.5 is ontworpen om robots te ondersteunen bij meerdere stappen van een fysieke taak. Stel je een robot voor die pakketten sorteert:

• De robot moet het label op een pakket lezen.

• De robot moet inschatten waar verschillende dozen staan en welke route het beste is.

• De robot moet beslissen welke doos hij eerst pakt en in welke volgorde de rest komt.

Bestaande systemen kunnen vaak één of twee van deze stappen uitvoeren, maar Perceptron wil een model dat al deze stappen flexibeler en samen kan afhandelen. Dat maakt het voor bedrijven makkelijker om robots in verschillende omgevingen in te zetten zonder voor elke taak een nieuw, specialistisch programma te bouwen.

De makers zien meerdere sectoren waar dit nuttig kan zijn. Mogelijke toepassingen zijn onder andere:

• productie en assemblage

• logistiek en magazijnbeheer

• beveiliging

• mobiliteit (bijvoorbeeld autonome voertuigen of voertuigen in gesloten terreinen)

• media en entertainment (bijvoorbeeld geautomatiseerde camera’s of contentanalyse)

Perceptron kreeg onlangs 21 miljoen dollar aan financiering, geleid door Bessemer Venture Partners. De oprichters zijn Armen Aghajanyan en Akshat Shrivastava, die eerder bij Meta’s AI-onderzoeksafdeling werkten.

Conclusie

Isaac 0.5 probeert een brug te slaan tussen zichtbare AI en fysieke robots op de werkvloer. In plaats van aparte, gespecialiseerde programma’s wil dit model één flexibele laag bieden die kan waarnemen, redeneren en handelen. Als het werkt zoals beloofd, kan dat het gebruik van robotica in magazijnen en fabrieken eenvoudiger en veelzijdiger maken.

Of en hoe snel bedrijven dit in de praktijk gaan toepassen hangt af van testen, veiligheid en hoe goed het model zich aan verschillende werkomstandigheden aanpast. Voor nu is het een veelbelovende stap richting visuele AI die buiten het scherm functioneert.