In een magazijn in San Leandro, Californië, wordt getest hoe mensen robots kunnen helpen leren. Het is geen lab vol witte jassen, maar rijen met dozen, voorraad en een Jenga-toren. Medewerkers trekken blokken uit de toren terwijl ze een speciale headset dragen. Die registreert niet alleen wat ze zien, maar ook hun hersengolven — de elektrische activiteit in de hersenen — tijdens het werk.

Wat gebeurt er in het magazijn?

In dat magazijn werkt Encord, een bedrijf dat data maakt en ordent voor bedrijven die AI-modellen trainen. Medewerkers, die Encord ‘pilots’ noemt, voeren alledaagse taken uit terwijl ze met camera’s en sensoren worden vastgelegd. Soms bedienen ze via een ‘leader-follower’ opstelling een robotarm: de menselijke arm bestuurt direct één arm en een tweede robotarm volgt die bewegingen om data te verzamelen.

Taken die worden opgenomen variëren van schijnbaar simpele klusjes tot precies werk. Voorbeelden zijn het uitschenken van koffie (met veel geklots), het stapelen van fiches en het in- en uitpluggen van Ethernet-kabels aan de achterkant van servers. Zulke handelingen lijken makkelijk, maar voor een robot zijn ze ingewikkeld door gebrek aan fijne vingers en bewegingsvrijheid.

Waarom is echte trainingsdata zo belangrijk?

Veel vooruitgang bij taalmodellen kwam doordat onderzoekers enorme hoeveelheden tekst konden gebruiken. Voor fysieke robots bestaat die zee aan gegevens niet. Beeld en video helpen wel, maar missen vaak de nauwkeurigheid van echte handelingen. Autonome rijders verzamelen hun eigen data, maar dat is lastig en duur om op grote schaal te doen voor manipulatie van objecten.

Bedrijven als Encord verwachten dat de doorslaggevende beperking niet ligt in de modelarchitectuur maar in de beschikbaarheid van goede, echte data. Daarom is data-ondersteuning niet genoeg; sommige bedrijven moeten die data zelf gaan maken. Dat verandert de economie van robotontwikkeling: het genereren van fysieke trainingsdata kost aanzienlijk meer dan het verzamelen van tekst op internet.

Nieuwe meetvormen: hersengolven en spiersignalen

Encord werkt samen met Zander Labs, een Duits bedrijf dat headsets bouwt die hersengolven meten. Het idee is dat de hersenactiviteit aanwijzingen geeft over mentale staten zoals intentie, foutdetectie of verrassing. Als een mens bijvoorbeeld merkt dat iets misgaat, verandert de hersenactiviteit. Dat moment kan voor modelbouwers belangrijk zijn om te weten wanneer een robot extra aandacht of hogere rekenkracht nodig heeft.

Naast hersengolven test Encord ook sensoren op de onderarm die elektrische signalen van spieren meten. Die signalen kunnen helpen om in 3D vast te leggen waar de hand en vingers zich bevinden, ook als de camera niet de hele hand in beeld heeft. Samen met meerdere camerahoeken en andere sensoren ontstaat een rijker beeld van wat er precies gebeurt bij elk handgebaar.

Hoe wordt die data gebruikt?

De opnames worden van labels voorzien. Dat betekent dat per videofragment wordt vastgelegd wat er gebeurt, zoals “rechterhand draait bout vast”. Zulke gedetailleerde beschrijvingen helpen modellen om te begrijpen welke bewegingen leiden tot welk resultaat. Encord zegt dat deze dichtgekte annotaties veel waardevoller zijn dan eenvoudige egocentrische video — video van het perspectief van de werknemer met een camera op het hoofd — en dat de meerwaarde opweegt tegen de hogere kosten.

Encord gebruikt zijn faciliteit ook om specifieke vaardigheden te oefenen die klanten willen trainen. Met zicht op meerdere projecten in de industrie kan het bedrijf vervolgens signaleren welke datatechnieken effectief blijken. Die brede blik is een deel van hun commerciële aanbod: ze merken trends op voordat één klant dat doet.

Wie maakt de data?

Het zijn vaak mensen met ervaring bij annotatiebedrijven die de opnames maken. Zij bedienen de rigs, voeren de handelingen uit en zorgen dat de sensoren goed werken. Hun werk bestaat uit repeterend en precies handelen, en soms uit het bedenken van moeilijke scenario’s voor een robot om van te leren.

Het doel is niet alleen meer video verzamelen, maar video met extra lagen informatie: waar de hand was, welke spieractiviteit optrad en of de persoon verrast of geërgerd reageerde. Die extra signalen moeten uiteindelijk leiden tot modellen die beter en betrouwbaarder kunnen manipuleren.

Conclusie

Fysieke AI loopt tegen een dataprobleem aan: er is simpelweg niet genoeg hoogwaardige trainingsdata voor robots. Bedrijven als Encord proberen dat op te lossen door data te maken in plaats van alleen te beheren. Ze combineren egocentrische video, robotopnames, spiersensoren en zelfs hersengolven om rijkere trainingssets te bouwen. Of die nieuwe signalen daadwerkelijk robots veel slimmer maken, wordt nu getest. Als het werkt, gaat het niet alleen om betere modellen, maar ook om een nieuwe manier om data te produceren voor de robots van de toekomst.