Nomadic haalt 8,4 miljoen dollar op om de gegevens die uit autonome voertuigen stromen te ontwarren

Om de autonome machines van de toekomst te bouwen, heeft je mannequin soms een mannequin nodig.

Bedrijven die zelfrijdende auto’s ontwikkelen, robots die de fysieke omgeving manipuleren of autonome bouwapparatuur verzamelen duizenden, zo niet miljoenen uren aan videogegevens voor evaluatie en coaching.

Het organiseren en catalogiseren van die video is nu een taak voor mensen, die alles moeten bekijken. Zelfs snel vooruitspoelen schaalt niet. Nomadische AIeen startup opgericht door CEO Mustafa Bal en CTO Varun Krishnan, wil problemen oplossen voor klanten die 95% van hun wagenparkgegevens in archieven hebben staan.

De uitdaging wordt moeilijker bij het zoeken naar randgevallen: de meest waardevolle gegevens geven gebeurtenissen weer die zelden voorkomen en die onervaren fysieke AI-modellen in de struggle kunnen brengen.

Nomadic werkt eraan om dat probleem op te lossen met een platform dat beeldmateriaal omzet in een gestructureerde, doorzoekbare dataset through een verzameling beeldtaalmodellen. Dat zorgt op zijn beurt voor een betere vlootmonitoring en het creëren van unieke datasets voor versterkend leren en snellere iteratie.

Het bedrijf kondigde dinsdag een startronde van $8,4 miljoen aan met een post-money-waardering van $50 miljoen. De ronde werd geleid door TQ Ventures, met deelname van Pear VC en Jeff Dean, en zal het bedrijf in staat stellen meer klanten aan boord te krijgen en zijn platform verder te verfijnen. Nomadisch ook eerste prijs gewonnen tijdens de pitchwedstrijd van Nvidia GTC vorige maand.

De twee oprichters, die elkaar ontmoetten als studenten computerwetenschappen aan Harvard, “kwamen keer op keer dezelfde technische uitdagingen tegen op ons werk” bij bedrijven als Lyft en Snowflake, vertelde Bal aan TechCrunch.

“We geven mensen inzicht in hun eigen beeldmateriaal, wat hun eigen AV’s (en) robots aandrijft”, zei hij. “Dat is wat deze autonome systeembouwers vooruit helpt, en niet de willekeurige information.”

Stel je voor dat je bijvoorbeeld probeert het begrip van een AV te verfijnen dat hij door rood magazine rijden als een politieagent hem daartoe opdracht geeft, of elke keer dat voertuigen onder een specifiek sort brug rijden, isoleert. Met het platform van Nomadic kunnen deze incidenten worden geïdentificeerd, zowel voor nalevingsdoeleinden als rechtstreeks in trainingspijplijnen worden ingevoerd.

Klanten als Zoox, Mitsubishi Electrical, Natix Community en Zendar gebruiken het platform al om intelligente machines te ontwikkelen. Antonio Puglielli, de VP Engineering bij Zendar, zei dat de instrument van Nomadic het bedrijf in staat stelde zijn werk veel sneller op te schalen dan het alternatief van outsourcing, en dat zijn domeinexpertise het bedrijf onderscheidde van andere concurrenten.

Dit soort modelgebaseerde, automatische annotatietool is in opkomst als een belangrijke workflow voor fysieke AI. Gevestigde datalabelbedrijven als Scale, Kognic en Encord ontwikkelen AI-tools om dit werk te doen, terwijl Nvidia een familie van open-sourcemodellen heeft uitgebracht. Alpamayodie kunnen worden aangepast om het probleem aan te pakken.

Varun stelt dat het instrument van zijn bedrijf meer is dan een etiketteermachine; het is een ‘agentisch redeneersysteem: je beschrijft wat het nodig heeft en het zoekt uit hoe het te vinden’, waarbij meerdere modellen worden gebruikt om de actie die plaatsvindt te begrijpen en in context te plaatsen. De achterban van Nomadic verwachten dat de focus van de startup op deze specifieke infrastructuur zal winnen.

“Het is dezelfde reden waarom Salesforce niet zijn eigen cloud bouwt en Netflix zijn eigen (contentdistributiefaciliteiten) niet bouwt”, vertelde Schuster Tanger, een accomplice bij TQ Ventures die de ronde leidde, aan TechCrunch. “Op het second dat een autonoom voertuigbedrijf Nomadic intern probeert te bouwen, worden ze afgeleid van wat hen doet winnen, namelijk de robotic zelf.”

Tanger prijst het expertise van Nomadic en merkt op dat Krishnan een internationale schaakmeester is die op de 1.549e plaats van beste speler ter wereld staat. Krishnan schept er ondertussen over op dat alle tientallen ingenieurs van het bedrijf wetenschappelijke artikelen hebben gepubliceerd.

Nu zijn ze laborious aan het werk om specifieke instruments te ontwikkelen, zoals een die de fysica van rijstrookwisselingen begrijpt uit camerabeelden, of een andere die preciezere locaties voor de grijpers van een robotic in een video afleidt. De volgende uitdaging, vanuit het oogpunt van Nomadic en zijn klanten, is het ontwikkelen van vergelijkbare instruments voor niet-visuele gegevens zoals lidar-sensormetingen, of om sensorgegevens in meerdere modi te integreren.

“Het is echt waanzinnig moeilijk om met terabytes aan video te jongleren, die tegen honderden meer dan 100 miljard parametermodellen te botsen en er vervolgens de juiste inzichten uit te halen”, zegt Bal.