De Facebook-insider die contentmoderatie voor het AI-tijdperk bouwt

Toen Brett Levenson Apple in 2019 verliet om leiding te geven aan de bedrijfsintegriteit bij Fb, zat de socialemediagigant midden in de problemen. Cambridge Analytica neerslag. Destijds dacht hij dat hij het contentmoderatieprobleem van Fb eenvoudigweg kon oplossen met betere technologie.

Het probleem, zo ontdekte hij al snel, ging dieper dan de technologie. Van menselijke recensenten werd verwacht dat ze een beleidsdocument van veertig pagina’s uit het hoofd leerden dat machinaal in hun taal was vertaald, zei hij. Vervolgens hadden ze ongeveer 30 seconden per stuk gemarkeerde inhoud om niet alleen te beslissen of die inhoud de regels overtrad, maar ook wat ze eraan moesten doen: blokkeren, de gebruiker verbannen, de verspreiding beperken. Die snelle telefoontjes waren volgens Levenson slechts “iets beter dan 50% accuraat”.

“Het was web zoiets als het opgooien van een munt: de vraag of de menselijke recensenten het beleid daadwerkelijk right konden aanpakken, en dit was sowieso vele dagen nadat de schade al had plaatsgevonden”, vertelde Levenson aan TechCrunch.

Een dergelijke vertraagde, reactieve aanpak is niet duurzaam in een wereld van behendige en goed gefinancierde tegenstanders. De opkomst van AI-chatbots heeft het probleem alleen maar verergerd, omdat fouten bij het modereren van inhoud hebben geresulteerd in een reeks spraakmakende incidenten, zoals chatbots die tieners voorzien van begeleiding bij zelfbeschadiging of Door AI gegenereerde beelden veiligheidsfilters ontwijken.

Levensons frustratie leidde tot het idee van ‘beleid als code’ – een manier om statische beleidsdocumenten om te zetten in uitvoerbare, bijwerkbare logica, nauw gekoppeld aan handhaving. Dat inzicht leidde tot de oprichting van Maanstuiterendat vrijdag aankondigde dat het $12 miljoen aan financiering heeft opgehaald, heeft TechCrunch exclusief vernomen. De ronde werd mede geleid door Amplify Companions en StepStone Group.

Moonbounce werkt samen met bedrijven om een ​​additional veiligheidslaag te bieden overal waar inhoud wordt gegenereerd, of het nu door een gebruiker of door AI is. Het bedrijf heeft zijn eigen grote taalmodel getraind om naar de beleidsdocumenten van een klant te kijken, de inhoud tijdens runtime te evalueren, binnen 300 milliseconden of minder een antwoord te geven en actie te ondernemen. Afhankelijk van de voorkeur van de klant kan die actie erop lijken dat het systeem van Moonbounce de distributie vertraagt ​​terwijl de inhoud later op een menselijke beoordeling wacht, of dat het op dat second risicovolle inhoud blokkeert.

Tegenwoordig bedient Moonbounce drie belangrijke branches: platforms die zich bezighouden met door gebruikers gegenereerde inhoud zoals dating-apps; AI-bedrijven die karakters of metgezellen bouwen; en AI-beeldgeneratoren.

Moonbounce ondersteunt meer dan 40 miljoen dagelijkse beoordelingen en bedient meer dan 100 miljoen dagelijkse actieve gebruikers op het platform, aldus Levenson. Klanten zijn onder meer AI-compagnon-startup Channel AI, beeld- en videogeneratiebedrijf Civitai en personage-rollenspelplatforms Dippy AI en Moescape.

“Veiligheid kan feitelijk een productvoordeel zijn”, vertelde Levenson aan TechCrunch. “Dat is nooit het geval geweest, omdat het altijd iets is dat later gebeurt en niet iets dat je daadwerkelijk in je product kunt inbouwen. En we zien dat onze klanten echt interessante en innovatieve manieren vinden om onze technologie te gebruiken om veiligheid een onderscheidende issue te maken, en onderdeel van hun productverhaal.”

Tinder’s hoofd van vertrouwen en veiligheid onlangs uitgelegd hoe het datingplatform dit soort LLM-aangedreven diensten gebruikt om een ​​10x verbetering in nauwkeurigheid van detecties te bereiken.

“Contentmoderatie is altijd een probleem geweest dat grote on-line platforms teisterde, maar nu LLM’s de kern vormen van elke applicatie, is deze uitdaging nog lastiger”, zegt Lenny Pruss, algemeen accomplice bij Amplify Companions, in een verklaring. “We hebben in Moonbounce geïnvesteerd omdat we een wereld voor ogen hebben waarin objectieve, realtime vangrails de ondersteunende ruggengraat worden van elke AI-gemedieerde toepassing.”

AI-bedrijven worden geconfronteerd met toenemende juridische en reputatiedruk nadat chatbots ervan beschuldigd zijn tieners en kwetsbare gebruikers in de richting te duwen zelfmoord en beeldgeneratoren zoals Grok van xAI zijn gebruikt om te creëren niet-consensueel naakt beelden. Het is duidelijk dat de interne veiligheidsvoorzieningen falen en dat het een aansprakelijkheidskwestie wordt. Levenson zei dat AI-bedrijven steeds vaker buiten hun eigen muren zoeken naar hulp bij het versterken van de veiligheidsinfrastructuur.

“Wij zijn een derde partij die tussen de gebruiker en de chatbot zit, dus ons systeem wordt niet overspoeld met context zoals de chat zelf”, aldus Levenson. “De chatbot zelf moet mogelijk tienduizenden tokens onthouden die eerder zijn binnengekomen… We maken ons alleen zorgen over het afdwingen van regels tijdens runtime.”

Levenson leidt het twaalfkoppige bedrijf samen met zijn voormalige Apple-collega Ash Bhardwaj, die eerder grootschalige cloud- en AI-infrastructuur bouwde voor het kernaanbod van de iPhone-maker. Hun volgende focus ligt op een mogelijkheid die ‘iteratieve sturing’ wordt genoemd en die is ontwikkeld als reactie op gevallen als de 2024 zelfmoord van een 14-jarige jongen uit Florida die geobsedeerd raakte door een Character AI-chatbot. In plaats van een botte weigering wanneer er schadelijke onderwerpen aan de orde komen, zou het systeem het gesprek onderscheppen en omleiden, waarbij de aanwijzingen in realtime worden aangepast om de chatbot in de richting van een actievere ondersteunende reactie te duwen.

“We hopen aan onze actietoolkit de mogelijkheid toe te kunnen voegen om de chatbot in een betere richting te sturen, door in wezen de immediate van de gebruiker te volgen en deze aan te passen om de chatbot te dwingen niet alleen een empathische luisteraar te zijn, maar een behulpzame luisteraar in dergelijke situaties”, aldus Levenson.

Op de vraag of zijn exitstrategie een overname door een bedrijf als Meta inhield, waardoor zijn werk op het gebied van contentmoderatie de cirkel rond was, zei Levenson dat hij beseft hoe goed Moonbounce zou passen in de stapel van zijn oude werkgever, evenals in zijn eigen fiduciaire taken als CEO.

“Mijn investeerders zouden me vermoorden als ik dit zeg, maar ik zou het vreselijk vinden als iemand ons zou kopen en vervolgens de technologie zou beperken”, zei hij. “Zoals: ‘Oké, dit is nu van ons en niemand anders kan er voordeel uit halen.’”