Natuurlijke taalverwerking: de nieuwste innovaties

NLP is een fenomeen dat teruggaat tot de jaren 1950, en in de afgelopen decennia is het veld drastisch volwassen geworden. Vroeger was de benadering van NLP zeer taalkundig, gericht op taalstructuren en het verkennen van manieren voor computers om deze structuren te begrijpen. Tegenwoordig zijn de taalkundige aspecten van een taal minder relevant door het gebruik van Big Data en moderne soorten neurale netwerken. Deze neurale netwerken zijn modellen die, wanneer groot genoeg, elke denkbare relatie in de invoer kunnen interpreteren. Bovendien zijn neurale netwerken in staat om taken zoals classificatie, voorspelling en visualisatie te leren, alleen door voorbeelden te beschouwen.

Recente ontwikkelingen op het gebied van NLP zijn een direct gevolg van de toepassing van neurale netwerken en deep learning-methoden. In het afgelopen decennium is deep learning ontstaan en het vormt de basis van innovaties in alle velden van AI in de afgelopen vijf jaar. Guus van de Mond, partner bij Squadra en oprichter van Machine Learning Company, legt deep learning uit met het volgende voorbeeld:

“Deep learning is in wezen het opdelen van een bepaald probleem in verschillende lagen. Elke laag vertegenwoordigt een bepaalde functie en definieert een abstract model. Elke toegevoegde laag kan de informatie van de vorige lagen gebruiken. Stel je bijvoorbeeld voor dat je het algoritme wilt leren om een foto van een hond te herkennen. In dit geval zou de eerste laag een kunnen zijn die vormen herkent (cirkels, driehoeken, enzovoort). De tweede laag zou een kunnen zijn die ogen identificeert (twee ovale vormen naast elkaar). De derde laag zou een kunnen zijn die een gezicht herkent, enzovoort. Uiteindelijk kan het algoritme de foto van een hond herkennen.” Hetzelfde principe kan worden toegepast op tekstgegevens zoals zinnen.

Onlangs maakte de wereld kennis met Transformers (bijv. BERT, T5 en GPT-3), revolutionaire deep learning-modellen die gegevens niet sequentieel hoeven te verwerken (van begin tot eind), maar een mechanisme gebruiken dat bekend staat als aandacht om een grote hoeveelheid tekst tegelijkertijd te analyseren. Deze innovaties hebben het begrip van taalkundige context door de modellen drastisch verbeterd, waardoor recente modellen beter presteren dan eerdere modellen bij verschillende taken.

Een voorbeeld van zo’n taak is het voorspellen van ontbrekende woorden. Dit is nuttig omdat het eenvoudig is om een enorme dataset te creëren door simpelweg een grote hoeveelheid tekst te nemen en woorden te maskeren. Om een bruikbaar model te creëren (zoals het beantwoorden van vragen op basis van een tekst), gebruikten onderzoekers een veel kleinere dataset en trainden ze het model opnieuw voor deze specifieke taak (een proces dat bekend staat als fine-tuning). De AI-gemeenschap was verbaasd te zien dat BERT alle bestaande AI-modellen overtrof bij een breed scala aan NLP-taken!

Maar de nieuwste revolutie komt van het GPT-3-model. Een extreem krachtig model met een enorme hoeveelheid van 175 miljard parameters. Het is in staat om Engelse prompts te begrijpen en kan teksten genereren zonder een enkel voorbeeld. Jelmer Wind, Data Scientist bij Machine Learning Company, experimenteerde met het GPT-3-model door het te vragen een tekst te genereren die een menselijk politiek argument weerlegt. Zonder een enkel voorbeeld (zero-shot training) kon het GPT-3-model een samenhangende tekst genereren die een tegenargument vertegenwoordigde voor het eerder genoemde menselijke politieke argument. Deze capaciteit is een direct gevolg van het verbeterde begrip van de menselijke taal.

Bij Squadra Machine Learning Company zijn meerdere NLP-toepassingen al operationeel. Twee voorbeelden zijn PowerText.ai en PowerEnrich.ai. PowerText.ai is een tool die unieke en SEO-geoptimaliseerde commerciële productbeschrijvingen kan genereren voor e-commerce platforms, gebaseerd op de kenmerkgegevens van de producten (bijv. kleur, capaciteit, type, enz.). Het stelt groothandels en detailhandelaren in staat om tijd en kosten te besparen bij het schrijven van productbeschrijvingen en een aanzienlijke toename in inkomsten te realiseren door hogere SEO-resultaten.

PowerEnrich.ai is een tool voor e-commerce organisaties die verschillende tekstbronnen analyseert en in staat is om gegevens automatisch te extraheren met als doel productgegevens te verrijken voor online publicatie. Het bespaart enorme hoeveelheden handmatige gegevensinvoer voor grote datasets. Met behulp van Transformer-modellen verwacht Guus nog meer creativiteit toe te kunnen voegen aan de gegenereerde teksten en een hogere nauwkeurigheid voor de algoritmen voor tekstanalyse.

Vanwege de enorme kracht, kunnen deze recente innovaties op het gebied van NLP ook een negatieve impact hebben wanneer ze voor onethische doeleinden worden toegepast. Het GPT-3-model kan bijvoorbeeld gemakkelijk worden overtuigd om voor alles te pleiten, hoe onethisch ook, op een zodanig levensechte manier dat het vrijwel niet te onderscheiden is van een mens. Modellen zoals GPT-3 kunnen bijvoorbeeld mensachtige teksten genereren die niet noodzakelijkerwijs de waarheid bevatten. Daarom is de toegang tot modellen zoals GPT-3 beperkt en moet er een balans worden gevonden tussen technologische innovaties en onethische bedoelingen.

Het veld van NLP verandert snel met bijna dagelijks nieuwe ontwikkelingen. Squadra Machine Learning Company is altijd op zoek naar ontwikkelingen die hun diensten kunnen verbeteren en hun vermogen om de uitdagingen van hun klanten op te lossen kunnen vergroten. Soms worden de meest recente toepassingen gebruikt om uitdagingen op te lossen die een jaar eerder nog niet konden worden opgelost, zo snel evolueert het veld van NLP!

Squadra Machine Learning Company is een innovatief Nederlands bedrijf dat kennis over bedrijfsprocessen, algoritmeontwikkeling en datavisualisatie combineert om klanten te helpen met machine learning-algoritmen en de toepassing van AI-oplossingen. Ze hebben een bewezen staat van dienst in het toepassen van data science en AI-oplossingen voor leveranciers-, groothandels- en detailhandelsorganisaties.