sprogmodel

Sprogmodeller har undergået en voldsom udvikling fra de regelbaserede repræsentationer af sproget der indgik i Weizenbaums ELIZA i 1960’erne, som brugte simpel mønstergenkendelse til at simulere menneskelig kommunikation, over maskinoversættelsesprogrammer i 80’erne som bestod af et sæt grammatiske regler og en ordbog (begge udtrykt i et formelt sprog) på hhv. kildesproget og målsproget.

Moderne sprogmodeller er rent statistisk baserede og udviklet som et komplekst neuralt netværk med milliarder af parametre som gør det muligt at lagre store mængder viden om sprogets distribution. Et gennembrud for statistiske sprogmodeller kom med Word2Vec-modellen i midten af 00’erne som repræsenterer ordenes distributionelle semantik ved hjælp af vektorer. Endnu et gennembrud kom med de transformerbaserede arkitekturer i midten af 10’erne i form af GPT- og BERT-modellerne som håndterer vektorerne på en mere dynamisk måde end Word2Vec. Dette sker bl.a. ved hjælp at en såkaldt opmærksomhedsmekanisme som gør det muligt at fokusere på de mest relevante ord selv når der inddrages en større kontekst. På den måde har modellen et bedre blik for større sproglige sammenhænge i form af hele sætninger og tekster. Endelig fik den generative sprogmodel sit store folkelige gennembrug i 2022 med ChatGPT, som kombinerer en sprogmodel med et dialog-interface således at man kan kommunikere direkte med den i et almindeligt sprog.

Sprogmodellen behandler tekst ved at sende data igennem en række specialiserede, sekventielle lag. For hvert lag bliver data lidt mere abstrakte og sprogligt meningsfulde, og tilsammen udgør de et såkaldt neuralt netværk. En central datakomponent udgøres af de føromtalte vektorer som kan forstås som en slags ordprofiler (word embeddings) der hver især repræsenterer et ords distributionelle semantik. Ved hjælp af numeriske værdier udtrykker vektorerne hvilke ord et givent ord typisk optræder sammen med i de sproglige data. Hver ordprofil repræsenterer med sin vektor et punkt i et flerdimensionelt vektorrum således at nært beslægtede ord som spise og æde vil ligge tæt på hinanden i rummet idet de delvist vil omgive sig med de samme ord.

Efterhånden som man i de senere år har øget antallet af parametre til lagring af oplysninger om ordenes distribution, har man også mangedoblet den sproglige og kommunikative information som sprogmodellerne kan beregne og gøre brug af. Det betyder at modellerne i dag repræsenterer mere tekstlig kontekst på et langt højere generaliseringsniveau end tidligere, og at der fx i højere grad kan tages højde for langdistanceafhængigheder i sproget, dels internt i sætninger, dels imellem sætninger og i længere samtaler.

En langdistanceforbindelse i en sætning ses fx med det danske partikelverbum slå op hvor slå og op kan optræde langt fra hinanden i sætningen, selv om de udgør en betydningsmæssig enhed: Du kan slå de ord du ikke kender eller ikke kan finde, op i ordbogen. På tværs af sætninger er anaforisk reference et eksempel på en langdistanceafhængighed hvor et personligt pronomen refererer tilbage til noget der er blevet nævnt i en tidligere sætning, som i Pigerne kom sent hjem i går. De var godt trætte. En sprogmodel skal have en vis volumen for at kunne håndtere sådanne forbindelser; det gælder særligt på tværs af længere dialoger og tekster.

En sprogmodel kan være ensproget eller flersproget afhængigt af om den er trænet på ét eller flere sprog. De fleste sprogmodeller er i dag flersprogede, og det sprog som modellerne er trænet på, er i langt overvejende grad engelsk. Kommunikationen med en ai-chatbot på dansk foregår derfor primært ved hjælp af en form for oversættelse eller tværsproglig mønstergenkendelse mellem sprog. Ved hjælp af såkaldt transferlæring overføres viden fra ét (eller flere) sprog til et andet internt i modellen. Overordnet set udgør transferlæring en kæmpe fordel for den kunstige intelligens’ udbredelse på verdens forskellige sprog: ChatGPT's store folkelige gennembrud i Danmark i 2022 kan i høj grad tilskrives det tekniske gennembrud på dette område uden hvilket værktøjet ville have været ganske ubehjælpsomt på dansk.

I de fleste flersprogede modeller udgør det danske træningsmateriale nemlig under én procent af det samlede sproginput som modellen er trænet med. Det betyder at modellerne ikke nødvendigvis kender alle de danske sproglige særtræk og forhold særlig godt, og at der derfor er fare for at de hallucinerer, dvs. opfinder noget ud fra de data (ofte engelske) de kender, som ikke nødvendigvis er rigtigt i den danske sammenhæng. Der kan også være meget gængse sproglige figurer på dansk som modellen undlader at bruge fordi den ikke har mødt dem i tilstrækkelig grad i sit træningsmateriale. Fx bruger vi på dansk ofte ordet man som ikke findes helt tilsvarende på engelsk, hvorfor en sprogmodel som oftest vil sige du.

Falske venner hvor et engelsk og et dansk ord ligner hinanden, men ikke betyder helt det samme, kan også give problemer i den flersprogede model. Det gælder fx det engelske navneord form, som kan betyde enten 'form/facon' eller 'formular' på dansk afhængigt af konteksten. Det kan føre til fejlagtig tekstproduktion som i du kan udfylde denne form hvor der retteligt skulle have stået du kan udfylde denne formular.

Hvor mange sprogdata er vigtige for en sprogmodels almene formåen (også på dansk), er sprogdata som er specifikt danske, vigtige for at få de sproglige og kulturelle nuancer repræsenteret helt korrekt. Danske (og andre mindre sprogs) særtræk kan enten tilføres fra starten når man træner en model, eller de kan tilføjes via eftertræning hvor man beriger en allerede trænet flersproget grundmodel med særlig viden om dansk, fx i form af dertil udviklede datasæt.

Sprogmodeller kan trænes på andet end naturlige sprog, fx på programmeringskode sådan at de kan bruges til at lave computerprogrammer med. Andre fagområder som fx biologi og bioinformatik bruger også sprogmodellens arkitekturer til at analysere fx protein- og DNA-sekvenser.

En såkaldt multimodal model kombinerer en sprogmodel med andre specialiserede ai-modeller som er designede til at forstå og behandle forskellige datatyper som billeder, video og lyd. Den multimodale model kan således kombinere tekst med andre modaliteter så den fx kan analysere et røngtenbillede og sammenholde det med en skreven patientjournal . ChatGPT kombinerer i dag sin sprogmodel direkte med multimodale modeller sådan at man fx kan få den til at generere billeder ud fra tekst.

• sprogteknologi
• kunstig intelligens
• neurale modeller
• GPT
• taleteknologi
• Center for Sprogteknologi
• tekstdata