Typtokenförhållandet

Typtokenförhållandet är ett grundläggande begrepp inom språkvetenskap och filosofi som beskriver skillnaden mellan en typ och en token. En typ är en abstrakt språklig enhet eller lexem, som representerar en generell form av ett ord eller en enhet i ett språk. En token är däremot en konkret förekomst av den typen i tal eller skrift, till exempel i en specifik mening eller ett specifikt urval av text.

Ett enkelt exempel gör skillnaden tydlig. Ordet hund förekommer flera gånger i en text; varje enskilt förekommande ord i texten är en token av typen hund. Samtidigt finns det bara en typ hund, eftersom alla dessa tokens delar samma abstrakta form. I en längre text kan antalet tokens vara mycket större än antalet typer; en text kan innehålla hund gånger sammanlagt, men endast ett antal unika ord (typer).

Begreppet är centralt inom flera områden. Inom lingvistik och corpuslingvistik används typtokenförhållandet för att analysera vokabulärstorlek, ordvariation och språkbruk. Inom filosofi och kognitionsvetenskap används det för att skilja mellan det som är allmänt och generellt i språket och det som verkligen förekommer i konkreta yttranden eller texter. Inom artificiell intelligens och natural language processing är tokenisering och hantering av typer och tokens viktiga för modellering av vokabulär och textdata.

Värt att notera är att definitionerna av typ och token kan variera något mellan disciplinerna, särskilt när det gäller hur man räknar token i flerriktningsspråk eller morfologiskt komplexa system.