innholdsdatasett

Et innholdsdatasett er en strukturert samling av innholdselementer som brukes i utvikling, testing og evaluering av informasjons- og medieapplikasjoner. Det kan omfatte tekst, bilder, lyd, video eller andre mediatyper, sammen med tilhørende metadata og annotasjoner.

Hvert element består av innholdet og metadata som tittel, språk, forfatter, dato, kilde og lisens. Metadata kan også inkludere emner, kategorier, kvalitetsscore og annotasjoner som merker eller tags.

Formålene med innholdsdatasett er mange: trening av maskinlæringsmodeller, utvikling av søker- og anbefalingssystemer, evaluering av algoritmer, og benchmarking av prosesser.

Standardisering og interoperabilitet er sentralt. Derfor brukes ofte Dublin Core, schema.org, JSON-LD eller RDF for å beskrive innholdet og gjøre datasettene maskinlesbare.

Etikk og rettigheter må vurderes. Innhold kan være opphavsrettslig beskyttet, og personopplysninger kan forekomme. Anonymisering, samtykke og tydelige lisensavtaler er viktige.

Kvalitet og representativitet blir også vurdert. Vurderinger inkluderer dekning av domene, variasjon i innhold og konsistens i annotasjoner, samt dokumentasjon av opprinnelse og prosesser.

Tilgjengelighet varierer; noen datasett er åpne og frie under åpne lisenser, mens andre har begrensninger knyttet til lisens, personvern eller tilgangsbegrensninger.