FellegiSunterrammeverket

Fellegi-Sunterrammeverket, ofte kalt Fellegi–Sunter-modellen, er et probabilistisk rammeverk for rekordsammenkobling og deduplicering av poster i datasett. Målet er å avgjøre om to poster refererer til samme enhet basert på samsvar i ulike felt som navn, adresse og fødselsdato, der feltene kan inneholde feil eller variasjon.

Kjernen i rammeverket er bruken av sammenligningsvektorer og to sett sannsynligheter: m-probabilitetene og u-probabilitetene. m-probabilitetene beskriver sannsynligheten for at et felt samsvarer dersom postene faktisk er samme enhet, mens u-probabilitetene beskriver sannsynligheten for samsvar dersom postene ikke er samme enhet. For hvert par av poster genereres en sammenligningsvektor som angir om hvert felt samsvarer, ikke samsvarer eller er usikkert. En sannsynlighetsratio (likelihood ratio) kombinerer disse plausibilitetene for å danne en beslutningsgrunnlag om at posten er en match, ikke-matching, eller krever manuell gjennomgang.

Estimering og gjennomføring skjer ofte escrow- eller usupervisert, og kan bruke EM-algoritmen for å estimere m- og u-probabiliteter basert på data. Praktisk tilnærming inkluderer blokkering for å redusere antall par, bruk av alternativ avstemmingslogikk, og planlagte avklaringsrunder ved potensielle matcher.

Rammeverket har bred anvendelse i kobling av registre, dataintegrasjon, og deduplicering i folke- og helsedata, nasjonale statistikker og kundedatabaser. Det gir en formell, kvantitativ metode for å håndtere usikkerhet i samsvar mellom felt og har inspirert videre utvikling innen statistisk og bayesiansk rekordsammenkobling.

Begrensninger inkluderer antakelsen om uavhengighet mellom felt og behov for kvalitetsdata for presise estimater. Modellens ytelse avhenger av riktig kalibrering av m- og u-probabilitetene og kan kreve clerical review for tvilstilfeller.

Se også: probabilistisk kobling, bayesianske tilnærminger og moderne rekordsammenkoblingsmetoder.