Batchindeksering

Batchindeksering er processen hvor et stort antal dokumenter eller dataposter indekseres i en eller flere planlagte batchoperationer, ofte som en del af en initialindlæsning, migrering eller løbende bulkopdateringer til en søgeindeks. Den står i kontrast til realtids- eller inkrementel indeksering, hvor ændringer tilføjes kontinuerligt.

Processen består typisk af udtræk fra kilder (databaser, filsystemer eller andre datakilder), transformation og normalisering af data samt tekstudtræk og tokenisering. Herefter opbygges et inverteret indeks, og indekset indholdes i en søgeplatform som Elasticsearch, Solr eller andre Lucene-baserede løsninger. Batchen køres ofte som en eller flere komplette operationer, afsluttet med en commit og eventuelt en verifikation af konsistens, før indekset bliver gjort tilgængeligt for brugere.

Fordelene ved batchindeksering inkluderer høj gennemløb ved store datamængder, forudsigeligt ressourceforbrug og nem planlægning, samt mulighed for fejlhåndtering og rollback ved afslutningen af batchen og lettere håndtering af strukturelle ændringer i kilde og indeks.

Udfordringerne omfatter afvejning mellem dataaktualitet og latenstid, risiko for spikes i ressourceforbruget under store batcher, samt behov for robust fejlhåndtering, deduplicering og versionering af skemaer. At sikre konsistens mellem kilde og indeks kan kræve ekstra mekanismer til transaktionshåndtering og test.

Anvendelsesområder inkluderer initial loading af store arkivsamlinger, migrering af kataloger og databaser, eller periodiske opdateringer af store samlinger. Typiske teknologier omfatter Apache Hadoop og Apache Spark til forbehandling, og Lucene-, Elasticsearch- eller Solr-baserede løsninger til selve indekseringen, ofte styret af ETL-værktøjer og batch-pipelines.