Kappaarkitekturen

Kappaarkitekturen är en dataprocesseringsarkitektur som föreslogs som ett alternativ till Lambda-arkitekturen. Den bygger på en enhetlig strömningspipeline som hanterar både realtids- och historisk data genom en gemensam, append-only logg som sanningskälla.

I stället för separata batch- och snabbspår används ett enda system där alla händelser skrivs till en distribuerad logg (till exempel Apache Kafka). Strömbehandlare läser från loggen, utför transformationer och uppdaterar antingen en vy i en serving layer eller skriver tillbaka resultat till loggen. Vid behov kan hela bearbetningen reproduceras genom att återspela loggen och återskapa tidigare tillstånd.

Vanliga teknologier inkluderar Kafka som logg och strömbehandlare som Kafka Streams, Apache Flink eller Spark Structured Streaming. Arkitekturen förlitar sig på oföränderlig logg och möjligheten att återskapa tillstånd genom att läsa alla händelser i samma flöde.

Fördelar inkluderar lägre komplexitet och mindre kodduplikation jämfört med Lambda, samt enkel återuppbyggnad av tillstånd genom loggens historik. Begränsningar inkluderar att en enhetlig pipeline ibland blir en flaskhals för arbetsbelastningar som kräver olika latencyprofiler, och att vissa scenarier inte passar optimalt i en enda strömhanterad pipeline. Kritik är att Kappa inte alltid ersätter behovet av separata batch- och snabbspår i alla scenarier.

Användningsområden inkluderar system där data främst presenteras som händelseströmmar och där en enhetlig pipeline förenklar utveckling och underhåll, till exempel loggdata, användarbeteenden, finansiella transaktioner eller telekom.