Den dagliga rundan

Kör den här rundan varje driftsdag, före den dagliga deadlinen. Den kontrollerar att varje automatiserat steg faktiskt kördes — och framför allt att ingenting tyst hoppades över, vilket en felräknare aldrig berättar.

Hela rutinen görs från DataOps-konsolen.

---

De operativa pelarna

1. Centraliserad synlighet och självbetjäningshantering

DataOps-konsolen fungerar som det primära kontrollcentret, utformat för att förenkla dagliga uppgifter och tillhandahålla omedelbara insikter i plattformsprestanda.

• Runtime-skärning och delning: Konsolen ger möjlighet att inspektera runtime-operatörer och statistik, erbjuder detaljerad information om pågående processer.
• Fellösning (idempotens): Uppgifter, särskilt de som hanteras av DWA, är utformade för att startas om säkert via konsolen, eftersom de är idempotenta (kan köras igen utan risk för duplicering eller korruption). Omstart av misslyckade DWA Loading Tasks är en enkel fix tillgänglig för operatörer.

2. Validering av end-to-end dataintegritet

Dagliga operationer fokuserar på att verifiera att datainhämtning och efterföljande bearbetningsfaser upprätthåller spårbarhet och konsistens genom systemets arkitektoniska lager.

• Källinhämtningsrevisioner (INGEST): Operatörer använder INGEST Tasks-vyerna för att bekräfta att de nödvändiga datauttags-agenterna har körts enligt schema (Förväntat = Slutfört, Misslyckade = 0) och att alla förväntade filtyper har levererats. DLS Task Checklist bekräftar den andra halvan: en grön banner med texten "All configured files have at least one delivery" betyder att varje konfigurerad filtyp har kommit in minst en gång under det valda intervallet. En uppgift som aldrig startade syns här och ingen annanstans — ett mätvärde som visar "inga fel" avslöjar den aldrig.

• Flödeskonsistens (DLS Trace): DLS Trace-vyn verifierar dataförflyttning genom de standardiserade bearbetningslagren:

  Landing → Raw Archive → Trusted, med Profile vid sidan om

  Framgångsrikt flöde valideras när räknarna för Landing, Raw Archive, Trusted och Profile är identiska. Detta bekräftar att DLS Worker har utfört arkivering, standardisering av format och profilering. Räknaren för Published kan ligga något lägre — en skillnad på upp till 10–20 poster är normal och i sig inget fel.

  Ingenting filtreras bort mellan zonerna, så ett underskott betyder att något fastnat, inte att något sorterats bort — se Vad plattformen registrerar, och vad den stoppar.

3. Orkestrering och modellintegritet

Vyn DWA Loading Tasks bekräftar att de mottagna och bearbetade filerna nådde den integrerade modellen, och att den metadatadrivna genereringen producerade den SQL och den orkestrering den skulle.

Kontrollen är:

• Expected loading tasks och Completed loading tasks är identiska
• Failed är 0

Öppna DWA Loading Tasks-vyn, jämför förväntat mot slutfört, undersök allt misslyckat direkt, och bekräfta att datan finns på plats i målsystemen.

DataOps-konsolen

DataOps-konsolen är den centrala punkten för övervakning och enkel hantering av runtime-operatorer och statistik. Den grupperar sina sidor efter vilket steg i plattformen de täcker — Ingestion, Data Lake, Data Warehouse, Data Quality, Reference och System — var och en med egna övervakningsvyer, checklistor och administratörsåtgärder.

Referens sida för sida

Den här sidan beskriver rutinen. För vad varje konsolsida visar, vad varje mätvärde betyder och vilka åtgärder den erbjuder, se DataOps-konsolen.

Daglig övervakningschecklista

Följ denna sekvens varje driftsdag. Det är samma ordning som används genomgående i dokumentationen — tjänsterna först, därefter data, utifrån källan och framåt.

1. ☑ System Health

   • Körs tjänsterna, och har något fallerat eller varnat under natten?
   • Varje rad med status FAILED måste startas om från den sida som äger arbetet

2. ☑ INGEST Tasks

   • Bekräfta att varje förväntad körning slutförts (Expected = Completed, Failed = 0)
   • Leta efter slutförda körningar som returnerade noll rader — det klassiska tysta felet
   • Bekräfta den gröna bannern i DLS Task Checklist: "All configured files have at least one delivery"

3. ☑ DLS Trace

   • Verifiera att räknarna stämmer över zonerna (se regeln ovan)
   • Leta efter filer som fastnat i en zon med filtret Last seen on

4. ☑ DWA Loading Tasks

   • Expected och Completed måste vara lika, och Failed måste vara 0
   • Starta om misslyckade uppgifter — de är idempotenta

5. ☑ DWA Additional Tasks

   • Bekräfta att de påkopplade efterbearbetningarna körts

6. ☑ QPI Monitor

   • Rapporterade någon kvalitetskontroll ett underkänt resultat?
   • Håll isär Fail (data är fel) och Error (själva kontrollen är trasig)

Dokumentera det du inte kunnat åtgärda och följ upp det innan nästa runda.