Skip to main content

Daglig drift

Att driva PDQ dag för dag är en kort, upprepningsbar rutin: bekräfta att varje schemalagd inhämtning, förflyttning i datasjön, laddning till datalagret och kvalitetskontroll har gjort sitt jobb — och åtgärda dem som inte gjort det.

Rutinen är medvetet proaktiv. Ingenting här väntar på att en användare ska rapportera saknad data. Målet är att varje leverans och bearbetningssteg är verifierat före den dagliga deadlinen, vanligtvis 08:00, måndag–lördag.

Börja här​

Den dagliga rundanSjälva rutinen — vad du kontrollerar i INGEST, DLS och DWA, i vilken ordning, och vad varje mätvärde måste visa innan du kan godkänna dagen.
DataOps-konsolenReferens sida för sida: vad varje vy visar, vad varje siffra betyder och vilka åtgärder som finns tillgängliga.
FelsökningVad du gör när en kontroll fallerar — problem med infrastruktur, inhämtning, bearbetning och laddning, med lösning för varje.

De dagliga kontrollerna​

Varje driftsdag, i denna ordning — följ data utifrån källan och framåt:

  1. System Health — körs tjänsterna, och vad har de loggat?
  2. INGEST Tasks — har varje schemalagd inhämtning körts, och har varje konfigurerad filtyp kommit in?
  3. DLS Trace — har varje levererad fil rört sig genom Landing → Raw Archive → Trusted → Published?
  4. DWA Loading Tasks — har varje laddningssteg slutförts, med noll fel?
  5. DWA Additional Tasks — har efterbearbetningarna som hängts på laddningarna körts?
  6. QPI Monitor — rapporterade någon kvalitetskontroll ett underkänt resultat?

Steg 2–6 har var sin checklistvy som jämför konfigurerat mot utfört. Den jämförelsen är det enda som fångar arbete som aldrig startade — en felräknare visar alltid noll för en uppgift som aldrig schemalades.

Innan du utgår från att något har gått fel​

De flesta "tomma" sidor i konsolen svarar korrekt för ett tidsintervall som är för smalt. Kontrollera det globala datumintervallet först; det står som standard på de senaste 24 timmarna.

De flesta DWA-uppgifter är idempotenta — de kan startas om från konsolen utan risk för dubbletter. Att starta om en misslyckad laddningsuppgift är den normala första åtgärden, inte en sista utväg.