Data Lake
Fyra sidor som täcker Data Lake Service (DLS): filernas rörelse genom sjöns zoner, publiceringssteget in i databasen, profileringen av det som faktiskt kom in, och valideringen av detta mot det överenskomna datakontraktet.
Zonnamnen på dessa sidor kommer från systeminställningarna, så en kund som kallar sin Trusted-zon något annat ser sitt eget namn genomgående. Standardnamnen är Landing, Raw Archive, Trusted och Published.
DLS Trace
Den ackumulerade ögonblicksbilden av filernas rörelse genom sjön. Den besvarar: av de filer vi förväntade oss, hur många nådde varje zon?
Pipeline-tratten
En liggande stegvisning högst upp, en ruta per steg:
Expected → Landing → Raw Archive → Trusted → Published
Färgerna bär bedömningen:
| Färg | Betydelse |
|---|---|
| Turkos | Friskt — antalet är minst lika stort som föregående steg |
| Bärnsten | Färre filer än föregående steg — möjlig dataförlust |
| Röd | Noll filer nådde detta steg |
Expected härleds ur varje källfils konfigurerade förväntade antal filer per dag, proportionerat över det valda fönstret. Övriga steg räknar distinkta filnycklar som bär en URL för den zonen.
När noll filer nådde Published visas ett explicit fel med en länk direkt till System Health.
Källfilter
En expander högst upp avgränsar allt nedanför — både tratt och tabell — per system och därefter per källfil.
Filtabell
Varje revisionspost i fönstret, nyast först. Snabbfilter ovanför:
- Search — källfil eller filnyckel
- Flervalsfilter för Sourcefile och File type
- Last seen on — det längsta steg varje fil nådde (Landing / Raw Archive / Trusted / Profile / Published)
"Last seen on" är fältet att ta till när tratten visar ett tapp: filtrera på det steg där filerna fastnade, så har du exakt lista.
Admin console
Endast administratör. Den triggar om de filtrerade filerna genom att lägga tillbaka objektdetekteringsmeddelanden på kön, i satser om 100:
- Load Raw — triggar om från Landing till Raw Archive (hette Load Raw Archive i tidigare versioner)
- Load Trusted — triggar om från Raw Archive till Trusted
Var och en ligger bakom en bekräftelse som namnger antalet filer, och resultatet rapporterar antalet triggers som lagts på kön. Båda loggas.
DLS Task Checklist
Varje konfigurerad källfil, med status ✅ Delivered / 🔴 Not delivered, sorterad med ej levererade först. Kolumner: system, källfil, filmönster, filtyp, förväntade filer, leveransflagga, profilerarflagga. En källfil med förväntat antal noll räknas som uppfylld.
Publisher Trace
Där DLS Trace följer filer genom zoner följer Publisher Trace publiceringsoperationer — varje rad är en publicering från en källfil till en måltabell.
Mätvärden
Total events, Published, Failed, In progress, Rows inserted, Unique files.
Statusmatchningen är medvetet tolerant mot versaler och blanksteg, och allt som inte klassas som publicerat eller misslyckat räknas som pågående — så en backend som börjar skicka Complete i stället för Completed bryter inte tyst räknarna.
Misslyckade publiceringar
Fel grupperas efter feltyp i stället för att listas ett i taget. Varje grupp fälls ut till de berörda raderna plus hela feltexten, så att hundra filer som misslyckas av en och samma grundorsak läses som ett problem.
Table log
En rad per publiceringsoperation, med snabbfilter för sökning (källfil, system, måltabell), Status och Source Level. Misslyckade rader markeras. Kolumnerna innehåller måltabell, målmetod, tabellnormalisering och antal infogade rader.
Markera en eller flera rader för att arbeta med dem:
- En kontextuell åtgärdsrad visas med Re-publish selected (endast administratör)
- De fullständiga filnyckel-UUID:erna finns i en expander för kopiering
- Sektionen File details nedanför fylls med de fysiska filposterna bakom markeringen
File details och administratörsåtgärder
Filnivåvyn visar fullständigt filnamn, skrivtid, storlek, status och eventuellt felmeddelande, med en kryssruta per rad. Administratörsåtgärder:
- Restart File(s) — trigga om publiceringen
- Skip File(s) — markera som hanterad utan att publicera
Filer vars starttid är äldre än den konfigurerade lagringstiden för Trusted (KEEPDATAINTRUSTEDFORDAYS, standard 3 dagar) kan inte startas om — underliggande data finns inte kvar. Sidan upptäcker detta, inaktiverar Restart och hänvisar dig till DLS Trace för att trigga om Trusted från Raw Archive i stället.
Data Profiler
Heter DLS Data Contract Generator i applikationen. Den visar vad en leverans faktiskt innehåller, och omvandlar det till ett datakontrakt.
Välja profiler
Välj ett källsystem och en källfil. Sidan listar varje tillgänglig profil för den filen i fönstret, nyast först, med länk till den detaljerade profilen. Markera en eller flera profiler — eller kryssa i Display all data profiles — för att ladda dem.
De valda profilerna läses från Delta Lake och laddas in i en DuckDB-tabell i minnet, som är det sektionerna nedan frågar mot.
Nivåer, fält och detaljer
- Levels — hierarkisökvägarna i filen. Att välja en nivå avgränsar allt nedanför till den nivån och dess underliggande.
- Fields — fälten inom de valda nivåerna.
- Field details — detaljer per fält för ett valt fält.
Varje tabell har sin egen filterbyggare.
Generera ett datakontrakt
Expandern Generate data contract bygger ett aggregerat kontrakt över varje vald filnyckel. Nivå- och fältinformation kan redigeras före generering.
Datatyper löses över filnycklar efter prioritet: Varchar > Decimal > Integer > Timestamp > Date > Time — den vidaste typen vinner, så ett fält som var heltal i en leverans och text i en annan typas som text.
När kontraktet genererats:
| Åtgärd | Effekt |
|---|---|
| Display Contract | Visa den genererade JSON:en |
| Create/Replace Contract | POST — ersätter befintligt kontrakt |
| Append to Contract | PUT — lägger till i befintligt kontrakt |
Båda skrivningarna loggas och rapporterar API-statusen ordagrant.
Contract Validation
Avvikelsedetektorn. Den jämför dagens profildata mot varje källfils registrerade datakontrakt och rapporterar varje skillnad.
Välj ett eller flera källsystem (inget är valt som standard — använd Select all systems eller Clear), sedan källfilerna inom dem. Profildata för dagens datum laddas för var och en och valideras.
Avvikelsetyper
| Avvikelse | Betydelse |
|---|---|
| 🔴 Data Type Mismatch | Fältet finns i båda, men typerna skiljer sig |
| 🟠 Missing In Contract | Finns i datan, saknas i kontraktet — källan har ändrats |
| 🟡 Missing In Delta | Finns i kontraktet, saknas i datan — källan har slutat skicka det |
Typjämförelsen normaliseras före jämförelsen, så VARCHAR/STRING/TEXT/CHAR är en typ, INTEGER/INT/BIGINT/SMALLINT en annan, och så vidare — endast verkliga skillnader rapporteras. Fält märkta excludeFromProfiling i kontraktet rapporteras inte som saknade.
Att läsa resultatet
- Överskådliga KPI:er — filer som profilerats under den valda perioden, och filer med profildata i dag
- Validation Summary — källfiler med problem, totalt antal avvikelser och antal per typ
- Recurring issues across multiple files — avvikelser som berör mer än en fil. Att rätta dessa i kontraktet löser dem överallt på en gång, så börja här.
- Export all deviations as CSV
- Per-file deviations — en expander per fil, ordnad efter antal problem, med en hoppa-till-väljare. Arrayer fälls ihop: tre eller fler numeriskt indexerade syskonavvikelser renderas som en enda sammanfattningsrad i stället för hundra.
Varje fils expander länkar tillbaka till dess kontrakt på sidan Documentation.
Missing In Contract är det fynd som betyder mest. Det innebär att källsystemet har ändrats utan att kontraktet uppdaterats — precis den avvikelse kontraktet finns till för att fånga.