Data Warehouse
Fyra sidor som täcker DWA — den metadatadrivna tjänst som laddar den integrerade datamodellen från filerna i sjön. Detta är plattformens hjärta, och där merparten av operatörsingripandena sker.
Loading Tasks
Den huvudsakliga lagerövervakningen: slutfördes varje laddningssteg för varje källfil?
Uppgiftsrutnätet är avgränsat till sidomenyns datumintervall. Sektionerna Failed tasks och Tasks still in progress är det medvetet inte — de läser alltid den senaste körningen, så ett aktivt problem kan inte döljas av ett smalt fönster.
Tillståndsmätvärden och systemfilter
Den vanliga räknarraden — Expected, Completed, Queued, Running, Scheduled, Failed — följd av ett filter för ett enskilt system, och en Last Task-panel som visar den senaste starttiden i fönstret.
Failed tasks
Fel grupperas efter extraherad feltext, inte listade var för sig. Konsolen plockar ut kärnundantaget ur varje felmeddelande, grupperar på det och renderar en expander per distinkt orsak med de berörda raderna Sourcefile / ExecutionDateTime / LoadStep och hela felet.
Två massåtgärder gäller alla listade fel, bakom en explicit bekräftelse:
| Åtgärd | Vad den gör |
|---|---|
| Restart | Per källfil. API:et hittar den aktiva körningen och schemalägger om varje steg som inte är slutfört. |
| Skip | Per steg, matchat på Sourcefile + ExecutionDateTime + LoadStep. Markerar var och en som slutförd utan att köra den. |
DWA:s laddningsuppgifter är idempotenta — att köra om en kan inte duplicera eller korrumpera data. Att starta om en misslyckad laddning är standardåtgärden, inte en sista utväg. Skip är undantaget: den förklarar arbete utfört som aldrig kördes, så använd den bara när du vet att datan inte behövs.
Tasks still in progress
Ett färgat stapeldiagram över ofullständigt arbete per källfil och tillstånd, sedan en markerbar tabell. Filtrera på tillstånd, markera de rader du vill ha, välj Restart eller Skip och bekräfta. Till skillnad från Failed-sektionen påverkar detta bara din markering.
DWA Task loading overview
Snabbfilter — sökning (System, Sourcefile eller LoadStep), State, Load Group, Scheduled At — som matar två flikar:
- Overview — ett Gantt-schema över varje steg, när det kördes och hur lång tid det tog
- Details — samma rader som tabell, med körningstidsstämplar i millisekunder
Admin console
Endast administratör. Restart Tasks eller Skip Tasks tillämpat på allt i den filtrerade vyn. Båda loggas.
DWA Loading Task checklist
Varje schemalagd källfil mot det som faktiskt startade. Kolumner: källfil, ett läsbart schema ("Every 2 hours", "On file arrival"), utförd-flagga, pågående-flagga, senaste körning, nästa schemalagda körning. Rader som aldrig startade markeras, och expandern öppnas automatiskt när sådana hittas.
Additional Tasks
Efterbearbetningar — extra bearbetning som kan hakas på de vanliga laddningsflödena. Samma form som laddningssidan, med beroendestrukturen uttryckligt visad.
- Time Window / Last Task — spannet från första start till sista avslut. Ett spann över 25 timmar flaggas rött som eftersläpande.
- Tillståndsmätvärden — den vanliga räknarraden
- Filter by source system — avgränsar diagram och checklista per processortyp
Två flikar: en Timeline (Gantt) med zoomval (1d, 1w, 1m, 6m, YTD, 1y, all, med dagens datum som standard), och en Task Detail-tabell med filterbyggare.
Incomplete workloads
Läses från en särskild statusendpoint, så den täcker varje utestående uppgift oavsett postgränsen ovan. Ett översiktsdiagram per tillstånd, en detaljpanel med omstartsknappar per processor, och en fullständig tabell över ofullständiga uppgifter.
Checklista och beroendegraf
Checklistan listar varje konfigurerad efterbearbetare, dess beroenden och dess körkommando, med en utförd-flagga. Att markera en rad visar hela körkommandot som SQL.
Nedanför den finns en beroendegraf från vänster till höger: pilarna visar körordning, en processor kör när dess beroenden har kört. Noderna färgas efter om de är en processor i egen rätt eller ett externt beroende, och rangordningen härleds ur beroendekedjan — så en processor som en annan processor väntar på hamnar till vänster om den.
Task Orchestration
Schemaredigeraren. Där de andra DWA-sidorna visar vad som kördes visar den här vad som är tänkt att köras, och låter en administratör ändra det.
Schedule Summary
En sorterbar tabell över varje källfil: schematyp, senaste körning, nästa körning, status — sorterad med äldsta körning först, så att allt försummat flyter upp.
Schemastatus
Utvärderas per schema, i ordning. Detta är en annan skala än raden för plattformshälsa i sidopanelen, som sammanfattar hela installationen — de två använder färgade prickar som betyder olika saker:
| Status | Regel |
|---|---|
| 🔴 Never run | Ingen tidsstämpel för senaste körning |
| 🟡 Stale | Senaste körning mer än 30 dagar sedan |
| ⚪ Config error | Inte On file arrival, men ingen nästa körning beräknad |
| 🟢 Active | Allt annat |
Config error är det som kräver åtgärd. Ett återkommande schema utan nästa körning kommer aldrig att köras igen — det är trasigt, inte vilande.
Schemakort
Under sammanfattningen finns ett kort per källfil, grupperade i expandrar efter källsystemsprefix, med filter för schematyp, status och namn. Varje kort visar typmärket (On file arrival, Hourly, Daily, Weekly, Monthly), hälsomärket, intervallet samt senaste och nästa körning.
Tre åtgärder per kort, alla endast för administratörer och alla bekräftade på plats:
| Åtgärd | Effekt |
|---|---|
| ▶ Run now | Utlöser en körning omedelbart |
| ✏️ Edit | Öppnar ett formulär under kortraden: schematyp, intervall, tidigaste körtid på dygnet |
| ⋮ → ⏹ Disable | Avschemalägger källfilen genom att sätta dess giltighet att sluta nu |
Disable ligger inuti en popover just för att förhindra oavsiktliga klick. Alla tre loggas.
Loading Statistics
Volymanalys. Där laddningssidorna svarar på kördes det svarar den här på hur mycket flyttades.
Filter i sidomenyn — Sourcefile, Filekey, Object, Attribute — kombineras med det globala datumintervallet, med en räknare för aktiva filter och en Clear all filters-knapp. Sidan uppdateras automatiskt enligt cache-TTL:n och erbjuder en manuell Refresh.
Två flikar:
By sourcefile
KPI:er: källfiler, totalt antal steg, körningar, laddade rader. Under dem en interaktiv pivottabell — välj dina mått (insertCount, stageCount), med totaler, delsummor och nedbrytning. Detaljexpandern erbjuder CSV-export och en väljare som hoppar direkt till detaljsidan för en källfil.
By object
KPI:er: objekt, unika källor, totalt antal infogade rader, körningar, med en egen pivottabell som pivoterar på objekt, plus CSV-export.
Statistics Detail
Nedbrytningen för en enskild källfil, nåbar från källfilsfliken eller direkt. Ange ett källfilsnamn (valfritt en exakt körningstidpunkt) för att få:
- KPI:er: körningar, totalt antal steg, laddade objekt, totalt antal infogade rader
stageCount och totalt antal steg räknar de laddningssteg en körning utförde. Namnet är äldre än
avvecklingen av Stage som modellnivå och finns kvar i produkten, så det står här som konsolen
stavar det. Se modellkedjan.
- Execution timeline — steg per körning över tid
- Rows inserted by object — staplat per attribut där det finns
- Tabeller per källfil och per objekt, var och en med CSV-export
En källfil vars radantal faller kraftigt mellan körningar, eller vars antal steg stiger medan antalet infogade rader står stilla, syns här långt innan den syns som ett fel någon annanstans.