INGEST Tasks
INGEST är den orkestrerade uttagstjänst som hämtar data ur källdatabaser och API:er och levererar den till datasjön. Den här sidan reviderar den: kördes varje schemalagt uttag, blev det klart, och hämtade det en rimlig mängd data?
Sidan är avgränsad till sidomenyns datumintervall, med ett Max records-reglage (standard 20 000) som begränsar hur mycket historik som hämtas.
Postgränsen tillämpas endast på Completed-rader. Misslyckade och fortfarande pågående uppgifter behålls alltid i sin helhet, så de kan inte falla utanför gränsen. Detsamma gäller systemfiltret och sökrutan — sektionerna "Failed tasks" och "Tasks still in progress" hämtas alltid från den ofiltrerade ögonblicksbilden och är märkta som sådana.
Export row/file count summary
Sidans första block, och det som fångar tysta fel. Rad- och filantal tolkas ur varje uppgifts meddelandefält (exported N rows from source connection, eller Using binary copy, we Copied N files) och aggregeras per export.
Fyra KPI-kort, vart och ett med en procentuell förändring mot det närmast föregående fönstret av samma längd:
| Kort | Betydelse |
|---|---|
| Total Exports | Exporter som rapporterade ett antal |
| Total Rows/Files | Summa över alla exporter |
| Zero Count Exports | Exporter som rapporterade 0 — omvänd färgning, uppåt är dåligt |
| Avg Rows/Files | Medelvärde över exporter som inte är noll |
Under korten listar en varning varje export som returnerade noll rader, och ett liggande stapeldiagram visar volym per export (nollstaplar i rött). Vid fler än 20 exporter växlar diagrammet till topp och botten 10, och detaljflikar ger hela listan.
En uppgift som slutförs framgångsrikt men returnerar noll rader är det klassiska tysta felet — tillståndet är grönt överallt annars på sidan. Det är här det syns.
Tillståndsmätvärden
En rad räknare över fönstret: Expected, Completed, Queued, Running, Scheduled, Failed. Expected beräknas ur varje ingesters konfigurerade schema (starttid, cykelintervall, cykeltyp) över det valda fönstret, inte ur vad som faktiskt kördes.
Failed tasks
Listas när ögonblicksbilden över pågående arbete innehåller fel, med orsaken för var och en. Två massåtgärder:
- Restart — köar om exporten för dess schemalagda tidpunkt
- Skip — registrerar uppgiften som slutförd utan att köra den, med spåret
Skipped from dataops
Välj åtgärd, bekräfta, och sidan rensar sina cacher och laddas om.
Long running tasks
En uppgift som fortfarande kör när dess nästa schemalagda körning redan förfallit flaggas som försenad — en långkörare. Sektionen listar dem med nästa schemalagda körning, sorterade efter hur försenade de är. Det fångar ett hängt uttag som annars skulle sitta tyst i "Running" hela dagen.
Tasks still in progress
Varje export med minst en icke slutförd uppgift, visad som ett procentuellt stapeldiagram per tillstånd och en "Incomplete tasks"-tabell. Vyn går medvetet inte att filtrera.
INGEST Task overview
Huvudarbetsytan, med snabbfilter längst upp:
- Search — matchar Export eller System
- Flervalsfilter för Type, State och Scheduled At
Två flikar:
- Overview — ett Gantt-schema över när varje uppgift kördes och hur lång tid den tog, med zoomkontrollen 1d / 7d / All och en färgförklaring för uppgiftstillstånden
- Details — samma rader som tabell
Admin console
Endast administratör. Tillämpar Restart eller Skip på varje rad i den aktuella filtrerade vyn, bakom en bekräftelse som namnger antalet rader. Båda åtgärderna loggas.
INGEST Task Checklist
Kontrollen av konfiguration mot verklighet, och skälet till att en grön sida inte räcker. Den listar varje konfigurerad export ur schemaläggningsschemat och markerar om den setts köra i fönstret.
- Alla körda → en grön bekräftelse
- Någon saknas → ett rött larm
Kolumnerna innehåller schema och intervall, senaste och nästa körning, CDC-flagga, inkluderade och exkluderade kolumner, källa och filter. En export med schemat never räknas som uppfylld.
En export som aldrig startade ger ingen uppgift, inget fel och ingen loggrad. Den här checklistan är den enda plats där den blir synlig.