Plattformsguide
PDQ följer en skiktad arkitektur där data flödar genom tre steg — från rå källextraktion till en modellerad lagerstruktur. Varje lager har ett tydligt ansvar och en väldefinierad överlämning till nästa.
DATAKÄLLOR ──► INGEST ──► DLS ──► DWA
| Lager | Fullständigt namn | Ansvar |
|---|---|---|
| INGEST | Ingestion | Extrahera data från källsystem (databaser, API:er, filer) och landa den i datasjön |
| DLS | Data Lake Service | Organisera, arkivera, profilera och publicera rådata genom lagringszonerna |
| DWA | Data Warehouse Automation | Modellera, mappa och transformera data till strukturerade lagermodeller |
QPI är inte ett fjärde steg. Det är ramverkets datakvalitetsmotor: SQL-kontroller som körs mot data i DWA, placerade på Published, Core och Business. Den rapporterar, och kan varken blockera en laddning eller stoppa nedströms arbete. Den dokumenteras tillsammans med DWA.
Fördjupningen, lager för lager
| INGEST-lagret | Anslutningstyper, exporttyper och -strategier, schemaläggning, kolumnurval, transformationer, målsökvägar och källfilsstrukturen. |
| DLS-lagret | Lagringszonerna och deras konfiguration, DLS-pipelinen, publiceringsmönstren och avvägningarna bakom dem. |
| DWA-lagret | Modeller och attribut, käll-till-mål-mappningar, transformationer, relationer, genomarbetade modelleringsscenarier — och QPI. |
Den här sidan bar tidigare alla tre, plus QPI, i en enda fliksamling. Flikarna dolde sitt innehåll för innehållsförteckningen och för varje djuplänk, och det är därför varje lager nu har en egen sida.
Hur lagren kopplas samman
Källsystem → INGEST
Källsystem registreras med en anslutningstyp (Database, API, File, Custom eller Manual). Varje system kan ha en eller flera källexporter som definierar hur data extraheras — vad som ska frågas, vilka kolumner som ska inkluderas, hur ofta det ska köras och vilket utdataformat som ska produceras.
INGEST → DLS
Exporterad data landar i Landing Zone. Därifrån arkiverar DLS-pipelinen den till Raw Zone, bearbetar den genom DLS Workers, standardiserar den till Trusted Zone och profilerar den i Profile Zone.
DLS → DWA
Betrodd data synkroniseras/publiceras till Published Zone, där den blir tillgänglig för lagermodellering. DWA-lagret mappar källfält till modellattribut längs modellkedjan: Published → Base → Core → DM.
DWA och QPI
Kvalitetskontroller placeras på de lager DWA laddar. Mappningstäckning, styrningsflaggor på fältnivå och dataprofilresultat ger kontinuerlig återkoppling om pipelinens hälsa — rapporterad, aldrig upprätthållen.
Zonarkitektur
Data passerar en serie lagringszoner, var och en med ett bestämt syfte:
┌──────────┐ ┌──────────────┐ ┌─────────────┐ ┌───────────────┐
│ Landing │ ──►│ Raw Archive │ ──►│ Trusted │ ──►│ Published │
│ Zone │ │ Zone │ │ Zone │ │ Zone │
└──────────┘ └──────────────┘ └─────────────┘ └───────────────┘
Tillfällig Oföränderligt Standardiserat Frågeklara
uppställning revisionsspår format tabeller
Profile ligger vid sidan om Trusted snarare än efter. Ingenting filtreras bort mellan zonerna — en avvikelse mot datakontraktet registreras, den blockeras inte, så ett underskott i räkningarna betyder att något fastnat snarare än sorterats bort. Se Vad plattformen registrerar, och vad den stoppar.
Zonnamn är konfigurerbara i Settings, så en installation kan visa egna etiketter. Sökvägar följer en konvention:
[ZoneName]/[System]/[Filename]/[YYYY]/[MM]/[DD]/
Landing tar inga datumtoken. Hela zonkonfigurationen finns på sidan DLS-lagret.
Modelltiers (DWA)
Lagerkedjan löper Published → Base → Core → DM:
| Tier | Även kallat | Syfte | Exempel |
|---|---|---|---|
| Published | Bronze | Den SQL-läsbara landningspunkten för en leverans, läst direkt ur den betrodda zonen | En tabell per källfil |
| Base | Ensemble Model | Integrera data från flera källor med konsekventa regler | Sammanfoga CRM + ERP kundposter |
| Core | Integrated, Silver | Slutgiltiga deduplicerade affärsentiteter för konsumtion | Rena Customer, Order, Product-tabeller |
| DM | Data Mart, Gold, Business | Modeller formade för ett specifikt analytiskt användningsfall | Ett stjärnschema för försäljning |
Konsolen kallar fortfarande det sista steget Data Mart i Data Lineage. Se modellkedjan för hela synonymtabellen, och för varför Stage inte längre är ett av de här namnen.
Terminologi
Varje begrepp plattformen använder definieras en gång, i Ordlistan. Den här sidan bar tidigare en egen tabell över åtta av dem, vilket är hur de kom att definieras två gånger och olika.
Nästa steg
- Arkitektur — referensarkitekturen, och vad plattformen registrerar kontra stoppar
- Kapabiliteter för datahantering — hela kapabilitetslistan, med länkar in i detaljerna
- Ditt första flöde — hela vägen från en källfil till en schemalagd dataprodukt