Ditt första flöde
Vägen från en första källfil till en schemalagd dataprodukt. Arbeta igenom de fyra stegen i ordning — varje steg bygger på det som föregående steg registrerat i metadatan.
Dashboarden är snabbaste sättet att bekräfta att varje steg nedan registrerats. Räknarna högst upp visar de system, källfiler, fält, mappningar och modeller som finns i din installation.
Plattformen måste vara installerad och nåbar, och de installationsövergripande inställningarna satta. Se Driftsättning, och läs Grunderna om du inte redan gjort det.
Steg 1 — Börja med DLS
Definiera hur en leverans ser ut innan du automatiserar produktionen av den. Om du inte har någon källkopia att utgå från, börja i Steg 2 och återvänd hit sedan.
- Sätt upp DLS. Skapa ett system i metadatan, lägg till en källfil och konfigurera den. Ange rätt filmönster och önskad mappstruktur för arkivet (raw) och Published Data (trusted). Ladda upp exempeldata till Landing-zonen — så stor mängd som möjligt, eftersom den kommer att utgöra datakontraktet när ni går i produktion.
- Följ processen. Vänta tills processen är klar. Gå till DataOps och DLS Trace för att följa den.
- Verifiera nya fält. Gå till DLS Discover New Fields. Kontrollera att de nya fälten och nivåerna i listan stämmer och tryck sedan på Publish New Fields.
- Driftsätt staging-strukturen. Gå till Documentation, välj ditt system och din källfil, öppna listan över nivåer och fält och gå till fliken SQL. Kopiera in SQL:en i måldatabasen och driftsätt staging-strukturen.
Fullständig fältreferens: Data Lake Service (DLS).
Steg 2 — Fortsätt med INGEST
- Konfigurera källanslutningen. Konfigurera anslutningen i Config UI med alla nödvändiga uppgifter och parametrar.
- Konfigurera dataimporten. Konfigurera en dataimport per tabell eller API-endpoint i Config UI.
- Följ INGEST-uppgifterna. Gå till DataOps och följ förloppet under INGEST Tasks.
INGEST-uppgifter startar som standard direkt efter att de lagts in. Om du väntar en leverans idag och inte ser någon — kontrollera schemat innan du utgår från att något gått fel.
Fullständig fältreferens: Ingest.
Steg 3 — Bygg en integrerad datamodell
- Konfigurera modellen för centrala verksamhetsbegrepp. Lägg till kolumner, affärsnycklar och relationer till andra modellobjekt i Config UI.
- Generera och driftsätt modelltabellerna. Använd SQL Generator-API:et eller CI/CD-verktyget för att generera samtliga fysiska måltabeller och driftsätt dem i måldatabasen.
- Mappa målmodellobjekten från din källdata med hjälp av de sparade datakontrakten. Config UI är enklaste vägen; API:erna ger utökad funktionalitet.
- Konfigurera laddningsschemat. Gå till DWA Schedules i DataOps-gränssnittet och ange önskat schema.
- Följ DWA-uppgifterna i DataOps, under DWA Loading Tasks.
En mappningsgrupp måste innehålla minst en nyckelmappning och en attributmappning, annars laddas ingenting — se Data Warehouse Automation (DWA).
Steg 4 — Skapa och schemalägg dataprodukter
- Skapa logiken för dataprodukten. Driftsätt den som en lagrad procedur i målmiljön.
- Lägg till beroenden för den nya lagrade proceduren via API:et.
- Följ de extra uppgifterna i DataOps-gränssnittet, under DWA Additional Tasks.
Nästa steg
- Daglig drift — rutinen som håller flödet du just byggt friskt
- Plattformsguiden — lager för lager om allt du konfigurerat ovan, på sidorna INGEST, DLS och DWA
- Tysta felmoder — när ingenting rapporterar ett fel och datan ändå saknas
- Vanliga frågor och Kända problem — när något inte beter sig som beskrivet
Vill du bidra? Hör av dig till oss så samordnar vi nästa steg.