Skip to main content

Ordlista

Alla förkortningar och plattformsspecifika begrepp som används i dokumentationen, samlade på ett ställe. Begreppen definieras här en gång; sidorna som använder dem länkar hit i stället för att definiera om dem.

Komponenter​

BegreppBetydelse
PDQSimplitics dataplattform som helhet — den enhetliga arkitektur som komponenterna nedan utgör.
AME — Active Metadata EngineDet centrala metadataregistret och API-navet. Lagrar all logik, varje utförd operation och varje planerad operation. Alla övriga komponenter hämtar sin konfiguration härifrån.
INGEST — Data ImporterDen orkestrerade extraktionsagenten. En container per källanslutning, körs enligt schema och landar data oförändrad.
DLS — Data Lake ServiceDen händelsestyrda tjänsten som arkiverar, standardiserar, profilerar och publicerar levererade filer.
DWA — Data Warehouse AutomationDen metadatadrivna motorn som genererar SQL och orkestrerar laddningen till den integrerade modellen.
QPI — Quality Performance IndicatorEn namngiven datakvalitetskontroll som kör SQL mot datalagret och returnerar godkänt/underkänt med ett meddelande och ett mätt värde.
DataOps-konsolenWebbapplikationen för drift: övervakar daglig exekvering och åtgärdar fel. Ett läs- och åtgärdsverktyg, inte ett konfigurationsverktyg.
Config UIUtvecklargränssnittet för att hantera metadatadefinitioner, med Git-integration och CI/CD-driftsättning. Skrivs DevUI, Developer UI och User Interface Toolkit i äldre material och i vissa versionsnoteringar; den här dokumentationen skriver Config UI genomgående.
CaddyOmvänd proxy framför plattformen som hanterar TLS-terminering och autentiserad åtkomst.

Databearbetningszoner​

Zonerna som data passerar, i ordning. Zonnamnen konfigureras i Settings, så en installation kan visa egna namn.

Gränssnittet är engelskt

Plattformens egna gränssnitt — Config UI och DataOps-konsolen — är på engelska. Därför står knapp-, meny- och fältnamn på engelska i hela den här dokumentationen, även i den svenska texten: det är vad du faktiskt ser på skärmen.

ZonSyfte
LandingIngången, där levererad data först landar. En tillfällig buffert — filer bearbetas vidare och sparas inte här.
Raw ArchiveOföränderlig, permanent uppteckning av varje inhämtad fil, organiserad och taggad för spårbarhet. Skrivs en gång; det är återställningsvägen.
TrustedBearbetad och publicerad i ett standardiserat, lättkonsumerat format. Avvikelser mot datakontraktet registreras här, de blockeras inte.
ProfileAnalys av vad som faktiskt levererades — upptäcker nya och saknade datapunkter utan att avbryta laddningen.
PublishedDet valda tabellformatet för den överenskomna källeveransen, som ger SQL-baserad åtkomst. Även kallat Bronze.
BaseEnsemble-integrationssteget mellan Published och Core. Även kallat Ensemble Model.
CoreDen integrerade modellen över centrala verksamhetsbegrepp, med ensemblemodellering som metodik. Även kallat Integrated eller Silver.
BusinessAnvändningsfallsdrivna datamängder som bär domänspecifika definitioner och regler. Även kallat DM, Data Mart eller Gold — konsolen skriver Data Mart i Data Lineage.

Modellering​

BegreppBetydelse
Source ExportEtt konfigurerat extraktionsjobb från ett källsystem — en databasfråga, ett API-anrop eller en filhämtning.
ConnectionDen tekniska kopplingen till ett källsystem: inloggningsuppgifter, URL:er, sökvägar.
SourcefileDefinitionen av en inhämtad fils struktur — fält, typer, nycklar och styrningsflaggor. Utgör också datakontraktet.
DatakontraktDen överenskomna strukturen och typningen för en källeverans, lagrad i källfilens fileStructure. Avvikelser mot det rapporteras av Contract Validation.
ModelEn måltabell i datalagret med typade attribut, affärsnycklar och relationer.
MappingEn koppling mellan ett källfilsfält och ett modellattribut, eventuellt med en transformation.
MappningsgruppEn logisk arbetsenhet: en samling mappningar från en källfil till en eller flera målmodeller, med gemensam nyckelmappning, filter och sorteringsordning.
Affärsnyckel (BK)Det eller de attribut som unikt identifierar en post i en modell. Sammansatta nycklar använder businessKeyOrder för att fastställa varje dels position.
Ensemble-/Base-modellDet agila, starkt normaliserade integrationslagret — varje attribut och relation i egen fysisk tabell, fullt historiserat. Svarar på "vad visste vi, och när?"
CORE-/Enterprise-modellDen konsoliderade fysiska kopian av ensemblen: en rad per affärsnyckel, senaste versionen. Svarar snabbt på "vad gäller nu?"
LaddningsmönsterHur en modell fylls på: none, full, dayspan, incremental eller transaction. none lämnar data som en konsoliderad vy utan att materialisera en fysisk tabell, och är standard.
Load GroupEn gruppering som faller ut ur mappningarna — exempelvis alla attributladdningar. Den har ingen maskinell funktion; den finns för att göra ordningen och formen på laddningen begriplig, och för att gränssnittet ska gå att filtrera på den.
Load StepEn enskild aktion inom en Load Group, till exempel en aktion i Base. Liksom Load Group ett resultat av mappningarna snarare än något som konfigureras.
Additional TaskEgen bearbetning som kedjas på det automatiska flödet, före eller efter de genererade laddningarna.

Bearbetning och styrning​

BegreppBetydelse
CDC — Change Data CaptureExport av endast poster som är nya, ändrade eller borttagna sedan senaste körningen. I INGEST håller agenten en lokal baseline-fil, så jämförelsen överlever en omstart men inte att containern förstörs eller tas bort.
DataprofileringAutomatiska kontroller och validering av en leverans mot dess datakontrakt, som körs i flödet när enableProfiler är aktiverad.
_HID — Hierarchical IDEn punktseparerad sökväg som 1.2.4.1 som anger ett elements exakta position i ett nästlat källdokument. Gör nästlade rader spårbara och fungerar som stabil join-nyckel när listor delas upp i separata tabeller.
Granulär checksummaEn checksumma som beräknas på varje objektnivå i stället för bara på dokumentroten, så att en ändring i en underpost inte markerar hela filen som ändrad.
__fileKeyIdentifieraren som stämplas på en leverans och används för att spåra laddade rader tillbaka till filen de kom från.
SCD Type 2Mönster för långsamt föränderliga dimensioner: varje ändring skapar en ny version i stället för att skriva över, med ett validFrom-fält som anger giltighet.
IdempotentSäker att köra om. DWA-laddningsuppgifter är idempotenta — en omkörning kan varken skapa dubbletter eller korrumpera data — vilket är varför omstart av en misslyckad laddning är den normala första åtgärden och inte en sista utväg.
Aktiv metadataMetadata som inte bara beskriver systemet utan driver det — härkomst, versioner och regelefterlevnad blir biprodukter av körningen i stället för att underhållas separat.
Design as DocumentationPrincipen att designen är dokumentationen, och att dokumentationen genererar den körbara koden — så att de två inte kan glida isär.
Data ModifierKomponenten i DLS som transformerar JSON, CSV och XML till en gemensam struktur, så att en leverans kan läsas via SQL oavsett vilket format den anlände i.
PublisherDet steg i DLS som skriver den betrodda datan till de publicerade tabellerna. Det är en del av pipelinen och kan inte stängas av.
KEEPDATAINTRUSTEDFORDAYSHur många dagar bakåt Published kan köras om från utan att processa om från Raw. Standard 3. Det är en prestandainställning, inte en retention som raderar Trusted.
authpNamnrymden för de interna behörighetsgrupperna — authp/admin och authp/user. Vid installation mappas varje grupp till GUID:t för en Entra-grupp.

Drift​

BegreppBetydelse
Den dagliga rundanDen proaktiva rutin som körs varje driftsdag och verifierar varje leverans och bearbetningssteg före den dagliga deadlinen. Se Den dagliga rundan.
ChecklistvyEn konsolvy som jämför konfigurerat mot utfört. Det enda som fångar arbete som aldrig startade — en felräknare visar noll för en uppgift som aldrig schemalades.
Tyst felEn uppgift som slutförs utan fel men returnerar noll rader. Grön överallt utom i räknarna för exporterade rader och filer. Se Tysta felmoder.
On file arrivalDen händelsestyrda schematypen: laddningen körs när en leverans anländer i stället för enligt klocka. Skrivs On event-basis, ad-hoc och File-triggered på andra håll; den här dokumentationen skriver On file arrival.
ExpectedEtt antagande gjort av en operatör eller utvecklare, avsett som en hänvisning snarare än ett facit. På INGEST Tasks kommer det ur det konfigurerade schemat; på DLS Trace ur källfilens förväntade antal filer per dygn, fördelat över intervallet.

Se även​