Skip to main content

Grunderna

Simplitics-metoden​

PDQ är ett avancerat ramverk som integrerar kärnarkitektoniska lager, banbrytande principer och automatiseringsprogramvara för att accelerera utveckling och höja kvaliteten. Vårt uppdrag är att minimera koddrift över tid och optimera den totala ägandekostnaden (TCO). Vi är engagerade i att demokratisera datatillgång och ge företag möjlighet att låsa upp affärsvärde från sina data, allt medan vi upprätthåller nyckelprinciper som sökbarhet, interoperabilitet, kvalitet och säkerhet. Vi kallar det: Förenkla analyser – Simplitics-metoden.

Simplitics Arkitekturöversikt

Logical data architecture and flow of data

    1. Landing: Ingången, där levererad data först landar. En tillfällig buffert.

    2. Raw Archive: Den oföränderliga, permanenta uppteckningen av varje inhämtad fil. Skrivs en gång, och är återställningsvägen.

    3. Trusted: Leveransen normaliserad till ett standardiserat, lättkonsumerat format. Avvikelser mot datakontraktet registreras här, de blockeras inte.

    4. Profile: Analys av vad som faktiskt anlände, skriven vid sidan om flödet snarare än i det.

    5. Published: Det överenskomna tabellformatet för leveransen, öppet för SQL-åtkomst. Även kallat Bronze.

    6. Base: Ensemble-integrationssteget, där källor slås samman på affärsnycklar. Även kallat Ensemble Model.

    7. Core: Den enhetliga modell som integrerar data från olika källor till gemensamma kärnaffärsbegrepp. Även kallat Integrated eller Silver.

    8. Business: Det slutliga lagret, där data organiseras i specifika dataprodukter för slutanvändning. Även kallat DM, Data Mart eller Gold.

Hela kedjan och dess synonymer finns i Arkitektur.

Nyckelfunktioner

    INGEST Data: Anslut till en databaskälla eller API eller meddelandekö eller filsystem och kopiera dess data till "Landing Zone".

    Data Lake Service Listener: Konfigurera en lyssnare som övervakar filmönster i "Landing Zone" och flyttar data till "Raw Archive". Datan är unikt taggad, vidare bearbetad till önskat tabellformat och därmed publicerad i "Published Data"-lagret.

    Core Business Concept Model: Modellera dina kärnaffärsbegrepp och definiera laddningsmappningar från "Published" genom "Base" in i "Core"-modellen.

    Ytterligare modellberoenden: Sätt upp beroenden till ytterligare logik för att bygga dataprodukterna i "Business".

    Datakontrakt: Definiera datakontrakt för din publicerade data.

    Avvikelseupptäckt: Upptäck avvikelser från dina datakontrakt i den dagliga driften.

    Ommodellering av data: Modellera om data vid behov.

    Design som dokumentation: Din design är din dokumentation, som i sin tur blir din kod — aldrig inaktuell, aldrig ur takt med det som körs.

Kärnkomponenter

Komponentdiagram för PDQ by Simplitics

    AME-komponenten är kärnan i all drift. Den lagrar all logik och registrerar alla operationer som utförts, tillsammans med alla planerade operationer.

    INGEST-komponenten är en agentteknik som kan köras var som helst och minimerar mängden data som skickas över nätverket. Den kan styras centralt även när den är distribuerad.

    DLS-komponenten triggar på nya filhändelser och laddar data enligt valda mönster till ett valt publicerat tabellformat. Den använder workers som körs på virtuell kapacitet och kräver en mängd CPU och minne anpassad efter behovet. Den kör streaming-SDK:er ovanpå objektlagringsteknik och kan skala till hur många operatorer som behövs. Helst körs många små workers.

    DLS-komponenten hjälper oss också att bli mer datadrivna i utvecklingen. En delkomponent profilerar innehåll och struktur, vilket gör att vi kan publicera resultatet som ett utkast till datakontrakt.

    DWA-komponenten genererar SQL-kod och laddningsorkestrering utifrån modellbeskrivningar och källa-till-mål-mappningar. Den har ett orkestreringsramverk som gör att ytterligare SQL-baserade operationer kan triggas när vissa modeller och källfiler laddats klart.

    QPI-komponenten är ramverkets datakvalitetsmotor. Den låter oss schemalägga SQL-baserade kontroller på data i DWA — placerade på Published, Core eller Business. Till exempel att domänvärden måste matcha en viss värdelista, eller att två sammanslagna tabeller måste uppfylla ett visst villkor.

    DataOps-komponenten låter oss arbeta med den metadata som samlats i vår Active Metadata Engine. Den gör det möjligt att skära och dela runtime-operatorer och statistik, visar vilken logik som används och möjliggör enkla justeringar och felavhjälpning.

    Config UI-komponenten består av två delar: ett CI/CD-ramverk som låter oss spara logik och definitioner i ett Git-repository, och ett webbgränssnitt för direkta operationer mot AME.

    Data kan läggas till eller avvecklas i vilket lager som helst i arkitekturen, vilket gör att vi kan gå förbi komponenter och ersätta funktionaliteten med valfri teknik.

Vill du bidra? Hör av dig till oss så samordnar vi nästa steg.