Felsökning
Simplitics PDQ-plattform inkluderar flera nyckelkomponenter och processer som kräver daglig operativ övervakning och felsökning. Vanliga problem och deras lösningar, från infrastrukturkrascher till specifika databehandlingsfel, kategoriseras nedan.
I. Infrastruktur- och systemstabilitetsproblem
Dessa problem indikerar generellt att de underliggande servrarna eller kärnapplikationskomponenterna (som Docker-containrarna) inte körs korrekt.
| Problem | Lösning / Åtgärd |
|---|---|
| Applikationen är nere eller onåbar | Enkel fix: Den vanligaste lösningen för nästan alla konstiga infrastrukturrelaterade problem (som en virtuell maskinkrasch) är att stoppa den virtuella maskinen och sedan starta den virtuella maskinen igen från molnportalen (t.ex. Azure VM eller AWS EC2). |
| VM-omstart misslyckades att lösa problem | Avancerad fix (manuell Docker-omstart): 1. SSH:a in i den virtuella maskinen. 2. Kontrollera filsystemanvändning ( df -h); om 100% använt är detta problematiskt.3. Kontrollera Docker-status ( docker ps -a); alla containers bör köras.4. Navigera till /datadrive/configs och kör docker compose down följt av docker compose up -d för alla komponenter (AME, UI, DLS, DWA, INGEST, TOOLS) för att stänga av, rensa upp och starta om dem. |
| System degraded | Om System Health visar några rader med status FAILED, måste dessa uppgifter/filer startas om. |
II. Datainhämtning och dataflöde (DLS/INGEST)
Dessa problem relaterar till data som rör sig genom de initiala bearbetningslagren (Landing, Raw, Trusted, Published) som hanteras primärt av Data Lake Service (DLS) och INGEST-komponenter.
| Problem | Lösning / Åtgärd |
|---|---|
| Inkonsistenta datavolymer (DLS Trace) | Verifiera att DLS Trace-vyn är inställd på Last 24 Hours. Om några viktiga bearbetningslager (Landing, Raw Archive, Trusted, Profile) visar en siffra som är lägre än föregående zon, eller om en siffra är 0, öppna admin-konsolen och ladda om det steget. |
| Saknade förväntade filer (röd banner) | Om den gröna bannern ("Alla konfigurerade filer har minst en leverans") saknas eller är röd, kontrollera kända undantag i Kända problem. |
| Avbruten DLS-process | Om datapipelines avbröts på grund av en krasch: • Fast i Raw: Filtrera DLS Trace efter lastSeenOn = raw, öppna "Öppna admin-konsol", och tryck "Load Trusted".• Fast i Landing: Kontrollera filstorleken först — en mycket stor fil som orsakat en minneskrasch måste delas upp i mindre delar innan den laddas. Filtrera sedan efter lastSeenOn = landing och tryck "Load Raw". |
| Saknad Trusted-laddning | Om data saknas i Trusted, filtrera DLS Trace-vyn efter trustedNumberOfFiles = 0. Öppna admin-konsolen och tryck "Load Trusted". Zonnamnen är konfigurerbara, så en installation kan visa ett eget zonnamn på det fältet. |
III. Databehandling och transformationsproblem
Dessa problem uppstår när Data Modifier försöker standardisera komplexa dataformat (XML/JSON).
| Problem | Lösning / Åtgärd |
|---|---|
| Inkonsistenta datastrukturer | Problem: Element (t.ex. XML <attachment>) behandlas inkonsekvent som objekt eller listor.Lösning: Den uppdaterade Data Modifier upprätthåller strikt strukturen definierad i metadata/datakontraktet, säkerställer att element alltid är listor om de definieras som sådana. |
| Stora filer förbrukar minne | Problem: Nästlade XML/JSON-filer överskrider systemminnet. Lösning: Aktivera högpresterande streaming genom att sätta useForSplittingRecords till 1 på en specifik hierarkinivå i källfilens metadata (via API). Detta bearbetar filen bit för bit. |
| Metadata versalimatchning | Problem: Källfält mappas till NULL i databasen.Lösning: Attribut fieldKey och path är versalkänsliga och måste matcha källan exakt. Om målnamnskonventioner skiljer sig, använd fieldAlias och levelAlias ist ället. |
IV. Data Warehousing och laddning (DWA)
Dessa problem rör DWA-komponentens orkestrering och laddning av data från Published genom Base in i Core-modellen.
| Problem | Lösning / Åtgärd |
|---|---|
| DWA-uppgifter har misslyckats | Om antalet misslyckade > 0, identifiera de misslyckade uppgifterna (röda i listan eller Gantt-diagram). Om felet verkar tillfälligt, som nätverks- eller anslutningsproblem, starta om det från DataOps-konsolen. |
| Batch-scheman körs innan data existerade | Om data är försenad eller om data saknas på grund av timingproblem, markera relevanta uppgifter (alla för ett specifikt schema och en specifik källfil) och använd Restart Tasks. |
| Jobb fastnat i 'Scheduled' | Om antalet Scheduled > 0 och jobbet har varit fastnat i mer än 2 timmar, markera relevanta uppgifter (alla för ett specifikt schema och en specifik källfil) och använd Restart Tasks. |
| Onödigt DWA-schema skapat | Om en On file arrival-uppgift skapas men inga Core-modelladdningar är beroende av den, stoppa schemat från konsolen — Task Orchestration → ⋮ → ⏹ Disable — eller via API:et: POST /api/v3/master/schedule/{sourcefile} (sätt ett ValidTo-datum). |
| DWA-laddning överhoppad/Ingen SQL genererad | Saknade nyckelmappningar orsakar vanligtvis detta — se Tysta felmoder. • Objektladdning: Kräver fullständig nyckelmappning. • Attributladdning: Kräver nyckelmappning + attributmappning. • Relationsladdning: Kräver mappning av två fullständiga nycklar från samma källa inom samma mappningsgrupp. |
Relaterade sidor
| Kända problem | Produktdefekter och begränsningar som är kända, förväntade och ännu inte åtgärdade — med status och eventuell planerad fix. |
| Vanliga frågor | Svar på de frågor som återkommer oftast. |
| DataOps-konsolen | Vad varje konsolsida visar och vilka åtgärder den erbjuder. |
Den här sidan är driftmanualen: vad du gör, här och nu, när en daglig kontroll fallerar. Kända problem förklarar varför en feltyp uppstår och om en fix är på väg.