pandas er et open source Python-bibliotek til analyse og bearbejdning af tabeldata, udviklet fra 2008 af Wes McKinney. Dets centrale objekt, DataFrame, ligner en tabel med navngivne kolonner. Med det kan man indlæse data fra CSV-filer, Excel eller databaser og rense, filtrere, gruppere og samle dem. pandas bygger på NumPy og er et standardværktøj inden for dataanalyse, rapportering og forberedelse af træningsdata.
NumPy er det grundlæggende open source Python-bibliotek til numeriske beregninger. Det leverer flerdimensionale arrays og hurtige funktioner til lineær algebra, statistik og tilfældige tal, hvor kernen kører i kompileret kode. Mange værktøjer til dataanalyse og machine learning, som pandas, scikit-learn og talrige visualiseringsbiblioteker, bygger på NumPy. Den, der arbejder med data i Python, bruger det derfor næsten altid, direkte eller indirekte.
Eksplorativ dataanalyse (exploratory data analysis, EDA) er det første, åbne blik på et datasæt: Man beregner sammenfattende tal, undersøger fordelinger og diagrammer og leder efter mønstre, outliers og manglende værdier – endnu uden en fast hypotese. Den hjælper med at vurdere datakvaliteten og finde fornuftige spørgsmål til videre analyse eller modellering. Eksempel: Før en salgsprognose afslører EDA, at én måned blev registreret ufuldstændigt på grund af en systemmigrering.
Datarensning er opsporing og rettelse af forkerte, duplikerede eller inkonsistente poster i datasæt. Typiske trin er at ensrette stavemåder og datoformater, fjerne overflødige mellemrum og samle dubletter som 'Hansen ApS' og 'Hansen A/S'. Rene data er en forudsætning for pålidelige analyser, udsendelser og AI-applikationer.
Jupyter Notebook er en open source-applikation fra Project Jupyter, der kører i browseren og samler eksekverbar kode, resultater, diagrammer og forklarende tekst i ét dokument. Notebooks er udbredt inden for dataanalyse, maskinlæring, forskning og undervisning, fordi hvert trin kan dokumenteres og deles på en sporbar måde. Python er det mest almindelige sprog. Eksempel: En analytiker indlæser salgsdata, renser dem og viser resultaterne som et diagram lige nedenunder.
