pandas är ett Python-bibliotek med öppen källkod för analys och bearbetning av tabelldata, utvecklat från 2008 av Wes McKinney. Dess centrala objekt, DataFrame, liknar en tabell med namngivna kolumner. Med det kan man läsa in data från CSV-filer, Excel eller databaser och rensa, filtrera, gruppera och slå ihop dem. pandas bygger på NumPy och är ett standardverktyg för dataanalys, rapportering och förberedelse av träningsdata.
NumPy är det grundläggande Python-biblioteket med öppen källkod för numeriska beräkningar. Det tillhandahåller flerdimensionella matriser och snabba funktioner för linjär algebra, statistik och slumptal, med en kärna som körs i kompilerad kod. Många verktyg för dataanalys och maskininlärning, som pandas, scikit-learn och en mängd visualiseringsbibliotek, bygger på NumPy. Den som arbetar med data i Python använder det därför nästan alltid, direkt eller indirekt.
Explorativ dataanalys (EDA) är den första, öppna titten på en datamängd: man beräknar sammanfattande nyckeltal, granskar fördelningar och diagram och letar efter mönster, extremvärden och saknade värden – ännu utan fast hypotes. Den hjälper till att bedöma datakvaliteten och hitta vettiga frågor för vidare analys eller modellering. Exempel: före en försäljningsprognos visar EDA att en månad registrerats ofullständigt på grund av en systemmigrering.
Datarensning innebär att felaktiga, duplicerade eller inkonsekventa poster i datamängder upptäcks och rättas. Typiska steg är att enhetliggöra stavningar och datumformat, ta bort överflödiga mellanslag och slå ihop dubbletter som ”Svensson AB” och ”Svensson Aktiebolag”. Rena data är en förutsättning för tillförlitliga analyser, utskick och AI-applikationer.
Jupyter Notebook är en webbläsarbaserad applikation med öppen källkod från Project Jupyter som kombinerar körbar kod, resultat, diagram och förklarande text i ett enda dokument. Anteckningsböcker används flitigt inom dataanalys, maskininlärning, forskning och undervisning eftersom varje steg kan dokumenteras och delas på ett spårbart sätt. Python är det vanligaste språket. Exempel: en analytiker läser in försäljningsdata, rensar dem och visar resultaten som ett diagram direkt nedanför.
