pandas ir atvērtā pirmkoda Python bibliotēka tabulu datu analīzei un apstrādei, ko kopš 2008. gada izstrādā Wes McKinney. Tās centrālais objekts DataFrame atgādina tabulu ar nosauktām kolonnām. To var izmantot, lai ielādētu datus no CSV failiem, Excel vai datubāzēm un tos tīrītu, filtrētu, grupētu un apvienotu. pandas ir balstīta uz NumPy un ir standartrīks datu analīzē, atskaitēs un apmācības datu sagatavošanā.
NumPy ir būtiskākā atvērtā pirmkoda Python bibliotēka skaitliskai skaitļošanai. Tā nodrošina daudzdimensiju masīvus un ātras funkcijas lineārajai algebrai, statistikai un nejaušiem skaitļiem, bet tās kodols darbojas kompilētā kodā. Daudzi datu analīzes un mašīnmācīšanās rīki, piemēram, pandas, scikit-learn un daudzas vizualizācijas bibliotēkas, ir balstīti uz NumPy. Tāpēc ikviens, kas Python vidē strādā ar datiem, to gandrīz vienmēr izmanto tieši vai netieši.
Izpētes datu analīze (EDA) ir pirmais, atvērtais skatiens uz datu kopu: aprēķina kopsavilkuma rādītājus, aplūko sadalījumus un diagrammas un meklē likumsakarības, izņēmumus un trūkstošās vērtības — vēl bez noteiktas hipotēzes. Tā palīdz novērtēt datu kvalitāti un atrast jēgpilnus jautājumus tālākai analīzei vai modelēšanai. Piemērs: pirms pārdošanas prognozes EDA atklāj, ka kāds mēnesis sistēmas migrācijas dēļ ierakstīts nepilnīgi.
Datu tīrīšana ir nepareizu, dublētu vai nekonsekventu ierakstu atklāšana un labošana datu kopās. Tipiski soļi ir rakstības un datuma formātu vienādošana, lieko atstarpju noņemšana un dublikātu apvienošana, piemēram, „Smith Ltd” un „Smith Limited”. Tīri dati ir priekšnoteikums drošām analīzēm, izsūtnēm un MI lietojumprogrammām.
Jupyter Notebook ir Project Jupyter atvērtā pirmkoda pārlūkprogrammas lietojumprogramma, kas vienā dokumentā apvieno izpildāmu kodu, rezultātus, diagrammas un skaidrojošu tekstu. Piezīmjdatori plaši tiek izmantoti datu analīzē, mašīnmācīšanās, pētniecībā un mācībās, jo katru soli var dokumentēt un kopīgot izsekojamā veidā. Visbiežāk lietotā valoda ir Python. Piemērs: analītiķis ielādē pārdošanas datus, iztīra tos un rezultātus tieši zem tiem parāda diagrammā.
