CZYSZCZENIE DANYCH W PYTHONIE RECEPTURY

ISBN: 978-83-283-8029-5   328 stron oprawa: miękka Rok wydania: 2021

Przetwarzanie dużych ilości danych daje wiedzę, która leży u podstaw istotnych decyzji podejmowanych przez organizację. Pozwala to na uzyskiwanie znakomitych efektów: techniki wydobywania wiedzy z danych stają się coraz bardziej wyrafinowane. Podstawowym warunkiem sukcesu jest uzyskanie odpowiedniej jakości danych. Wykorzystanie niespójnych i niepełnych informacji prowadzi do podejmowania błędnych decyzji. Konsekwencją mogą być straty finansowe, stwarzanie konkretnych zagrożeń czy uszczerbek na wizerunku. A zatem oczyszczanie jest wyjątkowo ważną częścią analizy danych.

Ta książka jest praktycznym zbiorem gotowych do użycia receptur, podanych tak, aby maksymalnie ułatwić proces przygotowania danych do analizy. Omówiono tu takie kwestie dotyczące danych jak importowanie, ocena ich jakości, uzupełnianie braków, porządkowanie i agregacja, a także przekształcanie. Poza zwięzłym omówieniem tych zadań zaprezentowano najskuteczniejsze techniki ich wykonywania za pomocą różnych narzędzi: Pandas, NumPy, Matplotlib czy SciPy. W ramach każdej receptury wyjaśniono skutki podjętych działań. Cennym uzupełnieniem jest zestaw funkcji i klas zdefiniowanych przez użytkownika, które służą do automatyzacji oczyszczania danych. Umożliwiają one też dostrojenie procesu do konkretnych potrzeb.

SPIS TREŚCI

O autorze

O recenzentach

Wprowadzenie

Rozdział 1. Oczyszczanie danych podczas importowania danych tabelarycznych do pandas
Wymagania techniczne
Importowanie danych z plików CSV
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Importowanie plików z Excela
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Importowanie danych z baz SQL
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Importowanie danych z SPSS, Stata i SAS
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Importowanie danych z R
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Przechowywanie danych tablicowych
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również

Rozdział 2. Oczyszczanie danych podczas importowania HTML-a i JSON-a do pandas
Wymagania techniczne
Importowanie danych z prostego pliku JSON
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Importowanie bardziej złożonego JSON-a za pomocą API
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Importowanie danych ze stron internetowych
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Przechowywanie danych w formacie JSON
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...

Rozdział 3. Przeprowadzanie pomiarów danych
Wymagania techniczne
Pierwsze spojrzenie na dane
Przygotuj się...
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Wybór i organizacja kolumn
Przygotuj się...
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Selekcja wierszy
Przygotuj się...
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Obliczanie częstości zmiennych kategorialnych
Przygotuj się...
Jak to zrobić...
Jak to działa...
Zobacz również...
Generowanie statystyk podsumowujących zmienne ciągłe
Przygotuj się...
Jak to zrobić...
Jak to działa...
Co dalej?

Rozdział 4. Identyfikacja brakujących i odstających wartości w podzbiorach danych
Wymagania techniczne
Wykrywanie brakujących wartości
Przygotuj się
Jak to zrobić...
Jak to działa...
Co dalej?
Identyfikowanie wartości odstających w pojedynczych zmiennych
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Identyfikacja wartości odstających i nieoczekiwanych w relacjach pomiędzy dwiema zmiennymi
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Wykorzystanie podzbiorów do badania logicznych niespójności w relacjach pomiędzy zmiennymi
Przygotuj się
Jak to zrobić...
Jak to działa...
Co dalej?
Wykorzystanie regresji liniowej do identyfikacji punktów danych o znaczącym wpływie
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Znajdowanie wartości odstających za pomocą algorytmu k-najbliższych sąsiadów
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Wykorzystanie Isolation Forest do znajdowania anomalii
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?

Rozdział 5. Wykorzystanie wizualizacji do identyfikacji nieoczekiwanej wartości
Wymagania techniczne
Badanie rozkładu zmiennych ciągłych za pomocą histogramów
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Identyfikacja wartości odstających w zmiennych ciągłych za pomocą wykresów pudełkowych
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Wykorzystanie grup wykresów pudełkowych do identyfikacji wartości nieoczekiwanych w określonej grupie
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Analiza wartości odstających i kształtu rozkładu za pomocą wykresów skrzypcowych
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Wykorzystanie wykresów punktowych do przedstawienia relacji dwuwymiarowych
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Wykorzystanie wykresów liniowych do analizy trendów zmiennych ciągłych
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Generowanie mapy ciepła na podstawie macierzy korelacji
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?

Rozdział 6. Oczyszczanie i eksploracja danych za pomocą operacji na obiektach typu Series
Wymagania techniczne
Pobieranie wartości z obiektów typu Series w pandas
Przygotuj się
Jak to zrobić...
Jak to działa...
Statystyki podsumowujące obiektów typu Series
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Zmiana wartości w obiektach typu Series
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Warunkowa zmiana wartości w obiektach typu Series
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Ocena zawartości i oczyszczanie serii łańcuchów znaków
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Praca z datami
Przygotuj się
Jak to zrobić...
Jak to działa...
Co dalej?
Identyfikowanie i usuwanie braków w danych
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Imputacja brakujących wartości za pomocą metody k-najbliższych sąsiadów
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?

Rozdział 7. Porządkowanie danych podczas agregacji
Wymagania techniczne
Iteracje z użyciem itertuples (antywzorzec)
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Obliczanie statystyk podsumowujących poszczególne grupy za pomocą tablic NumPy
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Grupowanie danych za pomocą groupby
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Korzystanie z bardziej skomplikowanych funkcji agregujących i groupby
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
groupby i funkcje zdefiniowane przez użytkownika
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Wykorzystanie groupby do zmiany jednostki analizy w ramce
Przygotuj się
Jak to zrobić...
Jak to działa...

Rozdział 8. Rozwiązywanie problemów z danymi podczas łączenia ramek danych
Wymagania techniczne
Łączenie ramek danych w pionie
Przygotuj się
Jak to zrobić...
Jak to działa...
Co dalej?
Wykonywanie połączeń jeden-do-jednego
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Scalenia w wielu kolumnach
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Wykonywanie połączeń jeden-do-wielu
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Wykonywanie połączeń wiele-do-wielu
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Opracowanie procedury scalania
Przygotuj się
Jak to zrobić...
Jak to działa...
Co dalej?

Rozdział 9. Porządkowanie i przekształcanie danych
Wymagania techniczne
Usuwanie zduplikowanych wierszy
Przygotuj się...
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Naprawianie relacji wiele-do-wielu
Przygotuj się...
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Wykorzystanie stack i melt do zmiany kształtu danych z szerokiego na długi
Przygotuj się...
Jak to zrobić...
Jak to działa...
Obracanie wielu grup kolumn
Przygotuj się...
Jak to zrobić...
Jak to działa...
Zobacz również...
Wykorzystanie unstack i pivot do zmiany kształtu danych z długich na szerokie
Przygotuj się...
Jak to zrobić...
Jak to działa...

Rozdział 10. Zdefiniowane przez użytkownika funkcje i klasy do automatyzacji procesu oczyszczania danych
Wymagania techniczne
Funkcje ułatwiające pierwsze spojrzenie na dane
Przygotuj się...
Jak to zrobić...
Jak to działa...
Zobacz również...
Funkcje do wyświetlania statystyk podsumowujących i częstości
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Funkcje do identyfikowania wartości odstających i nieoczekiwanych
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Funkcje do agregacji lub łączenia danych
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Klasy zawierające logikę do aktualizowania wartości serii
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...
Co dalej?
Klasy obsługujące inne niż tabelaryczne struktury danych
Przygotuj się
Jak to zrobić...
Jak to działa...
Zobacz również...