UCZENIE MASZYNOWE W PYTHONIE DLA KAŻDEGO

ISBN: 978-83-283-6425-7

542 stron
format: B5
oprawa: miękka
Rok wydania: 2020

Sztuczna inteligencja i uczenie maszynowe rozwijają się z niezwykłą dynamiką i znajdują coraz więcej różnorodnych zastosowań w niemal wszystkich branżach. Ten spektakularny postęp jest silnie związany z osiągnięciami w świecie sprzętu i oprogramowania. Obecnie do uczenia maszynowego używa się wielu języków programowania, takich jak R, C, C++, Fortran i Go, jednak najpopularniejszym wyborem okazał się Python wraz z jego specjalistycznymi bibliotekami. Znajomość tych bibliotek i narzędzi umożliwia tworzenie systemów uczących się nawet tym osobom, które nie dysponują głęboką wiedzą z dziedziny matematyki.

Ta książka jest przeznaczona dla każdego, kto choć trochę zna Pythona i chce nauczyć się uczenia maszynowego. Zagadnienia matematyczne zostały tu zaprezentowane w minimalnym stopniu, za to więcej uwagi poświęcono koncepcjom, na których oparto najważniejsze i najczęściej używane narzędzia oraz techniki uczenia maszynowego. Następnie pokazano praktyczne zasady implementacji uczenia maszynowego z wykorzystaniem najdoskonalszych bibliotek i narzędzi Pythona. Opisano używane dziś komponenty systemów uczących się, w tym techniki klasyfikacji i regresji, a także inżynierię cech, która pozwala przekształcać dane na użyteczną postać. Przeanalizowano liczne algorytmy i najczęściej stosowane techniki uczenia maszynowego. Pokrótce przedstawiono modele grafowe i sieci neuronowe, w tym sieci głębokie, jak również połączenie tych technik z bardziej zaawansowanymi metodami, przydatnymi choćby w pracy na danych graficznych i tekstowych.

SPIS TREŚCI

Przedmowa

Wprowadzenie

O autorze

CZĘŚĆ I. PIERWSZE KROKI

Rozdział 1. Podyskutujmy o uczeniu się
Witaj
Zakres, terminologia, predykcja i dane
Cechy
Wartości docelowe i predykcje
Rola maszyny w uczeniu maszynowym
Przykład systemów uczących się
Predykcja kategorii: przykłady klasyfikacji
Predykcja wartości - przykłady regresorów
Ocena systemów uczących się
Poprawność
Wykorzystanie zasobów
Proces budowania systemów uczących się
Założenia i realia uczenia się
Zakończenie rozdziału
Droga przed nami
Uwagi

Rozdział 2. Kontekst techniczny
2.1. O naszej konfiguracji
2.2. Potrzeba posiadania języka matematycznego
2.3. Nasze oprogramowanie do zmierzenia się z uczeniem maszynowym
2.4. Prawdopodobieństwo
2.4.1. Zdarzenia elementarne
2.4.2. Niezależność zdarzeń
2.4.3. Prawdopodobieństwo warunkowe
2.4.4. Rozkłady
2.5. Kombinacje liniowe, sumy ważone i iloczyny skalarne
2.5.1. Średnia ważona
2.5.2. Suma kwadratów
2.5.3. Suma kwadratów błędów
2.6. Perspektywa geometryczna: punkty w przestrzeni
2.6.1. Linie
2.6.2. Coś więcej niż linie
2.7. Notacja sztuczki plus jeden
2.8. Odjazd, zrywanie kaftana bezpieczeństwa i nieliniowość
2.9. NumPy kontra "cała matematyka"
2.9.1. Wracamy do 1D i 2D
2.10. Problemy z wartościami zmiennoprzecinkowymi
2.11. Zakończenie rozdziału
2.11.1. Podsumowanie
2.11.2. Uwagi

Rozdział 3. Predykcja kategorii - początki klasyfikacji
3.1. Zadania klasyfikacji
3.2. Prosty zestaw danych do klasyfikacji
3.3. Trenowanie i testowanie: nie ucz się do testu
3.4. Ocena - wystawienie stopni
3.5. Prosty klasyfikator nr 1: najbliżsi sąsiedzi, związki na odległość i założenia
3.5.1. Definiowanie podobieństwa
3.5.2. k w k-NN
3.5.3. Kombinacja odpowiedzi
3.5.4. k-NN, parametry i metody bezparametrowe
3.5.5. Budowa modelu klasyfikacji k-NN
3.6. Prosty klasyfikator nr 2: naiwny klasyfikator bayesowski, prawdopodobieństwo i złamane obietnice
3.7. Uproszczona ocena klasyfikatorów
3.7.1. Wydajność uczenia się
3.7.2. Wykorzystanie zasobów w klasyfikacji
3.7.3. Szacowanie zasobów w aplikacjach samodzielnych
3.8. Koniec rozdziału
3.8.1. Ostrzeżenie: ograniczenia i otwarte kwestie
3.8.2. Podsumowanie
3.8.3. Uwagi
3.8.4. Ćwiczenia

Rozdział 4. Predykcja wartości numerycznych: początki regresji
4.1. Prosty zbiór danych dla regresji
4.2. Regresja z najbliższymi sąsiadami i statystyki sumaryczne
4.2.1. Miary środka: mediana i średnia
4.2.2. Budowa modelu regresji k-NN
4.3. Błędy regresji liniowej
4.3.1. Ziemia nie jest płaska, czyli dlaczego potrzebujemy pochyłości
4.3.2. Przekrzywienie pola
4.3.3. Wykonanie regresji liniowej
4.4. Optymalizacja - wybór najlepszej odpowiedzi
4.4.1. Zgadywanie losowe
4.4.2. Losowe kroki
4.4.3. Sprytne kroki
4.4.4. Obliczony skrót
4.4.5. Wykorzystanie w regresji liniowej
4.5. Prosta ocena i porównanie regresorów
4.5.1. Pierwiastek średniego błędu kwadratowego
4.5.2. Wydajność uczenia się
4.5.3. Wykorzystanie zasobów w regresji
4.6. Zakończenie rozdziału
4.6.1. Ograniczenia i kwestie otwarte
4.6.2. Podsumowanie
4.6.3. Uwagi
4.6.4. Ćwiczenia

CZĘŚĆ II. OCENA

Rozdział 5. Ocena i porównywanie metod uczenia się
5.1. Ocena i dlaczego mniej znaczy więcej
5.2. Terminologia dla faz uczenia się
5.2.1. Powrót do maszyn
5.2.2. Mówiąc bardziej technicznie...
5.3. Majorze Tom, coś jest nie tak - nadmierne dopasowanie i niedopasowanie
5.3.1. Dane syntetyczne i regresja liniowa
5.3.2. Ręczna modyfikacja złożoności modelu
5.3.3. Złotowłosa - wizualizacja nadmiernego dopasowania, niedopasowania oraz "w sam raz"
5.3.4. Prostota
5.3.5. Uwagi na temat nadmiernego dopasowania
5.4. Od błędów do kosztów
5.4.1. Strata
5.4.2. Koszt
5.4.3. Punktacja
5.5. (Powtórne) próbkowanie - zamienić mniej w więcej
5.5.1. Walidacja krzyżowa
5.5.2. Rozwarstwienie
5.5.3. Powtarzany podział na dane treningowe i testowe
5.5.4. Lepszy sposób i tasowanie
5.5.5. Walidacja krzyżowa z odłożeniem jednego
5.6. Rozbicie: dekonstrukcja błędu na błąd systematyczny i wariancję
5.6.1. Wariancja danych
5.6.2. Wariancja modelu
5.6.3. Błąd systematyczny modelu
5.6.4. A teraz wszystko razem
5.6.5. Przykłady kompromisów związanych z błędem systematycznym i wariancją
5.7. Ocena graficzna i porównanie
5.7.1. Krzywe uczenia - jak dużo danych potrzebujemy?
5.7.2. Krzywe złożoności
5.8. Porównywanie metod uczących się za pomocą walidacji krzyżowej
5.9. Koniec rozdziału
5.9.1. Podsumowanie
5.9.2. Uwagi
5.9.3. Ćwiczenia

Rozdział 6. Ocena klasyfikatorów
6.1. Klasyfikatory bazowe
6.2. Więcej niż dokładność - wskaźniki dla klasyfikacji
6.2.1. Eliminacja zamieszania za pomocą macierzy błędu
6.2.2. W jaki sposób można się mylić
6.2.3. Wskaźniki z macierzy błędu
6.2.4. Kodowanie macierzy błędu
6.2.5. Radzenie sobie z wieloma klasami - uśrednianie wieloklasowe
6.2.6. F1
6.3. Krzywe ROC
6.3.1. Wzorce w ROC
6.3.2. Binarny ROC
6.3.3. AUC - obszar pod krzywą ROC
6.3.4. Wieloklasowe mechanizmy uczące się, jeden kontra reszta i ROC
6.4. Inne podejście dla wielu klas: jeden-kontra-jeden
6.4.1. Wieloklasowe AUC, część druga - w poszukiwaniu pojedynczej wartości
6.5. Krzywe precyzji i skuteczności wyszukiwania
6.5.1. Uwaga o kompromisie precyzji i skuteczności wyszukiwania
6.5.2. Budowanie krzywej precyzji i skuteczności wyszukiwania
6.6. Krzywe kumulacyjnej odpowiedzi i wzniesienia
6.7. Bardziej wyrafinowana ocena klasyfikatorów - podejście drugie
6.7.1. Binarne
6.7.2. Nowy problem wieloklasowy
6.8. Koniec rozdziału
6.8.1. Podsumowanie
6.8.2. Uwagi
6.8.3. Ćwiczenia

Rozdział 7. Ocena metod regresji
7.1. Metody regresji będące punktem odniesienia
7.2. Dodatkowe miary w metodach regresji
7.2.1. Tworzenie własnych miar oceny
7.2.2. Inne wbudowane miary regresji
7.2.3. R2
7.3. Wykresy składników resztowych
7.3.1. Wykresy błędów
7.3.2. Wykresy składników resztowych
7.4. Pierwsze podejście do standaryzacji
7.5. Ocena mechanizmów regresji w bardziej zaawansowany sposób: podejście drugie
7.5.1. Wyniki po sprawdzianie krzyżowym z użyciem różnych miar
7.5.2. Omówienie wyników ze sprawdzianu krzyżowego
7.5.3. Składniki resztowe
7.6. Koniec rozdziału
7.6.1. Podsumowanie
7.6.2. Uwagi
7.6.3. Ćwiczenia

CZĘŚĆ III. JESZCZE O METODACH I PODSTAWACH

Rozdział 8. Inne metody klasyfikacji
8.1. Jeszcze o klasyfikacji
8.2. Drzewa decyzyjne
8.2.1. Algorytmy budowania drzewa
8.2.2. Do pracy. Pora na drzewa decyzyjne
8.2.3. Obciążenie i wariancja w drzewach decyzyjnych
8.3. Klasyfikatory oparte na wektorach nośnych
8.3.1. Stosowanie klasyfikatorów SVC
8.3.2. Obciążenie i wariancja w klasyfikatorach SVC
8.4. Regresja logistyczna
8.4.1. Szanse w zakładach
8.4.2. Prawdopodobieństwo, szanse i logarytm szans
8.4.3. Po prostu to zrób: regresja logistyczna
8.4.4. Regresja logistyczna: osobliwość przestrzenna
8.5. Analiza dyskryminacyjna
8.5.1. Kowariancja
8.5.2. Metody
8.5.3. Przeprowadzanie analizy dyskryminacyjnej
8.6. Założenia, obciążenie i klasyfikatory
8.7. Porównanie klasyfikatorów: podejście trzecie
8.7.1. Cyfry
8.8. Koniec rozdziału
8.8.1. Podsumowanie
8.8.2. Uwagi
8.8.3. Ćwiczenia

Rozdział 9. Inne metody regresji
9.1. Regresja liniowa na ławce kar - regularyzacja
9.1.1. Przeprowadzanie regresji z regularyzacją
9.2. Regresja z użyciem wektorów nośnych
9.2.1. Zawiasowa funkcja straty
9.2.2. Od regresji liniowej przez regresję z regularyzacją do regresji SVR
9.2.3. Po prostu to zrób - w stylu SVR
9.3. Regresja segmentowa ze stałymi
9.3.1. Implementowanie regresji segmentowej ze stałymi
9.3.2. Ogólne uwagi na temat implementowania modeli
9.4. Drzewa regresyjne
9.4.1. Przeprowadzanie regresji z użyciem drzew
9.5. Porównanie metod regresji: podejście trzecie
9.6. Koniec rozdziału
9.6.1. Podsumowanie
9.6.2. Uwagi
9.6.3. Ćwiczenia

Rozdział 10. Ręczna inżynieria cech - manipulowanie danymi dla zabawy i dla zysku
10.1. Terminologia i przyczyny stosowania inżynierii cech
10.1.1. Po co stosować inżynierię cech?
10.1.2. Kiedy stosuje się inżynierię cech?
10.1.3. Jak przebiega inżynieria cech?
10.2. Wybieranie cech i redukcja danych - pozbywanie się śmieci
10.3. Skalowanie cech
10.4. Dyskretyzacja
10.5. Kodowanie kategorii
10.5.1. Inna metoda kodowania i niezwykły przypadek braku punktu przecięcia z osią
10.6. Relacje i interakcje
10.6.1. Ręczne tworzenie cech
10.6.2. Interakcje
10.6.3. Dodawanie cech na podstawie transformacji
10.7. Manipulowanie wartościami docelowymi
10.7.1. Manipulowanie przestrzenią danych wejściowych
10.7.2. Manipulowanie wartościami docelowymi
10.8. Koniec rozdziału
10.8.1. Podsumowanie
10.8.2. Uwagi
10.8.3. Ćwiczenia

Rozdział 11. Dopracowywanie hiperparametrów i potoki
11.1. Modele, parametry i hiperparametry
11.2. Dostrajanie hiperparametrów
11.2.1. Uwaga na temat słownictwa informatycznego i z dziedziny uczenia maszynowego
11.2.2. Przykład przeszukiwania kompletnego
11.2.3. Używanie losowości do szukania igły w stogu siana
11.3. Wyprawa w rekurencyjną króliczą norę - zagnieżdżony sprawdzian krzyżowy
11.3.1. Opakowanie w sprawdzian krzyżowy
11.3.2. Przeszukiwanie siatki jako model
11.3.3. Sprawdzian krzyżowy zagnieżdżony w sprawdzianie krzyżowym
11.3.4. Uwagi na temat zagnieżdżonych SK
11.4. Potoki
11.4.1. Prosty potok
11.4.2. Bardziej skomplikowany potok
11.5. Potoki i dostrajanie całego procesu
11.6. Koniec rozdziału
11.6.1. Podsumowanie
11.6.2. Uwagi
11.6.3. Ćwiczenia

CZĘŚĆ IV. ZWIĘKSZANIE ZŁOŻONOŚCI

Rozdział 12. Łączenie mechanizmów uczących się
12.1. Zespoły
12.2. Zespoły głosujące
12.3. Bagging i lasy losowe
12.3.1. Technika bootstrap
12.3.2. Od techniki bootstrap do metody bagging
12.3.3. Przez losowy las
12.4. Boosting
12.4.1. Szczegółowe omówienie boostingu
12.5. Porównywanie metod opartych na zespołach drzew
12.6. Koniec rozdziału
12.6.1. Podsumowanie
12.6.2. Uwagi
12.6.3. Ćwiczenia

Rozdział 13. Modele z automatyczną inżynierią cech
13.1. Wybieranie cech
13.1.1. Filtrowanie jednoetapowe z wybieraniem cech na podstawie miar
13.1.2. Wybieranie cech na podstawie modelu
13.1.3. Integrowanie wybierania cech z potokiem procesu uczenia
13.2. Tworzenie cech za pomocą jąder
13.2.1. Powód używania jąder
13.2.2. Ręczne metody wykorzystujące jądra
13.2.3. Metody wykorzystujące jądro i opcje jądra
13.2.4. Klasyfikatory SVC dostosowane do jądra - maszyny SVM
13.2.5. Uwagi do zapamiętania na temat maszyn SVM i przykładów
13.3. Analiza głównych składowych - technika nienadzorowana
13.3.1. Rozgrzewka - centrowanie
13.3.2. Znajdowanie innej najlepszej linii
13.3.3. Pierwsza analiza głównych składowych
13.3.4. Analiza głównych składowych od kuchni
13.3.5. Wielki finał - uwagi na temat analizy głównych składowych
13.3.6. Analiza głównych składowych dla jądra i metody oparte na rozmaitościach
13.4. Koniec rozdziału
13.4.1. Podsumowanie
13.4.2. Uwagi
13.4.3. Ćwiczenia

Rozdział 14. Inżynieria cech dla dziedzin - uczenie specyficzne dla dziedziny
14.1. Praca z tekstem
14.1.1. Kodowanie tekstu
14.1.2. Przykład maszynowego klasyfikowania tekstu
14.2. Klastrowanie
14.2.1. Klastrowanie metodą k-średnich
14.3. Praca z obrazami
14.3.1. Worek słów graficznych
14.3.2. Dane graficzne
14.3.3. Kompletny system
14.3.4. Kompletny kod transformacji obrazów na postać WGSG
14.4. Koniec rozdziału
14.4.1. Podsumowanie
14.4.2. Uwagi
14.4.3. Ćwiczenia

Rozdział 15. Powiązania, rozwinięcia i kierunki dalszego rozwoju
15.1. Optymalizacja
15.2. Regresja liniowa z prostych składników
15.2.1. Graficzne ujęcie regresji liniowej
15.3. Regresja logistyczna z prostych składników
15.3.1. Regresja logistyczna i kodowanie zerojedynkowe
15.3.2. Regresja logistyczna z kodowaniem plus jeden - minus jeden
15.3.3. Graficzne ujęcie regresji logistycznej
15.4. Maszyna SVM z prostych składników
15.5. Sieci neuronowe
15.5.1. Regresja liniowa za pomocą sieci neuronowych
15.5.2. Regresja logistyczna za pomocą sieci neuronowych
15.5.3. Poza podstawowe sieci neuronowe
15.6. Probabilistyczne modele grafowe
15.6.1. Próbkowanie
15.6.2. Regresja liniowa za pomocą modelu PGM
15.6.3. Regresja logistyczna za pomocą modelu PGM
15.7. Koniec rozdziału
15.7.1. Podsumowanie
15.7.2. Uwagi
15.7.3. Ćwiczenia

Dodatek A. Kod z pliku mlwpy.py