DEEP LEARNING DLA PROGRAMISTÓW. BUDOWANIE APLIKACJI AI ZA POMOCĄ FASTAI I PYTORCH

ISBN: 978-83-283-7509-3

538 stron
format: B5
oprawa: miękka
Rok wydania: 2021

Uczenie głębokie zmienia oblicze wielu branż. Ta rewolucja już się zaczęła, jednak potencjał AI i sieci neuronowych jest znacznie większy. Korzystamy więc dziś z osiągnięć komputerowej analizy obrazu i języka naturalnego, wspierania badań naukowych czy budowania skutecznych strategii biznesowych - wchodzimy do świata, który do niedawna był dostępny głównie dla naukowców. W konsekwencji trudno o źródła wiedzy, które równocześnie byłyby przystępne dla zwykłych programistów i miały wysoką wartość merytoryczną. Problem polega na tym, że bez dogłębnego zrozumienia działania algorytmów uczenia głębokiego trudno tworzyć dobre aplikacje.

Oto praktyczny i przystępny przewodnik po koncepcjach uczenia głębokiego, napisany tak, aby ułatwić zrozumienie najnowszych technik w tej dziedzinie bez znajomości wyższej matematyki. Książka daje znakomite podstawy uczenia głębokiego, a następnie stopniowo wprowadza zagadnienia sposobu działania modeli, ich budowy i trenowania. Pokazano w niej również praktyczne techniki przekształcania modeli w działające aplikacje. Znalazło się tu mnóstwo wskazówek ułatwiających poprawianie dokładności, szybkości i niezawodności modeli. Nie zabrakło też informacji o najlepszych sposobach wdrażania od podstaw algorytmów uczenia głębokiego i stosowaniu ich w najnowocześniejszych rozwiązaniach.

SPIS TREŚCI

Wstęp

Przedmowa

Część I. Uczenie głębokie w praktyce

Rozdział 1. Podróż po świecie uczenia głębokiego
Uczenie głębokie jest dla każdego
Sieci neuronowe krótka historia
Kim jesteśmy?
Jak zdobyć wiedzę o uczeniu głębokim?
Twoje projekty i Twój sposób myślenia
Oprogramowanie: PyTorch, fastai i Jupyter (i dlaczego nie ma to znaczenia)
Twój pierwszy model
Uzyskanie dostępu do serwera z procesorem graficznym i możliwością realizowania uczenia głębokiego
Uruchomienie pierwszego notatnika
Co to jest uczenie maszynowe?
Co to jest sieć neuronowa?
Trochę słownictwa związanego z uczeniem głębokim
Ograniczenia związane z uczeniem maszynowym
Jak działa nasz program do rozpoznawania obrazów
Czego nauczył się program do rozpoznawania obrazów?
Systemy do rozpoznawania obrazów mogą radzić sobie z zadaniami innymi niż analiza obrazów
Podsumowanie słownictwa
Uczenie głębokie to nie tylko klasyfikowanie obrazów
Zbiory walidacyjne i testowe
Użycie oceny w definiowaniu zbiorów testowych
Moment, w którym wybierasz swoją własną przygodę
Pytania
Dalsze badania

Rozdział 2. Od modelu do produkcji
Praktyczne zastosowanie uczenia głębokiego
Rozpoczęcie projektu
Stan uczenia głębokiego
Metoda układu napędowego
Gromadzenie danych
Od danych do obiektu DataLoaders
Generowanie sztucznych danych
Trenowanie modelu i używanie go do czyszczenia danych
Przekształcanie modelu w aplikację internetową
Korzystanie z modelu do wnioskowania
Tworzenie w notatniku aplikacji na podstawie modelu
Zamień notatnik w prawdziwą aplikację
Wdrażanie aplikacji
Jak uniknąć katastrofy
Nieprzewidziane konsekwencje i pętle sprzężenia zwrotnego
Zapisuj!
Pytania
Dalsze badania

Rozdział 3. Etyka danych
Kluczowe przykłady etyki danych
Błędy i regresja: wadliwy algorytm używany do świadczeń opieki zdrowotnej
Pętle sprzężenia zwrotnego: system rekomendacji YouTube
Uprzedzenie: wykładowca Latanya Sweeney aresztowana
Dlaczego ma to znaczenie?
Integracja uczenia maszynowego z projektowaniem produktu
Zagadnienia związane z etyką danych
Regres i odpowiedzialność
Pętle sprzężenia zwrotnego
Uprzedzenie
Dezinformacja
Identyfikowanie i rozwiązywanie problemów etycznych
Przeanalizuj projekt, nad którym pracujesz
Procesy do zaimplementowania
Potęga różnorodności
Uczciwość, odpowiedzialność i przejrzystość
Rola polityki
Skuteczność przepisów
Prawa i polityka
Samochody historyczny precedens
Wnioski
Pytania
Dalsze badania

Część II. Zrozumienie aplikacji fastai

Rozdział 4. Jak to wygląda od środka trenowanie klasyfikatora cyfr
Piksele podstawa widzenia komputerowego
Podejście pierwsze: podobieństwo pikseli
Tablice NumPy i tensory PyTorch
Wyznaczanie wskaźników z wykorzystaniem rozgłaszania
Stochastyczny spadek wzdłuż gradientu
Wyznaczanie gradientów
Stopniowanie ze współczynnikiem uczenia
Kompleksowy przykład użycia stochastycznego spadku wzdłuż gradientu
Podsumowanie procesu stochastycznego spadku wzdłuż gradientu
Funkcja straty MNIST
Sigmoida
Stochastyczny spadek wzdłuż gradientu i minipaczki
Złożenie wszystkiego w całość
Tworzenie optymalizatora
Wprowadzanie nieliniowości
Bardziej rozbudowane modele
Podsumowanie słownictwa
Pytania
Dalsze badania

Rozdział 5. Klasyfikowanie obrazów
Od psów i kotów do ras zwierząt domowych
Dobór wstępny
Sprawdzanie i debugowanie obiektu DataBlock
Entropia krzyżowa
Przeglądanie aktywacji i etykiet
Softmax
Logarytm prawdopodobieństwa
Obliczanie logarytmu
Interpretacja modelu
Poprawianie modelu
Wyszukiwarka współczynnika uczenia
Odmrażanie i uczenie transferowe
Dyskryminatywne współczynniki uczenia
Wybór liczby epok
Bardziej złożone architektury
Podsumowanie
Pytania
Dalsze badania

Rozdział 6. Inne zagadnienia związane z widzeniem komputerowym
Klasyfikacja wieloetykietowa
Dane
Tworzenie obiektu DataBlock
Binarna entropia krzyżowa
Regresja
Gromadzenie danych
Trenowanie modelu
Podsumowanie
Pytania
Dalsze badania

Rozdział 7. Trenowanie supernowoczesnego modelu
Imagenette
Normalizacja
Progresywna zmiana rozmiaru
Wydłużenie czasu testu
Mixup
Wygładzanie etykiet
Podsumowanie
Pytania
Dalsze badania

Rozdział 8. Szczegółowa analiza filtrowania zespołowego
Pierwszy kontakt z danymi
Czynniki ukryte
Tworzenie obiektu DataLoaders
Filtrowanie zespołowe od podstaw
Wygaszanie wag
Tworzenie własnego modułu osadzania
Interpretacja osadzeń i przesunięć
Użycie aplikacji fastai.collab
Odległość osadzania
Uruchamianie modelu filtrowania zespołowego
Uczenie głębokie w filtrowaniu zespołowym
Podsumowanie
Pytania
Dalsze badania

Rozdział 9. Szczegółowa analiza modelowania tabelarycznego
Osadzenia skategoryzowane
Poza uczeniem głębokim
Zbiór danych
Konkursy Kaggle
Sprawdzenie danych
Drzewa decyzyjne
Obsługa dat
Użycie obiektów TabularPandas i TabularProc
Tworzenie drzewa decyzyjnego
Zmienne skategoryzowane
Lasy losowe
Tworzenie lasu losowego
Błąd out-of-bag
Interpretacja modelu
Wariancja drzewa dla pewności prognozy
Ważności cech
Usuwanie zmiennych o niskiej ważności
Usuwanie zbędnych cech
Częściowa zależność
Wyciek danych
Interpreter drzewa
Ekstrapolacja i sieci neuronowe
Problem ekstrapolacji
Wyszukiwanie danych spoza domeny
Użycie sieci neuronowej
Łączenie w zespoły
Wzmacnianie
Łączenie osadzeń z innymi metodami
Podsumowanie
Pytania
Dalsze badania

Rozdział 10. Szczegółowa analiza przetwarzania języka naturalnego rekurencyjne sieci neuronowe
Wstępne przetwarzanie tekstu
Tokenizacja
Tokenizacja słów przy użyciu biblioteki fastai
Tokenizacja podłańcuchów
Zamiana na liczby przy użyciu biblioteki fastai
Umieszczanie tekstu w paczkach dla modelu językowego
Trenowanie klasyfikatora tekstu
Użycie klasy DataBlock w modelu językowym
Dostrajanie modelu językowego
Zapisywanie i wczytywanie modeli
Generowanie tekstu
Tworzenie klasyfikatora DataLoaders
Dostrajanie klasyfikatora
Dezinformacja i modele językowe
Podsumowanie
Pytania
Dalsze badania

Rozdział 11. Przygotowywanie danych dla modeli za pomocą interfejsu API pośredniego poziomu z biblioteki fastai
Szczegółowa analiza warstwowego interfejsu programistycznego biblioteki fastai
Transformacje
Tworzenie własnej transformacji
Klasa Pipeline potoku transformacji
TfmdLists i Datasets kolekcje przekształcone
TfmdLists
Datasets
Zastosowanie interfejsu API pośredniego poziomu SiamesePair
Podsumowanie
Pytania
Dalsze badania

Zrozumienie aplikacji fastai podsumowanie

Część III. Podstawy uczenia głębokiego

Rozdział 12. Tworzenie od podstaw modelu językowego
Dane
Tworzenie od podstaw pierwszego modelu językowego
Obsługa modelu językowego w bibliotece PyTorch
Pierwsza rekurencyjna sieć neuronowa
Ulepszanie sieci RNN
Obsługa stanu sieci RNN
Tworzenie większej liczby sygnałów
Wielowarstwowe rekurencyjne sieci neuronowe
Model
Eksplodujące lub zanikające aktywacje
Architektura LSTM
Tworzenie modelu LSTM od podstaw
Trenowanie modelu językowego wykorzystującego architekturę LSTM
Regularyzacja modelu LSTM
Dropout
Regularyzacja aktywacji i czasowa regularyzacja aktywacji
Trening regularyzowanego modelu LSTM z wiązanymi wagami
Podsumowanie
Pytania
Dalsze badania

Rozdział 13. Konwolucyjne sieci neuronowe
Magia konwolucji
Odwzorowywanie jądra splotu
Konwolucje w bibliotece PyTorch
Kroki i dopełnienie
Zrozumienie równań konwolucji
Pierwsza konwolucyjna sieć neuronowa
Tworzenie konwolucyjnej sieci neuronowej
Zrozumienie arytmetyki konwolucji
Pola receptywne
Kilka uwag o Twitterze
Obrazy kolorowe
Ulepszanie stabilności trenowania
Prosty model bazowy
Zwiększenie wielkości paczki
Trenowanie jednocykliczne
Normalizacja wsadowa
Podsumowanie
Pytania
Dalsze badania

Rozdział 14. Sieci ResNet
Powrót do Imagenette
Tworzenie nowoczesnej konwolucyjnej sieci neuronowej ResNet
Pomijanie połączeń
Model sieci ResNet na poziomie światowym
Warstwy z wąskim gardłem
Podsumowanie
Pytania
Dalsze badania

Rozdział 15. Szczegółowa analiza architektur aplikacji
Widzenie komputerowe
Funkcja cnn_learner
Funkcja unet_learner
Model syjamski
Przetwarzanie języka naturalnego
Dane tabelaryczne
Podsumowanie
Pytania
Dalsze badania

Rozdział 16. Proces trenowania
Tworzenie modelu bazowego
Ogólny optymalizator
Momentum
RMSProp
Adam
Dwie metody wygaszania wag
Wywołania zwrotne
Tworzenie wywołania zwrotnego
Kolejność wywołań zwrotnych i wyjątki
Podsumowanie
Pytania
Dalsze badania

Podstawy uczenia głębokiego podsumowanie

Część IV. Uczenie głębokie od podstaw

Rozdział 17. Sieć neuronowa od podstaw
Tworzenie od podstaw warstwy sieci neuronowej
Modelowanie neuronu
Mnożenie macierzy od podstaw
Arytmetyka składowych
Rozgłaszanie
Konwencja sumacyjna Einsteina
Przejścia w przód i wstecz
Definiowanie i inicjalizowanie warstwy
Gradienty i przejście wstecz
Modyfikowanie modelu
Implementacja przy użyciu biblioteki PyTorch
Podsumowanie
Pytania
Dalsze badania

Rozdział 18. Interpretacja sieci CNN przy użyciu mapy aktywacji klas
Mapa aktywacji klas i punkty zaczepienia
Gradientowa mapa aktywacji klas
Podsumowanie
Pytania
Dalsze badania

Rozdział 19. Klasa Learner biblioteki fastai od podstaw
Dane
Klasa Dataset
Klasy Module i Parameter
Prosta konwolucyjna sieć neuronowa
Funkcja straty
Klasa Learner
Wywołania zwrotne
Harmonogram modyfikowania współczynnika uczenia
Podsumowanie
Pytania
Dalsze badania

Rozdział 20. Uwagi końcowe

Dodatek A. Tworzenie bloga

Dodatek B. Lista kontrolna projektu dotyczącego danych