MODELOWANIE DLA BIZNESU ANALITYKA W CZASIE RZECZYWISTYM - NARZĘDZIA INFORMATYCZNE I BIZNESOWE

ISBN: 978-83-8030-540-3

160 stron
format: B5
oprawa: twarda
Rok wydania: 2022

Rozdział 1 przedstawia dane, zarówno ustrukturyzowane, jak i nieustrukturyzowane, poprzez ich różne obiektowe reprezentacje oraz metody ich programowania w języku Python: od podstawowych pythonowych list przez tablice Numpy, Pandasowe ramki danych aż potensory realizowane przez biblioteki związane z uczeniem głębokim. W przypadku danych nieustrukturyzowanych ukazano podstawy przetwarzania zdjęć oraz formatu JSON. Ze względu na wykorzystanie oprogramowania Apache Spark przedstawiono również podstawy przetwarzania obiektów RDD i sparkowych ramek danych. Ponieważ użytkowanie danych oznacza nie tylko ich wytwarzanie, lecz także ich zapis, wskazano podstawowe biblioteki oraz metody(funkcyjne i obiektowe) realizujące połączenie i wykonywanie prostych zapytań na relacyjnych bazach danych. Pandasowe ramki danych są jedną z najczęściej wykorzystywanych form przechowywania informacji, dlatego określono, jakie narzędzia można wykorzystać do dołączenia metadanych, tak by inne programy mogły przetwarzać kompletny zestaw informacji. Następnym elementem jest wskazanie historycznego i zarazem biznesowego podejścia do modeli przetwarzania danych. Ich definicja była ściśle związana z biznesowymi oczekiwaniami. Podstawą była realizacja głównych zadań, które realizowane są przez systemy OLTP (ang. On-Line Transaction Processing). Biznesowa potrzeba analizy gromadzonych danych i wyciągania ukrytych informacji oraz odpowiedzi na coraz bardziej złożone zapytania wymusiła na technologii wprowadzenie rozwiązań typu hurtownie danych, które przetwarzają dane z wykorzystaniem modelu OLAP(ang. On-Line Analytic Processing). Coraz większe zaangażowanie statystyki i analityków doprowadziło do tworzenia systemów pozwalających wykonywać operacje związane z data mining i coraz szerszym zakresem realizacji zadań A czy uczenia maszynowego. Zrozumienie obiektowego myślenia o danych uzupełnione zostało o budowę prostych klas realizujących podstawowe algorytmy uczenia sieci neuronowych. Nie ma lepszego sposobu na zrozumienie działania algorytmu niż napisanie jego własnej wersji. Umiejętność posługiwania się klasami pozwala nie tylko używać gotowych bibliotek, ale również tworzyć własne rozwiązania na podstawie istniejących elementów. Nie ogranicza nas to już domyślenia o tym, jak przekształcić otrzymane dane w jakąś istniejącą formę wykorzystać istniejące biblioteki. Możemy generować własne transformatory czy nawet modele.

Rozdział 2 poświęcony został procesowi tworzenia, przetwarzania i generowania wartości biznesowej z danych w ujęciu przetwarzania wsadowego i strumieniowego. Wyjaśniono w nim podstawowe pojęcia związane ze zdarzeniami i strumieniami. Omówiona została również istotna koncepcja czasu, która jest podstawowym elementem wpływającym na otrzymywane wyniki.

Rozdział 3 z kolei to krótka charakterystyka współczesnych narzędzi informatycznych każdego analityka danych. Skrócone opisy mają przedstawić idee towarzyszące tworzeniu tych narzędzi oraz sposób ich używania.

Rozdział kończący książkę prezentuje: kody wykorzystujące obiektowe własności języka Python i realizujące przypadki biznesowych zastosowań do tworzenia prostego środowiska produkcyjnego, wykorzystania nowoczesnych bibliotek do analizy tekstów (w czasie niemal rzeczywistym), strumieniowanie danych z wykorzystaniem narzędzia Apache Spark oraz wykorzystanie algorytmu Isolation Forest do detekcji anomalii zarówno w trybie wsadowym, jak i w czasie rzeczywistym.

fragment Przedmowy