STATYSTYCZNE MODELOWANIE ZAWARTOŚCI DOKUMENTÓW TEKSTOWYCH

ISBN: 978-83-7252-755-4

229 stron
format: B5
oprawa: miękka
Rok wydania: 2018

Autor uczynił tematem swojej monografii metodologię budowy systemów rozpoznawania i klasyfikacji dokumentów ze względu na ich zawartość. W języku angielskim ten obszar badań nazywany jest text mining i należy do informatyki, a dokładniej do sztucznej inteligencji, łączącej metody wywodzące się z informatyki, lingwistyki, matematyki czy statystyki (...). Monografia ta ma kapitalne znaczenie ze względu na tematykę, którą jest omówienie możliwości zbudowania systemów analizy zawartości dokumentów tekstowych. Jeśli chodzi o możliwe zastosowania omawianych w pracy metod, to ich liczba jest ogromna! Wszędzie tam, gdzie ludzie stosują zadrukowany papier, można zastosować programy OCR, a następnie przetwarzać zawartość przeczytanych dokumentów, sortując je i klasyfikując, budując bazy danych, wykrywając podobieństwa itp. To samo można zrobić z plikami tekstowymi.(z recenzji prof. dr. hab. Eugeniusza Gatnara)Eksploracja zawartości dokumentów tekstowych (text mining) obejmuje odkrywanie i wykorzystanie wiedzy zawartej w zbiorze dokumentów. W recenzowanej monografii Autor podjął trudne zagadnienie badawcze. W polskiej literaturze statystycznej z dziedziny nauk ekonomicznych brakuje opracowań zwartych w tym zakresie. Uważam, że recenzowana monografia wypełnia tę lukę. (...) Stanowi indywidualny i oryginalny wkład w problematykę statystycznej eksploracji dokumentów tekstowych. Jest to problem niezwykle istotny w dziedzinie nauk ekonomicznych.

(z recenzji prof. dr. hab. Marka Walesiaka)

SPIS TREŚCI

Wstęp Rozdział 1JĘZYK I JEGO BADANIE1.1. Język 1.1.1. Uwagi ogólne 1.1.2. Geneza języka i uniwersalia językowe 1.1.3. Pojęcie i funkcje języka 1.1.4. Pismo 1.2. Językoznawstwo 1.2.1. Definicja i struktura językoznawstwa 1.2.2. Główne koncepcje w językoznawstwie współczesnym 1.3. Znaczenie koncepcji modelu w badaniach nad językiem Rozdział 2STATYSTYCZNE MODELE OPISU ZAWARTOŚCI DOKUMENTÓW I ICH TAKSONOMIA2.1. Model zawartości dokumentu tekstowego 2.2. Wymiary klasyfikacji 2.3. Poziom opisu lingwistycznego 2.3.1. Poziom morfologiczny 2.3.2. Poziom frazeologiczny 2.3.3. Poziom syntaktyczny 2.3.4. Poziom semantyczny 2.3.5. Podsumowanie 2.4. Przeznaczenie modelu 2.4.1. Uwagi ogólne 2.4.2. Szacowanie podobieństwa 2.4.3. Wyszukiwanie informacji 2.4.4. Streszczanie dokumentów 2.4.5. Analiza wydźwięku 2.4.6. Tłumaczenie maszynowe 2.4.7. Podsumowanie 2.5. Podstawy teoretyczne modelu 2.6. Zakres wykorzystywanej wiedzy Rozdział 3ANALIZA LINGWISTYCZNA TEKSTU3.1. Znakowanie dokumentu 3.2. Segmentacja tekstu 3.3. Lematyzacja 3.4. Analiza morfologiczna 3.4.1. Uwagi ogólne 3.4.2. Regułowe metody ujednoznaczniania morfologicznego 3.4.3. Model Markowa 3.4.4. Ukryty model Markowa 3.4.5. Wykorzystanie ukrytych łańcuchów Markowa do identyfikacji częścimowy 3.4.6. Odległość pomiędzy łańcuchami znaków 3.5. Anotacja składniowa 3.5.1. Gramatyki formalne i ich klasyfikacja 3.5.2. Gramatyki formalne jako narzędzie opisu języków naturalnych 3.5.3. Parsowanie języków bazkontekstowych 3.6. Anotacja semantyczna i identyfikacja nazw własnych Rozdział 4MODELE ALGEBRAICZNE4.1. Model przestrzeni wektorowej 4.2. Modelowanie ukrytej struktury semantycznej 4.2.1. Uwagi ogólne 4.2.2. Analiza głównych składowych 4.2.3. Analiza ukrytych wymiarów semantycznych 4.3. Odległość pomiędzy dokumentami w modelach algebraicznych4.4. Wykorzystanie miar podobieństwa w procesie klasyfikacji bezwzorcowejdokumentów 4.5. Analiza streszczeń artykułów publikowanych w czasopiśmie "PrzeglądOrganizacji" Rozdział 5MODELE PROBABILISTYCZNE5.1. Podejście probabilistyczne w eksploracyjnej analizie dokumentów5.2. Probabilistyczna analiza ukrytych wymiarów semantycznych 5.3. Wnioskowanie bayesowskie 5.3.1. Ogólna charakterystyka wnioskowania bayesowskiego 5.3.2. Metoda maksymalnego prawdopodobieństwa a posteriori 5.3.3. Metoda oparta na aproksymacji Laplace‘-a 5.3.4. Metody symulacyjne oparte na zastosowaniu łańcuchów Markowa5.4. Rozkład Dirichleta w modelowaniu zawartości dokumentów tekstowych5.4.1. Rozkład beta i rozkład Dirichleta 5.4.2. Probabilistyczna analiza dokumentów monotematycznych 5.5. Ukryta alokacja Dirichleta 5.5.1. Postać modelu 5.5.2. Rozkład a priori 5.5.3. Funkcja wiarygodności 5.5.4. Wnioskowanie 5.5.5. Algorytm LDA 5.6. Analiza streszczeń prac doktorskich Rozdział 6METODY WYKORZYSTUJĄCE WIEDZĘ DZIEDZINOWĄ6.1. Wstępna charakterystyka ontologii 6.2. Podobieństwo klas i instancji ontologii 6.2.1. Uwagi ogólne 6.2.2. Miary podobieństwa pomiędzy konceptami 6.2.3. Uwzględnienie kontekstu w wyznaczaniu podobieństwa pomiędzyklasami 6.3. Podobieństwo pomiędzy zbiorami klas 6.4. Analiza i pomiar podobieństwa dokumentów oparty na modeluontologicznym 6.5. Analiza treści kształcenia wybranych przedmiotów akademickich Rozdział 7OPIS ZAWARTOŚCI DOKUMENTÓW ZA POMOCĄ SŁÓW I FRAZ KLUCZOWYCH7.1. Klasyfikacja metod identyfikacji słów i fraz kluczowych 7.2. Metody oparte na częstości występowania terminów indeksujących 7.3. Metody oparte na teorii informacji 7.4. Metody oparte na współwystępowaniu wyrazów 7.4.1. Algorytm Matsuo-Ishizuki 7.4.2. Algorytm RAKE 7.5. Metidy oparte na wynikach analizy taksonomicznej 7.6. Algorytm KEA Rozdział 8ANALIZA OPINII KONSUMENCKICH8.1. Przedmiot badań 8.2. Rodzaje opinii i typy ich analizy 8.3. Rodzaje analiz opinii konsumenckich 8.4. Metody badawcze stosowane w analizie opinii 8.5. Analiza opinii nabywców telefonów komórkowychZakończenie Literatura