NLP w celu podejmowania świadomych decyzji biznesowych

Aby umożliwić szybkie przeszukiwanie tekstu pod kątem cennych informacji, porównaliśmy podejście out of the box ze spersonalizowanym rozwiązaniem:

• cloudowe rozwiązanie out of the box bazujące na usłudze AWS Comprehend;
• spersonalizowane rozwiązanie oparte na modelowaniu tematycznym z wykorzystaniem LDA i rozpoznawaniu nazwanych encji (NER) w celu etykietowania dokumentów, aby umożliwić przeszukiwanie surowych, nieustrukturyzowanych tekstów.

Zaproponowaliśmy zastosowanie Modelowania Tematycznego, które pomaga określić listę tematów omawianych we wszystkich notatkach zebranych podczas spotkań i wskazać obecność jednego lub więcej tematów w każdym dokumencie. Ponadto nasz zespół wykorzystał rozpoznawanie nazwanych encji (NER) do wykrywania słów lub fraz w tekście, które mają albo wstępnie ustawiony typ generyczny (lokalizacja, osoba, podmiot geograficzny i geopolityczny) albo typ niestandardowy (produkt, organizacja, podmiot finansowy).

Oba podejścia pozwalają na wyszukiwanie informacji w nieustrukturyzowanym tekście, nakładając kontekst na treść poprzez oznaczenie jej metadanymi, które można odczytać maszynowo. Jednak podejście niestandardowe umożliwia etykietowanie nowych i niewidzianych dokumentów w locie, z jednym lub wieloma tematami znalezionymi za pomocą algorytmu modelowania tematycznego.

Jest to najlepsze rozwiązanie w przypadkach, gdy wymagana jest większa kontrola nad treningiem, optymalizacją i hostingiem modelu tematycznego (np. gdy mamy do czynienia z konkretną domeną tekstów, tak jak w naszym przypadku). Co więcej spersonalizowany model jest udoskonalany w trakcie tworzenia, więc nie wymaga dodatkowego wysiłku. Używając niestandardowych rozwiązań NER, opartych na modelu głębokiego uczenia, możemy wykrywać zarówno domyślne, jak i niestandardowe podmioty w czasie rzeczywistym.

Wykorzystane technologie