Szacuje się, że w polskim Internecie zgromadzonych jest teraz około miliarda polskojęzycznych dokumentów. Dane te porządkują i analizują twórcy polskiej semantycznej wyszukiwarki internetowej Nekst. System ma pozwolić na bardziej precyzyjne przeszukiwanie polskich tekstów.
„Nawet Google czy Yahoo, przy całej swojej potędze, prawdopodobnie nie mają zebranego całego polskiego Internetu” – przyznaje kierownik projektu, prof. Jacek Koronacki, dyrektor IPI PAN. Szacuje, że wyszukiwarki te gromadzić mogą np. tylko co piąty dokument po polsku.
Na razie twórcom polskiej wyszukiwarki udało się zebrać 160 mln polskojęzycznych dokumentów, a więc ok. 16 proc. polskiego Internetu. Jak zaznacza w rozmowie z PAP jeden z twórców wyszukiwarki, dr Dariusz Czerski z IPI PAN, problem nie leży w przechowaniu na serwerach instytutu surowych tekstów. Skompresowane zajmują one ok. 3 terabajtów, czyli zmieściłyby się na trzech niedużych przenośnych dyskach twardych. Jednak teksty te należy na bieżąco opisywać i uporządkować, aby można je było przetwarzać dla potrzeb wyszukiwania.
Polska wyszukiwarka będzie działała według innych algorytmów niż największe wyszukiwarki międzynarodowe. „Te wyszukiwarki nie mają mechanizmów, które naśladowałyby rozumienie języka” – opowiada prof. Koronacki i podkreśla, że Nekst będzie pierwszą w Europie tak dużą wyszukiwarką semantyczną dla narodowego języka.
Nekst nie będzie wyszukiwała na stronie jedynie ciągu znaków – słów kluczowych, ale będzie raczej analizować gromadzone teksty pod kątem istotniejszych słów i wyrażeń wielosłownych (np. fraz rzeczownikowych), które w tekście pojawiają się najczęściej. Dzięki temu wyszukiwarka będzie mogła „wywnioskować”, o czym jest dany tekst i jak najskuteczniej go zaklasyfikować. „Musimy umieć budować mechanizmy rozumienia języka, które zdecydowanie różnią się od inżynierii dla języka angielskiego. Musimy zwłaszcza umieć uwzględniać fleksję i swobodny szyk zdania” – wyjaśnia prof. Koronacki.
I tak przykładowo, jeśli internauta zapyta o opony, Nekst ujednoznaczni zapytanie i dopyta, czy chodzi o opony samochodowe (bo może też chodzić o opony mózgowe). Pokaże szukającemu linki także do stron, w których nie ma frazy „opony samochodowe”, ale występuje rdzeń słowa „opony” i pojawiają się inne słowa, które wskażą, że strona rzeczywiście poświęcona jest motoryzacji.
Pytania zadawane wyszukiwarce mogą być zamawiane w języku naturalnym, a więc będą bardziej podobne do pytań zadawanych człowiekowi. Jej twórcy chcą też, by wyszukiwarka Nekst podawała nie tylko linki do stron, ale również wskazywała interesujący osobę zadającą pytanie fragment strony. Jeśli zapytamy, w którym roku zmarł Kazimierz Wielki, powinna ona wskazać w dokumentach zdania zawierające odpowiedź – np. „Kazimierz Wielki zmarł w 1370 r”.
Mechanizmem, który ma pomóc maszynie w rozumieniu języka polskiego, jest powstała na potrzeby wyszukiwarki tzw. ontologia, czyli zbiór pojęć wraz ze związkami między nimi, podobna ale różna od ontologii Wikipedii oraz podobna do tworzonego w ramach innego projektu słownika „Słowosieć” . Między innymi dzięki niej wyszukiwarka będzie mogła porządkować strony i wyszukiwać między nimi powiązania.
Naukowcy pracują też nad tym, by ich system potrafił analizować wydźwięk emocjonalny danej wypowiedzi. Mechanizm będzie umiał rozpoznać, czy o danym zjawisku, firmie czy osobie mówi się w pozytywny czy w negatywny sposób. „Istnieją firmy, które taki wydźwięk starają się badać. Działają one jednak w ograniczonych warunkach. My za to będziemy mieli dostępny cały polski Internet – zwraca uwagę dr Dariusz Czerski. – Posiadając ogromne ilości danych jesteśmy w stanie lepiej wywnioskować, które teksty posiadają wydźwięk emocjonalny, a które są czystą informacją bez nacechowania emocjonalnego”.
Uczestnicy projektu Nekst chcą też, by ich system w przyszłości usprawnił wykrywanie plagiatów. „Obecnie stosowane programy antyplagiatowe przeszukują bazę prac magisterskich, czy nawet prac doktorskich, ale nie mają całego polskiego Internetu” – zaznacza prof. Koronacki i wyjaśnia, że Nekst rozpozna plagiat nawet, jeśli zamieniony będzie szyk zdania, dodane będą pewne dodatkowe wyrazy, czy jeśli pewne słowa zastąpi się synonimami.
W ramach projektu trwają też prace nad analizą obrazów – wyszukiwarka w dokumentach będzie mogła po pewnego stopnia rozpoznawać, co jest na ilustracjach, co da dodatkową informację o dokumencie. Nekst ma też pomóc tłumaczom – linki do polskich stron zwracać ma na zapytania w języku angielskim i niemieckim. „Jesteśmy otwarci na propozycje współpracy z podmiotami, które spopularyzują naszą wyszukiwarkę, czy nawet będą chciały ją poprawić” – podsumowuje Koronacki.
Projekt „Adaptacyjny system wspomagający rozwiązywanie problemów w oparciu o analizę treści dostępnych źródeł elektronicznych”, którego wartość to niemal 15 mln zł, finansowany jest z Programu Operacyjnego Innowacyjna Gospodarka.
Autor: Ludwika Tomala (PAP)
Więcej o projekcie: http://nekst.ipipan.waw.pl/
