System do gromadzenia i przetwarzania danych biobibliograficznych

Na zlecenie Instytutu Badań Literackich PAN stworzyliśmy kompleksowe narzędzie umożliwiające zarządzanie danymi biobibliograficznymi współczesnych pisarzy oraz badaczy literatury polskiej.

W ramach zlecenia stworzyliśmy nowoczesny system przystosowany do specyfiki przetwarzanych informacji. Dogłębnie analizując potrzeby pracowników naukowych i tłumaczy zbudowaliśmy zaawansowany proces przepływu informacji między użytkownikami. Ponadto zaimportowaliśmy i zintegrowaliśmy duże zbiory historycznych danych biobibliograficznych ze źródeł wskazanych przez klienta.

Do wspomnianych źródeł należy dostępny online słownik „Polscy pisarze i badacze literatury przełomu XX i XXI wieku”, skąd pobraliśmy treści, korzystając z narzędzi do web scrapingu. Zgromadzone dane zostały przeanalizowane i uporządkowane (rozpoznawanie struktury haseł), a następnie przeniesienie ich do bazy danych.

Jednym z większych wyzwaniem w projekcie było przygotowanie danych z kolejnego źródła. Otrzymaliśmy od klienta 10 zeskanowanych tomów słownika w formacie PDF po analizie narzędziem OCR oraz ich wersję roboczą (przed korektą edytorską) w formacie QRT (używanym przez dawny polski edytor tekstu, QR Tekst firmy Malkom). Z powodu licznych błędów w analizie OCR, scalaliśmy wersje haseł z obu tych formatów bazując na przygotowanej przez nas statystyce różnic między źródłami.

Po wdrożeniu system wspomaga pracę zespołu redakcyjnego, aktualizującego dane. Do najważniejszych udogodnień, jakie wprowadza stworzony przez nas system, należy śledzenie zmian, automatyczne tagowanie tekstów, edytor WYSIWYG i zestaw elastycznych narzędzi służących do modyfikowania struktury przechowywanych treści.

Status realizacji

WDROŻONA

Liczba użytkowników

kilkunastu

Rozmiar danych

+35.000 rekordów

Zakres technologiczny

PHP, Python, JavaScript


Jeżeli masz ochotę dowiedzieć się więcej na temat tego rozwiązania, lub potrzebujesz podobnej aplikacji, napisz do nas.

Jeżeli interesują Cię innego rodzaju projekty lub chcesz szerzej poznać naszą działalność, zapraszamy do katalogu wybranych projektów.