prikaz prve stranice dokumenta Obrada prirodnog jezika
  Preuzmi
PDF 24.65 MB
diplomski rad
Obrada prirodnog jezika
2019. urn:nbn:hr:126:997882
Pribisalić, Ena
Sveučilište Josipa Jurja Strossmayera u Osijeku
Odjel za matematiku
Zavod za primijenjenu matematiku i računarstvo
Katedra za primijenjenu matematiku i optimizaciju

Citirajte ovaj rad

Pribisalić, E. (2019). Obrada prirodnog jezika (Diplomski rad). Osijek: Sveučilište Josipa Jurja Strossmayera u Osijeku, Odjel za matematiku. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:126:997882

Pribisalić, Ena. "Obrada prirodnog jezika." Diplomski rad, Sveučilište Josipa Jurja Strossmayera u Osijeku, Odjel za matematiku, 2019. https://urn.nsk.hr/urn:nbn:hr:126:997882

Pribisalić, Ena. "Obrada prirodnog jezika." Diplomski rad, Sveučilište Josipa Jurja Strossmayera u Osijeku, Odjel za matematiku, 2019. https://urn.nsk.hr/urn:nbn:hr:126:997882

Pribisalić, E. (2019). 'Obrada prirodnog jezika', Diplomski rad, Sveučilište Josipa Jurja Strossmayera u Osijeku, Odjel za matematiku, citirano: 09.11.2024., https://urn.nsk.hr/urn:nbn:hr:126:997882

Pribisalić E. Obrada prirodnog jezika [Diplomski rad]. Osijek: Sveučilište Josipa Jurja Strossmayera u Osijeku, Odjel za matematiku; 2019 [pristupljeno 09.11.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:126:997882

E. Pribisalić, "Obrada prirodnog jezika", Diplomski rad, Sveučilište Josipa Jurja Strossmayera u Osijeku, Odjel za matematiku, Osijek, 2019. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:126:997882

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:126:997882
Prijavite se u repozitorij kako biste mogli spremiti objekt u svoju listu.
Podaci o radu
NaslovObrada prirodnog jezika
Naslov (engleski)Natural Language Processing
AutorEna Pribisalić
MentorDarija Marković (mentor)
Član povjerenstvaDomagoj Matijević (predsjednik povjerenstva)
Član povjerenstvaDarija Marković (član povjerenstva)
Član povjerenstvaDomagoj Ševerdija (član povjerenstva)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište Josipa Jurja Strossmayera u Osijeku
Odjel za matematiku
(Zavod za primijenjenu matematiku i računarstvo)
(Katedra za primijenjenu matematiku i optimizaciju)
Osijek
Datum i država obrane2019-09-17, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		PRIRODNE ZNANOSTI
Matematika
Matematička logika i računarstvo
Sažetak
Cilj ovoga rada je upoznavanje s osnovama obrade prirodnog jezika, točnije s analizom riječi i gramatičkih pravila koja koristimo u engleskom jeziku. Pri pretraživanju ili filtriranju teksta služimo se regularnim izrazima dok sličnost riječi mjerimo pomoću udaljenosti uređivanja. Ulazni tekst je potrebno normalizirati, a pri predvđanju iduće riječi u nizu koristimo modele N-grama koji se procjenjuju pomoću zbunjenosti. Kod modeliranja koriste se zaglađivanje te backoff i interpolacija. Drugi način komunikacije je govor, koji je potrebno digitalizirati i nakon toga obraditi. Danas postoje mnogi alati koji nam mogu pomoći u analizi zvučnih valova koji nastaju govorom. Sinteza govora može se provesti na 3 načina: lančanom sintezom, formantskom sintezom te artikularnom sintezom. Računalni pristup sintaksi predstavljaju kontekstno-slobodne gramatikame koje implementiraju gramatička pravila. Izvod pravila prikazujemo stablima parsiranja, a problem mapiranja niza riječi u pripadno stablo parsiranja zove se sintaktičko parsiranje pri čemu koristimo CKY (Cocke-Kasami-Younger) algoritam. Konačno, prvi korak pri procesu izvlačenju informacija je prepoznavanje imenskih entiteta. Taj dio izvlačenja informacija koristi označavanje riječi u nizu redom, uz IOB kodiranje, a pri procjeni ovakvih sustava koriste se opoziv, preciznost i F-mjera kao metrike.
Sažetak (engleski)
The aim of this paper is getting to know the basics of natural language processing, more precisely word and grammar rules analysis which we use in english language. We use regular expressions in tasks like searching and filtering a text and we measure word similarity using edit distance. We need to normalize the input text, and during next word prediction we use N-gram models which we evaluate with perplexity. We use smoothing, backoff and interpolation during modeling. Another way people can communicate is using speech, which needs to be digitized and processed. Today there is a plethora of tools which we can use to analyse speech sound waves. As for speech synthesis, there exist 3 different paradigms: concatenative synthesis, formant synthesis and articulatory synthesis. Approaching syntax from computational point of view, we use context-free grammars. Syntax parsing is a problem of mapping a word sequence into a parse tree, where a parse tree can be obtained by applying grammar rules. Here we use CKY (Cocke-Kasami-Younger) algorithm. Finally, the first step in information extraction is named entity recognition. This part of information extraction uses sequential word tagging, along with IOB encoding, and for system evaluation, we use recall, precision and F-measure.
Ključne riječi
Ključne riječi (engleski)
Jezikhrvatski
URN:NBNurn:nbn:hr:126:997882
Studijski programNaziv: Matematika; smjerovi: Financijska matematika i statistika, Matematika i računarstvo, Industrijska i primijenjena matematika
Smjer: Financijska matematika i statistika
Vrsta studija: sveučilišni
Stupanj studija: diplomski
Akademski / stručni naziv: magistar/magistra matematike (mag.math.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaOtvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Datum i vrijeme pohrane2019-09-19 06:56:09