prikaz prve stranice dokumenta Generative Pre-Trained Transformers: Architecture, Pre-Training and Fine-Tuning
  Preuzmi
PDF 13.12 MB
završni rad
Generative Pre-Trained Transformers: Architecture, Pre-Training and Fine-Tuning
2024. urn:nbn:hr:126:086357
Sušac, Ivo
Sveučilište Josipa Jurja Strossmayera u Osijeku
Fakultet primijenjene matematike i informatike

Citirajte ovaj rad

Sušac, I. (2024). Generative Pre-Trained Transformers: Architecture, Pre-Training and Fine-Tuning (Završni rad). Osijek: Sveučilište Josipa Jurja Strossmayera u Osijeku, Fakultet primijenjene matematike i informatike. Preuzeto s https://urn.nsk.hr/urn:nbn:hr:126:086357

Sušac, Ivo. "Generative Pre-Trained Transformers: Architecture, Pre-Training and Fine-Tuning." Završni rad, Sveučilište Josipa Jurja Strossmayera u Osijeku, Fakultet primijenjene matematike i informatike, 2024. https://urn.nsk.hr/urn:nbn:hr:126:086357

Sušac, Ivo. "Generative Pre-Trained Transformers: Architecture, Pre-Training and Fine-Tuning." Završni rad, Sveučilište Josipa Jurja Strossmayera u Osijeku, Fakultet primijenjene matematike i informatike, 2024. https://urn.nsk.hr/urn:nbn:hr:126:086357

Sušac, I. (2024). 'Generative Pre-Trained Transformers: Architecture, Pre-Training and Fine-Tuning', Završni rad, Sveučilište Josipa Jurja Strossmayera u Osijeku, Fakultet primijenjene matematike i informatike, citirano: 10.11.2024., https://urn.nsk.hr/urn:nbn:hr:126:086357

Sušac I. Generative Pre-Trained Transformers: Architecture, Pre-Training and Fine-Tuning [Završni rad]. Osijek: Sveučilište Josipa Jurja Strossmayera u Osijeku, Fakultet primijenjene matematike i informatike; 2024 [pristupljeno 10.11.2024.] Dostupno na: https://urn.nsk.hr/urn:nbn:hr:126:086357

I. Sušac, "Generative Pre-Trained Transformers: Architecture, Pre-Training and Fine-Tuning", Završni rad, Sveučilište Josipa Jurja Strossmayera u Osijeku, Fakultet primijenjene matematike i informatike, Osijek, 2024. Dostupno na: https://urn.nsk.hr/urn:nbn:hr:126:086357

Za citiranje koristite ovu mrežnu adresu: https://urn.nsk.hr/urn:nbn:hr:126:086357
Prijavite se u repozitorij kako biste mogli spremiti objekt u svoju listu.
Podaci o radu
NaslovGenerative Pre-Trained Transformers: Architecture, Pre-Training and Fine-Tuning
AutorIvo Sušac
MentorDomagoj Matijević (mentor)
Ustanova koja je dodijelila
akademski / stručni stupanj		Sveučilište Josipa Jurja Strossmayera u Osijeku
Fakultet primijenjene matematike i informatike
Osijek
Datum i država obrane2024-09-23, Hrvatska
Znanstveno / umjetničko
područje, polje i grana		PRIRODNE ZNANOSTI
Matematika
Sažetak
With an emphasis on GPT models, this thesis explores the design, training, and optimization of large language models (LLMs). It starts by examining preprocessing approaches for text data, such as tokenization techniques (wordbased, character-based, Byte-Pair Encoding) and embeddings. Subsequently, the Transformer block was presented, highlighting the mechanisms that constitute the basis of the model: self-attention and fully-connected layers. The processes involved in optimizing model parameters were highlighted by the examination of the pre-training phase followed by fine-tuning, which demonstrated how models can be adapted efficiently to new tasks, particularly when using parameter-efficient techniques like LoRA and prompt tuning.
Ključne riječi
Jezikengleski
URN:NBNurn:nbn:hr:126:086357
Studijski programNaziv: Matematika i računarstvo
Vrsta studija: sveučilišni
Stupanj studija: prijediplomski
Akademski / stručni naziv: sveučilišni/a prvostupnik/prvostupnica (baccalaureus/baccalaurea) matematike i računarstva (univ. bacc. math. et comp.)
Vrsta resursaTekst
Način izrade datotekeIzvorno digitalna
Prava pristupaOtvoreni pristup
Uvjeti korištenjaIkona licence Zaštićeno autorskim pravom.
Datum i vrijeme pohrane2024-09-26 10:43:36