| Tartalmi leírás: |
A GPT-2 egy kizárólag dekóderrel rendelkező autoregresszív transzformer modell, amely elsősorban szöveggeneráló feladatokra alkalmas. A kutatásomban betanítottam egy kísérleti GPT-2 modellt magyar nyelvre, majd azt tovább finomhangoltam különböző nyelvtechnológiai feladatokra. A kísérleteimben az előtanított GPT-2 modellemet mondatszintű és tokenszintű szövegosztályozás, absztraktív szövegösszefoglaló generálás, hírgenerálás és versgenerálás feladatokra finomhangoltam. Az eredmények alapján a GPT-2 kevésbé teljesít jól szövegosztályozás feladatokra. Absztraktív szövegösszegzés feladatában versenyképes eredményeket ért el, azonban a szöveggenerálás eredményei még érdekesebbek. A GPT-2 modellemmel létrehoztam egy hír- és egy versgenerátort.
|
