Radio Galaksija #191: Veliki jezički modeli i računarska lingvistika (doc. dr Tanja Samardžić) [30-01-2024]

U novoj i prvoj ovogodišnjoj epizodi pričamo o računarskoj lingvistici, o tome kako se u lingvistici uz pomoć računara naučnici bave jezikom u najfundamentalnijem (ali i praktičnom) smislu, a sve to u svetlu razvoja velikih jezičkih modela (Large Langugage Models, LLMs) za koje smo svi čuli tokom poslednjih par godina.

Gošća je doc. dr Tanja Samardžić, naša računarska lingvistkinja koja radi na Univerzitetu u Cirihu u Švajcarskoj u CLCL grupi (Computational Learning Computational Linguistics), drži kao gostujuća predavačica i predavanja na Univerzitetu u Ženevi, a bavi se velikim jezičkim modelom i obradom prirodnog jezika (NLP, natural language processing), u najširem mogućem kontekstu. 

Pričali smo o mnoštvu tema, od samih fundamentalnih pitanja koja se tiču toga šta je jezik, preko Noama Čomskog i generativne gramatike (šta je to?) do upotrebe mašina u lingvistici i lingvističkim praktičnim i teorijskim problemima, od mašinskog prevođenja, prvog prevodioca, preko chat botova, statističke revolucije koja se desila devedesetih godina prošlog veka, do savremenih modela koji dolaze iz oblasti mašinskog učenja i neuralnih mreža, razvoja savremenih pristupa poput enkoder-dekoder arhitektura i čuvenih transformera kod kojih je pažnja sve što vam treba, da bismo došli i do LLM-ova poput GPT-a (generative pre-trained transformer)! 

A sve to, naravno, kroz prizmu jezika i lingvistike, odnosno značaja i veze ovih fascinantnih dostignuća tehnologije sa naukom o jeziku.