FacebookTwitter

Семинар по Приложна математика

25 октомври 2023 @ 15:00 - 16:30

Крайни автомати и невронни мрежи за езиково моделиране

Докладчик: проф. Стоян Михов
Дата: 25.10.2023 г.
Час: 15:00 ч.
Място: Зала 503 на ИМИ-БАН

Резюме: Езиковите модели са основен инструмент за решаването на редица сложни задачи като извличане на информация, генерация на естествен език, машинен превод, речева комуникация и много други. Традиционно езиковите модели се представят с крайни преобразуватели. През последните години обаче езиковите модели, базирани на невронни мрежи, извършиха значителен скок в качеството на езиковото моделиране, с което се постигнаха близки до човешки способности в много задачи за разбиране на естествен език.

В предстоящата лекция ще направим първо кратък преглед на традиционните представяния на езикови модели, базирани на крайни преобразуватели. След това ще покажем често използвани архитектури на невронни мрежи за езиково моделиране и ще обсъдим техните предимства спрямо моделите, базирани на крайни преобразуватели.
В третата част на лекцията ще представим нашия подход за конструиране на ансамбли от крайни автомати, използвайки методите на дълбокото машинно обучение. По този начин ще комбинираме високото качество на невронните езикови модели с изчислителната ефективност на крайните автомати. Ще покажем, че клас от архитектури на невронни мрежи е изчислително изоморфен на клас от ансамбли от крайни автомати.

В заключение, ще представим емпирични резултати, показващи, че с помощта на нашия подход достигаме до перплексия (качество) на езиковите модели, реализирани с ансамбли от крайни автомати, конкурентна с перплексията на невронните езикови модели.

Фейсбук страница на семинара: Семинар по Приложна математика

Share This Story, Choose Your Platform!

FacebookTwitterRedditLinkedInWhatsAppTumblrPinterestVkXingЕлектронна поща:
Go to Top