Інші праці КІТС (ДМетІ)

Permanent URI for this collection

http://crust.ust.edu.ua/handle/123456789/14594

Browse

Browsing Інші праці КІТС (ДМетІ) by Subject "adaptive alignment"

Now showing 1 - 1 of 1
  • Thumbnail Image
    Item
    Контекстно залежна адаптація відповідей генеративних LLM
    (Український державний університет науки і технологій, ІВК «Системні технології», Дніпро, 2025) Березюк, Микита Олександрович; Гуда, Антон Ігорович
    UKR: В умовах кризових ситуацій оперативність реагування набуває вирішального значення. Великі мовні моделі (LLM) здатні генерувати корисні рекомендації, однак їх стандартна поведінка часто не враховує специфічний контекст надзвичайних подій. У цій доповіді пропонується Adaptive Injectable Realignment Model (Adaptive IRM) як підхід для досягнення контекстно залежної генерації відповідей. Adaptive IRM – це невеликий нейронний модуль, який інтегрується у прямий прохід LLM та ін’єктує контекстні сигнали для корекції внутрішніх представлень моделі без зміни її основних ваг. Наша розробка орієнтована на кризовий контекст, з використанням N нейронів (у нашому випадку N = 4), які відповідають за стихійні лиха (землетрус, повінь, пожежу та ураган). Вихідні сигнали Adaptive IRM, які додаються на різних шарах трансформера, модифікує механізми уваги з метою підсилення інформації, релевантної конкретному контексту. У доповіді окреслено архітектуру IRM, описано запропоновані розширення, а також подано план використання датасету HumAID для навчання Adaptive IRM. Експериментальні результати поки відсутні; натомість, обговорено концепцію, мотивацію та перспективи впровадження запропонованої системи.