Сегментація тексту в багатосторонніх діалогах

Abstract

У статті йдеться про повноцінний відкритий інструмент, що дозволяє виконувати сегментацію діалогів кількох учасників з використанням мінімального обсягу навчальних текстів або без його використання; доведено, що основною проблемою існуючих рішень є неповноцінність їх інструментів, які виступають лише демонстрацією можливих способів решения; запропоновано гібридну модель сегментації, що базується на використанні ембедінгів BERT та деяких лінгвістичних ознак, унікальних для діалогів кількох учасників; представлено хороші результати моделі, які можна порівняти з провідними результатами, описаними в роботах за цією тематикою; підсумком роботи стало створення повноцінного інструменту, що дозволяє автоматично відтворювати сегментацію. The article discusses a full-fledged open tool that allows segmentation of multi-participant dialogues with minimal or no training texts; It is proven that the main problem of existing solutions is the inferiority of their tools, which serve only as a demonstration of possible solutions; a hybrid segmentation model is proposed, based on the use of BERT embeddings and some linguistic features unique to multi-participant dialogues; good model results are presented, which can be compared with the leading results described in works on this topic; the result of the work was the creation of a full-fledged tool that allows automatic segmentation reproduction.