Русский мультиканальный дискурс

Аннотирование подкорпуса реализовано по следующим типам аннотации: вокальная (вербально-просодическая), мануальных жестов, жестов головы, направления взора. Вокальная аннотация состоит в членении речевого потока на значимые фрагменты (элементарные дискурсивные единицы — ЭДЕ, слова, заполненные и незаполненные паузы, неречевые звуки), а также в приписывании свойств ЭДЕ и отдельным их частям. Для аннотации мануальных жестов была разработана новая оригинальная методика, направленная на выделение жестов, цепочек жестов и фаз жестов, а также признаков этих единиц, в частности рукость. В результате аннотирования мануального компонента подкорпуса была получена покадровая (с шагом в 10 мс) разметка движений рук, реализованная в программе ELAN. Аннотирование жестов головы было основано на тех же принципах, которые были разработаны в рамках проекта для аннотирования мануальных жестов, за исключением разметки фаз. В ходе аннотирования глазодвигательного компонента (направления взора) подкорпуса был произведен экспорт данных айтрекинга на видеосцену («наложение точки»), а также с помощью программы Tobii Pro Glasses Analyzer были извлечены данные о временной развертке всех фиксаций длительностью выше 100 мс, на которые потом в ручном режиме была наложена аннотационная схема с тремя слоями: Fixations, Interlocutor и Locus.

В пилотном порядке были разработаны принципы более полной мультиканальной аннотации дискурса. Этот формат аннотации, помимо перечисленных выше уровней, включает также четыре дополнительных типа разметки: фонетический, жестов тела (телодвижений), мимики и проксемики. Пример полной аннотации приводится ниже. Этот пример представляет собой фрагмент мультиканального дискурса из 22 записи. В аннотацию включены только коммуникативные действия рассказчика (N), так как при включении всех собеседников пример получился бы слишком громоздким. Этот подход позволяет увидеть, что рассказчица, даже когда она ничего не произносит, производит большое число различных коммуникативных действий.

Чтобы ознакомиться с примером, прочитайте инструкцию здесь.

Пример полной мультиканальной аннотации
pears22N-mult-fragment.eaf (380 KB)
pears22N-mult-fragment.pfsx (8 KB)
Pears22N-au-fragment.wav (7.2 MB)
Pears22N-vi-fragment.avi (480 MB)
Pears22N-ey-fragment.avi (66 MB)
Pears22W-vi-fragment.avi (185 MB)
Написать письмо администратору