Мультиканальный (мультимодальный) корпус — это сочетание двух компонентов. Во-первых, это совокупность медиафайлов, фиксирующих коммуникацию между людьми. Во-вторых, это аннотация коммуникативных событий, содержащихся в медифайлах. Мультиканальные корпуса различаются по ряду параметров, включая степень естественности материала (от экспериментальных материалов до ничем не ограниченной коммуникации), количество собеседников (два, три и больше) и характер среды (от специально созданной до произвольной). Создаваемый нашей группой корпус «Рассказы и разговоры о грушах» по этим параметрам может быть охарактеризован следующим образом: отчасти структурированный материал с фиксированными ролями коммуникантов, но довольно свободным характером коммуникации; четыре собеседника; специально подготовленная среда.

Корпус состоит из отдельных коммуникативных эпизодов (так называемых записей), в каждом из которых участвует четыре человека — Рассказчик (Narrator), Комментатор (Commentator), Пересказчик (Reteller) и Слушатель (Listener). Название корпуса обусловлено тем, что двое из участников вначале смотрят известный в лингвистике стимульный материал — шестиминутный фильм, так называемый «Фильм о грушах», созданный в 1970-е гг. в Беркли исследовательской группой под руководством У. Чейфа (см. http://www.linguistics.ucsb.edu/faculty/chafe/pearfilm.htm). В этом фильме, не включающем никаких речевых действий персонажей, показана история о взаимодействии ряда лиц, в том числе садовника, собирающего груши, мальчика, крадущего корзину с грушами, и еще нескольких. Фильм представляет собой хорошо продуманную цепь физических и социальных событий и давно зарекомендовал себя как превосходный способ получать компактные и сравнимые между собой пересказы.

Фильм просматривается участниками коммуникации, которые в дальнейшем выполняют роли Рассказчика и Комментатора. На рисунке можно видеть общий дизайн ситуации, в которой происходит коммуникация.

Общий дизайн коммуникативной ситуации

Рассказчик рассказывает Пересказчику содержание фильма в режиме монолога. Затем наступает интерактивный этап, в течение которого Комментатор дополняет или уточняет рассказ, а Пересказчик задает вопросы обоим собеседникам, видевшим фильм. После этого появляется Слушатель, и Пересказчик пересказывает ему фильм, опять в режиме монолога. В конце Слушатель должен письменно записать еще один, вторичный, пересказ фильма (см. пример). Два последних этапа необходимы для того, чтобы мотивировать всех участников к полноценной и осмысленной коммуникации.

Корпус «Рассказы и разговоры о грушах» состоит из двух частей. Первая часть была собрана летом 2015 г.; она включает 24 записи общей длительностью около 9 часов, средней длительностью одной записи 23 минуты с разбросом от 12 до 38 минут и объемом около 100 тыс. словоупотреблений; в записях в общей сложности приняли участие 96 человек от 18 до 36 лет, включая 34 мужчины и 62 женщины. Вторая часть корпуса была собрана летом 2017 г.; она включает 16 записей общей длительностью около 6 часов, средней длительностью одной записи 21 минута с разбросом от 8 до 41 минут и объемом около 60 тыс. словоупотреблений; в записях в общей сложности приняли участие 64 человека от 18 до 36 лет, включая 16 мужчин и 48 женщин. Перед началом записей все участники подписывали согласие на участие в исследовании, а также заполняли анкету участника и опросник, определяющий ведущую руку.

В демонстрационных целях на сайте представлены медиафайлы и аннотации для трех записей 2015 года: №04, №22 и №23. В состав каждой записи входит 18 медиафайлов, в том числе:

• 4 аудиофайла в формате wav c параметрами записи 48kHz / 16bit:
  • с микрофона Рассказчика (моно)
  • с микрофона Комментатора (моно)
  • с микрофона Пересказчика (моно)
  • с общего микрофона, установленного в середине помещения (стерео)
• 4 видеофайла в формате mjpeg (контейнер avi):
  • индивидуальное видео Рассказчика (разрешение 1024×736, частота 100 к/с)
  • индивидуальное видео Комментатора (разрешение 1024×736, частота 100 к/с)
  • индивидуальное видео Пересказчика (разрешение 1024×736, частота 100 к/с)
  • видео общего плана (разрешение 1024×576, частота 50 к/с).
• 3 файла, записанные при помощи айтрекеров (формат avi, разрешение 1024×576, частота 25 к/с):
  • видео с айтрекера Рассказчика, записанное при просмотре стимульного фильма (суффикс f в названии файла)
  • видео с айтрекера Рассказчика, записанное в ходе коммуникации
  • видео с айтрекера Пересказчика, записанное в ходе коммуникации.

В комплект также входят облегченные (суффикс -lite в названии файла) версии тех же файлов в формате avi (кодек H.264), которые удобно использовать для предварительного ознакомления с корпусом.

В названии каждого файла указывается номер записи, код участника — N (Рассказчик), C (Комментатор), R (Пересказчик) или W (общий файл), а также тип файла — au (аудиофайл), vi (видеофайл) или ey (файл, записанный при помощи айтрекера).

В число аннотационных файлов для записи входят:

• индивидуальные вокальные аннотации (суффикс -voc в названии файлов), которые включают сегментную аннотацию, выполненную в программ Praat (формат textgrid), и транскрипты с указанием временно́й динамики вербальных элементов (суффикс -verb, формат doc);
• партитурный вокальный транскрипт, в котором совместно учитывается вокальный вклад всех трех основных участников записи (суффикс -voc-scores, формат xls);
• референциальная аннотация, выполненная в программе ELAN (формат eaf) и представляющая собой надстройку над вокальной разметкой, в которой содержится информация о свойствах языковых выражений с конкретной референцией (суффикс -ref); для всех аннотаций, выполненных в программе ELAN, также представлен вспомогательный файл в формате pfsx;
• кинетическая аннотация, выполненная в программе ELAN (формат eaf), включающая аннотацию жестов рук (суффикс -manu) и жестов головы (суффикс -ceph); для всех аннотаций, выполненных в программе ELAN, также представлен вспомогательный файл в формате pfsx;
• окуломоторная аннотация (суффикс -ocul), выполненная в двух форматах — в программе Excel (формат xls) и программе ELAN (формат eaf). Экспорт данных айтрекинга на видеосцену, отображаемый в виде видеофайла с наложенной точкой, служит в первую очередь для иллюстративных целей, поэтому представленные в нем данные не всегда совпадают с точными данными временной развертки, которые зафиксированы в аннотационных файлах.

Принципы аннотации описаны здесь.

©Сайт: М. Л. Буряков, Г. Б. Добров