Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Litera
Reference:

Relevance of Elements in Multimodal Texts

Solntseva Elena Sergeevna

PhD in Philology

Assistant Professor at Saint Petersburg State University

199034, Russia, Saint Petersburg, Universitetskaya nab., 11

shelestelena@yandex.ru
Other publications by this author
 

 

DOI:

10.25136/2409-8698.2018.1.25194

Received:

14-01-2018


Published:

15-03-2018


Abstract: The subject of the research is the multimodal elements in 100 articles of electronic edition of The New York Times of March, 2017. Solntseva examines various kinds of such elements, in particular, photo, video, hyperlink to associated articles, hyperlinks to the front-page news, subscription offer, advertising and technical links. The author focuses on frequency with which these elements can be found in electronic articles. The author also analyzes the dependence of the frequency of multimodal elements on their relevance. The author applies the method of empirical analysis (observation) and describes kinds of multimodal elements in the aforesaid edition using the method of continuous sampling as well as uses the method of classification depending on the frequency of each element in a given or other articles. The main result of the research is the author's description of 5 relevance levels of multimodal elements and discovery of the inverse relation between information relevance and frequency of references to this information in a given or other articles. This dependence can be described using the following formula: the more likely an element is to appear in an article and the more frequent similar elements are found within an article, the lower their relevance for the article is. The author also discovers the inverse dependence between the frequency of a multimodal element and relevance thereof: the more relevant information is, the more frequent this information can be found in articles and the more frequent this information is expressed in the best parts of the article. 


Keywords:

multimodality, multimodal elements, polycode, mass media text, mass media discourse, relevance, levels of relevance, types of relevance, New York Times, English language


К вопросу о понятиях поликодовости и релевантности

Виртуальное существование современного медиадискурса становится причиной полиководости, неоднородности текстов СМИ.Поликодовость – свойство текста, его способность сочетать в себе элементы разных форматов, а именно аудиальные, визуальные, текстовые [9], – также называется «гетерогенностью» [11], «интегративностью» [4], «мультикодовостью» [12], «мультимодальностью» [10]. Поликодовость исследуется в работах В. Е. Чернявской [9], Н. В. Чичериной [11], Н. А. Кузьминой [4], Д. С. Мичурина [5], И. А. Шиповой [12], В. А. Торопкиной [8], Е. Ю. Дьяковой [2], Е. А. Болдыревой [1] и др. В англоязычной научной литературе применительно к поликодовым текстам можно встретить термины «combined» [16], «creolized», «multimodal» [14]. Исследованию различных видов информации в тексте и ее восприятию посвящены работы Г. Кресса [14], Д. Мейчина [15], К. Базалгетт, Д. Бекингема [13], Л. Макарук [16] и др. Наиболее удачным представляется термин «поликодовость» как отражающий основное содержание понятия, а именно разнообразие кодов, используемых в тексте или дискурсе.

Поликодовость особенно актуальна для интернет-текстов, так как в веб-пространстве предоставляются наиболее широкие возможности для сочетания различных элементов в публикациях. Поликодовыми элементами в медиадискурсе становятся собственно текст статьи, фотографии, гиперссылки на видео или аудиофрагменты, рекламные объявления, а также гиперссылки на другие ресурсы, например, социальные сети, в которых возможно немедленное обсуждение информации с другими участниками веб-коммуникации.

При целостном подходе разные фрагменты поликодового текста обнаруживают разную степень релевантности, то есть соответствия полученной информации запросу. Термин «релевантность (лат. relevo – поднимать, облегчать)» используется в лингвистической прагматике, логике, теории речевого общения, когнитивной лингвистике, теории информации, коммуникации, кибернетики и др. [7]. Одно из понятий, наиболее близких «релевантности» – это «адекватность», то есть оценка степени соответствия и степени практической применимости результата. Ключевым параметром релевантности становится тематическая адекватность и коммуникативная успешность. Высказывание тем релевантнее, чем меньше усилий необходимо для его интерпретации или понимания [6].

Релевантность информации – наличие связи с проблемой (соответствие интересам) и способность информации внести вклад в процесс понимания проблемы. Принятие решения о релевантности информации некой проблеме осуществляется по наличию ключевых слов, относящихся к запросу (названий, имен, дат, специфических терминов и т.п.), а также при наличии косвенного, смыслового указания на запрашиваемую тему [7]. При таком подходе релевантность в медиадискурсе может быть сопоставима с тематической, или глобальной, связностью: при прочтении статьи на определенную тему читатель ожидает увидеть в этой статье сведения (текст, фото, гиперссылки), связанные именно с этой темой.

Поликодовость статей в TheNewYorkTimes

Современная статья в медийных ресурсах сети интернет выглядит достаточно разнообразно. Уже с первых страниц издания взгляду читателя открывается огромное число фото, видео, текстовых и гипертекстовых фрагментов. На рисунке 1 представлен фрагмент передовицы электронной версии издания The New York Times от 08.03.2017.

Рис. 1. Передовица The New York Times [Alberto Conti/Contrasto/Redux, The New York Times 08.03.2017.]

Как видно на изображении, центральное место в структуре первой страницы издания занимает фотография, иллюстрирующая главную новость дня. Слева и справа от основной статьи помещаются также гиперссылки-заголовки и подзаголовки других статей, приглашающие читателя ознакомиться с содержанием самых важных событий. Некоторые из гиперссылок также снабжаются фотографиями или символами. Кроме того, передовица содержит рубрикатор и строку поиска, а также клавиши оформления подписки и входа в свой личный кабинет.

Если открыть одну из статей целиком, то ее структура схематично будет выглядеть, как изображено на рисунке 2.

Рис.2. Структурастатьи «G.O.P. Health Bill Faces Revolt From Conservative Forces» [Jennifer Steinhauer, The New York Times, 07.03.2017].

На рисунке слева направо изображены три страницы, последовательно сменяющие друг друга при перелистывании статьи вниз. Видно, что текст о событии неоднороден, он перемежается рекламой, фотографиями, а также разными перекрестными ссылками. Присутствуют разделы со ссылками на статьи похожей тематики и на другие рубрики издания. В середине статьи встречаются блоки рекламы или предложения о подписке.

Размер такой статьи достаточно велик, он может превышать размер, сопоставимый с целым печатным разворотом. Структура нелинейна, так как возможности перехода по ссылкам делают связи одной статьи с другими ресурсами практически бесконечными. Такая неоднородность требует от читателя восприятия информации в медиатексте не только путем логико-методологических процедур, но также с участием интуитивного и творческого подходов [3].

Ход исследования

Материалом для анализа послужили 100 статей издания The New York Times за март 2017 года. Был применен эмпирический метод наблюдения, выделение типов поликодовых элементов в анализируемом издании методом сплошной выборки, а также их классификация с точки зрения частотности появления каждого элемента в этой и других статьях.

Обсуждение результатов

Установлена обратная зависимость релевантности отображаемой информации от частотности ее появления в данной и других статьях. В целом, выделимы 5 уровней релевантности поликодовых элементов в медиадискурсе. Для наглядного представления они обозначены в процентном соотношении. Однократное появление элемента на страницах издания принято условно за стопроцентную релевантность, а появление элемента абсолютно в каждой статье и на каждой странице издания условно за десятипроцентную. Нулевая релевантность видится неприменимой, так как это означало бы полное отсутствие релевантности элемента и как следствие полное отсутствие смысла в его появлении на странице статьи.

1. 100% Практически абсолютной релевантностью обладает сам текст статьи, а также фото-, аудио- и видео-фрагменты. Они связаны с темой сообщения и могут встретиться читателю только один раз в одной конкретной статье. Эти элементы уникальны и не повторяются в этой или других статьях. Они могут комбинироваться, то есть в одной статье может встретиться несколько фотографий, однако они все будут разными и не будут дублироваться в других контекстах. На рисунке 3 представлено, как это отображается на страницах The New York Times.

Рис. 3. Релевантность 100%. Текст, фото, видео. [Katherine Rosman, Emily Berl, David Terrazas, The New York Times 04.03.2017.]

Здесь обращает на себя внимание использование условных обозначений для перехода к просмотру фото в режиме слайд-шоу или видео (см.выделенное). Они также служат гиперссылками, связывающими дополнительную информацию с текстом статьи. Такие ссылки размещаются непосредственно в начале статьи, иногда в сочетании с фотографией, в том числе до начала основного текста. Статьи, содержащие видео-фрагменты, как правило, небольшого объема, что вызвано несомненным перевесом в экспрессии у видео-ряда по сравнению с текстом.

2. 70% Сюда относятся ссылки на статьи похожей тематики (раздел Related Coverage «Еще по теме»), которые в анализируемом издании располагаются справа от самого текста (см. рисунок 4). Они обладают высокой степенью релевантности, однако встречаются уже не только в отдельной статье, но и в каждом тексте, относящемся к одной теме, что в рамках данного исследования составило.

Рис.4. Релевантность 70%. Статьи по теме. [Sui-Lee Wee, Ng Han Guan/Associated Press, The New York Times 08.03.2017.]

Ссылки на статьи похожей тематики также сопровождаются фотографиями, привлекающими внимание читателя даже при беглом просмотре страницы.

3. 50% Менее релевантны разделы Latest «Недавно», More «Больше», Trending «Актуальное», то есть перечни заголовков, отсылающих читателя к другим рубрикам издания. Сюда входят основные новости дня, которые с большей вероятностью прочтут постоянные пользователи электронного издания. На рисунке 5 представлены разные виды таких ссылок.

Рис.5. Релевантность 50%. Недавние события. [TheNewYorkTimes 08.03.2017.]

Такие перечни располагаются по всему периметру статьи. В основном, они занимают положение в конце статьи, а также справа или в начале, перед основным текстом (см.выделенное), постоянно повторяясь даже при перелистывании статьи. С одной стороны, характер расположения этих элементов на странице призван не мешать восприятию содержания, но с другой, количество таких ссылок само по себе ведет к рассеиванию внимания читателя и поверхностному прочтению главной информации.

4. 30% Еще менее релевантными становятся предложения о подписке на новости или на само издание (например, на рисунке 6).

Рис.6. Релевантность 30%. Подписка. [TheNewYorkTimes 08.03.2017.]

Использование повелительного наклонения в сочетаниях Sign Up «Подписывайтесь», Subscribenow «Подпишитесь сейчас» (см. выделенное) и др. и высокая частотность их появления на странице со статьей (3-4 раза в каждой статье издания) делают такие вкрапления навязчивыми и носящими рекламный характер. Тем не менее, их появление в тексте статей обусловлено интересом читателей к предложенной информации, что позволяет обнаружить косвенную семантическую связь с тематикой издания и говорить о небольшом уровне релевантности этих элементов.

5. 10% Самой меньшей степенью релевантности обладают блоки текстовой, фото- и видео-рекламы, ссылки-иконки, позволяющие поделиться новостью в социальных сетях (Facebook«Фейсбук», Instagram«Инстаграм», Tweet «Твиттер»), или ссылки-иконки технического характера, дающие возможность распечатать или сохранить статью (Save «Сохранить», Print «Напечатать»). На рисунке 7 представлены образцы таких элементов со страницы The New York Times от 08.03.2017.

Рис.7. Релевантность 10%. Реклама и ссылки-иконки. [TheNewYorkTimes 08.03.2017.]

Подобные поликодовые фрагменты встречаются во всех позициях текста, но они не привязаны к сюжету статьи ни тематически, ни лексически. Их можно легко обнаружить во всех статьях и поэтому они обладают наименьшей степенью релевантности.

Выводы

Таким образом, обратная зависимость релевантности информации данной статьи от частотности ее нахождения в этой и других статьях подчиняется формуле: чем вероятнее появление какого-либо элемента в другой статье и чем выше повторяемость таких элементов в пределах одной статьи, тем ниже их релевантность для данной статьи.

Также обнаруживается обратная зависимость навязчивости поликодового элемента от его релевантности: чем менее релевантна информация, тем чаще и в бóльших количествах ее можно видеть на странице со статьей, тем чаще она занимает экспрессивно удачное место в структуре статьи.

Следует отметить существенное превышение количества не самой релевантной информации (пункты 2-4) над самой релевантной (пункт 1), и, как следствие, серьезное затруднение восприятия релевантной информации в современных средствах массовой информации.

References
1. Boldyreva E. A. Struktura teksta gazetnoi stat'i i nerelevantnost' tekstovogo soderzhaniya // Vestnik Voronezhskogo gosudarstvennogo universiteta. Seriya: Lingvistika i mezhkul'turnaya kommunikatsiya. 2014. №2. S. 14-17. URL: https://cyberleninka.ru/article/n/struktura-teksta-gazetnoy-stati-i-nerelevantnost-tekstovogo-soderzhaniya
2. D'yakova E. Yu. Polikodovyi tekst v britanskom reklamnom diskurse sfery obrazovaniya: diss…kand. filol. nauk. Voronezh, 2011 .219 s.
3. Kozhemyakin E. A. Massovaya kommunikatsiya i mediadiskurs: k metodologii issledovaniya // Nauchnye vedomosti Belgorodskogo gosudarstvennogo universiteta. Seriya: Gumanitarnye nauki. №2 (73). 2010. Vyp.11. S.13—21.
4. Kuz'mina N. A. Sovremennyi mediatekst. Omsk, 2011. 414 s.
5. Michurin D. S. Pretsedentnyi polikodovyi tekst v verbal'no-izobrazitel'noi kommunikatsii internet-soobshchestv (na materiale russkoyazychnykh imidzh-forumov): diss…. kand. filol. nauk. Tver', 2014. 162 s.
6. Popova G. E. Relevantnost' vyskazyvaniya kak edinitsy rechevogo vzaimodeistviya: avtoref.diss…. kand. filol. nauk. Voronezh, 2004. 32 s.
7. Slovar' inostrannykh slov russkogo yazyka. 3-e izdanie. / Pod red. A.N. Chudinova. 2009. URL: https://dic.academic.ru/dic.nsf/dic_fwords/47555
8. Toropkina V. A. Polikodovost' zagolovkov sovremennykh mediatekstov v aspekte yazykovoi igry // Ural'skii filologicheskii vestnik. Seriya: Russkaya literatura XX-XXI vekov: napravleniya i techeniya. 2016. Vyp.2. S.259 266.
9. Chernyavskaya V. E. Lingvistika teksta: Polikodovost', intertekstual'nost', interdiskursivnost'. M.: Knizhnyi dom «LIBRO-KOM», 2009. 284 s.
10. Chernyavskaya V. E. Medial'nyi povorot v lingvistike: polikodovye i gibridnye teksty. // Vestnik IGLU. Irkutsk: IGLU, 2013 № 02 (23). S.122 127.
11. Chicherina N. V. Tipologiya mediatekstov kak osnova formirovaniya mediagramotnosti // Izvestiya Rossiiskogo gos. ped. un-ta im. Gertsena. Seriya: Obshchestvennye i gumanitarnye nauki. 2007. № 9 (47). S.159 166.
12. Shipova I. A. Funktsional'naya sushchnost' mul'tikodovosti kak mnogourovnevogo lingvisticheskogo znaka (na materiale nemetskoyazychnogo khudozhestvennogo teksta) // Istoricheskaya i sotsial'no-obrazovatel'naya mysl'. 2013. – № 5 (21). S.289 293.
13. Bazalgette C., Buckingham D. Literacy, media and multimodality: a critical response. // Literacy, Vol.47 № 2, 2013. P. 95-102.
14. Kress G. Multimodality: Exploring Contemporary Methods of Communication. London: Routledge, 2010. 236 p.
15. Machin. D. Introduction to Multimodal Analysis. London: Bloomsbury Academic, 2007. 224 p.
16. Makaruk L. Linguistik Approaches to the Study of Multimodal Texts. // Within Language, Beyond Theories (Volume III): Discourse Analysis, Pragmatics and Corpus-based Studies. Ed. Malec W., Rusinek M. Cambridge Scholars Publishing, 2015. P. 26-36.