МУЛЬТИМОДАЛЬНИЙ АНАЛІЗ ДИСКУРСУ
МЕТОДОЛОГІЧНА ОСНОВА ТА ПЕРСПЕКТИВИ НАПРЯМУ
Ключові слова:
модус, мультимодальність, полікодовість, семіотичний код
Анотація
Статтю присвячено мультимодальності як новітній методології дослідження сучасного комунікативного процесу.
Уточнюється поняття мультимодальності, кроссеміотичності, полікодовості як паралінгвальних та екстралінгваль-
них контриб’юторів дискурсу. Автор обґрунтовує перспективність мультимодального вектора дослідження комуніка-
тивно-дискурсивних явищ та порушує низку теоретичних питань, пов’язаних із виокремленням об’єкта дослідження
мультимодалістики.
Посилання
1. Анисимова Е. Креолизованные тексты – тексты ХХI века? Взаимодействие вербального и паралингвистического в
тексте : [учеб. пособие по интерпретации текста] / Е. Анисимова. – Воронеж : ЦЧКИ, 1999. – 148 с.
2. Кибрик А. Есть ли предложение в устной речи? / А. Кибрик // Фонетика и нефонетика / [А. Архипов, Л. Захаров,
А. Кибрик и др.] ; отв. секретарь О. Федорова. – М. : Языки славянских культур, 2008. – С. 104–115.
3. Кибрик А. Просодический портрет говорящего как инструмент транскрибирования устного дискурса / А. Кибрик //
Компьютерная лингвистика и интеллектуальные технологии: по материалам международной конференции «Диалог – 2008» /
под ред. А. Кибрика и др. – М. : РГГУ, 2008. – Вып. 7(14). – С. 185–191.
4. Лакофф Дж. Метафоры, которыми мы живем / Дж. Лакофф, М. Джонсон ; пер. с англ. под ред. и с предисл. А. Барано-
ва. – М. : Едиториал УРСС, 2004. – 256 с.
5. Лук’янець Т. Інтерсеміотичний аналіз тексту як полікодової єдності / Т. Лук’янець // Концепти та константи в мові, літе-
ратурі, культурі : зб. статей за матер. наук. конф. – К. : ВПЦ «Київський університет», 2011. – С. 121–126.
6. Сорокин Ю. Креолизованные тексты и их коммуникативная функция / Ю. Сорокин, Е. Тарасов // Оптимизация речевого
воздействия : [коллект. монография] / под ред. Р. Котова. – М. : Наука, 1990. – С. 179–184.
7. Эко У. Отсутствующая структура. Введение в семиологию / У. Эко ; пер. с итал. В. Резника и А. Погоняйло. – СПб. :
Симпозиум, 2006. – 544 с.
8. Bateman J. Multimodal Corpus-Based Approaches / J. Bateman // The Encyclopedia of Applied Linguistics The Encyclopedia
of Applied Linguistics / ed. by C. Chapelle. – Oxford : Wiley-Blackwell, 2013. – Р. 4338–4336.
9. Bateman J. A multimodal discourse theory of visual narrative / J. Bateman, J. Wildfeuer // Journal of Pragmatics. – 2014. –
№ 74. – Р. 180–208.
10. Forceville Ch. Multimodal Metaphor / Ch. Forceville, E. Urios-Aparisi. – Berlin ; New York : Mouton de Gruyter, 2009. – 470 р.
11. Forceville Ch. Why and how study metaphor, metonymy, and other tropes in multimodal discourse? / Ch. Forceville // Ways and Modes
of Human Communication / R. Caballero, M. Jesús Pinar (eds.). – Cuenca : Ediciones de la Universidad de Castilla La, 2010. – Р. 57–76.
12. Forceville Ch. Visual representations of the idealized cognitive model of anger in the Asterix album “La Zizanie” / Ch. Forceville //
Journal of Pragmatics. – 2005. – № 37. – Р. 69–88.
13. Forceville Ch. Non-verbal and multimodal metaphor in a cognitivist framework: Agendas for research / Ch. Forceville //
Cognitive inguistics: Current Applications and Future Perspectives / G. Kristiansen, M. Achard, R. Dirven, F. Ruiz de Mendoza Ibáñez
(eds.). – Berlin ; New York : Mouton de Gruyter, 2006. – Р. 379–402.
14. Forceville Ch. Metaphor and symbol: FINDING ONE’S IDENTITY IS GOING HOME in animation film / Ch. Forceville //
“Multimodality and Cognitive Linguistics” issue of Annual Review of Cognitive Linguistics / M. Jesús Pinár et al. eds.). – Amsterdam,
2013. – Benjamins. – Р. 258–268.
15. Gibbons A. Multimodal metaphors in contemporary experimental literature / A. Gibbons // Metaphor and the Social World / ed.
by L. Hidalgo Downing, B. Kraljevic Mujic. – Amsterdam : John Benjamins Publishing Company, 2013. – Р. 180–198.
16. Halliday M. Language as Social Semiotic: The Social Interpretation of Language and Meaning / M. Halliday. – London :
Arnold, 1978. – 256 р.
17. Hiippala T. The Structure of Multimodal Documents: An Empirical Approach / T. Hiippala. – London ; New York : Routledge
Studies in Multimodality, 2015. – 250 р.
18. Kress G. Reading Images: The Grammar of Visual Design / G. Kress, T. van Leeuwen. – London ; New York : Routledge,
1996. – 288 р.
19. Kress G. Multimodal Discourse: The Modes and Media of Contemporary Communication / G. Kress, T. van Leeuwen. –
London : Arnold, 2001. – 142 р.
20. Liebert W. Multimodal Text / W. Liebert, T. Metten // The Encyclopedia of Applied Linguistics / ed. by C. Chapelle. – Oxford :
Blackwell Publishing, 2013. – Р. 4338–4336.
21. Lyons A. Multimodality / A. Lyons // Research Methods in Intercultural Communication: A practical guide / ed. by Zhu Hua. –
Oxford : Wiley-Blackwell, 2016. – Р. 268–280.
22. O’Halloran K. Multimodal Text Analysis / K. O’Halloran, B. Smith // The Encyclopedia of Applied Linguistics / ed. by
C. Chapelle. – Oxford : Blackwell Publishing, 2013. – Р. 4378–4383.
23. Siefkes M. How Semiotic Modes Work Together in Multimodal Texts: Defining and Representing Intermodal Relations /
M. Siefkes [Електронний ресурс]. – Режим доступу : http://10plus1journal.com/issues/issue-1-media-linguistics/defining-and-
presenting-intermodal-relations.
24. Stӧckl H. In Between Modes. Language and Image in Printed Media / H. Stӧckl // Perspectives on Multimodality / ed. by in
E. Ventola, C. Charles, M. Kaltenbacher. – Amsterdam : Benjamins, 2004. – Р. 9–30.
25. Leeuwen T. Speech, Music, Sound / T. van Leeuwen. – Basingstoke : Palgrave Macmillan, 1999. – 241 р.
26. Leeuwen T. Introducing Social Semiotics / T. van Leeuwen. – New York : Routledge, 2005. – 320 р.
27. Wildfeuer J. Film Discourse Interpretation: Towards a New Paradigm for Multimodal Film Analysis / J. Wildfeuer. – London ;
New York : Routledge Studies in Multimodality, 2014. – 276 р.
28. Wildfeuer J. More than WORDS. Semantic Continuity in Moving Images / J. Wildfeuer // Online Magazine of the Visual
Narrative. – 2012. – № 13(4). – Р. 181–203. – [Електронний ресурс]. – Режим доступу : http://www.imageandnarrative.be/index.
php/imagenarrative/article/view/287.
29. MA Language Sciences: Multimodal Linguistics [Електронний ресурс]. – Режим доступу : http://www.fb10.uni-bremen.de/
bitt/en/master-language-sciences-multimodale-linguistik/.
тексте : [учеб. пособие по интерпретации текста] / Е. Анисимова. – Воронеж : ЦЧКИ, 1999. – 148 с.
2. Кибрик А. Есть ли предложение в устной речи? / А. Кибрик // Фонетика и нефонетика / [А. Архипов, Л. Захаров,
А. Кибрик и др.] ; отв. секретарь О. Федорова. – М. : Языки славянских культур, 2008. – С. 104–115.
3. Кибрик А. Просодический портрет говорящего как инструмент транскрибирования устного дискурса / А. Кибрик //
Компьютерная лингвистика и интеллектуальные технологии: по материалам международной конференции «Диалог – 2008» /
под ред. А. Кибрика и др. – М. : РГГУ, 2008. – Вып. 7(14). – С. 185–191.
4. Лакофф Дж. Метафоры, которыми мы живем / Дж. Лакофф, М. Джонсон ; пер. с англ. под ред. и с предисл. А. Барано-
ва. – М. : Едиториал УРСС, 2004. – 256 с.
5. Лук’янець Т. Інтерсеміотичний аналіз тексту як полікодової єдності / Т. Лук’янець // Концепти та константи в мові, літе-
ратурі, культурі : зб. статей за матер. наук. конф. – К. : ВПЦ «Київський університет», 2011. – С. 121–126.
6. Сорокин Ю. Креолизованные тексты и их коммуникативная функция / Ю. Сорокин, Е. Тарасов // Оптимизация речевого
воздействия : [коллект. монография] / под ред. Р. Котова. – М. : Наука, 1990. – С. 179–184.
7. Эко У. Отсутствующая структура. Введение в семиологию / У. Эко ; пер. с итал. В. Резника и А. Погоняйло. – СПб. :
Симпозиум, 2006. – 544 с.
8. Bateman J. Multimodal Corpus-Based Approaches / J. Bateman // The Encyclopedia of Applied Linguistics The Encyclopedia
of Applied Linguistics / ed. by C. Chapelle. – Oxford : Wiley-Blackwell, 2013. – Р. 4338–4336.
9. Bateman J. A multimodal discourse theory of visual narrative / J. Bateman, J. Wildfeuer // Journal of Pragmatics. – 2014. –
№ 74. – Р. 180–208.
10. Forceville Ch. Multimodal Metaphor / Ch. Forceville, E. Urios-Aparisi. – Berlin ; New York : Mouton de Gruyter, 2009. – 470 р.
11. Forceville Ch. Why and how study metaphor, metonymy, and other tropes in multimodal discourse? / Ch. Forceville // Ways and Modes
of Human Communication / R. Caballero, M. Jesús Pinar (eds.). – Cuenca : Ediciones de la Universidad de Castilla La, 2010. – Р. 57–76.
12. Forceville Ch. Visual representations of the idealized cognitive model of anger in the Asterix album “La Zizanie” / Ch. Forceville //
Journal of Pragmatics. – 2005. – № 37. – Р. 69–88.
13. Forceville Ch. Non-verbal and multimodal metaphor in a cognitivist framework: Agendas for research / Ch. Forceville //
Cognitive inguistics: Current Applications and Future Perspectives / G. Kristiansen, M. Achard, R. Dirven, F. Ruiz de Mendoza Ibáñez
(eds.). – Berlin ; New York : Mouton de Gruyter, 2006. – Р. 379–402.
14. Forceville Ch. Metaphor and symbol: FINDING ONE’S IDENTITY IS GOING HOME in animation film / Ch. Forceville //
“Multimodality and Cognitive Linguistics” issue of Annual Review of Cognitive Linguistics / M. Jesús Pinár et al. eds.). – Amsterdam,
2013. – Benjamins. – Р. 258–268.
15. Gibbons A. Multimodal metaphors in contemporary experimental literature / A. Gibbons // Metaphor and the Social World / ed.
by L. Hidalgo Downing, B. Kraljevic Mujic. – Amsterdam : John Benjamins Publishing Company, 2013. – Р. 180–198.
16. Halliday M. Language as Social Semiotic: The Social Interpretation of Language and Meaning / M. Halliday. – London :
Arnold, 1978. – 256 р.
17. Hiippala T. The Structure of Multimodal Documents: An Empirical Approach / T. Hiippala. – London ; New York : Routledge
Studies in Multimodality, 2015. – 250 р.
18. Kress G. Reading Images: The Grammar of Visual Design / G. Kress, T. van Leeuwen. – London ; New York : Routledge,
1996. – 288 р.
19. Kress G. Multimodal Discourse: The Modes and Media of Contemporary Communication / G. Kress, T. van Leeuwen. –
London : Arnold, 2001. – 142 р.
20. Liebert W. Multimodal Text / W. Liebert, T. Metten // The Encyclopedia of Applied Linguistics / ed. by C. Chapelle. – Oxford :
Blackwell Publishing, 2013. – Р. 4338–4336.
21. Lyons A. Multimodality / A. Lyons // Research Methods in Intercultural Communication: A practical guide / ed. by Zhu Hua. –
Oxford : Wiley-Blackwell, 2016. – Р. 268–280.
22. O’Halloran K. Multimodal Text Analysis / K. O’Halloran, B. Smith // The Encyclopedia of Applied Linguistics / ed. by
C. Chapelle. – Oxford : Blackwell Publishing, 2013. – Р. 4378–4383.
23. Siefkes M. How Semiotic Modes Work Together in Multimodal Texts: Defining and Representing Intermodal Relations /
M. Siefkes [Електронний ресурс]. – Режим доступу : http://10plus1journal.com/issues/issue-1-media-linguistics/defining-and-
presenting-intermodal-relations.
24. Stӧckl H. In Between Modes. Language and Image in Printed Media / H. Stӧckl // Perspectives on Multimodality / ed. by in
E. Ventola, C. Charles, M. Kaltenbacher. – Amsterdam : Benjamins, 2004. – Р. 9–30.
25. Leeuwen T. Speech, Music, Sound / T. van Leeuwen. – Basingstoke : Palgrave Macmillan, 1999. – 241 р.
26. Leeuwen T. Introducing Social Semiotics / T. van Leeuwen. – New York : Routledge, 2005. – 320 р.
27. Wildfeuer J. Film Discourse Interpretation: Towards a New Paradigm for Multimodal Film Analysis / J. Wildfeuer. – London ;
New York : Routledge Studies in Multimodality, 2014. – 276 р.
28. Wildfeuer J. More than WORDS. Semantic Continuity in Moving Images / J. Wildfeuer // Online Magazine of the Visual
Narrative. – 2012. – № 13(4). – Р. 181–203. – [Електронний ресурс]. – Режим доступу : http://www.imageandnarrative.be/index.
php/imagenarrative/article/view/287.
29. MA Language Sciences: Multimodal Linguistics [Електронний ресурс]. – Режим доступу : http://www.fb10.uni-bremen.de/
bitt/en/master-language-sciences-multimodale-linguistik/.
