Modification of term sence embeddings regarding word-sence disambiguation

Radmonga Potapova; Ksenia Oskina; Vsevolod Potapov

Radmonga Potapova International Informatization Academy, Institute for Applied and Mathematical Linguistics of Moscow State Linguistic University
Ksenia Oskina Institute of Applied and Mathematical Linguistics, Moscow State Linguistic University
Vsevolod Potapov Computer Center, Faculty of Philology, Lomonosov Moscow State University

Ключові слова: обробка природної мови, термінологічне смислове вкладення, автоматичне попереднє редагування, адаптація домену, зняття двозначності в значенні слова, контекстуальний аналіз

Анотація

Мовленнєва комунікація як міждисциплінарна галузь знань охоплює широке коло проблем творення мовлення (рос."речепроизводство"), мовленнєвого сприйняття (рос."речевосприятие"), аналізу мови, кодування, синтезу, розпізнавання, математики для обробки мовлення, частотного аналізу та ін. Важливим є вивчення продукування мовлення та акустичних параметрів слуху, слухової психофізики, мовленнєвих стимулів, сприйняття спотвореної мови, кодування мовленнєвих сигналів, квантування, лінійного передбачення кодування, дикторської верифікації та ідентифікації та ін. У статті пропонується контекстно-залежний програмний підхід, який дозволяє підійти до вирішення смислової неоднозначності стосовно предметної галузі процесів мовлення (рос. "речеведение") як міждисциплінарної науки, об'єктом якої є усне мовлення. Спеціальні значення термінів розглядаються як окремі кластери багатовимірного векторного простору, що включає масиви контекстних слів. Надалі, базуючись на даному підході, програма обчислює апостеріорну ймовірність того, що цільовий термін в конкретному реченні використовується зі спеціальним значенням. Запропонований механізм може бути інтегрований в модуль попередньої обробки системи машинного перекладу. В якості вирішення цього завдання в статті пропонується збільшити вагу (або значення) менш частотних, але разом з тим найбільш значущих слів, що, допоможе підвищити точність визначення значення двозначного терміну. Цей механізм може потенційно діяти як частина модуля попереднього редагування для системи машинного перекладу. Запропонований програмний підхід дає змогу досягти більш високих результатів з опорою на використання контекстного підходу при визначенні феномена термінологічної двозначності в уже згадуваному тексті.

Біографії авторів

Radmonga Potapova, International Informatization Academy, Institute for Applied and Mathematical Linguistics of Moscow State Linguistic University

Prof., Sc.D., Full Member , Head of the Department of Applied and Experimental Linguistics, Director

Ksenia Oskina, Institute of Applied and Mathematical Linguistics, Moscow State Linguistic University

Ph.D. Researcher

Vsevolod Potapov, Computer Center, Faculty of Philology, Lomonosov Moscow State University

Sc.D., Senior Researcher

Посилання

Потапова Р.К. Речевое управление роботом. – М.: Радио и связь, 1989. – 248 с.

Потапова Р.К. Речь: коммуникация, информация, кибернетика. – Изд. 4-е. – М.: Либроком, 2010. – 600 с.

Arefyev N., Panchenko A., Lukanin A., Lesota O., Romanov P. Evaluating Three Corpus-based Semantic Similarity Systems for Russian // Dialog, 28. Moscow (2015) (25.05. 2018: http://www.dialog-21.ru/media/1119/arefyevnvetal.pdf)

Arntz R., Picht H. Einführung in die Terminologiearbeit. – 2d ed. – Hildesheim, Zürich, New York: Georg Olms Verlag, 1991. – 331 S.

Fant G. Speech Sounds and Features. – Cambridge, Massachusetts, and London, England: The MIT Press, 1973. – 227 p.

Felber H., Budin G. Terminologie in Theorie und Praxis. – Tübingen: Gunter Narr Verlag, 1989. – 126 S.

Gläser R. Nomenklaturen im Grenzbereich von Onomastik und Fachsprachenforschung // Peterson L., Strandberg S. (eds.) Studia Onomastica. Festskrift till Th. Andersson, 23 februari 1989. Lund, 1989. – P. 105-114.

Gläser R. Linguistic Features and Genre Profiles of Scientific English. – Frankfurt am Main: Peter Lang, 1995. – 250 S.

O’Shaughnessy D. Speech Communication: Human and Machine. – New York: Addison-Wesley Publishing Co., 1987. – 548 p.

Oskina K. Text Classification in the Domain of Applied Linguistics as Part of a Pre-editing Module for Machine Translation Systems // SPECOM 2016. Lecture Notes in Artificial Intelligence. – Vol. 9811. – Heidelberg: Springer, 2016. – P. 691–698.

Pelevina M., Arefyev N., Biemann Ch., Panchenko A. Making Sense of Word Embeddings // Proceedings of the 1st Workshop on Representation Learning for NLP. – Berlin: ACL, 2016. – P. 174–183.

Picht H., Draskau J. Terminology: An Introduction. – Guildford (England): University of Surrey, 1985. – 265 p.

Potapova R., Oskina K. Semantic Multilingual Differences of Terminological Definitions Regarding the Concept "Artificial Intelligence" // SPECOM 2015 . Lecture Notes in Artificial Intelligence. – Vol. 9319. Heidelberg: Springer, 2015. – P. 356-363.

Potapova R.., Potapov V. Auditory and visual recognition of emotional behavior of foreign language subjects (by native and nonnative speakers) // Železný, M., Habernal, I., Ronzhin, A. (eds.) SPECOM 2013. LNCS. – Vol. 8113. – Heidelberg: Springer, 2013. – P. 62–69.

Potapova R., Potapov V. Associative mechanism of foreign spoken language perception (forensic phonetic aspect) // Ronzhin, A., Potapova, R., Delic, V. (eds.) SPECOM 2014. LNCS. – Vol. 8773. – Heidelberg: Springer, 2014. – P. 113–122.

Potapova R., Potapov V. Cognitive mechanism of semantic content decoding of spoken discourse in noise // Ronzhin, A., Potapova, R., Fakotakis, N. (eds.) SPECOM’2015. LNCS. – Vol. 9319. –Heidelberg: Springer, 2015. – P. 153–160.

Potapova R., Potapov V. On individual Polyinformativity of speech and voice regarding speaker’s auditive attribution (forensic phonetic aspect) // Ronzhin, A., Potapova, R., Németh, G. (eds.) SPECOM 2016. LNCS – Vol. 9811. – Heidelberg: Springer, 2016/ – P. 507–514.

Potapova R., Potapov V. Polybasic attribution of social network discourse // Ronzhin, A., Potapova, R., Németh, G. (eds.) SPECOM 2016. LNCS. – Vol. 9811. – Heidelberg: Springer, 2016. – P. 539–546.

Potapova R., Potapov V. Cognitive entropy in the perceptual-auditory evaluation of emotional modal states of foreign language communication partner // Karpov, A., Potapova, R., Mporas, I. (eds.). SPECOM 2017. LNAI. – Vol. 10458. – Cham: Springer, 2017 – P. 252–261.

Potapova R., Potapov V. Human as acmeologic entity in social network discourse (multidimensional approach) // Karpov, A., Potapova, R., Mporas, I. (eds.). SPECOM 2017. LNAI. – Vol. 10458. –Cham: Springer, 2017. – P. 407–416.

Rios A., Mascarell L., Sennrich R. Improving Word Sense Disambiguation in Neural Machine Translation with Sense Embeddings // Second Conference on Machine Translation. – Kopenhagen: ACL, 2017. – P. 11–19.

Sager J.C. A Practical Course of Terminology Processing. – Amsterdam, Philadelphia: J. Benjamins Pub. Co., 1990. – 258 p.

Arefyev N., Panchenko A., Lukanin A., Lesota O., Romanov P. (2015). Evaluating Three Corpus-based Semantic Similarity Systems for Russian. Dialog, 28. Moscow, 2015. (25.05. 2018: http://www.dialog-21.ru/media/1119/arefyevnvetal.pdf)

Arntz R., Picht H. (1991). Einführung in die Terminologiearbeit. 2d ed. Hildesheim, Zürich, New York: Georg Olms Verlag.

Fant G. (1973). Speech Sounds and Features. Cambridge (Massachusetts), L. (England): The MIT Press.

Felber H., Budin G. (1989). Terminologie in Theorie und Praxis. Tübingen: Gunter Narr Verlag.

Gläser R. (1989) Nomenklaturen im Grenzbereich von Onomastik und Fachsprachenforschung. Peterson L., Strandberg S. (eds.) Studia Onomastica. Festskrift till Th. Andersson, 23 februari 1989. Lund, 1989. Pp. 105–114.

Gläser R. (1995). Linguistic Features and Genre Profiles of Scientific English. Frankfurt am Main: Peter Lang.

O’Shaughnessy D. (1987). Speech Communication: Human and Machine. NY: Addison-Wesley Publishing Co.

Oskina K. (2016). Text Classification in the Domain of Applied Linguistics as Part of a Pre-editing Module for Machine Translation Systems. SPECOM 2016. Lecture Notes in Artificial Intelligence. Vol. 9811. Heidelberg: Springer. Pp. 691–698.

Pelevina M., Arefyev N., Biemann Ch., Panchenko A. (2016). Making Sense of Word Embeddings. Proceedings of the 1st Workshop on Representation Learning for NLP. Berlin: ACL. Pp. 174–183.

Picht H., Draskau J. (1985). Terminology: An Introduction. Guildford (England): University of Surrey.

Potapova R.K. (1989). Rechevoe upravlenie robotom [Речевое управление роботом]. Мoscow: Radio i svyaz’.

Potapova R.K. (2010). Rech’: kommunikatsiya, informatsiya, kibernetika [Речь: коммуникация, информация, кибернетика]. 4th ed. Moscow: Librokom.

Potapova R., Oskina K. (2015). Semantic Multilingual Differences of Terminological Definitions Regarding the Concept "Artificial Intelligence". SPECOM 2015. Lecture Notes in Artificial Intelligence. Vol. 9319. Heidelberg: Springer. Pp. 356–363.

Potapova R.., Potapov V. (2013). Auditory and visual recognition of emotional behavior of foreign language subjects (by native and non-native speakers). Železný, M., Habernal, I., Ronzhin, A. (eds.) SPECOM 2013. LNCS. Vol. 8113. Heidelberg: Springer. Pp. 62–69.

Potapova R., Potapov V. (2014). Associative mechanism of foreign spoken language perception (forensic phonetic aspect). Ronzhin, A., Potapova, R., Delic, V. (eds.) SPECOM 2014. LNCS. Vol. 8773. Heidelberg: Springer. Pp. 113–122.

Potapova R., Potapov V. (2015). Cognitive mechanism of semantic content decoding of spoken discourse in noise. Ronzhin, A., Potapova, R., Fakotakis, N. (eds.) SPECOM’2015. LNCS. Vol. 9319. Heidelberg: Springer. Pp. 153–160.

Potapova R., Potapov V. (2016). On individual Polyinformativity of speech and voice regarding speaker’s auditive attribution (forensic phonetic aspect). Ronzhin, A., Potapova, R., Németh, G. (eds.) SPECOM 2016. LNCS. Vol. 9811. Heidelberg: Springer. Pp. 507–514.

Potapova R., Potapov V. (2016). Polybasic attribution of social network discourse. Ronzhin, A., Potapova, R., Németh, G. (eds.) SPECOM 2016. LNCS. Vol. 9811. Heidelberg: Springer. Pp. 539–546.

Potapova R., Potapov V. (2017). Cognitive entropy in the perceptual-auditory evaluation of emotional modal states of foreign language communication partner. Karpov, A., Potapova, R., Mporas, I. (eds.). SPECOM 2017. LNAI. Vol. 10458. Cham: Springer. Pp. 252–261.

Potapova R., Potapov V. (2017). Human as acmeologic entity in social network discourse (multidimensional approach). Karpov, A., Potapova, R., Mporas, I. (eds.). SPECOM 2017. LNAI. Vol. 10458. Cham: Springer. Pp. 407–416.

Rios A., Mascarell L., Sennrich R. (2017). Improving Word Sense Disambiguation in Neural Machine Translation with Sense Embeddings. Second Conference on Machine Translation. Kopenhagen: ACL. Pp. 11–19.

Sager J.C. (1990). A Practical Course of Terminology Processing. Amsterdam, Philadelphia: J. Benjamins Pub. Co.