Чтение по губам

Поделись знанием:
(перенаправлено с «Чтение с губ»)
Перейти к: навигация, поиск

Чтение по губам, также чтение с губ — понимание речи наблюдением артикуляции говорящего.





Развитие

При чтении с губ активируется не только зрительная кора мозга, но и слуховая[en], что происходит и при распознавании слышимой речи[1].

Даже новорождённые дети пытаются имитировать движения губами и языком, увиденные у взрослых[2]. Младенцы дольше смотрят на источник визуального стимула, если ему соответствует одновременно происходящий аудиальный стимул (в отличие от, например, записи звука)[3]. Дети в 4—8 месяцев обращают особое внимание на движения губ говорящих как на родном для себя языке, так и на других языках. После 12 месяцев они перестают следить за губами говорящих на родном языке[4]. Во взрослом возрасте глухие читают по губам лучше слышащих из-за постоянной практики, разница начинает быть заметной с 14 лет[5]. Среди глухих данный навык лучше развит у тех, кто терял слух постепенно, а не внезапно[6].

В основном чтение по губам используется глухими и слабослышащими. При этом у слабослышащих оно более успешно, если при этом речь слышна хотя бы частично[7]. Для упрощения чтения по губам может использоваться вспомогательная жестовая система, к примеру, маноральная речь. Существуют также автоматизированные средства чтения с губ[8]. Успешность чтения по губам зависит от способности к образному мышлению и аналитическому восприятию, а также зрительной памяти[9]. Чтение по губам усложняется при плохом освещении и наличии у говорящего бороды или усов[10].

Различение звуков

Читать по губам сложнее, чем слышать[11]. В случае с русским языком, читающим по губам видны только гласные и артикулируемые губами согласные; звонкость-глухота, мягкость-твёрдость, йотирование[en] и его отсутствие, а также ударение зрительно либо почти не видны, либо не видны совсем. Наиболее просто определить гласные пары [i]?~[ɨ]?, [a]?~[e]?, [o]?~[u]?. Немного труднее для определения губно-губные согласные [p]?~[pʲ]?~[b]?~[bʲ]?~[m]?~[mʲ]? и губно-зубные согласные [f]?~[fʲ]?~[v]?~[vʲ]?. Довольно информативны звуки [ʂ]?~[ɕː]?~[ʐ]?~[ʑː]?~[ʨ]?. Если кончик языка говорящего хорошо виден при произношении [l]? и [lʲ]?, то эти звуки также относятся к легко идентифицируемым. Звуки [t]?~[tʲ]?~[d]?~[dʲ]?~[n]?~[nʲ]? слабоопознаваемы, остальные стабильно неопознаваемы ([s]?~[sʲ]?~[z]?~[zʲ]?~[j]?~[ʦ]?) или совершенно невидимы ([k]?~[kʲ]?~[g]?~[gʲ]?~[x]?~[xʲ]?)[12].

Напишите отзыв о статье "Чтение по губам"

Примечания

  1. Calvert, 1997.
  2. Meltzoff, 1983.
  3. Spelke, 1976.
  4. Lewkowicz, 2012.
  5. MacSweeney, 2013.
  6. Bergeson, 2003.
  7. Ewing, 1944, p. 21.
  8. Petajan, 1984.
  9. Потапова, 2006, p. 301.
  10. [it-nowosti.ru/hardware/259-kompyuteram-poka-tyazhelo-chitat-po-gubam.html Компьютерам пока тяжело читать по губам]
  11. Rosen, 1981.
  12. Потапова, 2006, p. 301—303.

Литература

  • M. Aharon and R. Kimmel. (2006) [www.cs.technion.ac.il/~ron/PAPERS/IJCV06_LipReading.pdf Representation analysis and synthesis of lip images using dimensionality reduction], International Journal of Computer Vision, 67(3):297-312.
  • Потапова Р., Потапов В. [books.google.com/books?id=je-5AQAAQBAJ Язык, речь, личность]. — Языки славянской культуры, 2006. — 496 с. — ISBN 5-9551-0123-3.
  • David J. Lewkowicz, Amy M. Hansen-Tift [www.ncbi.nlm.nih.gov/pmc/articles/PMC3277111/ Infants deploy selective attention to the mouth of a talking face when learning speech] (англ.) // Psychological and Cognitive Sciences. — 2012. — No. 109. — P. 1431—1436. — DOI:10.1073/pnas.1114783109.
  • Mairéad MacSweeney. [www.ucl.ac.uk/dcal/dcal-news/story11 Read my lips - Advances in speechreading research with deaf children]. ESRC Deafness Cognition and Language Research Centre (11 мая 2013).
  • Calvert, Gemma A. (1997-04-25). «[www.sciencemag.org/content/276/5312/593.abstract Activation of Auditory Cortex During Silent Lipreading]». Science 276 (5312): 593–596. DOI:10.1126/science.276.5312.593. Проверено 23 September 2013.
  • [medicine.iu.edu/oto/index.php/download_file/view/270/ Audiovisual Speech Perception in Adult Cochlear Implant Users: Effects of Sudden vs. Progressive Hearing Loss]. Daytona Beach, Florida: MidWinter Meeting of the Association for Research in Otolaryngology (2003).
  • (June 1983) «Newborn infants imitate adult facial gestures». Child Development 54 (3): 702–709.
  • Spelke, Elizabeth (October 1976). «[www.sciencedirect.com/science/article/pii/0010028576900189 Infants' intermodal perception of events]». Cognitive Psychology 8 (4): 553–560. DOI:10.1016/0010-0285(76)90018-9.
  • Ewing I.R. [books.google.com/books?id=jTu8AAAAIAAJ Lipreading and Hearing Aids]. — Manchester University Press, 1944.
  • Rosen S., Fourchin A., Moore B. [www.nature.com/nature/journal/v291/n5811/abs/291150a0.html Voice pitch as an aid to lipreading] (англ.) // Nature. — 1981. — No. 291. — P. 150—152. — DOI:10.1038/291150a0.
  • Petajan, Eric David [www.ideals.illinois.edu/handle/2142/69292 Automatic Lipreading to Enhance Speech Recognition (Speech Reading)] (англ.) // University of Illinois at Urbana-Champaign. — 1984.

Ссылки

  • [publications.csail.mit.edu/abstracts/abstracts05/saenko/saenko.html CSAIL: Articulatory Feature Based Visual Speech Recognition]
  • [auditoryneuroscience.com/?q=vocalization/articulators видео МРТ говорящей женщины, на котором видны нефиксируемые при чтении с губ движения языка]

Отрывок, характеризующий Чтение по губам

«Ну что ж делать. Уж если нельзя без этого! Что ж делать! Значит, так надо», – сказал он себе и, поспешно раздевшись, лег в постель, счастливый и взволнованный, но без сомнений и нерешительностей.
«Надо, как ни странно, как ни невозможно это счастье, – надо сделать все для того, чтобы быть с ней мужем и женой», – сказал он себе.
Пьер еще за несколько дней перед этим назначил в пятницу день своего отъезда в Петербург. Когда он проснулся, в четверг, Савельич пришел к нему за приказаниями об укладке вещей в дорогу.
«Как в Петербург? Что такое Петербург? Кто в Петербурге? – невольно, хотя и про себя, спросил он. – Да, что то такое давно, давно, еще прежде, чем это случилось, я зачем то собирался ехать в Петербург, – вспомнил он. – Отчего же? я и поеду, может быть. Какой он добрый, внимательный, как все помнит! – подумал он, глядя на старое лицо Савельича. – И какая улыбка приятная!» – подумал он.
– Что ж, все не хочешь на волю, Савельич? – спросил Пьер.
– Зачем мне, ваше сиятельство, воля? При покойном графе, царство небесное, жили и при вас обиды не видим.
– Ну, а дети?
– И дети проживут, ваше сиятельство: за такими господами жить можно.
– Ну, а наследники мои? – сказал Пьер. – Вдруг я женюсь… Ведь может случиться, – прибавил он с невольной улыбкой.
– И осмеливаюсь доложить: хорошее дело, ваше сиятельство.
«Как он думает это легко, – подумал Пьер. – Он не знает, как это страшно, как опасно. Слишком рано или слишком поздно… Страшно!»
– Как же изволите приказать? Завтра изволите ехать? – спросил Савельич.
– Нет; я немножко отложу. Я тогда скажу. Ты меня извини за хлопоты, – сказал Пьер и, глядя на улыбку Савельича, подумал: «Как странно, однако, что он не знает, что теперь нет никакого Петербурга и что прежде всего надо, чтоб решилось то. Впрочем, он, верно, знает, но только притворяется. Поговорить с ним? Как он думает? – подумал Пьер. – Нет, после когда нибудь».
За завтраком Пьер сообщил княжне, что он был вчера у княжны Марьи и застал там, – можете себе представить кого? – Натали Ростову.
Княжна сделала вид, что она в этом известии не видит ничего более необыкновенного, как в том, что Пьер видел Анну Семеновну.
– Вы ее знаете? – спросил Пьер.
– Я видела княжну, – отвечала она. – Я слышала, что ее сватали за молодого Ростова. Это было бы очень хорошо для Ростовых; говорят, они совсем разорились.
– Нет, Ростову вы знаете?
– Слышала тогда только про эту историю. Очень жалко.
«Нет, она не понимает или притворяется, – подумал Пьер. – Лучше тоже не говорить ей».
Княжна также приготавливала провизию на дорогу Пьеру.
«Как они добры все, – думал Пьер, – что они теперь, когда уж наверное им это не может быть более интересно, занимаются всем этим. И все для меня; вот что удивительно».
В этот же день к Пьеру приехал полицеймейстер с предложением прислать доверенного в Грановитую палату для приема вещей, раздаваемых нынче владельцам.
«Вот и этот тоже, – думал Пьер, глядя в лицо полицеймейстера, – какой славный, красивый офицер и как добр! Теперь занимается такими пустяками. А еще говорят, что он не честен и пользуется. Какой вздор! А впрочем, отчего же ему и не пользоваться? Он так и воспитан. И все так делают. А такое приятное, доброе лицо, и улыбается, глядя на меня».
Пьер поехал обедать к княжне Марье.
Проезжая по улицам между пожарищами домов, он удивлялся красоте этих развалин. Печные трубы домов, отвалившиеся стены, живописно напоминая Рейн и Колизей, тянулись, скрывая друг друга, по обгорелым кварталам. Встречавшиеся извозчики и ездоки, плотники, рубившие срубы, торговки и лавочники, все с веселыми, сияющими лицами, взглядывали на Пьера и говорили как будто: «А, вот он! Посмотрим, что выйдет из этого».
При входе в дом княжны Марьи на Пьера нашло сомнение в справедливости того, что он был здесь вчера, виделся с Наташей и говорил с ней. «Может быть, это я выдумал. Может быть, я войду и никого не увижу». Но не успел он вступить в комнату, как уже во всем существе своем, по мгновенному лишению своей свободы, он почувствовал ее присутствие. Она была в том же черном платье с мягкими складками и так же причесана, как и вчера, но она была совсем другая. Если б она была такою вчера, когда он вошел в комнату, он бы не мог ни на мгновение не узнать ее.
Она была такою же, какою он знал ее почти ребенком и потом невестой князя Андрея. Веселый вопросительный блеск светился в ее глазах; на лице было ласковое и странно шаловливое выражение.
Пьер обедал и просидел бы весь вечер; но княжна Марья ехала ко всенощной, и Пьер уехал с ними вместе.
На другой день Пьер приехал рано, обедал и просидел весь вечер. Несмотря на то, что княжна Марья и Наташа были очевидно рады гостю; несмотря на то, что весь интерес жизни Пьера сосредоточивался теперь в этом доме, к вечеру они всё переговорили, и разговор переходил беспрестанно с одного ничтожного предмета на другой и часто прерывался. Пьер засиделся в этот вечер так поздно, что княжна Марья и Наташа переглядывались между собою, очевидно ожидая, скоро ли он уйдет. Пьер видел это и не мог уйти. Ему становилось тяжело, неловко, но он все сидел, потому что не мог подняться и уйти.