Speech recognition, by both humans

Speech recognition, by both humans and machines,
benefits from visual observation of the face, especially
at low signal-to-noise ratios (SNRs). It has often
been noticed, however, that the audible and visible
correlates of a phoneme may be asynchronous;
perhaps for this reason, automatic speech recognition
structures that allow asynchrony between the
audible phoneme and the visible viseme outperform
recognizers that allow no such asynchrony.
This paper proposes, and tests using experimental
speech recognition systems, a new explanation
for audio-visual asynchrony. Specifically, we propose
that audio-visual asynchrony may be the result
of asynchrony between the gestures implemented
by different articulators, such that the most visibly
salient articulator (e.g., the lips) and the most audibly
salient articulator (e.g., the glottis) may, at
any given time, be dominated by gestures associated
with different phonemes. The proposed model of
audio-visual asynchrony is tested by implementing
an “articulatory-feature model” audiovisual speech
recognizer: a system with multiple hidden state variables,
each representing the gestures of one articulator.
The proposed system performs as well as a
standard audiovisual recognizer on a digit recognition
task; the best results are achieved by combining
the outputs of the two systems.

Results (Thai) 1:

รู้ มนุษย์และเครื่องจักรประโยชน์จากการสังเกตภาพของใบหน้า โดยเฉพาะอย่างยิ่งที่อัตราสัญญาณต่อเสียงต่ำ (SNRs) มักจะมีการสังเกต อย่างไรก็ตาม ที่เสียง และมองเห็นได้สัมพันธ์กับของหน่วยเสียงอาจเป็นแบบอะซิงโครนัสบางทีเหตุผลนี้ การรู้จำเสียงอัตโนมัติโครงสร้างที่ทำให้ asynchrony ระหว่างการเสียงหน่วยเสียงและ viseme เห็น outperformตัวช่วยจำที่ทำให้ไม่ asynchrony เช่นกระดาษนี้เสนอ และทดสอบทดลองใช้ระบบการรู้จำคำพูด คำอธิบายใหม่สำหรับ asynchrony ภาพและเสียง เราเสนอโดยเฉพาะasynchrony ภาพและเสียงที่อาจเกิดจากของ asynchrony ระหว่างรูปแบบลายเส้นที่นำมาใช้โดย articulators อื่น ให้มากที่สุดระยะarticulator เด่น (เช่น ริมฝีปาก) และทวนมากที่สุดอาจ articulator เด่น (เช่น glottis) ที่เวลาที่กำหนด ถูกครอบงำ โดยรูปแบบลายเส้นในการเชื่อมโยงมี phonemes แตกต่างกัน รูปแบบการนำเสนอมีทดสอบ asynchrony ภาพและเสียง โดยใช้คำพูดเป็นภาพ "รุ่น articulatory คุณลักษณะ"จำแนก: เป็นระบบที่มีหลายสถานะซ่อนตัวแปรแต่ละการแสดงท่าทางของ articulator หนึ่งดำเนินการระบบการนำเสนอ ตลอดจนการจำแนกภาพมาตรฐานในการรับรู้หลักการงาน ผลลัพธ์ที่ได้ โดยรวมแสดงผลของระบบสอง

Results (Thai) 2:

รู้จำเสียงพูดทั้งมนุษย์และเครื่องจักร
ได้รับประโยชน์จากการสังเกตภาพของใบหน้าโดยเฉพาะอย่างยิ่ง
ที่ต่ำสัญญาณต่อเสียงรบกวนอัตราส่วน (SNRs) มักจะได้
รับการสังเกตเห็น แต่ที่ได้ยินและมองเห็น
ความสัมพันธ์ของฟอนิมอาจจะไม่ตรงกัน;
อาจจะเป็นเพราะเหตุนี้การรู้จำเสียงอัตโนมัติ
ที่ช่วยให้โครงสร้าง asynchrony ระหว่าง
ฟอนิมเสียงและมองเห็นได้ดีกว่า viseme
. recognizers ที่ช่วยให้ไม่มี asynchrony เช่น
นี้ กระดาษแนะและการทดสอบการทดลองใช้
ระบบรู้จำเสียงพูดคำอธิบายใหม่
สำหรับ asynchrony ภาพและเสียง โดยเฉพาะเราเสนอ
ว่า asynchrony ภาพและเสียงอาจจะเป็นผล
ของ asynchrony ระหว่างท่าทางดำเนินการ
โดย articulators ที่แตกต่างกันเช่นที่เห็นได้ชัดที่สุด
articulator เด่น (เช่นริมฝีปาก) และส่วนใหญ่ได้ยินเสียง
articulator เด่น (เช่นช่องสายเสียง) อาจ ใน
เวลาใดก็ตามถูกครอบงำโดยท่าทางที่เกี่ยวข้อง
กับหน่วยเสียงที่แตกต่างกัน การนำเสนอรูปแบบของ
asynchrony ภาพและเสียงมีการทดสอบโดยการใช้
"รูปแบบรณคุณลักษณะ" คำพูดภาพและเสียง
จำแนก: ระบบที่มีตัวแปรรัฐซ่อนหลาย
. เป็นตัวแทนของแต่ละท่าทางหนึ่ง articulator
ระบบที่นำเสนอการดำเนินการเช่นเดียวกับการ
รู้จำภาพและเสียงมาตรฐาน ในการรับรู้หลัก
งาน; ผลลัพธ์ที่ดีที่สุดจะประสบความสำเร็จโดยการรวม
เอาท์พุทของทั้งสองระบบ

Results (Thai) 3:

การรู้จำเสียงพูดโดยทั้งมนุษย์และเครื่องจักร
ประโยชน์จากการสังเกตใบหน้าโดยเฉพาะอย่างยิ่ง
อัตราส่วนสัญญาณต่ำ ( snrs ) มันมักจะ
ถูกสังเกต แต่ที่ได้ยินและมองเห็นความสัมพันธ์ของหน่วยเสียงอาจจะ

บางทีไม่ตรงกัน ; สำหรับเหตุผลนี้อัตโนมัติ กล่าวว่า ให้ asynchrony โครงสร้างการรับรู้

ระหว่างระบบติดตามและ viseme มองเห็นดีกว่า
recognizers ที่ให้ไม่มี asynchrony .
บทความนี้เสนอและการทดสอบโดยใช้ระบบการรู้จำเสียงพูดทดลอง
,
คำอธิบายใหม่สำหรับภาพและเสียง asynchrony . โดยเฉพาะ เราเสนอ
ที่โสต asynchrony อาจเป็นผล
ของ asynchrony ระหว่างท่าทางใช้
โดยอักษรที่แตกต่างกันเช่นที่เห็นได้ชัดที่สุด
เด่นชัดเจน ( เช่น ริมฝีปาก ) และส่วนใหญ่ audibly
เด่นชัดเจน ( เช่น กลอตทิส ) อาจใน
เวลาใดก็ตามเป็น dominated โดยท่าทางที่เกี่ยวข้อง
กับหน่วยเสียงที่แตกต่างกัน การนำเสนอรูปแบบและทดสอบ โดยการใช้ asynchrony

" นางแบบ " คุณลักษณะพูดไม่ชัดพูด
recognizer โสต : ระบบที่มีหลายตัวแปรสถานะที่ซ่อน
แต่ละการแสดงท่าทางของหนึ่งชัดเจน . .
เสนอระบบมีประสิทธิภาพเช่นเดียวกับ
recognizer โสตมาตรฐานบนหลักการรับรู้
งาน ผลลัพธ์ที่ดีที่สุดจะประสบความสำเร็จโดยการรวมผลสอง

ระบบ .