Audio Visual Automatic Speech Recog

Audio Visual Automatic Speech Recognition systems use visual
information to enhance ASR systems in clean and noisy environments. This paper
investigates of a number of different visual feature extraction methods. It was observed
that when performing visual speech recognition the visual feature vector requires a base
level of detail for improved recognition. Geometric feature extraction provides lower
recognition than pixel based methods due to the loss of characteristic speech information
such as €tuck, protrusion etc. Downsampling of images reduces visual recognition
scores due to the loss of &tail in the images. Also, the role of dynamic features was
investigated for improved recognition. It was observed that static features alone
outperform a combination of both static and dynamic features when restricting he
dimension of the feature vector e.g. 50. This illustrates that the need for a certain level of
detail in visual speech recognition is a higher priority than dynamic information. Once
this base level of detail is attained the dynamic features should then be able to improve
the recognition rate.

Results (Thai) 1:

ระบบการรู้จำเสียงภาพอัตโนมัติเสียงใช้ภาพข้อมูลเพื่อเสริมระบบ ASR ในสภาพแวดล้อมสะอาด และเสียงดัง กระดาษนี้ตรวจสอบจำนวนวิธีการสกัดคุณลักษณะภาพแตกต่างกัน จะถูกตรวจสอบว่า เมื่อรู้ภาพ เวกเตอร์ลักษณะภาพต้องการความระดับของรายละเอียดสำหรับการรับรู้ดีขึ้น แยกคุณลักษณะเรขาคณิตให้ต่ำกว่ารู้กว่าพิกเซลตามวิธีเนื่องจากการสูญเสียของข้อมูลลักษณะเสียงเช่นเปิด protrusion เป็นต้น Downsampling ภาพลดการรู้จำภาพคะแนนจากการสูญเสียและหางในรูป ยัง บทบาทของแบบไดนามิกได้ตรวจสอบสำหรับการปรับปรุง ที่สังเกตได้ว่า คงมีคนเดียวมีประสิทธิภาพสูงกว่าการรวมกันของลักษณะการทำงานแบบสแตติก และไดนามิกเมื่อจำกัดเขาขนาดของเวกเตอร์คุณลักษณะเช่น 50 แสดงที่จำเป็นสำหรับระดับของรายละเอียดของภาพรู้ความข้อมูลแบบไดนามิกได้ ครั้งบรรลุนี้ตามรายละเอียดคุณลักษณะแบบไดนามิกแล้วควรจะปรับปรุงอัตราการรู้จำ

Results (Thai) 2:

เครื่องเสียงระบบภาพอัตโนมัติใช้การรู้จำเสียงภาพ
ข้อมูลเพื่อเพิ่มระบบ ASR ในสภาพแวดล้อมที่สะอาดและมีเสียงดัง กระดาษนี้จะ
สำรวจจำนวนของคุณลักษณะวิธีการสกัดภาพที่แตกต่างกัน มันถูกตั้งข้อสังเกต
ว่าเมื่อดำเนินการรู้จำเสียงพูดภาพเวกเตอร์คุณลักษณะภาพต้องมีฐาน
ระดับของรายละเอียดสำหรับการรับรู้ที่ดีขึ้น ดึงเรขาคณิตให้ต่ำ
กว่าวิธีการรับรู้ตามพิกเซลเนื่องจากการสูญเสียของข้อมูลการพูดลักษณะ
เช่น€เหน็บยื่นออกมา ฯลฯ downsampling ของภาพจะช่วยลดการรับรู้ภาพ
คะแนนเนื่องจากการสูญเสียและหางในภาพ นอกจากนี้บทบาทของคุณสมบัติแบบไดนามิกได้รับการ
ตรวจสอบสำหรับการรับรู้ที่ดีขึ้น มันถูกตั้งข้อสังเกตว่ามีคุณสมบัติคงที่อยู่คนเดียว
ดีกว่าการรวมกันของทั้งสองคุณสมบัติแบบคงที่และแบบไดนามิกเมื่อเขา จำกัด
ขนาดของเวกเตอร์คุณลักษณะเช่น 50 นี้แสดงให้เห็นว่าจำเป็นที่จะต้องมีระดับหนึ่งของ
รายละเอียดในการจดจำเสียงที่มองเห็นเป็นลำดับความสำคัญสูงกว่าข้อมูลแบบไดนามิก เมื่อ
ระดับฐานของรายละเอียดนี้จะบรรลุคุณสมบัติแบบไดนามิกแล้วควรจะสามารถที่จะปรับปรุง
อัตราการรู้จำ

Results (Thai) 3:

ภาพและเสียงการพูดโดยอัตโนมัติ ระบบการใช้ข้อมูลเพื่อเพิ่มประสิทธิภาพระบบ ASR
สะอาดและสภาพแวดล้อมที่มีเสียงดัง
กระดาษนี้ศึกษาคุณลักษณะของภาพต่างกันด้วยวิธีการ พบ
เมื่อแสดงภาพคุณลักษณะการรู้จำเสียงพูดเวกเตอร์ภาพต้องใช้ฐาน
ระดับของรายละเอียดสำหรับการปรับปรุงการรับรู้การสกัดลักษณะเด่นทางเรขาคณิตให้รับรู้ลดลง
กว่าพิกเซลตามวิธีเนื่องจากการสูญเสียของลักษณะการพูดข้อมูล
เช่นด้านทัก ติ่ง ฯลฯ ดาวน์แซมปลิ้งของภาพลดภาพการรับรู้
คะแนนเนื่องจากการสูญเสียของ&หางในรูป นอกจากนี้ บทบาทของคุณสมบัติแบบไดนามิกคือ
เพื่อปรับปรุงการรับรู้ พบว่ามีคนเดียว
ไฟฟ้าสถิตน้ำหนักรวมกันทั้งแบบคงที่และแบบไดนามิก จำกัด คุณสมบัติเมื่อเขา
มิติของเวกเตอร์คุณลักษณะเช่น 50 นี้แสดงให้เห็นว่า ความต้องการระดับหนึ่งของ
รายละเอียดในการรู้จำเสียงพูดและลำดับความสำคัญที่สูงกว่าข้อมูลแบบไดนามิก เมื่อ
ฐาน ระดับของรายละเอียดจะบรรลุคุณลักษณะแบบไดนามิกแล้วควรจะสามารถที่จะปรับปรุง
อัตราการรู้จำ .