One of the most debated questions i

One of the most debated questions in the field of AVASR is when to integrate the
audio and visual modalities [3], [4]. Most systems can be divided into two groups:
Early Integration and Late Integration. Early Integration systems concatenate the
feature vectors before classification. There is no common metric level over the two
modalities. Late Integration systems first classify each modality independently and
then combine the separate likelihoods.
Late integration was chosen for this platform. In Late Integration the probabilities of
each possible class of the two modalities are fused. The fusion scheme chosen is
multiplicative using probabilistic des. The scheme initially selects the candidate
that maximises the cross product of the N-best output probabilities of the audio and
visual modalities; N was set to 4.
The audio and visual outputs are weighted according to the dispersion or variances
of their output probabilities, which indicates reliability of the modalities [16]. These
adaptive weights account for the confusability of phonemes visually and also the
confusability of phonemes acoustically for varying levels of SNR.

Results (Thai) 1:

คำถามสุด debated ในฟิลด์ของ AVASR คือเมื่อรวมการภาพ และเสียง modalities [3], [4] ระบบส่วนใหญ่สามารถแบ่งออกเป็น 2 กลุ่ม:รวมช่วงต้นและปลายรวม นำต้นรวมระบบการเวกเตอร์ลักษณะก่อนที่จะจัดประเภท มีระดับวัดทั่วไปไม่เกินสองmodalities การ ระบบรวมสายแรกจัดประเภท modality แต่ละอย่างเป็นอิสระ และแล้ว รวม likelihoods แยกสายรวมถูกเลือกสำหรับแพลตฟอร์มนี้ สายร่วมกิจกรรมของแต่ละชั้นสามารถ modalities สองมี fused โครงร่างฟิวชั่นที่เลือกเชิงการคูณใช้ probabilistic เด ชุดรูปแบบเริ่มต้นเลือกผู้สมัครที่วัสดุผลิตภัณฑ์ขนของกิจกรรมผลลัพธ์ N ส่วนของเสียง และภาพ modalities N ถูกตั้งค่าเป็น 4แสดงผลภาพ และเสียงจะถ่วงน้ำหนักกระจายตัวหรือผลต่างของกิจกรรมของพวกเขาออก ซึ่งบ่งชี้ว่า มีความน่าเชื่อถือของ modalities [16] เหล่านี้น้ำหนักปรับบัญชีสำหรับ confusability ของ phonemes เห็น และยังจะconfusability ของ phonemes acoustically ในระดับแตกต่างกันของ SNR

Results (Thai) 2:

หนึ่งในคำถามที่ถกเถียงกันมากที่สุดในเขตของ AVASR คือเมื่อการรวม
เสียงและภาพรังสี [3] [4] ระบบส่วนใหญ่สามารถแบ่งออกเป็นสองกลุ่ม
บูรณาการในช่วงต้นและปลายบูรณาการ ระบบบูรณาการในช่วงต้นเชื่อม
เวกเตอร์คุณลักษณะก่อนการจัดหมวดหมู่ ไม่มีตัวชี้วัดระดับที่พบบ่อยในช่วงสองเป็น
รังสี ระบบบูรณาการครั้งแรกในช่วงปลายจำแนกแต่ละกิริยาอิสระและ
แล้วรวมโอกาสเกิดแยกต่างหาก.
บูรณาการสายเป็นทางเลือกสำหรับแพลตฟอร์มนี้ บูรณาการในปลายน่าจะเป็นของ
แต่ละชั้นเป็นไปได้ของทั้งสองรังสีกำลังหลอมละลาย โครงการฟิวชั่นได้รับการแต่งตั้งเป็น
คูณโดยใช้ความน่าจะเป็นเด โครงการในขั้นแรกจะเลือกผู้สมัคร
ที่เพิ่มสินค้าข้ามของ N-ที่ดีที่สุดน่าจะเป็นผลของเสียงและ
ภาพรังสี; ไม่มีถูกกำหนดให้ 4
เสียงและเอาท์พุทภาพมีน้ำหนักตามที่กระจายหรือความแปรปรวน
ของความน่าจะเป็นผลผลิตของพวกเขาซึ่งบ่งชี้ความน่าเชื่อถือของรังสี [16] เหล่านี้
ปรับตัวน้ำหนักบัญชีสำหรับ confusability ของหน่วยเสียงสายตาและยัง
confusability ของหน่วยเสียงเสียงที่แตกต่างกันสำหรับระดับของ SNR

Results (Thai) 3:

หนึ่งในคำถามที่ถกเถียงกันมากที่สุดในด้าน avasr เมื่อบูรณาการ
ภาพและเสียงรูปแบบ [ 3 ] [ 4 ] ระบบส่วนใหญ่สามารถแบ่งออกเป็นสองกลุ่ม :
รวมสายรวมต้นและ บูรณาการระบบแรก concatenate
คุณลักษณะเวกเตอร์ก่อนที่การจำแนก ไม่มีทั่วไปตัวชี้วัดระดับสอง
modalities .บูรณาการระบบสายแรกเป็นอิสระ และแยกประเภทของกิริยาแล้ว รวม likelihoods

รวมแยก สายถูกเลือกสำหรับแพลตฟอร์มนี้ ในการรวมสายน่าจะเป็นของ
แต่ละชั้นเรียนเป็นไปได้ของสอง modalities มีผสม . การเลือกใช้รูปแบบ
การคูณความน่าจะเป็น Des โครงการเริ่มเลือกผู้สมัคร
ที่เพิ่มข้ามผลิตภัณฑ์ของ n-best น่าจะเป็นผลผลิตของ เสียง และภาพ วิธี
; n คือชุดที่ 4 .
ผลผลิตภาพและเสียงจะหนักตามการกระจายของความน่าจะเป็นหรือความแปรปรวน
ผลผลิตของตนเอง ซึ่งบ่งชี้ว่า ความเชื่อมั่นของ modalities [ 16 ] เหล่านี้น้ำหนัก
ปรับบัญชีสำหรับ confusability ของหน่วยเสียงที่มองเห็นและยัง
confusability ของหน่วยเสียงเสียงสำหรับระดับที่แตกต่างของสนร.