Several methods for integration of

Several methods for integration of audio and visual sources
have been proposed (e.g. [5, 4, 6, 9, 10, 11]). RobertRibes
[4] has proposed a classication scheme for integra-
tion strategies. Two broad classes of strategy are early"
and late" integration models. Early integration refers to
strategies which combine evidence from dierent modalities
prior to making any decisions, whereas late integration
strategies perform some sort of independent single-modality
scoring before combining evidence. Although there remains much to be discovered concerning this process, the evidence
suggests that early integration strategies are the most successful.
2. INTEGRATION IN HMMs
Hidden Markov models provideanatural way of integrating
audio and visual information with either an early or a late
strategy. Early HMM integration methods are characterized,
in the decoding process, by state-by-state estimation of observation
probabilities based on audio and visual evidence. That is, in traversing the Viterbi lattice, both modalities are
considered in determining the most likely branch leading to
each node.
We now consider the problem of word recognition in hidden Markov models, using the Viterbi algorithm and its variants.
These provide an ecient way of searching the very large
space of possible state paths to nd that path most likely to
have generated the observation.
The Viterbi approach is particularly well suited for multimodal
ASR. When recognition is based on the state path,
it becomes possible to exploit subtle intermodal timing cues,
since both signals are assumed to have been generated from
a single state path [10].
Features derived from the audio and visual signals can become
relatively more or less reliable due to insucient training
data and changes of environment; their relative in
uence
on the recognition process should change accordingly. To allow
for variability and changes in the relative reliability of the
two information sources, some systems include one or more weighting parameters to control the relative in
uence of each
signal [1, 7, 10, 12]. Typically, these weights are applied to
either the output probability estimates at each time instant
(in the case of early integration) or to the overall word scores
(in the case of late integration). The weight associated with
the audio signal increases as the acoustic signal-to-noise ratio
increases. Other systems [2] operate without any such variable
weighting parameter. Virtually all, it should be noted,
use some form of product rule, based on an assumption of
conditional independence between the audio and visual signals.
That is, at some level, a score (usually a log probability)
is computed according to
S = Sv + (1
)Sa
or a similar rule.
The use of variable weights introduces its own set of problems.
For example, in order to know what values to assign to
the weights, the system must be able to estimate the signal
to noise ratio, or some other measure of signal quality. This
is not easy to do, and if it is not done correctly, results can
suer. We seek a robust integration strategy which does not
depend on variable weights, yet is suitable for use in a variety
of environments.

Results (Thai) 1:

วิธีการต่าง ๆ สำหรับการรวมของเสียง และภาพได้รับการเสนอชื่อ (เช่น [5, 4, 6, 9, 10, 11]) RobertRibes[4] ได้เสนอแบบ cation classi สำหรับ integraสเตรชันกลยุทธ์ 2 ชั้นกว้างของกลยุทธ์ early"และ late"รวมรุ่น ต้นรวมถึงกลยุทธ์ซึ่งรวมหลักฐานจาก di erent modalitiesก่อนตัดสินใจ ในขณะที่สายรวมกลยุทธ์ดำเนินการเรียงลำดับบางอย่างของ modality เดี่ยวอิสระคะแนนก่อนรวมหลักฐาน ถึงแม้ว่ามีเหลืออยู่มากที่จะค้นพบเกี่ยวกับกระบวนการนี้ หลักฐานแนะนำว่า ก่อนรวมกลยุทธ์ประสบความสำเร็จมากที่สุด2. รวมใน HMMsซ่อน Markov รุ่น provideanatural วิถีรวมข้อมูลภาพ และเสียงเป็นต้นหรือการล่าช้ากลยุทธ์การ มีลักษณะต้น HMM รวมวิธีในกระบวนการถอดรหัส โดยรัฐโดยรัฐประเมินเก็บข้อมูลกิจกรรมตามหลักฐานภาพ และเสียง ที่ ในการข้ามสิ่งกีดขวางโครงตาข่ายประกอบ Viterbi ทั้ง modalities คือพิจารณาในการกำหนดสาขานำไปสู่แต่ละโหนเราตอนนี้พิจารณาปัญหาของการรู้จำคำในรูปแบบ Markov ซ่อน โดยใช้อัลกอริทึม Viterbi และตัวแปรของการเหล่านี้เป็นวิธี cient อีการค้นหาพักพื้นที่เส้นทางรัฐได้ไป nd ที่เส้นทางมีสร้างการสังเกตวิธี Viterbi เหมาะอย่างยิ่งสำหรับเนื่องASR เมื่อรู้ตามเส้นทางของรัฐจะสามารถใช้ประโยชน์เวลาละเอียด intermodal สัญลักษณ์เนื่องจากสัญญาณทั้งสองจะถือว่ามีการสร้างจากเส้นทางสันติภาพ [10]คุณสมบัติที่ได้มาจากสัญญาณภาพ และเสียงสามารถเป็นเชื่อถือได้ค่อนข้างน้อยเนื่องจากฝึก cient insuข้อมูลและการเปลี่ยนแปลงของสภาพแวดล้อม ญาติของพวกเขาในuenceใน กระบวนการควรเปลี่ยนตามลำดับ การอนุญาตให้สำหรับความผันผวนและเปลี่ยนแปลงในความสัมพันธ์ของการสองแหล่งข้อมูล ระบบบางประกอบด้วยอย่าง น้อยหนึ่งพารามิเตอร์น้ำหนักสัมพัทธ์ในการควบคุมuence ของแต่ละสัญญาณ [1, 7, 10, 12] โดยปกติ น้ำหนักเหล่านี้จะใช้กับน่าผลประเมินในแต่ละครั้งทันที(ในกรณีของต้นรวม) หรือคะแนนคำโดยรวม(ในกรณีของสายรวม) น้ำหนักที่เกี่ยวข้องกับสัญญาณเสียงเพิ่มเป็นอัตราส่วนสัญญาณต่อเสียงอะคูสติกเพิ่มขึ้น มีระบบอื่น ๆ [2] โดยตัวแปรดังกล่าวน้ำหนักพารามิเตอร์ แทบทั้งหมด เรื่องที่ควรสังเกตใช้รูปแบบของผลิตภัณฑ์กฎ ตามสมมติฐานของการความเป็นอิสระแบบมีเงื่อนไขระหว่างสัญญาณภาพ และเสียงนั่นคือ ในบางระดับ คะแนน (โดยปกติแล้วการล็อกน่าเป็น)คำนวณตามS = (1 + ญา) สาหรือกฎที่คล้ายกันการใช้ตัวแปรน้ำหนักแนะนำชุดของปัญหาตัวอย่าง เพื่อให้ทราบว่าค่าที่กำหนดให้น้ำหนัก ระบบต้องสามารถประเมินสัญญาณอัตราส่วนสัญญาณรบกวน หรือบางอื่น ๆ วัดคุณภาพสัญญาณ นี้ไม่ใช่เรื่องง่ายที่จะทำ และถ้ามันไม่ทำอย่างถูกต้อง สามารถผลsu เอ้อ เราแสวงหากลยุทธ์รวมที่แข็งแกร่งที่ไม่ขึ้นอยู่กับน้ำหนักตัวแปร ยัง เหมาะสำหรับใช้ในของสภาพแวดล้อม

Results (Thai) 2:

หลายวิธีในการรวมตัวกันของแหล่งที่มาของภาพและเสียง
ได้รับการเสนอ (เช่น [5, 4, 6, 9, 10, 11]) RobertRibes
[4] ได้เสนอโครงการจัดประเภทไอออนบวกรวมกันสำหรับ
กลยุทธ์การ สองชั้นกว้างของกลยุทธ์การมี ต้น "
และ ปลาย "รูปแบบบูรณาการ บูรณาการในช่วงต้นหมายถึง
กลยุทธ์ซึ่งรวมหลักฐานจากดิ? รังสีต่างกัน
ก่อนที่จะมีการตัดสินใจใด ๆ ในขณะที่การรวมปลาย
กลยุทธ์การดำเนินการจัดเรียงของเดี่ยวกิริยาอิสระบาง
คะแนนก่อนที่จะรวมหลักฐาน แม้ว่าจะยังคงมีมากที่จะค้นพบเกี่ยวกับขั้นตอนนี้หลักฐานที่
แสดงให้เห็นว่ากลยุทธ์การรวมต้นที่ประสบความสำเร็จมากที่สุด.
2 บูรณาการใน HMMs
รุ่นมาร์คอฟที่ซ่อนวิธี provideanatural ของการบูรณาการ
ข้อมูลเสียงและภาพที่มีทั้งต้นหรือปลาย
กลยุทธ์ วิธีการรวมอืมต้นที่โดดเด่น,
ในกระบวนการถอดรหัสโดยการประมาณค่าของรัฐโดยรัฐของการสังเกต
น่าจะขึ้นอยู่กับเสียงและภาพหลักฐาน นั่นคือในภายในตาข่าย Viterbi รังสีทั้งสองจะ
พิจารณาในการกำหนดสาขาส่วนใหญ่มีแนวโน้มนำไปสู่
​​แต่ละโหนด.
ตอนนี้เราพิจารณาปัญหาของการรับรู้คำในรูปแบบมาร์คอฟที่ซ่อนอยู่โดยใช้อัลกอริทึม Viterbi และตัวแปรของมัน.
เหล่านี้ให้อี? วิธีที่เพียงพอของการค้นหามีขนาดใหญ่มาก
พื้นที่ของเส้นทางที่เป็นไปได้ของรัฐครั้งที่เส้นทางที่ส่วนใหญ่มีแนวโน้มที่จะ
มีการสร้างการสังเกต.
วิธี Viterbi โดยเฉพาะอย่างยิ่งเหมาะสำหรับการต่อเนื่อง
ASR เมื่อได้รับการยอมรับจะขึ้นอยู่กับเส้นทางที่รัฐ
มันจะกลายเป็นไปได้ที่จะใช้ประโยชน์จากตัวชี้นำระยะเวลาการขนส่งที่ลึกซึ้ง
ตั้งแต่สัญญาณทั้งสองจะถือว่าได้รับการสร้างขึ้นจาก
เส้นทางที่รัฐเดี่ยว [10].
คุณสมบัติที่ได้มาจากเสียงและสัญญาณภาพจะกลายเป็น
ค่อนข้างมากหรือ ความน่าเชื่อถือน้อยอันเนื่องมาจากการฝึกอบรม insu เพียงพอ?
ข้อมูลและการเปลี่ยนแปลงของสภาพแวดล้อม; ญาติของพวกเขาใน
uence
เกี่ยวกับกระบวนการการรับรู้ควรจะเปลี่ยนตาม ที่จะอนุญาตให้
สำหรับความแปรปรวนและการเปลี่ยนแปลงในความน่าเชื่อถือของญาติของ
สองแหล่งที่มาข้อมูลบางระบบรวมถึงหนึ่งหรือมากกว่าหนึ่งพารามิเตอร์ในการควบคุมน้ำหนักสัมพัทธ์ใน
uence ของแต่ละ
สัญญาณ [1, 7, 10, 12] โดยปกติน้ำหนักเหล่านี้จะถูกนำไปใช้
อย่างใดอย่างหนึ่งน่าจะเป็นประมาณการการส่งออกในแต่ละช่วงเวลาได้ทันที
(ในกรณีของการรวมกลุ่มในช่วงต้น) หรือคะแนนคำโดยรวม
(ในกรณีของการรวมสาย) น้ำหนักที่เกี่ยวข้องกับ
การเพิ่มขึ้นของสัญญาณเสียงอะคูสติกสัญญาณต่อเสียงรบกวนอัตราส่วน
ที่เพิ่มขึ้น ระบบอื่น ๆ [2] โดยไม่ต้องดำเนินการใด ๆ ดังกล่าวตัวแปร
พารามิเตอร์น้ำหนัก แทบทุกอย่างที่มันควรจะสังเกตเห็น
การใช้รูปแบบของการปกครองของผลิตภัณฑ์อยู่บนสมมติฐานของ
ความเป็นอิสระตามเงื่อนไขระหว่างเสียงและสัญญาณภาพ.
นั่นคือในระดับบางคะแนน (ปกติน่าจะเข้าสู่ระบบ)
คำนวณตาม
S = ? Sv + (1
) Sa
หรือกฎที่คล้ายกัน.
การใช้น้ำหนักตัวแปรแนะนำชุดของตัวเองของปัญหา.
ยกตัวอย่างเช่นในการที่จะรู้ว่าสิ่งที่มีค่าที่จะกำหนดให้
น้ำหนักระบบจะต้องสามารถที่จะประเมินสัญญาณ
ไป เสียงอัตราส่วนหรือบางมาตรการอื่น ๆ ของคุณภาพของสัญญาณ นี้
ไม่ใช่เรื่องง่ายที่จะทำและถ้าไม่ได้ทำอย่างถูกต้องผลสามารถ
su? เอ้อ เราพยายามที่ยุทธศาสตร์บูรณาการที่มีประสิทธิภาพที่ไม่ได้
ขึ้นอยู่กับน้ำหนักตัวแปรยังเหมาะสำหรับการใช้ในความหลากหลาย
ของสภาพแวดล้อม

Results (Thai) 3:

มีหลายวิธีสำหรับการรวมภาพและเสียงได้มีการเสนอแหล่ง
( เช่น [ 5 , 4 , 6 , 9 , 10 , 11 ) robertribes
[ 4 ] ได้เสนอ classi  ไอออนบวกของ Integra -
, กลยุทธ์ 2 ประเภทกว้างของกลยุทธ์ เป็นต้น "
N และรุ่นดึก " บูรณาการ รวมๆหมายถึง
) ซึ่งรวมหลักฐานจาก ดิ  erent modalities
ก่อนทําการใด ๆการตัดสินใจส่วนกลยุทธ์การบูรณาการ
ดึกแสดงบางอย่างอิสระ กิริยาเดียว
คะแนนก่อนการรวมหลักฐาน แม้ว่ายังคงมีมากที่จะค้นพบเกี่ยวกับกระบวนการนี้ หลักฐานที่แสดงให้เห็นว่ากลยุทธ์บูรณาการ
ก่อนจะประสบความสำเร็จมากที่สุด .
2 ซ่อนมาร์คอฟแบบบูรณาการใน hmms

provideanatural วิธีบูรณาการภาพและเสียงข้อมูลทั้งก่อน หรือ กลยุทธ์สาย

วิธีการรวมนะต้นมีลักษณะ
ในกระบวนการถอดรหัสโดยรัฐโดยรัฐ การประมาณความน่าจะเป็นบนพื้นฐานของการสังเกต
เสียงและหลักฐานภาพ นั่นคือ ใน traversing อุปกรณ์ตาข่ายทั้งสอง modalities มี
พิจารณาในการกำหนดมากที่สุดสาขาา

แต่ละโหนดตอนนี้เราจะพิจารณาปัญหาของการรับรู้ว่าในแบบจำลองฮิดเดนมาร์คอฟ โดยใช้ขั้นตอนวิธีและตัวแปรของอุปกรณ์เหล่านี้ให้ E .
 cient วิธีการค้นหาช่องว่างขนาดใหญ่มากของเส้นทางของรัฐเป็นไปได้
 ND ที่เส้นทางที่สุด

ได้สร้างอุปกรณ์สังเกตการณ์ วิธีการโดยเฉพาะอย่างยิ่งเหมาะสำหรับหลายระบบ
asr . เมื่อรับรู้ตามสภาพเส้นทาง
ก็จะสามารถใช้ประโยชน์จากการขนส่งบอบบางเวลาคิว ,
เนื่องจากทั้งสองสัญญาณจะถือว่าได้รับการสร้างขึ้นจาก
เส้นทางรัฐเดียว [ 10 ] .
คุณสมบัติที่ได้จากสัญญาณเสียงและภาพจะกลายเป็น
ค่อนข้างมากหรือเชื่อถือได้เนื่องจากมีฉนวน  cient การฝึกอบรม
ข้อมูลและการเปลี่ยนแปลงของสภาพแวดล้อมของญาติใน
น้อยกว่า uence
ในกระบวนการรับรู้จะเปลี่ยนตาม เพื่อให้
สำหรับความแปรปรวนและการเปลี่ยนแปลงในค่าสัมพัทธ์ของ
สองแหล่งที่มาของข้อมูล ระบบบางระบบรวมหนึ่งหรือมากกว่าหนึ่งพารามิเตอร์ถ่วงน้ำหนักเพื่อควบคุมสัมพัทธ์ของแต่ละ

uence สัญญาณ [ 1 , 7 , 10 , 12 ) โดยทั่วไปแล้ว น้ำหนักเหล่านี้จะใช้กับ
ให้ความน่าจะเป็นออกประมาณการในแต่ละเวลา ทันที
( ในกรณีของการรวมแรก ) หรือรวมคะแนน
คำ( ในกรณีของการรวมสาย ) น้ำหนักที่เกี่ยวข้องกับ
สัญญาณเสียงเพิ่มขึ้นเป็นเสียงสัญญาณอัตราส่วน
เพิ่ม ระบบอื่น ๆ [ 2 ] ใช้งานได้โดยไม่ต้องใด ๆ เช่นตัวแปร
ค่าพารามิเตอร์ เกือบทั้งหมด มันควรจะสังเกต ,
ใช้บางรูปแบบของกฎผลิตภัณฑ์บนพื้นฐานของสมมติฐานของ
ความเป็นอิสระที่มีเงื่อนไขระหว่างสัญญาณเสียงและภาพ
คือว่าในบางระดับคะแนน ( ปกติระบบจะคำนวณตามความน่าจะเป็น )

S =  SV ( 1
 ) ซา
หรือกฎที่คล้ายกัน .
ใช้ตัวแปรน้ำหนักแนะนำชุดของตัวเองของปัญหา
ตัวอย่างเช่น เพื่อที่จะรู้ว่าสิ่งที่มีค่าให้กับ
น้ำหนัก ระบบต้อง สามารถประเมินสัญญาณ
ต่อ เสียง หรืออื่น ๆบาง วัดคุณภาพของสัญญาณ นี้
ไม่ใช่เรื่องง่ายที่จะทำ ถ้าไม่ได้ทำอย่างถูกต้องผลลัพธ์ที่ได้ 
ซู ER เราแสวงหาประสิทธิภาพการบูรณาการกลยุทธ์ซึ่งไม่ได้
ขึ้นอยู่กับตัวแปรน้ำหนัก แต่เหมาะสำหรับใช้ในสภาพแวดล้อมที่หลากหลาย

.