in sth stream,ωjsm denotes weight v

in sth stream,
ωjsm denotes weight value, μ and σ is the mean and covariance of Gaussian
distribution N(.).
Although SA-MSHMM can describe the asynchrony of audio and visual stream to some
extent, But problems remain due to the inherent limitation of the HMM structure. On one
hand, for large vocabulary speech recognition tasks, phones are the basic modeling units,
the model will force the audio stream and the visual stream to be synchronized at the timing
boundaries of phones, which is not coherent with the fact that the visual activity often
precedes the audio signal even by 120 ms. On the other hand, Once a little slight varieties
are done on MSHMM, a large amount of human effort must be placed into making
significant modifications on top of already complex software without having any guarantees
about their performance. So a new and unified multi-stream model framework is expected
to loose the limitation of asynchrony of audio stream and visual stream to the coarser level.
2.2 MS-ADBN model
A Dynamic Bayesian Network (DBN) is a statistical model that can represent collections of
random variables and their dependency relationships as they evolve over time. HMM is just
special case of much more general DBN model. Comparing with HMM, DBN model has a
more flexible and extensible structure, and explicitly describes the hierarchical relationship
of main components (e. g word, phone, state and observation) of speech recognition. In
general, the DBN model meets two conditions: 1) except the initial frame, the topology
structure is same in each frame; 2) the condition probability relationship between the frames
follows the one-order Markov model. Additionally, Uniform training and decoding
algorithm make the implement of DBN model become easier.
Since DBN model has some preponderant on describing the complex model structure,
multi-stream DBN model is expected to model the audio-visual speech recognition structure
by loosing the asynchrony of the audio stream and visual stream.
Fig. 2 illustrates the recognition structure of a multi-stream asynchrony DBN (MS-ADBN)
model. It is composed of a Prologue part (initialization), a Chunk part that is repeated every
time frame (t), and a closure of sentence with an Epilogue part. Abbreviation of every node
is denoted in the parentheses: (W) is the word unit in a sentence; (WT) is the occurrence of a
transition from one word to another word; (PP1) and (PP2) are the position of the current
phone in the current word; (PT1) and (PT2) are the occurrence of a transition from a phone
to another phone; (P1) and (P2) is the phone node; O1 is acoustic observation; O2 is visual
observation vector. The nodes with shade are the observation variables, and the nodes
without shades are the hidden state variables.
In MS-ADBN model, the word variable and word transition variable are at the top of the
structure, when a word transition occurs, it will reset (PP1) and (PP2) to their initial value,
hence audio stream and visual stream are forced to be synchronous in the same word node.
While between the word nodes, each stream has its own independence nodes and
conditional probability distributions between the nodes, each word is composed of its
corresponding composed phones, and each phone is associated with observation features.
Namely, it allows two independence representations for dynamic pronunciation process of a
word in this model. Additionally, word transition is determined by audio and visual steam
together, to make word transition occur, we must have that both PP1 and PP2 are the last
phone of current word, as well as both PT1 and PT2 occurs. Comparing with MSHMM, the
asynchrony of audio and visual stream is really loosed to word level.

Results (Vietnamese) 1:

ở sth stream,Ωjsm là giá trị trọng lượng, μ và σ là có ý nghĩa và hiệp phương sai của Gaussianphân phối N(.).Mặc dù SA-MSHMM có thể mô tả asynchrony dòng âm thanh và hình ảnh cho một sốphạm vi, nhưng vẫn còn những vấn đề do các giới hạn cố hữu của cấu trúc HMM. Trên mộtbàn tay, đối với vốn từ vựng lớn bài phát biểu nhận nhiệm vụ, điện thoại là các đơn vị cơ bản mô hình,Các mô hình sẽ buộc dòng suối âm thanh và dòng suối trực quan để được đồng bộ hóa thời gianranh giới của điện thoại, đó là không mạch lạc với thực tế rằng các hoạt động trực quan thườngđến trước các tín hiệu âm thanh thậm chí theo bà 120 trên mặt khác, một lần một ít giống nhẹđược thực hiện trên MSHMM, một số lượng lớn các nỗ lực của con người phải được đặt vào làmCác cải tiến đáng kể trên đầu trang của các phần mềm đã phức tạp mà không cần bất kỳ sự bảo đảmvề hiệu suất của họ. Vì vậy một khuôn khổ mới và thống nhất các mô hình đa dòng được mong đợiđể mất các giới hạn của asynchrony của dòng suối âm thanh và hình ảnh dòng để cấp độ thô.2.2 mô hình MS-ADBNMột mạng Bayes năng động (DBN) là một mô hình thống kê có thể đại diện cho các bộ sưu tập củabiến ngẫu nhiên và các mối quan hệ phụ thuộc khi họ tiến triển theo thời gian. HMM là chỉtrường hợp đặc biệt của nhiều hơn nữa chung DBN mô hình. So sánh với HMM, DBN mô hình có mộtThêm linh hoạt và mở rộng cấu trúc về sau, và rõ ràng mô tả mối quan hệ phân cấpthành phần chính (e. g từ điện thoại, nhà nước, và quan sát) của nhận dạng giọng nói. ỞTổng hợp, các mô hình DBN đáp ứng hai điều kiện: 1) ngoại trừ khung đầu tiên, cấu trúc liên kếtcơ cấu là giống nhau trong mỗi khung; 2) điều kiện xác suất mối quan hệ giữa các khung hìnhtheo các mô hình Markov một trật tự. Ngoài ra, đồng phục đào tạo và giải mãthuật toán làm cho thực hiện mô hình DBN trở nên dễ dàng hơn.Kể từ khi DBN mô hình có một số preponderant trên mô tả cấu trúc mô hình phức tạp,nhiều dòng DBN mô hình dự kiến sẽ mô hình cấu trúc nhận dạng giọng nói nghe nhìnbởi mất asynchrony của các dòng suối âm thanh và hình ảnh dòng.Hình 2 mô tả nhận dạng cấu trúc của một asynchrony nhiều dòng DBN (MS-ADBN)Mô hình. Nó bao gồm một phần Prologue (khởi tạo), một phần đoạn lặp đi lặp lại mỗikhung thời gian (t), và đóng cửa câu với một phần bạt. Viết tắt của mỗi nútlà biểu hiện trong các dấu ngoặc đơn: (W) là đơn vị từ trong một câu; (WT) là sự xuất hiện của mộtchuyển đổi từ một từ một từ khác; (PP1) và (PP2) là vị trí hiện tạiđiện thoại trong word hiện tại; (PT1) và (PT2) có sự xuất hiện của một sự chuyển đổi từ một điện thoạiđể điện thoại khác; (P1) và (P2) là các nút điện thoại; O1 là âm thanh quan sát; O2 là thị giácquan sát vector. Các nút với bóng râm là các biến quan sát, và các nútkhông có sắc thái là các biến trạng thái ẩn.Trong MS-ADBN mô hình, từ biến và từ quá trình chuyển đổi biến đang ở trên cùng của cáccấu trúc, khi quá trình chuyển đổi từ xảy ra, nó sẽ thiết lập lại (PP1) và (PP2) với giá trị ban đầu của họ,do đó dòng suối âm thanh và hình ảnh dòng buộc phải được đồng bộ trong cùng một từ nút.Trong khi giữa nút chữ, mỗi dòng có nút độc lập của riêng mình vàphân bố xác suất có điều kiện giữa các nút, mỗi từ sáng tác của mìnhtương ứng bao gồm điện thoại, và mỗi điện thoại được liên kết với các tính năng quan sát.Cụ thể, nó cho phép hai đại diện độc lập cho quá trình phát âm động của mộttừ trong mô hình này. Ngoài ra, từ quá trình chuyển đổi được xác định bởi âm thanh và thị giác hơicùng với nhau, để làm cho quá trình chuyển đổi từ xảy ra, chúng ta phải có PP1 và PP2 là cuối cùngđiện thoại của word hiện tại, cũng như cả PT1 và PT2 xảy ra. So sánh với MSHMM, cácasynchrony của dòng âm thanh và hình ảnh thực sự được loosed từ cấp độ.

Results (Vietnamese) 2:

trong dòng sth,
ωjsm biểu thị giá trị cân, μ và σ là giá trị trung bình và phương sai của Gaussian
phân phối N (.).
Mặc dù SA-MSHMM có thể mô tả sự không đồng bộ âm thanh và dòng trực quan cho một số
phạm vi, Nhưng vấn đề vẫn còn do sự hạn chế cố hữu của cấu trúc HMM. Trên một
mặt, cho các nhiệm vụ nhận vốn từ vựng tiếng nói lớn, điện thoại là các đơn vị mô hình cơ bản,
mô hình này sẽ buộc các dòng âm thanh và dòng hình ảnh sẽ được đồng bộ với thời gian
giới hạn của điện thoại, đó là không nhất quán với thực tế là các hoạt động trực quan thường
đi trước các tín hiệu âm thanh thậm chí 120 ms. Mặt khác, khi một chút giống nhỏ
được thực hiện trên MSHMM, một số lượng lớn các nỗ lực của con người phải được đặt vào làm
thay đổi đáng kể trên phần mềm đã được phức tạp mà không có bất kỳ đảm bảo
về hiệu suất của chúng. Vì vậy, một khuôn khổ mô hình đa luồng mới và thống nhất dự kiến sẽ
để mất giới hạn của sự không đồng bộ của dòng âm thanh và dòng trực quan đến mức thô hơn.
2.2 MS-ADBN mô hình
Một động Bayesian Network (DBN) là một mô hình thống kê rằng có thể đại diện cho bộ sưu tập của
biến ngẫu nhiên và các mối quan hệ phụ thuộc của họ khi họ phát triển theo thời gian. HMM chỉ là
trường hợp đặc biệt của tổng quát hơn nhiều mô hình DBN. So sánh với HMM, DBN mô hình có một
cấu trúc linh hoạt hơn và mở rộng, và mô tả một cách rõ ràng mối quan hệ thứ bậc
của các thành phần chính (e. G từ, điện thoại, nhà nước và quan sát) của nhận dạng giọng nói. Trong
nói chung, các mô hình DBN đáp ứng hai điều kiện: 1) ngoại trừ khung ban đầu, cấu trúc liên kết
cấu trúc là giống nhau trong mỗi khung; 2) mối quan hệ xác suất có điều kiện giữa các khung hình
theo một thứ tự mô hình Markov. Ngoài ra, đào tạo thống nhất và giải mã
thuật toán làm cho thực hiện các mô hình DBN trở nên dễ dàng hơn.
Kể từ DBN mô hình có một số vượt trội trên mô tả cấu trúc mô hình phức tạp,
mô hình DBN đa luồng dự kiến mô hình cơ cấu nhận dạng giọng nói nghe nhìn
bởi mất sự không đồng bộ của các các dòng âm thanh và dòng hình ảnh.
Hình. 2 minh họa cấu trúc công nhận một DBN (MS-ADBN) đa luồng không đồng bộ của
mô hình. Nó bao gồm một phần Prologue (khởi tạo), một phần Chunk được lặp đi lặp lại mỗi
khung thời gian (t), và đóng cửa của câu sau với một phần Epilogue. Tên viết tắt của mỗi nút
được biểu thị trong ngoặc đơn: (W) là đơn vị từ trong câu; (WT) là sự xuất hiện của một
quá trình chuyển đổi từ một từ để nói một lời; (PP1) và (PP2) là vị trí của các dòng
điện thoại trong từ hiện hành; (PT1) và (PT2) là sự xuất hiện của một quá trình chuyển đổi từ điện thoại
đến điện thoại khác; (P1) và (P2) là nút điện thoại; O1 là quan sát âm thanh; O2 là hình ảnh
vector quan sát. Các nút có bóng râm là các biến quan sát, và các nút
mà không màu là các biến trạng thái ẩn.
Trong mô hình MS-ADBN, biến từ và từ biến chuyển đang ở trên cùng của
cấu trúc, khi quá trình chuyển đổi từ xảy ra, nó sẽ thiết lập lại (PP1) và (PP2) với giá trị ban đầu của họ,
do đó dòng âm thanh và dòng visual buộc phải được đồng bộ trong nút cùng một từ.
trong khi giữa các nút chữ, mỗi dòng có nút độc lập riêng của mình và
phân bố xác suất có điều kiện giữa các nút, mỗi từ được cấu tạo của nó
điện thoại sáng tác tương ứng, và mỗi điện thoại được kết hợp với tính năng quan sát.
Cụ thể, nó cho phép hai đại diện độc lập cho quá trình phát âm năng động của một
từ trong mô hình này. Ngoài ra, quá trình chuyển đổi từ được xác định bằng hơi âm thanh và hình ảnh
lại với nhau, để làm cho quá trình chuyển đổi từ xảy ra, chúng ta phải có cả hai PP1 và PP2 là người cuối cùng
điện thoại của từ hiện tại, cũng như cả PT1 và PT2 xảy ra. So sánh với MSHMM, sự
không đồng bộ của các dòng âm thanh và hình ảnh thực sự là thong thả đến mức từ.