Гүн сургалтын арга ашигласан Монгол дохионы хэлний хөрвүүлэгч
DOI:
https://doi.org/10.22353/mjeas.v4i1.920Keywords:
Монгол дохины хэл, sequence-to-sequence, LSTM, гүн сургалтAbstract
Энэ ажлаар Монгол дохионы хэлний анхны орчуулагчийг хүний онцлог цэгүүдийг ашигласан гүн сур- галтын аргаар бий болгов. Компьютер дүрс боловсруулалтын салбарт энэ төрлийн асуудал дээр гүн сур- галтын арга хэрэглэж сургахад их хэмжээний өгөгдөл шаардлагатай байдаг. Одоогоор дэлхийд 300 гаруй дохионы хэл байдаг буюу улс бүр өөрсдийн дохионы хэлтэй байдаг. Бид энэ ажлын хүрээнд Монгол хэлний анхны дохионы хэлний өгөгдлийг үүсгэж ашигласан болно. Бид эхний ээлжинд 10 өгүүлбэрийг илэрхийлсэн дохионы хэлний өндөр чанартай 869 видеог бэлтгэн үүнээс хүний нүүр, цээж, баруун, зүүн га- раас нийтдээ 1662 ширхэг хүний биеийн онцлог цэгүүдийг ашиглан сургасан гүн сургалтын загвар гаргаж авав. Бидний сургасан загвар 96% нарийвчлалтайгаар дохионы хэлийг зөв таньж орчуулдаг болсон.
Downloads
References
Cooper H, Holt B, Bowden R. Sign language recognition. In: Visual analysis of humans. Springer; 2011. p. 539–562.
Cho K, Van Merri¨enboer B, Gulcehre C, Bahdanau D, Bougares F, Schwenk H, et al. Learning phrase representations using
RNN encoder-decoder for statistical machine translation. arXiv preprint arXiv:14061078. 2014.
Hochreiter S, Schmidhuber J. Long short-term memory. Neural computation. 1997;9(8):1735– 1780.
Dong C, Leu MC, Yin Z. American sign language alphabet recognition using microsoft kinect. In: Proceedings of the IEEE conference on computer vision and pattern recognition workshops; 2015. p.44–52.
Gattupalli S, Ghaderi A, Athitsos V. Evaluation of deep learning based pose estimation for sign language recognition. In: Proceedings of the 9th ACM international conference on PErvasive technologies related to assistive environments; 2016. p. 1–7.
Von Agris U, Knorr M, Kraiss KF. The significance of facial features for automatic sign language recognition. In: 2008 8th IEEE International Conference on Automatic Face & Gesture Recognition. IEEE; 2008. p. 1–6.
Ko SK, Kim CJ, Jung H, Cho C. Neural sign language translation based on human keypoint estimation. Applied Sciences. 2019;9(13):2683.
Sutskever I, Vinyals O, Le QV. Sequence to sequence learning with neural networks. Advances in neural information processing systems. 2014;27.
Cao Z, Simon T, Wei SE, Sheikh Y. Realtime multi-person 2d pose estimation using part affinity fields. In: Proceedings of the IEEE conference on computer vision and pattern recognition; 2017. p.7291–7299.
Zhang F, Bazarevsky V, Vakunov A, Tkachenka A, Sung G, Chang CL, et al. Mediapipe hands: On-device real-time hand tracking. arXiv preprint arXiv:200610214. 2020.
Oberweger M,Wohlhart P, Lepetit V. Hands deep in deep learning for hand pose estimation. arXiv preprint arXiv:150206807. 2015.
Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez AN, et al. Attention is all you need. Advances in neural information processing systems. 2017;30.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2022 Mongolian Journal of Engineering and Applied Sciences
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
