[ SK 네트웍스 Family AI 캠프 수업 내용 복습 ] 자연어 딥러닝 응용(신경망 기계번역)-2 2025-04-30

Transformer 기반 NMT 성능 병목과 개선 전략1. 신경망 기계번역(NMT)의 핵심 모델 이슈1.1 긴 시퀀스 처리Transformer는 어텐션 메커니즘을 기반으로 하므로, 입력 시퀀스가 길어질수록 연산량과 메모리 사용량이 급격히 증가함.어텐션은 입력 토큰 간의 모든 쌍에 대해 연산하므로 계산 복잡도는 O(n²).결과적으로 문장이 길수록 중요한 정보를 잃거나 문맥 파악이 어려워질 수 있음.1.2 희소 단어(Sparse Vocabulary) 문제고유명사, 전문용어 등 드물게 등장하는 단어는 학습 데이터에 충분히 등장하지 않아 번역 품질이 저하됨.희소 단어는 어휘 확장성 문제와도 연결됨.해결을 위해 BPE(Byte Pair Encoding)와 같은 서브워드 분할 기법이 자주 사용됨.1.3 언어쌍 간..
SK 네트웍스 family AI 캠프/수업 내용 복습 2025. 5. 1. 14:29
1
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2026/03   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31
글 보관함
250x250
반응형