ansir 님의 블로그

SK 네트웍스 family AI 캠프 10주차 회고( 2025-04-28 ~ 2025-05-02 ) 본문

SK 네트웍스 family AI 캠프/주간 회고

SK 네트웍스 family AI 캠프 10주차 회고( 2025-04-28 ~ 2025-05-02 )

ansir 2025. 5. 7. 23:26


 

주간 수업 내용 복습

 

[ SK 네트웍스 Family AI 캠프 수업 내용 복습 ] 자연어 딥러닝 응용(언어 모델링) 2025-04-28

TransformerRNN/LSTM의 한계 순차처리: 단어를 하나씩 읽어서 문맥을 이해, 초기 정보 잊음 병렬화 불가: GPU를 활용한 빠른 학습이 불가Transformer의 장점 병렬 처리 self-attention: 단어간의 관계를 직접 계

ansir.tistory.com

 

 

[ SK 네트웍스 Family AI 캠프 수업 내용 복습 ] 자연어 딥러닝 응용(신경망 기계번역) 2025-04-29

Seq2Seq (Sequence-to-Sequence)정의:Seq2Seq는 입력 시퀀스를 받아서 출력 시퀀스로 변환하는 딥러닝 기반 모델 구조로, 기계 번역, 문장 요약, 질의응답 등 입력과 출력 길이가 다를 수 있는 시퀀스 간 변

ansir.tistory.com

 

 

[ SK 네트웍스 Family AI 캠프 수업 내용 복습 ] 자연어 딥러닝 응용(신경망 기계번역)-2 2025-04-30

Transformer 기반 NMT 성능 병목과 개선 전략1. 신경망 기계번역(NMT)의 핵심 모델 이슈1.1 긴 시퀀스 처리Transformer는 어텐션 메커니즘을 기반으로 하므로, 입력 시퀀스가 길어질수록 연산량과 메모리

ansir.tistory.com

 


 

PMI

Plus: 좋았던 점

 이번주 공부를 하면서 자연어 처리에 중요한 부분인 인코딩 부분에 대해 이해할 수 있어서 좋았습니다. 자연어를 처리하는 모델을 만들다 보면 문장이 벡터로 변환되고 출력 형태가 2차원, 3차원으로 바뀔 때가 있는데 그 이유에 대해 잘 모르다보니 이해가 잘 안되었는데 인코딩 과정에 대해 이해하게 되고 나서부터 하나씩 눈에 보이기 시작했습니다.

Minus: 아쉬웠던 점

 아직 self-attention에 대한 개념을 완벽히 이해하지 못한 것이 아쉽습니다. Transformer 기반 모델의 구조를 이해하고 구현하기 위해서는 self-attention의 개념 이해가 필수적인데 그 부분을 확실하게 이해하지 못한채 이번 주를 넘기게 되어 아쉽습니다. 관련 예제를 따라해보면서 개념과 실제 사용법도 익혀야겠습니다.

Impressive: 인상적이었던 점

 인공지능을 공부하기 전 Fine-tuning 이라는 용어를 들은 적이 있었는데 이번 주에 그 개념을 배우게 되었습니다. 사전 학습이 되어 있는 모델을 추가로 학습하여 특정 도메인에 특화되도록 하는 것입니다. 조금씩 인공지능 분야에서 익히 들리는 개념들을 직접 배우게 되니 신기하면서도 재미있습니다.

반응형