[ SK 네트웍스 Family AI 캠프 수업 내용 복습 ] 자연어 처리 기법 2025-04-22

자연어 처리 순서1. 데이터 수집분석 목적에 맞는 텍스트 데이터를 수집하는 단계예: 뉴스 기사, SNS 댓글, 리뷰, 고객 문의, 논문 등웹 크롤링, API, 공개 데이터셋 등을 활용할 수 있다.예: Kaggle, HuggingFace Datasets, 네이버 뉴스 크롤링 등2. 데이터 전처리자연어는 구조가 복잡하고 비정형이기 때문에 기계가 이해할 수 있도록 정제하는 과정이 필요하다.토큰화문장을 단어 또는 문장 단위로 나누는 작업예: "나는 밥을 먹었다" -> ["나", "는", "밥", "을", "먹", "었다"]불용어 제거( Stopword Removal )의미가 거의 없는 단어 제거( 예: '의', '이', '가', 'the', 'is' 등 )사용자 정의 사전 또는 NLTK, KoNLPy 등 라이브..
SK 네트웍스 family AI 캠프/수업 내용 복습 2025. 4. 22. 22:05
1
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2026/03   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31
글 보관함
250x250
반응형