ansir place

.env로 환경변수 설정 후 불러오기# .envOPENAI_API_KEY="private_key"from dotenv import load_dotenvload_dotenv() # .env 파일 내용을 환경변수로 로드import osos.getenv("OPENAI_API_KEY")[:4]LangChain의 핵심 컴포넌트: 모델 호출 단계를 구성하는 추상화 요소를 제공- PromptTemplate: LLM에 보낼 입력 프롬프트- ChatOpenAI: OPENAI의 GPT- 모델 호출- Runnable: 실행 가능한 객체에 대한 공통 인터페이스 -> invoke() 메서드를 통해서 입력과 출력을 지원- StrOutPutParser: 문자열 출력 파서 파이프로 연결이 가능 ex) prompt | ll..

프롬프트 엔지니어링 응용 (LangChain)MoE (Mixture of Experts)**Mixture of Experts(MoE)**는 대규모 언어 모델(LLM)의 연산 효율을 극대화하기 위한 아키텍처 설계 방식 중 하나입니다.1. 기존 LLM과의 차이점기존 LLM (예: GPT, PaLM 등)모든 입력에 대해 전체 파라미터(모델의 모든 층과 유닛)를 항상 사용합니다.파라미터 수가 많을수록 연산량이 커지고, 학습 및 추론 비용이 높아집니다.MoE 기반 LLM (예: Mixtral 8x7B)모델 내 여러 개의 전문가 네트워크(Experts)가 존재합니다.입력에 따라 그 중 일부 전문가만 선택되어 활성화됩니다.예: 8개의 전문가 중 2개만 활성화되면 7B x 2 = 14B 파라미터만 사용 → 전체 56B..

RAG와 LangChain을 이용한 한글 문서 기반 대화형 챗봇1. RAG (Retrieval-Augmented Generation)정의:RAG는 외부 지식을 활용하여 LLM의 응답 생성을 보완하는 기술로, 사용자의 질문에 직접적으로 답변하기 위해 관련 문서를 검색한 뒤 해당 문서를 바탕으로 답변을 생성합니다.핵심 구성 요소:문서 검색 (Retrieval):사용자의 질문과 의미적으로 유사한 문서를 벡터 데이터베이스에서 검색합니다.문서 임베딩 (Embedding):문서를 벡터로 변환하여 의미적 유사성 기반 검색이 가능하게 합니다.(예: 한글 문장은 다국어 임베딩 모델 또는 KoBERT, KoSimCSE 등으로 처리)답변 생성 (Generation):검색된 문서를 LLM에 전달하여 질문에 맞는 맥락적 답변을..