본문으로 건너뛰기
Minsing Log
뒤로 가기

모델이 학습한다는 의미

Programming & CS

아직 처음 배운거라 오류가 있다면 알려주세용

ML, 넓은 의미로써의 학습

모델의 가중치값을 조정해나아가는 일련의 과정

LLM에서의 학습

모델의 단어들의 관계나 문장의 의미를 백터로 변환하는 “방법”을 배운 상태

DAE (Denosing AutoEncoder)

  1. transformer가 문장들을 임베딩하여 백터화하고 단어들의 관계를 학습함.
  2. 그리고 마스킹과 복원하는 작업을 통해 각 단어의 문맥적 의미를 배우고 문장의 의미를 백터화 하는 능력 향상
  3. 학습된 모델은 문장의 임베딩 백터로 변환

-> Chatgpt피셜이라 교차검증 필요 -> 백터화하는 과정과 denosing하는 과정은 따로 있는것 같다.

공개 여정 구독

글이 올라오면 이메일로 보내드릴게요.

개발, 창업, 배움, 실패와 회고를 짧고 솔직하게 기록합니다. 검색으로 스쳐가는 독자가 아니라 여정을 따라오는 팬을 만들기 위한 뉴스레터입니다.

뉴스레터는 준비 중입니다. 그동안 RSS 로 구독하거나 이메일 로 알림을 요청해 주세요.


이 글 공유하기:

댓글

GitHub 계정으로 로그인해 댓글을 남길 수 있습니다.


이전 글
여러분은 AI 답변을 어떻게 신뢰하시나요?
다음 글
베이즈정리