Close
HomeNewsITGPT같은 LLM을 커스텀 데이터셋으로 파인튜닝 하는 방법

GPT같은 LLM을 커스텀 데이터셋으로 파인튜닝 하는 방법

노리컴퍼니ITNo Comments 225 views
  • nanoGPT 기반의 오픈소스 구현체인 Lit-Parrot 으로 LoRA 와 Adapter 를 이용해서 파인 튜닝하기
    • StableLM, Pythia, RedPajama 같은 LLM을 지원
    • PyTorch의 FlashAttention 이용
  • 예제에서는 Databricks의 Dolly 2.0 인스트럭션 데이터셋으로 RedPajama-INCITE 모델을 튜…

    출처 : GeekNews – 개발/기술/스타트업 뉴스 서비스

You Might Also Like

Leave a Reply

Your email address will not be published. Required fields are marked *

이 사이트는 스팸을 줄이는 아키스밋을 사용합니다. 댓글이 어떻게 처리되는지 알아보십시오.

© 2024 NORICOMPANY