Close
HomeNewsITGPT같은 LLM을 커스텀 데이터셋으로 파인튜닝 하는 방법

GPT같은 LLM을 커스텀 데이터셋으로 파인튜닝 하는 방법

노리컴퍼니ITNo Comments 384 views
  • nanoGPT 기반의 오픈소스 구현체인 Lit-Parrot 으로 LoRA 와 Adapter 를 이용해서 파인 튜닝하기
    • StableLM, Pythia, RedPajama 같은 LLM을 지원
    • PyTorch의 FlashAttention 이용
  • 예제에서는 Databricks의 Dolly 2.0 인스트럭션 데이터셋으로 RedPajama-INCITE 모델을 튜…

    출처 : GeekNews – 개발/기술/스타트업 뉴스 서비스

You Might Also Like

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

© 2025 NORICOMPANY