- OpenAI가 개발한 웹 크롤러인 GPTBot 소개글
- "GPTBot" 이라는 유저 에이전트 토큰 및 전체 유저 에이전트 문자열로 식별 가능
- GPTBot이 크롤링한 웹 페이지는 미래의 AI 모델 개선에 사용될 수 있음
- 크롤러는 페이월 접근이 필요한 소스, 개인 식별 정보…
잼난 개발놀이, 노리컴퍼니