핫토픽 톱뉴스

API 가격의 부담 본문

OPEN AI

API 가격의 부담

NewBrain 2023. 3. 15. 04:07

액세스 권한이 있으면 gpt-4 모델에 텍스트 전용 요청을 할 수 있습니다(이미지 입력은 여전히 제한된 알파 상태임). 시간이 지남에 따라 새 버전을 만들 때 권장 안정 모델로 자동 업데이트됩니다(이미지를 고정할 수 있음). 6월 14일까지 지원되는 gpt-4-0314를 호출하여 현재 버전). 가격은 프롬프트 토큰 1,000개당 $0.03, 완료 토큰 1,000개당 $0.06입니다. 기본 속도 제한은 분당 40,000개의 토큰과 분당 200개의 요청입니다.

gpt-4의 컨텍스트 길이는 8,192 토큰입니다. 또한 시간이 지남에 따라 자동으로 업데이트되는 32,768–컨텍스트(약 50페이지의 텍스트) 버전인 gpt-4-32k에 대한 제한된 액세스를 제공하고 있습니다(현재 버전 gpt-4-32k-0314도 6월 14일까지 지원됨). ). 가격은 프롬프트 토큰 1,000개당 $0.06, 완료 토큰 1,000개당 $0.12입니다. 우리는 여전히 긴 컨텍스트에 대한 모델 품질을 개선하고 있으며 사용 사례에 대한 성능에 대한 피드백을 원합니다. 용량에 따라 다른 속도로 8K 및 32K 엔진에 대한 요청을 처리하고 있으므로 서로 다른 시간에 액세스할 수 있습니다.


GPT-4 사용하려면 API 가격이 엄청 부담될 듯...

API로 한번 프롬프트 날리고 받으면 1000토큰 당 약 120원(프롬프트 0.03달러 + 완료 0.06달러 / 8192 토큰 서비스 기준), 약 240원(프롬프트 0.06달러 + 완료 0.12달러 / 32768 서비스)씩 받는다는 얘기 같은데요...

GPT-3.5 Turbo가 1000토큰 당 2.6원(0.002달러 / 프롬프트, 완료 구분 없이)이었으니, 가격 인상이 20배가 넘네요.

일반적인 작업에 32k 모델이 필요하지는 않을것으로 생각되는데 GPT-4 8k모델도 3.5터보보다 훨씬 비싸긴하네요. 급나누기전략인가.