월레스와 그로밋: 코딩의 날

import tiktokentiktoken: OpenAI의 GPT 계열 모델에서 사용하는 토크나이저(tokenizer) 라이브러리# 토큰 인코딩 규칙 불러오기encoding = tiktoken.encoding_for_model("gpt-3.5-turbo")tiktoken.encoding_for_model(): "gpt-3.5-turbo" 모델에 맞는 토큰 인코딩 규칙 불러오기(LLM)참고) 토크나이저 이름을 불러올 시, tiktoken.get_encoding()# 텍스트 정의text = "GPT is a type of language model developed by OpenAI that uses deep learning to understand and generate human-like text. It..