월레스와 그로밋: 코딩의 날

import tiktokentiktoken: OpenAI의 GPT 계열 모델에서 사용하는 토크나이저(tokenizer) 라이브러리# 토큰 인코딩 규칙 불러오기encoding = tiktoken.encoding_for_model("gpt-3.5-turbo")tiktoken.encoding_for_model(): "gpt-3.5-turbo" 모델에 맞는 토큰 인코딩 규칙 불러오기(LLM)참고) 토크나이저 이름을 불러올 시, tiktoken.get_encoding()# 텍스트 정의text = "GPT is a type of language model developed by OpenAI that uses deep learning to understand and generate human-like text. It..

(Hugging Face 사이트의 openai/gsm8k 데이터셋 설명문을 ChatGPT로 번역 및 정리했음) 데이터셋 요약 GSM8K(Grade School Math 8K)은 언어적으로 다양하고 고품질인 초등학교 수준의 수학 서술형 문제 8,500개로 구성된 데이터셋입니다.이 데이터셋은 기초적인 수학 문제에 대한 질의응답(question answering) 작업을 지원하기 위해 만들어졌으며, **다단계 추론(multi-step reasoning)**을 요구합니다.문제를 풀기 위해서는 2단계에서 8단계 사이의 계산 과정이 필요합니다.정답을 구하려면 주로 기초 산술 연산(덧셈 +, 뺄셈 −, 곱셈 ×, 나눗셈 ÷)을 순차적으로 수행해야 합니다.논문에서 언급하길: "문제는 초기 대수 수준을 넘는 개념을 요구..

# 가상환경conda create -n [가상환경이름] python=x.x# 가상환경 생성conda info --envs# 생성된 가상환경 리스트conda activate [가상환경이름]# 가상환경 활성화conda deactivate# 가상환경 비활성화conda remove -n 가상환경이름 --all# 가상환경 삭제conda env export > virtual_env.yaml# 가상환경을 .yaml 파일로 내보내서 저장conda create -n [복사된_가상환경이름] --clone [복사할_가상환경이름]# 가상환경 클론 생성 # anaconda prompt 가상환경 - 라이브러리 설치pip freeze > requirements.txt# 현재 가상환경에 설치된 라이브러리 저장pip install -..

용량 확인 디스크 용량 확인$ df -h현재 디렉토리의 모든 항목 각각에 대해 용량을 요약해서 보여줌$ du -sh *도커 용량 확인$ docker system df옵션 -v: 도커 사용 상태 확인prune prune: 컨테이너 및 이미지 파기할 때 사용하는 명령 빌드 시 사용된 캐시 제거$ docker builder prune실행중이 아닌 모든 컨테이너 삭제$ docker container prune태그가 붙지 않은 모든 이미지 삭제$ docker image prune사용하지 않는 도커 이미지 및 컨테이너, 볼륨 네트워크 등 모든 도커 리소스를 일괄적으로 삭제$ docker system prune도커 볼륨 삭제$ docker volume prune도커 네트워크 확인 및 삭제$ doker network ..

xrdp xrdp는 마이크로소프트 RDP(원격 데스크톱 프로토콜) 서버의 자유-오픈 소스 구현체이며 마이크로소프트 윈도우 외의 운영체제(예; 리눅스, BSD 스타일 운영 체제)들이 온전히 기능하는 RDP 호환 원격 데스크톱 경험을 제공할 수 있게 한다.우분투 환경 세팅 1. xrdp 오픈소스 설치 되어 있는지 확인$ systemctl status xrdp1-1. 설치가 안되어 있을 경우 설치$ sudo apt update$ sudo apt upgrade$ sudo apt install xrdp1-2. 설치 잘 됐는지 다시 확인$ systemctl status xrdp2. xrdp 계정을 ssl-cert 그룹으로 생성$ sudo adduser xrdp ssl-cert 3. 방화벽 설정$ sudo ufw a..

stable diffusion 로컬 설치를 위한 첫단계:윈도우 PC에 우분투22.04 듀얼부팅 설치 #1탄: 우분투 부팅안녕하세요. AI를 이용한 이미지 생성을 위해서 보통 stable diffusion 을 많이들 사용하는데요.이를 로컬에서 사용하기 위해서는 webui 라는 프로그램?을 설치해서 진행하게 됩니다. 일반적으로 우리lookchemy.tistory.com위 링크를 참고하여 듀얼 부팅 과정을 진행하였다. 위 과정에서 볼륨 축소를 할 때 C 드라이브의 사용 가능 공간이 분명 1TB 중 800GB인데 사용할 수 있는 축소 공간이 120GB 정도 밖에 안되었다.왜 그런 것인가.. 이동할 수 없는 파일이 있는 지점을 벗어나 볼륨을 축소할 수 없습니다. 해결방법 정리현재 상황 C드라이브의 파티션 용량을 ..

1. 도커 컨테이너 실행docker exec -it /bin/bash2. install localesapt-get install locales3. 환경값 설정export LANGUAGE=ko_KR.UTF-8export LANG=ko_KR.UTF-84. locales 설정locale-gen ko_KR ko_KR.UTF-85. 위 두 명령어 실행 후dpkg-reconfigure locales명령어 실행 후Enter를 쳐가면서 'ko_KR.UTF-8 UTF-8'를 찾기번호를 찾으면계속 Enter를 쳐서 '생설할 로케일 목록'이 나올때 까지 내려가기'생설할 로케일 목록'이 나오면 찾은 번호, 298(이건 다를 수 있다)를 기입'시스템 환경의 기본 로케일' : 3

Container 목록 보기sudo docker ps옵션-a : 모든 컨테이너 목록 출력Container 생성 및 실행 docker run -it --gpus all --name [프로젝트명] [REPOSITORY]:[TAG] /bin/bash옵션설명-ddetached mode 흔히 말하는 백그라운드 모드-p호스트와 컨테이너의 포트를 연결 (포워딩)-v호스트와 컨테이너의 디렉토리를 연결 (마운트)-e컨테이너 내에서 사용할 환경변수 설정--name컨테이너 이름 설정--it-i와 -t를 동시에 사용한 것으로 터미널 입력을 위한 옵션 (컨테이너의 표준 입력과 로컬 컴퓨터의 키보드 입력을 연결)--rm프로세스 종료시 컨테이너 자동 제거--link컨테이너 연결 [컨테이너 명:별칭]ex) $ sudo docker ..