본문 바로가기
우분투 파이썬의 pip3 패키지가 설치 안되는 경우 리눅스 환경에 들어있는 자체 파이썬의 경우 pip를 못쓰게 하는 것 같음따라서 자체 파이썬 내에 특정 파일을 삭제해주는 방법도 있기는 하지만 권장되지는 않고 아래와 같이 가상 파이썬 환경을 만들어 주고 그 파이썬 환경을 바라보게 해주어 그곳안에서 패키지를 설치해주면 된다.이 오류는 `python3-venv` 패키지가 설치되지 않았기 때문에 발생합니다. 다음 단계를 따라 `python3-venv` 패키지를 설치하고 가상 환경을 생성하세요:1. **`python3-venv` 패키지 설치**:   ```bash   sudo apt install python3.12-venv   ```2. **가상 환경 생성**:   ```bash   python3 -m venv myenv   ```3. **가상 환경 활성화**.. 2024. 7. 31.
우분투 원격 접속과 파일 전송 그냥 아무것도 설치하지 말고 xrdp만 설치해준 후 포트를 3400으로 바꾸고 기존 컴퓨터를 로그아웃 해주면 접속 가능하다.xfce4 같은 생쥐 배경화면의 GUI도 설치는 할 수 있는데 나는 그냥 기본형으로 했음 또한 scp를 이용해 파일을 전송하고 있으며 우분투에는 기본적으로 ssh 클라이언트가 깔려있고 윈도우에는 ssh 서버를 설치해줘야 하는 것 같았지만 설치 안해도 전송됨먼저 powershell 을 관리자 모드로 들어간 후 해당 폴더나 파일이 있는 경로로 이동 (나는 대부분 D드라이브 바로 하위에 넣음)내가 윈도우 -> 우분투로 보내는 명령어는 다음과 같다. (여기서 파일이 아닌 폴더 자체를 보내기 위해서 -r 명령어를 사용해 줘야)scp -r linux beomsoo@10.157.95.121:/h.. 2024. 7. 31.
우분투 패키지 관리 우분투는 윈도우의 프로그램 추가/제거처럼 대부분 패키지로 모든 프로그램이 관리됨이 관리 프로그램의 가장 대표적인 것이 apt 라는 패키지 관리 도구이며 설치도 sudo apt-get install 으로 설치한다. 제거도 sudo apt-get remove  를 사용하고 설정파일까지 제거시 sudo apt-get purge  를 사용하면 된다. 단 sudo apt-get autoremove 의 경우 A 패키지에 의존하는 B패키지가 있을때 B패키지 제거시 A패키지 까지 제거시키기 때문에 왠만하면 사용하지 않는게 좋음 2024. 7. 30.
파이토치의 딥러닝 모델링과 파운데이션 모델의 fine-tuning의 차이점 fine-tuning에 대해 알아보다가 결국 fine-tuning이 가능한 파운데이션 모델은 일부분이며 그중 라마라는 파운데이션 모델도 fine-tuning이 가능하다. fine-tuning이란 기존의 파운데이션의 한계를 극복하기 위한 수단중 하나이고 기존의 파운데이션 모델을 특정 분야에 맞게 한번더 학습을 시키고 커스터마이징 한 상태로 모델을 사용하는 방식이다. 여기서 궁금했던 것은 딥러닝 모델 자체를 만드는 파이토치와 라마에서 fine-tuning를 하는 방법이 근본적으로 다른 방법인가? 였다. Chat GPT에 물어본 결론은 다음과 같다.파이토치(PyTorch)로 딥러닝 모델을 만드는 방법과 LLaMA와 같은 대규모 언어 모델을 파인 튜닝하는 방법은 기본적인 원리는 유사하지만, 적용되는 구체적인 절.. 2024. 7. 24.
Pytorch 데이터 적합 요약 활성층과 은닉층활성층은 활성함수를 사용하는 계층을 뜻하고 은닉층은 입력층과 출력층 사이에 계층연계로 입출력값이 들어가고 나가는 부분을 뜻하는 구조적인 단어임. 어차피 계층마다 활성함수가 들어가므로 의미상 큰 차이는 없지만 활성층은 계층 하나마다 지칭할 수 있지만 은닉층은 중간 계층들의 전체를 의미하는 것 같음또한 활성층이라는 단어는 잘 사용하지 않음  입력값과 계층일단 크게 설명하면, 밑에 설명한 뉴런들은 파라미터 하나로 인해 입출력이 이루어지는 신경 하나이고, 이것들이 각 계층마다 다발을 이루며 포진하고 있다.먼저 입력값이 단일값 또는 백터값일때이다. 단일값이면 별 상관 없지만 온도 문제처럼 다수의 입력값이 필요한 백터 값일 경우는 뉴런 내부에서도 파라미터가 입력 수만큼 복제되어서 하나의 뉴런이 다수 .. 2024. 7. 21.
Pytorch 학습기법 요약 모델 -> 손실 함수로 손실 값 계산 -> 손실함수 미분하여 기울기 도출 -> 그것을 이용하여 모델의 파라미터 조정각각 어떤 원리로 가능한지 정리 필요  모델 선언 기본t_c = w * t_u + bw(weight)는 가중치이고 b(bias)는 편향값이 model로 인해 입력 값과 결과 값이 나오고 실제 정답 t_c와  Model에서 출력된 값 t_p 간의 차이 제곱을 이용해 계산한 손실값을 기준으로 w 와 b를 조정해간다. 손실 함수1차함수보단 2차함수를 사용한다. 이유는 실제 정답값과의 차이에 대해 2차함수가 더 패널티를 크게 주기 때문이다. 양옆으로 x값이 뻗어 나갈 수록 제곱으로 y값이 커지므로 정답과의 차이값에 대해 더 큰 패널티를 주기 때문임 또한 온도 문제처럼 입력값의 텐서 요소가 여러개일 .. 2024. 7. 21.

티스토리툴바