본문 바로가기
Airflow Excution date 사용방법 https://eprj453.github.io/airflow/2021/05/01/Data-Engineering-airflow-PythonOperator%EC%97%90%EC%84%9C-execution_date-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0/ 2025. 6. 10.
vim 명령어 저장하지 않고 강제 종료 -> :q! 2025. 5. 26.
Git 실무 명령어 로컬 브런치 조회 : git branch원격 브런치 조회 : git branch -r로컬 레포지토리에 등록된 모든 원격 레포지토리의 하위 브랜치들이 조회됨로컬/원격 브런치 조회 : git branch -a원격 레포지토리 이름 확인 : git remote -v로컬 레포지토리에 등록된 모든 원격 레포지토리가 조회됨브랜치 생성 : git branch 브랜치 이름브랜치 지정 : git checkout 브랜치 이름원격 레포지토리 등록 : git remote add 레포지토리별명 url로컬 레포지토리에서 특정 원격 레포지토리를 등록하므로써 push, pull fetch등 상호작용이 가능하게 한다.로컬 레포지토리는 여러개의 원격 레포지토리를 등록할수도 있다.연결된 원격 브랜치로 푸시 : git push원격 브랜치 생.. 2025. 5. 7.
Git 의 Merge 방식 Merge는 보통 로컬 레포지토리에서 진행한다. 원격 브랜치와 병합이 필요하면 git fetch origin으로 원격 브랜치를 전부 불러오고 git merge origin/sub 형식으로 병합한다. Merge에는 크게 Merge Commit 병합 방식과 Fast-forward 병합 방식이 있다. Merge CommitMain branch: A -- B -- C Sub branch: A -- B -- D -- E 일때 C와 D -- E가 충돌이므로 하기와 같이 병합 커밋 (M)이 생성된다. 이는 C와 E의 병합 업데이트와 같다.이를 Merge Commit이라고 하고 이때 C와 E의 충돌부분을 사용자가 직접 선택하면서 M 커밋을 완성해야한다. main: A -- B -- C -- M .. 2025. 5. 7.
Langchain은 왜 써야 할까? 우선 기존 LLM의 제약 사항을 이해해야함LLM의 제약 사항정보 접근 제한2021년까지의 데이터를 학습한 LLM은 2022년 부터 정보에 대해서는 답변을 하지 못하거나 거짓답변을 말함-> Vactorstore 기반 정보 탐색 or Agent 활용한 검색 결합을 통해서 다양한 정보에 접근하도록 개선 가능토큰 제한ChatGPT에서 제공하는 모델을 예로 들면 4096, 8192 토큰이라는  입력 토큰 제한이 존재함-> TextSplitter를 활용한 문서 분할하여 이 문서들을 기반으로 요약하고 답변을 정리하도록 Langchain을 활용할 수 있음할루시네이션Fact에 대한 질문을 했을 때, 엉뚱한 대답을 하거나 거짓말을 하는 경우가 많다-> 주어진 문서에 대해서만 답하도록 Prompt 입력해서 한계점을 뛰어넘을.. 2025. 4. 12.
AWS - 대규모 배포 및 인프라 관리 이번 섹션에서는 AWS에서 워크로드를 배포하는 다양한 방법을 배운다. What is CloudFormationCloudFormaion은 AWS에서 중요한 기술이다.AWS 인프라의 모든 리소스에 대해 윤곽을 잡아주는 선언적인 방식이기 때문이다. 대부분의 리소스가 지원된다.CloudFormation tamplate 에서 구체적인 예시를 들면내가 보안 그룹을 원하고해당 보안 그룹을 사용하는 두개의 EC2 인스턴스를 원하거나S3 버킷을 원하거나모든 머신 앞에 로드 밸런서 (ELB)를 두고 싶거나 그러면 CloudFormation이 자동으로 우리를 위해 순서에 맞게, 우리가 지정한 구성에 맞춰 이것들을 만들어 준다.Benefits of AWS CloudFormationCloudFormation을 사용해서 얻는 혜.. 2025. 3. 22.

티스토리툴바