코딩베짱이의 무언가 생산적인 일을 하는 블로그

Chapter.5 데이터 가져오고 내보내기 COPY: 데이터 가져오기/내보내기 관련 커맨드 가져오기의 3 스탭 구분되는 텍스트 파일 형식의 소스 데이터를 준비한다. 데이터를 저장할 테이블을 만든다. COPY 스크립트를 작성하여 데이터를 가져온다. 파일 내 구분 기호: 앰퍼샌드(&), 파이프(|)도 쓰긴 하지만 가장 대표적으론 쉼표(,)를 쓴다. -> 보통 쉼표로 구분된 CSV 파일을 많이 사용한다. 헤더 행: PostgreSQL에선 헤더행을 사용하지 않으므로 COPY 명령어에서 보통 HEADER옵션을 사용해서 제외한다. 큰 따옴표의 용도 때론 데이터에 쉼표가 포함되어 있는 경우가 있는데, 이럴 경우를 위해서 구분기호가 포함된 열에서 텍스트 한정자라는 임의의 문자로 감싸 SQL에 포함된 구분기호를 무시하도..

*책 실용SQL을 바탕으로 한 스터디 정리 Chapter 2. 데이터베이스와 테이블 생성 테이블: 데이터를 담고 있는 행과 열로 이루어진 표 DBMS(Database Management System): 데이터베이스 관리 시스템. PostgreSQL도 여기에 해당 데이터베이스 생성 구문 CREATE DATABASE ; 테이블 각 열의 이름은 데이터 타입으,로 정의된 개별 데이터 요소를 대표한다. bigserial: 테이블에 행 추가시 자동으로 증가하는 특별한 정수 타입 테이블 생성 구문 -- 기본형 -- CREATE TABLE ( -- id bigserial, -- … -- … ) -- example CREATE table teachers ( id bigserial, first_name varchar(35..

*스파크 데이터프레임에 대해 다루는 섹션. 데이터프레임 소개와 1부, 2부 정리 데이터프레임 데이터를 열과 행으로 나눠 저장하고, 열은 기능/변수를 뜻하고, 행은 데이터를 뜻한다. Spark는 과거에는 RDD라는 구문을 썻으나, 현재는 Dataframe으로 옮겨왔다. 사용해보면 알겠지만 파이썬은 스네이크 케이스를 보편적으로 쓰는데, 구문에 카멜케이스가 많다. 이건 파이스파크가 스칼라나 자바와 매치되기 쉽게 하기위해 외부로 노출된 API는 카멜케이스를 따르도록 하게 되어있기 때문이다. SparkSession(링크) 스파크를 데이터셋과 데이터프레임 API와 같이 프로그래밍하기 위한 진입 포인트 spark = SparkSession.builder.appName('Basics').getOrCreate() pys..

*유데미 강의 'PySpark 로 빅데이터 분석하기 with Python'로 공부한거 정리 분산시스템 필요성: 램보다 큰 데이터를 처리하는 경우의 해결 방법의 일환으로, 분산시스템을 활용해 여러 기계와 컴퓨터로 데이터를 분배해서 데이터를 처리할 수 있다. 하나의 메인 컴퓨터(마스터 노드)에서 데이터 처리 및 계산을 다른 컴퓨터들에 분배한다. 여기서 마스터노드의 CPU와 램은 슬레이브노드의 CPU와 램이 잘 동작하는 것을 관장한다. 여러 컴퓨터들의 힘을 모아 강력한 단일 컴퓨터보다 더 나은 성능을 발휘할 수 있음, 즉 다소 성능이 떨어지는 컴퓨터나 서버라도 분산시스템을 통해 연산을 잘 분배해서 동작할 수 있다. 단일 컴퓨터가 스케일업하는 것보다 분산시스템이 스케일 아웃하기 좋음 내고장성(fault tole..

poetry의 존재는 노마드코더의 장고 강의를 보다가 알게 되었다. (강의...그만 사야지....풀스택장고를 몇개째 사는거야) 사실 poetry보다는 virtualenv를 사용하고 있는터라 비교해보기는 어렵지만 일단 라이브러리등을 설치할때 버전을 명시하지 않으면 그냥 최신껄 설치해주는게 아니라 의존성을 확인해서 적절한 버전으로 설치해주는 점이 마음에 든다. 다만 아직 시작단계라 그런건지 컨트리뷰터가 적어선진 모르겠는데 완전 최신 파이썬에선 종종 지원해주지 않는 경우가 있는 것 같다.나도 겪었다 설치방법 공식링크 상에서 친절하게 다양한 방법을 알려주고 있다. 나의 경우엔 mac os를 사용하고 있기 때문에 아래의 명령어를 사용했다. curl -sSL https://install.python-poetry.o..

* real python의 글을 거의 그대로 번역한 글로, 엉터리 번역이 있을수있어 원문을 읽는걸 권장 (일단 일부밖에 안했다는 점이..) - https://realpython.com/async-io-python/ - 참고: https://realpython.com/courses/python-3-concurrency-asyncio-module/ Hands-On Python 3 Concurrency With the asyncio Module – Real Python Learn how to speed up your Python 3 programs using concurrency and the asyncio module in the standard library. See step-by-step how to l..

주제 공인 ip 와 사설 ip의 차이는 무엇일까요? nat 는 무슨 역할을 할까요? 프록시 서버란? 어떻게 네트워크를 보호할까요? DHCP의 정의, 사용하는 이유, 동작원리 등등 1. Public IP & Private IP / NAT IP주소란? - 인터넷에 연결되는 각 장치는 숫자로 이루어진 유니크한 식별자를 갖고 있는데 이것을 IP 주소라 한다. IP주소는 어떻게 장치와 웹사이트들이 다른 것과 통신할지, 어떻게 당신이 찾는 정보를 찾을지에 대한 것이다. 공인 IP(public ip) 인터넷을 통해 직접적으로 접근되는 IP 주소. 외부 ip(external ip)라는 단어로도 쓴다 네트워크 밖에서 통신하기 위해 사용되는 IP 주소. 기본적으로 ISP(Internet Service Provider)에 ..

가비지 콜렉터란? 메모리가 부족할 때 이런 가비지들을 메모리에서 해제 시켜 다른 용도로 사용 할 수 있게 해주는 프로그램 메모리 할당 전략 파이썬의 메모리 할당과 해제는 자동적으로 이뤄진다. 유저가 직접 핸들링해야할 필요가 없다. 파이썬은 메모리 할당에 두가지 전략을 사용한다. - 레퍼런스 카운팅 - 가비지 콜렉션 레퍼런스 카운팅 - 파이썬 2.0에서 파이썬 인터프리터는 메모리 관리를 위해 오직 레퍼런스 카운팅만 사용했다. 레퍼런스 카운팅을 어떤 객체가 다른 객체이 의해 참조된 획수를 세는 것이다. 만약 객체에 대한 참조가 제거되면 객체에 대한 참조 카운트는 감소한다. 만약 레퍼런스 카운트가 0이면 해당 객체는 해제된다. 가비지 콜렉션 - 참조 사이클(객체의 레퍼런스 카운트가 0에 도달하지 못하는 현상)..

나는 원래 pyenv, virtualenv, autoenv + vscode를 같이 사용해왔다. 이게 습관이 되어서 파이참을 쓰게 됐는데도 원래 하던대로 했는데 사실 이러면 파이참을 쓰는 의미가 없어서(...) 바꾸기로 했다. 내 환경은 Mac OSX이고, 설정하려는 환경에서 쓰는 프로젝트는 Flask 관련 프로젝트다. 1. 가상환경설정 원래 쓰던 환경을 쓸려고 했는데 패스가 꼬인건지 분명 autoenv로 만든 가상환경을 설정해줬는데도 pip install -r requirements.txt를 실행 후 설치되어있어야할 패키지가 보이지 않는다. 그래서 그냥 파이참에서 직접 다시 생성해줬다. 직접 생성하는 방법은 최상단 바에서 Pycharm - Preference - Project: - Python Inter..

간단한 기능을 하나 추가하고 서버를 배포했는데 갑자기 502 gateway 에러가 발생했다. 로컬에서는 잘 돌아가는데....뭐가 문제일까? 서버상에서 구니콘 로그를 까보니까 requirements 파일의 패키지 하나가 설치가 안 되었다고 나왔다. 아 도커 이미지가 다시 빌드되지 않은게 원인이었구나! 하고 다시 빌드했는데 웬걸... 다음과 같은 에러가 뜬다. No space left on device 꺄아악! 도대체 뭐가 그렇게 용량을 먹고 있나 해서 찾아봤다. 다른 사람들의 경우엔 로그가 많아서 그런 경우가 많은 것 같은데...나의 경우엔 로그는 그닥 많지 않다. 일단 ubuntu에서 디스크 용량 상태를 확인하려면 다음의 명령어를 쳐주면 된다. df -h 이렇게 하니까 내 아마존 EC2의 졸렬한 용량을 ..