코딩베짱이의 무언가 생산적인 일을 하는 블로그

*유데미 강의 'PySpark 로 빅데이터 분석하기 with Python'로 공부한거 정리 분산시스템 필요성: 램보다 큰 데이터를 처리하는 경우의 해결 방법의 일환으로, 분산시스템을 활용해 여러 기계와 컴퓨터로 데이터를 분배해서 데이터를 처리할 수 있다. 하나의 메인 컴퓨터(마스터 노드)에서 데이터 처리 및 계산을 다른 컴퓨터들에 분배한다. 여기서 마스터노드의 CPU와 램은 슬레이브노드의 CPU와 램이 잘 동작하는 것을 관장한다. 여러 컴퓨터들의 힘을 모아 강력한 단일 컴퓨터보다 더 나은 성능을 발휘할 수 있음, 즉 다소 성능이 떨어지는 컴퓨터나 서버라도 분산시스템을 통해 연산을 잘 분배해서 동작할 수 있다. 단일 컴퓨터가 스케일업하는 것보다 분산시스템이 스케일 아웃하기 좋음 내고장성(fault tole..

한줄 요약 : 코틀린을 배우고자 하는 초보자와 숙련자 모두에게 추천할만한 코틀린에 충실한 안내서 이 도서는 우연히 길벗출판사의 페이스북 페이지에서 리뷰어 관련 게시글을 보고 신청해서 받은 도서다. 목록에 있는 다른 도서들 중에서도 끌리는 도서가 있었으나 해당 도서를 고르게 된것은 코틀린이라는 언어를 배워보고 싶은 마음이 있었는데 마침 좋은 기회라는 생각이 들어 신청하게 되었다. 코틀린은 2023년 프로그머스 개발자 설문조사에서 가장 배워보고 싶은 언어로 선정되었을 정도로 핫한 언어다. 어쨌거나 한국은 자바민국이라 불릴 정도로 자바의 점유율이 높은데 요즘 자바를 쓰는 기업에서 코틀린으로 전환하는 사례가 많아졌다고 들었다. 나 역시 잠시 같이 일했던 팀장님이 코틀린+스프링을 같이 쓰는 사례가 많아졌으니 코프..

poetry의 존재는 노마드코더의 장고 강의를 보다가 알게 되었다. (강의...그만 사야지....풀스택장고를 몇개째 사는거야) 사실 poetry보다는 virtualenv를 사용하고 있는터라 비교해보기는 어렵지만 일단 라이브러리등을 설치할때 버전을 명시하지 않으면 그냥 최신껄 설치해주는게 아니라 의존성을 확인해서 적절한 버전으로 설치해주는 점이 마음에 든다. 다만 아직 시작단계라 그런건지 컨트리뷰터가 적어선진 모르겠는데 완전 최신 파이썬에선 종종 지원해주지 않는 경우가 있는 것 같다.나도 겪었다 설치방법 공식링크 상에서 친절하게 다양한 방법을 알려주고 있다. 나의 경우엔 mac os를 사용하고 있기 때문에 아래의 명령어를 사용했다. curl -sSL https://install.python-poetry.o..