코딩베짱이의 무언가 생산적인 일을 하는 블로그

* 내돈내산 후기입니다. 수강 계기 영어란 현대사회 직장인에게 평생의 숙제와 같은 것.. 코로나로 인해 해외로 가는 길이 막힌 시점에서 개발문서 읽기 말고는 영어공부를 접다시피했는데, 다시 하늘길이 열리고 내 영어실력을 점검해봤는데 언어란게 안 쓰면 퇴화한다지만 정말 충격적으로 퇴화한 것이다... 나: 제 영어실력 초딩수준으로 퇴화한것같아요... 동료: 그정도면 괜찮은거 아니에요? 나: 미국 초딩이 아니라 한국 초딩 수준이어도요? 동료: ...그건 좀 이런 이유로 작년 가을쯤부터 영어공부를 시작했는데, 여행필수회화 및 현지인과 스몰톡 가능한 수준이 목표라 시험대비용 수업을 듣고싶진 않았다. 그래서 처음엔 회화를 들었는데 사회생활을 하면서 찌들어서인지 예전에 회화 들을땐 할말이 많았는데 오랜만에 가니 일단..

데이터 프레임 작업의 대부분은 데이터를 조건에 따라 빠르게 필터링하는 것에 달려있다할 수 있다. .filter() 데이터의 값들을 조건에 따라 필터링을 할 수 있다. # 애플 주식 관련 값 로딩 df = spark.read.csv('./appl_stock.csv', inferSchema=True, header=True) # 데이터 프레임 확인 df.show() ''' result +----------+------------------+------------------+------------------+------------------+---------+------------------+ | Date| Open| High| Low| Close| Volume| Adj Close| +----------+---..

*스파크 데이터프레임에 대해 다루는 섹션. 데이터프레임 소개와 1부, 2부 정리 데이터프레임 데이터를 열과 행으로 나눠 저장하고, 열은 기능/변수를 뜻하고, 행은 데이터를 뜻한다. Spark는 과거에는 RDD라는 구문을 썻으나, 현재는 Dataframe으로 옮겨왔다. 사용해보면 알겠지만 파이썬은 스네이크 케이스를 보편적으로 쓰는데, 구문에 카멜케이스가 많다. 이건 파이스파크가 스칼라나 자바와 매치되기 쉽게 하기위해 외부로 노출된 API는 카멜케이스를 따르도록 하게 되어있기 때문이다. SparkSession(링크) 스파크를 데이터셋과 데이터프레임 API와 같이 프로그래밍하기 위한 진입 포인트 spark = SparkSession.builder.appName('Basics').getOrCreate() pys..