Home Transformation,Action
Post
Cancel

Transformation,Action

Transformation Operation

1. Transformation

RDD를 인풋으로 받아서 한개이상의 RDD를 생산하는 함수

lazy evaluation 이고 action이 실행될때 실행된다. 두가지 기본타입은 map(),filter(),reduceByKey()등의 계산을 적용해서 새로운 RDD를 생산한다.

img

  • Narrow transformation - 단일 파티션을 계산하기 위한 데이터는 한개의 parent RDD에서 존재한다. map(),filter()에 의해서 수행된다.

    Apache Spark Narrow Transformation Operation

  • Wide transformation - 단일 파티션을 계산하기 위한 데이터는 여러개의 parent RDD에서 존재한다. 대표적으로 groupbyKey()와 reducebyKey가 있다.

Spark Wide Transformation Operations

2. Action

driver program에게 마지막 결과를 리턴하거나 외부 저장소에 데이터를 기록한다.

This post is licensed under CC BY 4.0 by the author.

Trending Tags