IOPS란? input/output operations per second 참고
PySpark과 Scala 코드를 실행하기 위한 단일 이미지 사용기
PySpark과 Scala app 단일 이미지 사용시 장점 하나의 도커이미지만 사용하면 되므로 관리가 간편해진다. GCR을 이용하여, 쉽게 빌드하기 Spark official repo에 있는 도커파일 을 빌드하면 되는데, 여기서 base_img를 설정해야 한다. 여기서 base_img는 도커파일 을 빌드한 이미지의 태그를 넘겨주어야 하므로...
Dockerfile에서Container 환경변수 수정하기
먼저 alias python=python3 를 추가하고 싶다고 하자. Interactive Shell에만 적용하고 싶은 경우 RUN echo 'alias python=python3' >> ~/.bashrc RUN echo 'PYSPARK_PYTHON=python3' >> ~/.bashrc Non Interactive she...
Idiom
Prefer A to B A를 B보다 선호하라.
Adding jar or package to Spylon Kernel
%%init_spark launcher.jars = ["/some/local/path/to/a/file.jar"] launcher.packages = ["maven:coordinates"] maven coordicates를 구성하는 방법은 [groupId]:[artifactId]:[version] 으로 구성하면된다. 예시는 다음과 같다. %%ini...
Trouble Shooting(Spark)
java.io.InvalidClassException: org.apache.spark.resource.ResourceProfile; local class incompatible: stream classdesc serialVersionUID = 7048704245620002090, local class serialVersionUID = -28172020...
Reset
Reset 3가지 Tree Git은 일반적으로 세가지 트리를 관리하는 시스템이다. 트리 역할 HEAD 마지막 커밋 스냅샷, 다음 커밋의 부모 커밋 Index 다음에 커밋할 스냅샷 워킹 디렉토리...
Git guide from fork to pr
Git step by step guide 1. Clone Repository Go to origin repository and fork Go to [username]/[repository name] clone forked repository git clone [fored repo addre...
Namespace vs Label
Namespace 동일한 물리클러스터를 기반으로 여러 가상 클러스터를 지원한다. 이런 가상 클러스터를 Namespace라고 한다. 사용해야되는 경우 여러팀에 걸처있는 많은 사용자들을 가진 환경에서 사용한다. 몇십명의 사용자 가지고는 굳이 클러스터를 Namespace를 만들필요가 없다. 리소스의 이름은 Namespace에서 유일해야하고, ...
kubernetes command
Commands Pod list kubectl get pods –namespace=spark-operator Pod에 대한 상세정보 kubectl describe pod spark-operator-57f8dbcbd6-4tz68 Pod yaml definition kubectl get pod –name...