FQDN(Fully Qualified Domain Name) FQDN은 명확한 도메인 표기법을 칭한다. 예로 소프트웨어 설치 중 도메인명을 요구하면, YAHOO.COM. 을 입력할지, WWW.YAHOO.COM. 을 입력할지 모호하다. 그래서 이러한 모호성을 피하기 위해 FQDN이란 단어를 사용하며, 이는 Namespace 계층상에서 최종 호스트명을 포...

Searchable Snapshot Snapshot snapshot이란 실행중인 Elasticsearch cluster에 대한 백업이다. 모든 데이터 스트림, 인덱스들을 포함하여, 전체 클러스터에 대한 스냅샷을 생성가능하다. 특정 데이터 스트림 또는 인덱스에대한 스냅샷또한 생성가능하다. 스냅샷을 생성하기전에 snapshot repository를 ...

Internal Table Hive에서 디폴트로 테이블을 생성하면, Internal table로 생성이 되고, 이를 Managed table이라고도 부른다. internal table들이 생성한 모든 데이터베이스들은 디폴트로 hdfs의 /user/hive/warehouse 경로에 저장된다. 디폴트 저장 허브를 hive.metastore.wareho...

Kafka Streams Kafka Streams API로 Java Application 개발 가능 Stream Concepts Stream unbounded(unknown, unlimited size), 지속적으로 업데이트 되는 데이터 셋을 말한다. 카프카 토픽처럼 하나이상의 stream partition으로 구성된다. strea...

Kubernetes 에서는 두가지 리소스 타입이 있다. Compute resources(CPU, memory) API resources(k8s objects - pods, services ) CPU 단위 : m (1/1000 core) Memory 단위 : E,P,T,G,M,K or Ei,Pi,Ti,Gi,Mi,Ki Quality...

kubelet 각각의 노드에서 동작하는 “node agent”

Container probes Probe는 kubelet에 의해서 주기적으로 컨테이너에 수행되는 diagnostic이다. diagnostic을 수행하기위해서 kubelet은 컨테이너에 의해 구현된 handler를 호출한다. ExecAction : 컨테이너내의 특정 커멘드를 실행한다. TCPSocketAction : pod의 ip 주소의 특...

Pods Kubernetes에서 생성가능하고 관리할수 있는 가장 작은 deployable units of computing Pod은 컨테이너들을 실행하기 위한 명세, 네트워크 자원, 공유 저장공간을 가진 하나이상의 컨테이너 그룹 Pod의 컨텐츠들은 항상 같은 공간에 위치해 있고, 함께 스케줄되며 공유된 컨텍스트로 실행된다. Pod이란? 도커 ...

Kubectl 개요 Kubectl은 쿠버네티스 클러스터를 제어하기 위한 커맨드 라인 도구이다.

SCDF(Spring Cloud Data Flow) 기능 스트림, 태스크 제공 태스크 실행: 단일, 여러개를 묵은 Composed 태스크 스타터앱 기존 스프링 배치 어플리케이션 이관 가능 Scalability Kubernates 에서 운영가능 파이프라인 어플리케이션은 하나의 포드로 구동 스트림에서 특정 어플리케이션...