HBase 개요 HBase는 HDFS 기반으로 구현한 칼럼 기반 분산 데이터베이스(distributed column-oriented database) 배경 : HBase는 그 당시에 발표된 구글의 빅테이블을 모델 HBase 테이블은 RDBMS와 유사하지만, 셀은 버전별로 관리되고, 로우는 정렬되며 컬럼이 속한 칼럼 패밀리가 미리 존...

프로젝트 배경 기존에 동작하던 앱에서는 1분에 한번씩 Prometheus에 실시간으로 수집되고 있는 메트릭을 쿼리하고 S3에 업로드후 Snowflake 데이터 웨어하우스에 적재를 하는 방식으로 동작하였다. 기존 아키텍처 기존 백필 아키텍처 이 방식은 다음과 같은 문제점이 있었다. 데이터 backfill의 어려움 : 프로메테우스의 ...

cancel query by query id : select system$cancel_query('d5493e36-5e38-48c9-a47c-c476f2111ce5'); by session id : select system$cancel_all_queries(1065153872298); Get First Row...

Broker Preferred Leader Election

Availability Zones Kafka broker의 가용성을 위해 broker가 설정할 Availability Zone(이하 AZ)을 설정할수 있다. 각각의 AZ에 하나의 subnet을 가지고, 각 subnet마다 1개이상의 broker가 할당된다. 1개의 AZ가 down되더라도 다른 broker들이 살아 있으므로 HA를 보장할 수 있다.참고

Custom Metrics API + KafkaExporter + Prometheus Adapter 참고

Custom metrics k8s 안에 있는 Kubernetes Object에서 발생하는 metric External metrics k8s 밖에 있는 앱에서 발생하는 metric

참고

참고