Rollup Jobs rollup job이란 인덱스 패턴에의해 명시된 인덱스들의 데이터를 집계하여 새로운 인덱스에 저장하는 주기적인 task를 말한다. Rollup 인덱스들은 시각화와 리포트 생성을 위해서 수개월, 수년의 historical data들을 compact하게 저장하기위한 좋은 방법이다. 현재는 X-Pack에있는 기능이다.

Builder Design Pattern 상대적으로 복잡한 객체생성을 다루는 패턴중 하나 또다른 객체를 사용하여 객체를 생성하기 위한 객체화 과정을 분리 Example public class BankAccount { private String name; private String accountNumber; priva...

Logical Replication replication identity(보통은 primary key) 에 기반하여, 데이터 오브젝트들과 그것들의 변화를 복제하는 방법을 말한다. 정확한 block 주소, byte-by-byte replication을 사용하는 physical replication과는 비교되는 개념이다. PostgreSQL은 physi...

Replica Identity 이 세팅에 따라서 업데이트 또는 삭제된 행들을 파악하는데 사용되는 WAL(write-ahead-log)에 기록되는 정보가 달라진다. logical replication이 사용중일때를 제외하고는 효력이 없다. 4가지 모드 DEFAULT non system table들...

Thread safety는 멀티스레드 코드에서 적용가능한 컴퓨터 프로그래밍 컨셉이다. thread safe code는 모든 스레드들이 적절하게 동작하고 의도치않은 상호작용없이 디자인 명세를 만족하는 방식으로 공유된 자료구조들을 조작한다. 출처 https://en.wikipedia.org/wiki/Thread_safety

global username, email 설정 $ git config — global user.name “Igor Santos” $ git config — global user.email “igor.santos@example.com” local username, email 설정 $ git config --local user.name "jaego...

Flume Hadoop과 함께 개발 Built-in sinks for HDFS and HBase 원래는 log aggregation을 다루기 위해 만들어짐 Data와 하둡클러스터 사이의 buffer Components of an agent Source 데이터가 들어오는 장소...

예전에 사용되던 시스템들 Ganglia Distributed monitoring system UC 버클리에 의해서 개발됨 원래 대학교들에 의해서 사용됨 Wikimedia/Wikipedia가 예전에 사용 Ambari/Cloudera Manager/Grafana에 의해서 대체됨 Ch...

Hue (Hadoop User Experience) Hortonworks Ambari는 관리,쿼리 issuing,파일 UI제공 Zeppelin은 notebook 제공 Cloudera Hue는 쿼리 issuing,파일 UI 그리고 notebook 제공 Cloudera...

Zeppelin Apache Spark Integration Spark shell에 에서 할수 있는것처럼 Spark code를 interactively 실행가능 development cycle을 빠르게함 빅데이터를 대상으로 쉽게 실험하고 탐험할수 있게 해줌 SparkSQL에 직접적으로 SQL쿼리...