Fork me on GitHub

전지적 송윤섭시점 TIL

EMR과 함께 Druid를 셋팅해보자!

Versions

Druid 0.12.0
Java 1.8.0_161

과정

Java 설치

sudo yum install -y java-1.8.0-openjdk-devel.x86_64

druid User 추가 & druid 다운로드 & unzip
mv druid-0.12.0 /opt/druid/druid-0.12.0
설정 파일들 수정(jvm.config, runtime.properties)
metadata storage 설정(MySQL)

sh # /opt/druid/druid-0.12.0/conf/druid/_common/common.properties druid.extensions.loadList=["druid-kafka-eight","mysql-metadata-storage", "druid-s3-extensions"] druid.metadata.storage.type=mysql druid.metadata.storage.connector.connectURI=jdbc:mysql://{host}:{port}/{database} druid.metadata.storage.connector.user=user druid.metadata.storage.connector.password=password

실행

sh $ ./bin/historical.sh start $ ./bin/overlord.sh start $ ./bin/middleManager.sh start $ ./bin/broker.sh start $ ./bin/coordinator.sh start

다운 타임없이 재실행을 하고 싶은 경우 다음과 같이 추천함

Historical
Overlord (if any)
Middle Manager (if any)
Standalone Real-time (if any)
Broker
Coordinator (or merged Coordinator+Overlord)

EMR과 같이 사용하고 싶다면

다른 하둡 버젼을 사용하는 것이기 때문에 그 하둡 설정관련 파일들이 필요합니다. Working with different versions of Hadoop 참고

EMR 하둡 config파일 가져오기 EMR의 /etc/hadoop/conf 안에 있는 core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml 파일을 가져와서 드루이드의 conf/druid/_common/ 안에 넣어줍니다.
S3 extension 추가 및 Deep Storage 설정 cont/druid/_common/common.runtime.properties

```sh druid.extensions.loadList = ["druid-s3-extensions"]

druid.storage.type=s3 druid.storage.bucket=druid-bucket druid.storage.baseKey=druid/segments druid.s3.accessKey=XXXXXXXXXXXXXXX druid.s3.secretKey=XXXXXXXXXXXXXXX ```

라이브러리 추가

```sh $ cp -r /usr/lib/hadoop/client/ /opt/druid/druid-0.12.0/hadoop-dependencies/hadoop-client/emr/ $ cp -r /usr/share/aws/emr/emrfs/ /opt/druid/emrfs $ cp -r /usr/share/aws/aws-sdk-java/ /opt/druid/aws-sdk-java

```

bin/node.sh 수정 middleManager를 실행할 때 library를 추가함

sh JAVA_HOME=/usr/lib/jvm/java if [ "$nodeType" == "middleManager" ]; then LIB_DIR=$LIB_DIR/*:/opt/druid/emrfs/conf:/opt/druid/emrfs/lib/*:/opt/druid/emrfs/auxlib/*:/opt/druid/aws-java-sdk fi

middleManager 재시작
index 파일에 s3 accessKey, secretKey 추가 && hadoopDependencyCoordinates emr로 설정

json { ... "spec": { "tuningConfig": { "jobProperties": { "fs.s3.awsAccessKeyId" : "XXXXXXXXXXXXXXX", "fs.s3.awsSecretAccessKey" : "XXXXXXXXXXXXXXX" } } }, "hadoopDependencyCoordinates": ["org.apache.hadoop:hadoop-client:emr-client"] }

Refer

http://druid.io/docs/latest/operations/other-hadoop.html
http://aipkds.tistory.com/136

There are comments.

Other articles

Updating Existing Data

Published: Wed 18 April 2018
Updated: Wed 18 April 2018
By Yunseop Song

In druid.

Ingestion된 데이터를 저장하고 사용하다가 데이터를 업데이트하고 싶을 때

Updating Dimension Values

Dimension 값을 자주 바꾸길 원한다면 Lookup을 사용할 수 있다.

Rebuilding Segments(Reindexing)

특정 기간에 대해서 세그먼트를 다시 저장할 수 있다. 기존 세그먼트에 컬럼을 추가하거나, 롤업 granularity를 바꾸고 싶을 때 사용한다.

이 방법을 사용할 경우에 대비하여 원시 데이터의 사본을 …
read more
There are comments.

Public key로 SSH 접속하기

Key 생성

일단 퍼블릭키가 없다면 생성합시다

$ ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/home/user1/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/user1/.ssh/id_rsa.
Your public key has been …

read more

There are comments.

Lambda Architecture
Published: Tue 17 April 2018
Updated: Tue 17 April 2018
By Yunseop Song

In data.

실시간 분석을 지원하는 빅데이터 아키텍쳐 대량의 데이터를 실시간으로 분석하기 위해서 Batch로 만든 데이터와 실시간 데이터를 혼합해서 사용하는 방식

데이터 파이프 라인
1. 데이터가 시스템으로 들어감. 이 때 Batch Layer와 Speed Layer로 둘다 들어가게 됨
2. Batch Layer는 두가지 기능을 해야함
3. Immutable, Append-only한 raw data를 저장하고 관리함
4. Batch View를 만들기 위해 사
5. Serving …
read more
There are comments.

Page 1 / 15 »