Dockerfile 작성 예제

Dockerfile 작성할 때 참고용

FROM centos:7

RUN yum install -y make libtool pkgconfig autoconf python-sphinx wget bzip2 bind-utils

EXPOSE 53

COPY knot.conf /work

<span class="k">WORKDIR</span><span class="s"> /work</span>


<span class="k">ENTRYPOINT</span><span class="s"> ["/entrypoint.sh"]</span>

<span class="k">CMD</span><span class="s"> ["python", "-u", "/work/app.py"]</span>

FROM centos:7

RUN yum install -y make libtool pkgconfig autoconf python-sphinx wget bzip2 bind-utils

EXPOSE 53

COPY knot.conf /work

WORKDIR /work

ENTRYPOINT ["/entrypoint.sh"]

CMD ["python", "-u", "/work/app.py"]

Run

docker run -it --rm \
  -p 3307:3306 \
  -v /nfs/rt-knot-service/mysql/entrypoint.sh:/entrypoint.sh \
  -e MYSQL_ROOT_PASSWORD=passwd \
  my-docker-image:v1 \
  /bin/bash

docker run -it --rm \

-p 3307:3306 \

-v /nfs/rt-knot-service/mysql/entrypoint.sh:/entrypoint.sh \

-e MYSQL_ROOT_PASSWORD=passwd \

my-docker-image:v1 \

/bin/bash

2018년 1월 25일2018년 1월 25일

Kubernetes에서 자주 사용하는 커맨드 모음

Kubernetes에서 자주 사용하는 커맨드를 정리했다.

# pod 보기
kubectl get pods

# namespace 만들기
kubectl create namespace my_namespace

# new_context라는 이름의 새로운 context 만들기
kubectl config set-context new_context \
    --user=kubernetes-admin \
    --cluster=kubernetes \
    --namespace=my_namespace

# 새로운 context 사용하기
kubectl config use-context new_context

# pod 보기

kubectl get pods

# namespace 만들기

kubectl create namespace my_namespace

# new_context라는 이름의 새로운 context 만들기

kubectl config set-context new_context \

--user=kubernetes-admin \

--cluster=kubernetes \

--namespace=my_namespace

# 새로운 context 사용하기

kubectl config use-context new_context

2018년 1월 12일2018년 1월 18일

zmq.error.ZMQError: Interrupted system call 해결

python 애플리케이션에서 다음 에러가 발생했다.

Traceback (most recent call last):
  File "/usr/bin/myapp", line 11, in <module>
    sys.exit(run())
  File "/usr/lib/python2.6/site-packages/click/core.py", line 716, in __call__
    return self.main(*args, **kwargs)
  File "/usr/lib/python2.6/site-packages/click/core.py", line 696, in main
    rv = self.invoke(ctx)
  File "/usr/lib/python2.6/site-packages/click/core.py", line 1060, in invoke
    return _process_result(sub_ctx.command.invoke(sub_ctx))
  File "/usr/lib/python2.6/site-packages/click/core.py", line 889, in invoke
    return ctx.invoke(self.callback, **ctx.params)
  File "/usr/lib/python2.6/site-packages/click/core.py", line 534, in invoke
    return callback(*args, **kwargs)
  File "/usr/lib/python2.6/site-packages/myapp/cli.py", line 69, in worker
    worker_server.main()
  File "/usr/lib/python2.6/site-packages/myapp/worker/worker.py", line 35, in main
    rcv_data = main_receiver.recv_json()
  File "/usr/lib64/python2.6/site-packages/zmq/sugar/socket.py", line 399, in recv_json
    msg = self.recv(flags)
  File "socket.pyx", line 628, in zmq.backend.cython.socket.Socket.recv (zmq/backend/cython/socket.c:5616)
  File "socket.pyx", line 662, in zmq.backend.cython.socket.Socket.recv (zmq/backend/cython/socket.c:5436)
  File "socket.pyx", line 139, in zmq.backend.cython.socket._recv_copy (zmq/backend/cython/socket.c:1771)
  File "checkrc.pxd", line 21, in zmq.backend.cython.checkrc._check_rc (zmq/backend/cython/socket.c:6032)
zmq.error.ZMQError: Interrupted system call

Traceback (most recent call last):

File "/usr/bin/myapp", line 11, in <module>

sys.exit(run())

File "/usr/lib/python2.6/site-packages/click/core.py", line 716, in __call__

return self.main(*args, **kwargs)

File "/usr/lib/python2.6/site-packages/click/core.py", line 696, in main

rv = self.invoke(ctx)

File "/usr/lib/python2.6/site-packages/click/core.py", line 1060, in invoke

return _process_result(sub_ctx.command.invoke(sub_ctx))

File "/usr/lib/python2.6/site-packages/click/core.py", line 889, in invoke

return ctx.invoke(self.callback, **ctx.params)

File "/usr/lib/python2.6/site-packages/click/core.py", line 534, in invoke

return callback(*args, **kwargs)

File "/usr/lib/python2.6/site-packages/myapp/cli.py", line 69, in worker

worker_server.main()

File "/usr/lib/python2.6/site-packages/myapp/worker/worker.py", line 35, in main

rcv_data = main_receiver.recv_json()

File "/usr/lib64/python2.6/site-packages/zmq/sugar/socket.py", line 399, in recv_json

msg = self.recv(flags)

File "socket.pyx", line 628, in zmq.backend.cython.socket.Socket.recv (zmq/backend/cython/socket.c:5616)

File "socket.pyx", line 662, in zmq.backend.cython.socket.Socket.recv (zmq/backend/cython/socket.c:5436)

File "socket.pyx", line 139, in zmq.backend.cython.socket._recv_copy (zmq/backend/cython/socket.c:1771)

File "checkrc.pxd", line 21, in zmq.backend.cython.checkrc._check_rc (zmq/backend/cython/socket.c:6032)

zmq.error.ZMQError: Interrupted system call

이 내용이 중요한 것 같다.

zmq.error.ZMQError: Interrupted system call

환경:

CentOS release 5.8 (Final)

Centos 6에서는 문제가 없는 앱이었는데, Centos 5에서만 이런 문제가 생겼다. 그래서 trace를 하게 되었다.

app.py는 다음과 같이 하나의 스레드로 0mq 소켓으로 수신 받고 있었다. strace를 하면 아래에 표시된 부분에서 에러가 발생했다.

Python
    ...
    receiver = context.socket(zmq.PULL)
    receiver.bind("inproc://worker-receiver")
    while True:
        rcv_data = receiver.recv_json() # 여기서 에러 발생

				
					
				1
2
3
4
5

						    ...
    receiver = context.socket(zmq.PULL)
    receiver.bind("inproc://worker-receiver")
    while True:
        rcv_data = receiver.recv_json() # 여기서 에러 발생

					

			

다음과 같이 두 개의 터미널을 띄워놓고, 순서대로 커맨드를 실행했다.

# terminal 1
python app.py

# terminal 2
strace -ff -xx -i  -p  $(ps -anpL | grep app.py | awk '{print $1}')

				1
2
3
4
5

						# terminal 1
python app.py
 
# terminal 2
strace -ff -xx -i  -p  $(ps -anpL | grep app.py | awk '{print $1}')

try로 에러코드를 확인했다.

Python
except Exception as e:
    print e
    print e.errno

# 출력 결과
Interrupted system call
4

				
					
				1
2
3
4
5
6
7

						except Exception as e:
    print e
    print e.errno
 
# 출력 결과
Interrupted system call
4

					

			

4번을 표준 errno 시스템 심볼을 확인하니 다음으로 나타났다.

errno.EINTR¶

Interrupted system call

Centos 6에서는 문제가 발생하지 않았다.

# Centos 5
strace -V   
strace -- version 4.5.18

# Centos 6
strace -V           
strace -- version 4.8

# Centos 5

strace -V

strace -- version 4.5.18

# Centos 6

strace -V

strace -- version 4.8

Centos 5에서는 strace 할 때 무엇인가 signal을 보내면서 문제가 발생하는 것으로 보인다. 그래서 우선 예외처리하는 것으로 문제를 해결했다.

2018년 1월 12일

Python에서 Signal 처리

Python 스크립트가 예기치 않게 종료했을 때, 어떤 signal에 의해 종료되었는지를 확인이 필요한 경우가 있다. 다음 코드를 변형해서 프로그램에 맞게, 적절히 적용할 수 있다.

import signal

# 각각의 signal에 대한 핸들러
def sighandler(signum, frame):
    ''' 시그널 처리 '''
    raise Exception("Signal. %i" % signum)
        
# signal 수신 함수
def register_all_signal():
    ''' 모든 시그널 등록 '''
    for x in dir(signal):
        if not x.startswith("SIG"):
            continue

        try:
            signum = getattr(signal, x)
            signal.signal(signum, sighandler)
        except:
            # signal 등록에 실패하는 경우 표시
            print('Skipping the signal : %s' % x)
            continue

# signal을 수신하는 function 실행
register_all_signal()

import signal

# 각각의 signal에 대한 핸들러

def sighandler(signum, frame):

''' 시그널 처리 '''

raise Exception("Signal. %i" % signum)

# signal 수신 함수

def register_all_signal():

''' 모든 시그널 등록 '''

for x in dir(signal):

if not x.startswith("SIG"):

continue

try:

signum = getattr(signal, x)

signal.signal(signum, sighandler)

except:

# signal 등록에 실패하는 경우 표시

print('Skipping the signal : %s' % x)

continue

# signal을 수신하는 function 실행

register_all_signal()

이 외에도 종료되는 시점에 무엇인가 실행할 필요가 있을 때는 atexit를 사용 할 수 있다.

import atexit

def at_exit_func():
    print "exited."

atexit.register(at_exit_func)

import atexit

def at_exit_func():

print "exited."

atexit.register(at_exit_func)

2018년 1월 11일2018년 1월 12일

Virtualbox에서 Kubernetes 설치하기

Virtualbox에 두 개의 가상서버로 Kubernetes 설치하는 방법이다.

vm 1 : 호스트
vm 2 : 노드

두 서버에 kubernetes와 docker와 같은 기본 패키지를 설치한다.

# repository 추가
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb http://apt.kubernetes.io/ kubernetes-xenial main
EOF

# docker, kubeadm 설치
apt-get update
apt-get install docker.io apt-transport-https kubelet kubeadm kubectl

# swap off
swapoff -a

# repository 추가

curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -

cat <<EOF >/etc/apt/sources.list.d/kubernetes.list

deb http://apt.kubernetes.io/ kubernetes-xenial main

EOF

# docker, kubeadm 설치

apt-get update

apt-get install docker.io apt-transport-https kubelet kubeadm kubectl

# swap off

swapoff -a

호스트 설정:

# vi /etc/hosts
192.168.0.101   k8s1
192.168.0.102   k8s2

# vi /etc/hosts

192.168.0.101 k8s1

192.168.0.102 k8s2

호스트 서버 설치

init이 정상적으로 되면, 다른 노드에서 join을 할 수 있는 명령어가 출력되고, 노드 서버에 그대로 입력하면 된다.

kubeadm init \
  --apiserver-advertise-address=192.168.0.101 \
  --pod-network-cidr=10.244.0.0/16

mkdir -p $HOME/.kube
rm -f $HOME/.kube/config
rm -f /home/ubuntu/config

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo cp -i /etc/kubernetes/admin.conf /home/ubuntu/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
sudo chmod 755 /home/ubuntu/config

# 네트워크 카드 설정에 따라 적절히 변경 필요 - 이 글 마지막 참조
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/v0.9.1/Documentation/kube-flannel.yml

kubeadm init \

--apiserver-advertise-address=192.168.0.101 \

--pod-network-cidr=10.244.0.0/16

mkdir -p $HOME/.kube

rm -f $HOME/.kube/config

rm -f /home/ubuntu/config

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo cp -i /etc/kubernetes/admin.conf /home/ubuntu/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

sudo chmod 755 /home/ubuntu/config

# 네트워크 카드 설정에 따라 적절히 변경 필요 - 이 글 마지막 참조

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/v0.9.1/Documentation/kube-flannel.yml

노드 서버 설치

kubeadm join --token 037b45.73668ffc35fda768 192.168.0.101:6443 --discovery-token-ca-cert-hash sha256:126e83fa2c0b660e745d1eb225efaba55ebad93d3e0445c4065fc6637e652087

mkdir -p $HOME/.kube
scp ubuntu@192.168.0.101:/home/ubuntu/config $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

kubeadm join --token 037b45.73668ffc35fda768 192.168.0.101:6443 --discovery-token-ca-cert-hash sha256:126e83fa2c0b660e745d1eb225efaba55ebad93d3e0445c4065fc6637e652087

mkdir -p $HOME/.kube

scp ubuntu@192.168.0.101:/home/ubuntu/config $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

Flannel 설정

Virtualbox에서 NAT, Local 두 개의 네트워크 인터페이스를 사용하는데, NAT 네트웍이 첫 번째라서 Flannel이 비정상적으로 동작했다. Local 네트웍(enp0s8)을 사용하도록, 다음 파일을 다운로드 받은 후 수정해야 한다.

https://raw.githubusercontent.com/coreos/flannel/v0.9.1/Documentation/kube-flannel.yml

command: [ "/opt/bin/flanneld", "--ip-masq", "--kube-subnet-mgr", "--iface=enp0s8" ]

1	command: [ "/opt/bin/flanneld", "--ip-masq", "--kube-subnet-mgr", "--iface=enp0s8" ]

2018년 1월 11일2018년 1월 12일

Mongo DB 커맨드

기본

# 버전 확인
db.version()

# db 보기
show dbs

# db 선택
use dbname

# 콜렉션명 가져오기
db.getCollectionNames()

# 컬렉션 데이터 가져오기
db.collection_name.find()

# 역순으로
db.collection_name.find().sort({"_id", -1})
db.collection_name.find({}, {"sort": [["_id", "-1"]]})

# 갯수 가져오기
db.collection_name.count()

# 버전 확인

db.version()

# db 보기

show dbs

# db 선택

use dbname

# 콜렉션명 가져오기

db.getCollectionNames()

# 컬렉션 데이터 가져오기

db.collection_name.find()

# 역순으로

db.collection_name.find().sort({"_id", -1})

db.collection_name.find({}, {"sort": [["_id", "-1"]]})

# 갯수 가져오기

db.collection_name.count()

백업과 복원

# 백업
mongodump --db dbname --out ./mongo_backup_dir

# 복원
mongorestore --db dbname --drop ./mongo_backup_dir

# 모니터링
mongostat

# 백업

mongodump --db dbname --out ./mongo_backup_dir

# 복원

mongorestore --db dbname --drop ./mongo_backup_dir

# 모니터링

mongostat

링크

Robomongo : GUI 도구
MongoDB Integration and Tools