Kubernetesとは #

• Dockerコンテナのクラスタ管理を始めとしたオーケストレーションを行うサービスのこと.
• ホスト間の連携やデプロイについても総括的に管理できる(ここがDocker Composeと違うところ).
• Kubernetesの大きな特徴の1つに宣言的設定がある.
• 宣言的設定とは, イミュータブルなインフラを作るための基本的な考え方で, 「システムのあるべき姿」を設定ファイルに宣言する！という考え方.
• Kubernetesは設定ファイルに書いたとおりのインフラを維持するように設計されている.
• ので, 設定ファイル(yamlファイル)をたくさん書く事になる.
• Reference: Docker Compose利用者から見た Kubernetes 開発環境構築入門
• GitHubリポジトリ: https://github.com/kubernetes

他のオーケストレーションと違うところ #

① 様々なOSSと組み合わせることにより, 柔軟に機能拡張なところ.

• コンテナ運用を更に効率化 / 高速化
• 詳細なメトリック監視と可視化・・・Prometheus + Grafana
• コンテナのログの転送収集・・・Fluentd / Fluent Bit
• ネットワークトラフィックの制御・・・ Istio + Envoy
• Kubernetesの適応領域の拡大
• 機械学習プラットフォーム・・・Kubeflow
• 分散ストレージ・・・Rook
• 分散型データベース・・・Vitess

② 本格的な宣言的オペレーションとInfrastructure as Codeを実現可能

③ クラスター上にデプロイするシステムの構成をコード(マニフェストファイル)によって定義できる

• 運用オペレーションはコードの変更によって実施し, 作業を簡素化する.
• 複数Kubernetesクラスターでの相互運用を実現する

Reference: Kubernetesの基礎

Docker Composeとの違い #

Docker Composeは動作させるコンテナを意識するだけでほとんど良かったが, Kubernetesではそれに加えて動作させるホスト(Node)やコンテナのグループ化(Pod), その複製(ReplicaSet)と公開(Service, Ingress)といったインフラレベルで意識していたことも全て設定ファイルの1つとして管理できる.
Reference: Docker Compose利用者から見た Kubernetes 開発環境構築入門

用語集 #

• References:
• Kubernetes: Deployment の仕組み
• Docker Compose利用者から見た Kubernetes 開発環境構築入門

yaml内の用語集 #

apiVersionの調べ方 #

kubectl api-resources # リソースとAPIGROUPの対応を調べる
kubectl api-versions # APIGROUPで利用可能なversionを調べる

ServiceのType4種類 #

• ClusterIp
• クラスタ内のIPにServiceを公開する.
• この値ではServiceはクラスタ内からのみアクセス可能.
• デフォルトはこれ.
• NodePort
• 各ノードのIP上のServiceを静的ポート(NordPort)に公開する.
• NodePort ServiceがルーティングするClusterIP Serviceが自動的に作成される.
• NodeIp: NordPortを要求することで, クラスタ外からNordPort Serviceにアクセスできる.
• LoadBalancer
• クラウドプロバイダのロードバランサを使用して外部にServiceを公開する.
• 外部ロードバランサがルーティングするNordPort ServiceとClusterIP Serviceが自動的に作成される.
• ExternalName
• 値を含むCNAMEレコードを返すことにより, ServiceをexternalNameフィールドのコンテンツ(たとえば, foo.bar.example.com)にマッピングする.
• この場合, どのような種類のプロキシも設定されない.
• この型を使うには, バージョン1.7以上のkube-dnsが必要.

Reference: Kubernetesの Service についてまとめてみた

PersistentVolumeClaimのaccessModes3種類 #

• PeadWriteOnce
• 1つのノードが読み書き可能
• ReadOnlyMany
• 複数のノードが読み込みだけ可能
• ReadWriteMany
• 複数のノードから読み書き可能

StorageClassの一覧 #

• The StorageClass Resource

volumeMountsのsubPath #

subPathを指定してあげるとvolumeをルートディレクトリからマウントしないで, サブディレクトリからマウントする. volumeをそんなに使わない時にオススメ.

Reference: 永続ストレージのサブディレクトリにマウントする方法

Macのローカル環境で動かす #

1. https://brew.sh からbrewをインストールする.

• brew install kubernetes-cliをターミナルで実行する.

  • kubectlはKubernetesのmasterを動かすもの.

• https://www.virtualbox.org からMac用のVirtualBoxをインストールする.

  • VirtualBoxはコンテナ群を動かす環境.

• brew cask install minikubeをターミナルで実行する.

  • minikubeはコンテナをVM上で動かすもの.

• minikube startをターミナルで実行する.

• References:

• https://kubernetes.io/docs/tasks/tools/install-kubectl/

• https://www.virtualbox.org/wiki/Downloads

• https://kubernetes.io/docs/tasks/tools/install-minikube/

Ubuntuのローカル環境で動かす #

1. kubectlをインストールする.

• VirtualBoxをインストールする.

• minikubeをインストールする.

• References:

• https://kubernetes.io/docs/tasks/tools/install-kubectl/

• https://www.virtualbox.org/wiki/Downloads

• https://kubernetes.io/docs/tasks/tools/install-minikube/

minikubeの使い方 #

minikube status # 動いているか確認
minikube start # minikubeをスタート
minikube ip # ipを確認
minikube dashboard # ダッシュボード出現
minikube docker-env # 環境変数を出力

kubectlの使い方 #

kubectl apply -f client-pod.yaml # オブジェクトの新規作成・差分反映
kubectl get pods # 動いているpodを確認
kubectl get deployments # 動いているdeploymentを確認
kubectl describe <object type> <object name> # オブジェクトの詳細表示
kubectl delete -f client-pod.yaml # オブジェクトが存在すれば削除
kubectl delete deployment client-deployment # deploymentの削除
kubectl delete pod client-node-port # podの削除
kubectl api-resources # リソースとAPIGROUPの対応を調べる
kubectl api-versions # APIGROUPで利用可能なversionを調べる
kubectl get storageclass # 管理者が提供するストレージのクラスを表示
kubectl get pv # PersistentVolumeの一覧を表示
kubectl get pvc # PersistentVolumeClaimの一覧を表示
# 以下3つはパスワードを設定する時に使用
kubectl create secret generic pgpassword --from-literal PGPASSWORD=******** # パスワードを生成
kubectl create secret generic <secret_name> --from-literal <key=value> # パスワードを生成
kubectl get secret # secret一覧を表示
# 以下2つはGKEでユーザーの権限を与える時に使用
kubectl create serviceaccount --namespace kube-system tiller # tillerというサービスアカウントを作成
kubectl create clusterrolebinding tiller-cluster-rule --clusterrole=cluster-ad
min --serviceaccount=kube-system:tiller

自分のPCからVMにアクセスしてDockerコンテナを見る方法 #

eval $(minikube docker-env)
docker ps

1度デプロイしたイメージのバージョンアップ方法 #

Kubernetesではlatestタグイメージの運用は適切なロールバックを行うことが難しいので推奨されていない.
ので, できる限りVsersion, もしくはdigestでイメージ指定を行うようにする.

以下のようにDocker Hubにバージョンを指定してpushし,

docker build -t solareenlo/multi-client:v5
docker push solareenlo/multi-client:v5

以下のようにコマンドラインからイメージのバージョンアップを行う.

kubectl set image deployment/client-deployment client=solareenlo/multi-client:v5

イメージのバージョンにgitのshaを使う #

以下の様に.travis.ymlに$SHAを設定して,

sudo: required
services:
  - docker
env:
  global:
    - SHA=$(git rev-parse HEAD)

以下の様にbuild, push, setを行うと良い.

docker build -t solareenlo/multi-client:latest -t solareenlo/multi-client:$SHA -f ./client/Dockerfile ./client
docker build -t solareenlo/multi-server:latest -t solareenlo/multi-server:$SHA -f ./server/Dockerfile ./server
docker build -t solareenlo/multi-worker:latest -t solareenlo/multi-worker:$SHA -f ./worker/Dockerfile ./worker

docker push solareenlo/multi-client:latest
docker push solareenlo/multi-server:latest
docker push solareenlo/multi-worker:latest

docker push solareenlo/multi-client:$SHA
docker push solareenlo/multi-server:$SHA
docker push solareenlo/multi-worker:$SHA

kubectl apply -f k8s
kubectl set image solareenlo/server-deployment server=solareenlo/multi-server:$SHA
kubectl set image solareenlo/client-deployment client=solareenlo/multi-client:$SHA
kubectl set image solareenlo/worker-deployment worker=solareenlo/multi-worker:$SHA

ローカルで動かした例 #

• solareenlo/complex-k8s-local

GKEで動かした例 #

• solareenlo/multi-k8s-gke

TLS #

• jetstack/cert-manager

良書 #

• Cloud Native Infrastructure
• Kubernetes Up & Running
• Managing Kubernetes

Helm #

• Kubernetesのパッケージ管理ツール.
• デフォルトで使用可能なChartはkubernetes/chartsのstableディレクトリで確認可能.
• GitHubリポジトリ: https://github.com/helm/helm

• Reference:
• Kubernetes: パッケージマネージャHelm
• helm覚書
• helmの過去、現在、未来
• Helmの概要とChart(チャート)の作り方