参照了网上N多文档,不一一列表,共享精神永存!!!!
==================================================
获取所有安装包
安装包分为两类,rpm安装包和docker镜像
rpm安装包
rpm为以下四个
kubeadm-1.7.0-0.x86_64.rpm
kubectl-1.7.0-0.x86_64.rpm
kubelet-1.7.0-0.x86_64.rpm
kubernetes-cni-0.5.1-0.x86_64.rpm
A, 从github上clone以下项目:
https://github.com/kubernetes/release
B,进入rpm目录,执行docker-build.sh
脚本,会在output目录下生成那4个rpm安装包。
*如果只生成amd-64的包,修改一下脚本,把其它几个构架的去掉。
*这些安装包的生成,需要fedora:24镜像,最好提前准备。
核心docker镜像
A, 下载kubernetes
1.7.0 release软件包kubernetes-server-linux-amd64.tar.gz
https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG.md
B, 解压kubernetes-server-linux-amd64.tar.gz文件,在server/bin目录下,以下几个文件为kubernetes的核心docker镜像:
kube-apiserver.tar
kube-controller-manager.tar
kube-scheduler.tar
kube-proxy.tar
kube-aggregator.tar
将这些镜像导入harbor仓库便以后备用。
*因为k8s的官方镜像都放在google上,不FQ一般不能直接下载,附录会写一个如何结合github,dockerhub,daocloud来获取指定镜像的办法。
扩展docker镜像
扩展的docker镜像,涉及etcd,flannel,traefik,nginx,tomcat等,后面结合场景写清楚。
所有节点初始化
主要是确认服务器的各项系统指标满足安装kubernetes的要求。
*RedHat发行版本为: 7.3 (Maipo)
*Linux内核版本为:3.10.0-514.el7.x86_64
docker安装
这个安装我们没有涉及,原本已安装好,版本为17.05.0-ce, build 89658be
注意新增/etc/systemd/system/docker.service.d/docker.conf文件:
[Service] ExecStart= ExecStart=/usr/bin/dockerd --graph=/dockerVolume --storage-driver=overlay --insecure-registry habor-ip-address
它改写了docker的存储目录,且定义了harbor仓库地址。
禁用selinux
确认/usr/sbin/sestatus命令输出为:disabled
禁用ipv6
确认以下两条命令均无显示
lsmod | grep -i ipv6
ifconfig | grep -i inet6
开启路由转发
echo 1 > /proc/sys/net/ipv4/ip_forward
echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables
Iptables清空及禁用
iptables -X iptables -Z iptables -P INPUT ACCEPT iptables -F
*默认禁用,通过硬防来控制规则。
主节点安装
上传rpm文件
将所有涉及的rpm包上传到服务器的一个安装目录(e.g:/root/k8s/)
上传docker镜像
将前节提到的docker images上传到harbor仓库(harbor-ip-address)
运行初始化前脚本
生成并运行以下脚本,进行master初始化前安装。(k8s-master-setup_before.sh)
#!/bin/bash HARBORPRE="1.2.3.4/kubernets/" DOCKERS=( ${HARBORPRE}/gcr.io/google_containers/k8s-dns-sidecar-amd64:1.14.4 ${HARBORPRE}/gcr.io/google_containers/k8s-dns-kube-dns-amd64:1.14.4 ${HARBORPRE}/gcr.io/google_containers/k8s-dns-dnsmasq-nanny-amd64:1.14.4 ${HARBORPRE}/gcr.io/google_containers/pause-amd64:3.0 ${HARBORPRE}/quay.io/coreos/flannel-amd64:v0.8.0 ${HARBORPRE}/gcr.io/google_containers/etcd-amd64:3.0.17 ${HARBORPRE}/gcr.io/google_containers/kube-proxy-amd64:v1.7.0 ${HARBORPRE}/gcr.io/google_containers/kube-apiserver-amd64:v1.7.0 ${HARBORPRE}/gcr.io/google_containers/kube-controller-manager-amd64:v1.7.0 ${HARBORPRE}/gcr.io/google_containers/kube-scheduler-amd64:v1.7.0 ${HARBORPRE}/gcr.io/google_containers/kubernetes-dashboard-amd64:v1.6.1 ) #登陆harbor,拉取镜像,更改名称 docker login -u USER -p PASSWORD http://1.2.3.4 echo '====docker login=====' for DOCKER in ${DOCKERS[@]}; do docker pull ${DOCKER} docker tag ${DOCKER} ${DOCKER/${HARBORPRE}/} docker rmi ${DOCKER} done echo '====docker pull image and change tag=====' #安装rpm包 rpm -ivh ./*.rpm --nodeps --force echo '====kubelet, kubeadm, kubectl install=====' # 有的脚本读取执行文件路径不一样 \cp -f /usr/bin/kube* /usr/local/bin/ echo '====cp exe file from /usr/bin to /usr/local/bin=====' #将docker文件驱动从systemd更改为cgroupfs,安装不对,会报错 sed -i 's/systemd/cgroupfs/g' /etc/systemd/system/kubelet.service.d/10-kubeadm.conf echo '====change kubeadm file from systemd to cgroupfs=====' systemctl daemon-reload echo '====daemon-reload=====' #启动kubelet服务 systemctl start kubelet.service echo '====start kubelet=====' #以防万一,初始化kubeadm并清除以前安装可能留下的痕迹 kubeadm reset ifconfig cni0 down ip link delete cni0 ifconfig flannel.1 down ip link delete flannel.1 rm -rf /var/lib/cni/ iptables -X iptables -Z iptables -P INPUT ACCEPT iptables -F echo '====kubeadm reset=====' echo '====kube master setup finished====='
初始化kubernetes集群
kubeadm init --apiserver-advertise-address=k8s-master-ip-address --pod-network-cidr=10.244.0.0/16 --kubernetes-version=v1.7.0
*一定要指定version,k8s才不会去网上拉docker,指定pod的cidr,因为后面我们是用flannel作vxlan网络支撑.
*一般等待1分钟左右,初始化即可完成。如有问题,可及时查看/var/log/message进行排错。
运行初始化后脚本
生成并运行以下脚本,进行master初始化后安装。(k8s-master-setup_after.sh)
*以下几个文件都是github里的标准文件
#!/bin/bash mkdir -p $HOME/.kube \cp -f /etc/kubernetes/admin.conf $HOME/.kube/config chown $(id -u):$(id -g) $HOME/.kube/config kubectl apply -f ./kube-flannel-rbac.yaml kubectl apply -f ./kube-flannel.yaml kubectl apply -f ./kube-dashboard-rbac.yaml kubectl apply -f ./kube-dashboard.yaml
确认安装
运行kubectl get命令,确认所有pod及svc状态正常.
kubectl get pods --all-namespaces kubectl get svc --all-namespaces
从节点安装
上传rpm文件
将所有涉及的rpm包上传到服务器的一个安装目录(e.g:/root/k8s/)
运行从节点前置脚本
生成并运行以下脚本,进行从节点加入前安装。(k8s-node-setup.sh)
#!/bin/bash HARBORPRE="1.2.3.4/kubernets/" DOCKERS=( ${HARBORPRE}/gcr.io/google_containers/pause-amd64:3.0 ${HARBORPRE}/quay.io/coreos/flannel-amd64:v0.8.0 ${HARBORPRE}/gcr.io/google_containers/kube-proxy-amd64:v1.7.0 ) #登陆harbor,拉取镜像,更改名称 docker login -u USER -p PASSWORD http://1.2.3.4 echo '====docker login=====' for DOCKER in ${DOCKERS[@]}; do docker pull ${DOCKER} docker tag ${DOCKER} ${DOCKER/${HARBORPRE}/} docker rmi ${DOCKER} done echo '====docker pull image and change tag=====' #安装rpm包 rpm -ivh ./*.rpm --nodeps --force echo '====kubelet, kubeadm, kubectl install=====' # 有的脚本读取执行文件路径不一样 \cp -f /usr/bin/kube* /usr/local/bin/ echo '====cp exe file from /usr/bin to /usr/local/bin=====' #将docker文件驱动从systemd更改为cgroupfs,安装不对,会报错 sed -i 's/systemd/cgroupfs/g' /etc/systemd/system/kubelet.service.d/10-kubeadm.conf echo '====change kubeadm file from systemd to cgroupfs=====' systemctl daemon-reload echo '====daemon-reload=====' #启动kubelet服务 systemctl start kubelet.service echo '====start kubelet=====' #以防万一,初始化kubeadm并清除以前安装可能留下的痕迹 kubeadm reset ifconfig cni0 down ip link delete cni0 ifconfig flannel.1 down ip link delete flannel.1 rm -rf /var/lib/cni/ iptables -X iptables -Z iptables -P INPUT ACCEPT iptables -F echo '====kubeadm reset=====' echo '====kube master setup finished====='
从节点加入
kubeadm join --token TOKEN MASTER-IP-ADDRESS:6443
*这个token可通过在主节点上运行kubeadm token list获得
从节点加入确认
在主节点上运行kubectl get nodes(从节点上也可以运行,但要先获取认证文件)
扩展功能安装
基于traefik的ingress功能安装
A, 下载traefik最新版本(略)
B, 写traefik-ds.yaml配置文件
apiVersion: extensions/v1beta1 kind: DaemonSet metadata: name: traefik-ingress-lb namespace: kube-system labels: k8s-app: traefik-ingress-lb spec: template: metadata: labels: k8s-app: traefik-ingress-lb name: traefik-ingress-lb spec: terminationGracePeriodSeconds: 60 hostNetwork: true restartPolicy: Always containers: - image: traefik:latest imagePullPolicy: IfNotPresent name: traefik-ingress-lb resources: limits: cpu: 200m memory: 30Mi requests: cpu: 100m memory: 20Mi ports: - name: http containerPort: 80 hostPort: 80 - name: admin containerPort: 8580 args: - --web - --web.address=:8580 - --kubernetes
C, 写traefik-ing.yaml配置文件
apiVersion: extensions/v1beta1 kind: Ingress metadata: name: traefik-ingress namespace: kube-system spec: rules: - host: cb.exmaple.com http: paths: - path: / backend: serviceName: tomcat-dm servicePort: 8087 - host: cn.example.cn http: paths: - path: / backend: serviceName: nginx-dm servicePort: 8088
D, 应用这两个配置文件
Kubectl apply –f traefik-ds.yaml Kubectl apply –f traefik- ing.yaml
E, 测试,访问从节点8580端口。
附录
如何曲线获取google上的docker镜像
*见本blog以前的帖子
Kubernetes大版本与各个组件版本的对应关系