Jenkins в docker in mesos in ...

Jenkins Cloud Jenkins in Docker in Mesos in...

@tolkv

2

@lavcraft

Jenkins Cloud

● Amazon EC2

Jenkins Cloud

● Amazon EC2● Eucalyptus

Jenkins Cloud

● Amazon EC2● Eucalyptus● Docker● Mesos

Jenkins Cloud

● Amazon EC2● Eucalyptus● Docker● Mesos

Что дает:

● Jenkins Master в каждый дом(проект)● Shared Slaves● = Jenkins as a Service

Предпосылки

● Jenkins Master – не самый стабильный


● Jenkins Master – не самый стабильный● Каждый хочет установить свой плагин


● Jenkins Master – не самый стабильный● Каждый хочет установить свой плагин● И настроить “правильно”


● Jenkins Master – не самый стабильный● Каждый хочет установить свой плагин● И настроить “правильно”● И вообще сделать всео “по уму”

Хитрость

● Гды вы запускаете Jenkins?

Хитрость

● Гды вы запускаете Jenkins?● На каких серверах запускать jenkins slave?

Проект $

Ресурсы на проект

Prod

App1

App2

App3

Db1

Db2

Db3

Проект $


Prod

App1

App2

App3

Db1

Db2

Db3

Dev

App1

App2

Db1

Проект $


Prod

App1

App2

App3

Db1

Db2

Db3

Dev

App1

App2

Db1

Infra

Mon1

Mon2

Проект $


Prod Dev Infra

Mon1

Mon2

Проект $


Prod Dev Infra

Mon1

Mon2

Jenkins Resources

Хитрость

● Гды вы запускаете Jenkins?● На каких серверах запускать jenkins slave?● А почему бы не запускать билды на разработческих стендах?

С чего начать

* Что каждый может сделать придя домой

ПодходыРаш

ПодходыРациональный подход

Подходы

VS

Подходы

Что имеется

● Docker


● Docker● Mesos


● Docker● Mesos● Maratrhon


● Docker● Mesos● Maratrhon● zookeeper … ● …

Jenkins

Jenkins

Jenkins Master

Jenkins

Jenkins Master Jenkins Slave

Запихаем в Docker


● Уже есть оффициальный на docker hubhttps://hub.docker.com/_/jenkins/

● Отлично! Запускаем!docker run -p 8080:8080 -it jenkins

https://hub.docker.com/_/jenkins/



● Уже есть оффициальный на docker hubhttps://hub.docker.com/_/jenkins/

● Отлично! Запускаем!docker run -p 8080:8080 -it jenkins

● А как же плагины? Давайте разбираться!



Начнем с Docker

https://github.com/jenkinsci/docker/blob/master/README.md#preinstalling-plugins

DockerfileFROM jenkins:2.32.1

COPY plugins.txt /usr/share/jenkins/ref/RUN /usr/local/bin/plugins.sh /usr/share/jenkins/ref/plugins.txt






$ docker build .


$ cat plugins.txt

handlebars:1.1.1icon-shim:2.0.3ivy:1.27.1jackson2-api:2.7.3javadoc:1.4jquery-detached:1.2.1junit:1.19ldap:1.14mailer:1.18mapdb-api:1.0.9.0marathon:1.4.0matrix-auth:1.4matrix-project:1.8maven-plugin:2.14mesos:0.14.0metrics:3.1.2.9momentjs:1.1.1pam-auth:1.3pipeline-build-step:2.4pipeline-graph-analysis:1.3pipeline-input-step:2.5pipeline-milestone-step:1.3pipeline-rest-api:2.4pipeline-stage-step:2.2pipeline-stage-view:2.4plain-credentials:1.3resource-disposer:0.6scm-api:1.3script-security:1.25ssh-credentials:1.12ssh-slaves:1.13structs:1.5subversion:2.7.1timestamper:1.8.8token-macro:2.0windows-slaves:1.2workflow-aggregator:2.4workflow-api:2.8workflow-basic-steps:2.3workflow-cps-global-lib:2.5workflow-cps:2.24workflow-durable-task-step:2.8workflow-job:2.9workflow-multibranch:2.9.2workflow-scm-step:2.3workflow-step-api:2.7workflow-support:2.12ws-cleanup:0.32http_request:1.8.13

Где взять plugins.txt

$ cd $JENKINS_HOME/plugins


$ cd $JENKINS_HOME/plugins$ tree├── <PLUGIN_NAME>│ ├── META-INF│ │ ├── MANIFEST.MF


$ cd $JENKINS_HOME/plugins$ tree├── <PLUGIN_NAME>│ ├── META-INF│ │ ├── MANIFEST.MF$ cat <PLUGIN_NAME>/META-INF/MANIFEST.MF


$ cd $JENKINS_HOME/plugins$ tree├── <PLUGIN_NAME>│ ├── META-INF│ │ ├── MANIFEST.MF$ cat <PLUGIN_NAME>/META-INF/MANIFEST.MF

Manifest-Version: 1.0Archiver-Version: Plexus ArchiverUrl: https://wiki.jenkins-ci.org/display/JENKINS/Pipeline+API+PluginPlugin-Version: 2.8…


for i in `MANIFEST.MF for all plugins`;do

done


for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"̀ ;do

done


for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"̀ ;do # Plugin-Version: 2.8 v=EXTRACT VERSION FROM FILE <plugin>/META-INF/MANIFEST.MFdone


for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"̀ ;do # Plugin-Version: 2.8 v=$(cat $i| grep Plugin-Ver | cut -d':' -f2 | tr -d ' ');done


for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"̀ ;do v=$(cat $i| grep Plugin-Ver | cut -d':' -f2 | tr -d ' '); # $i = ./workflow-api/META-INF/MANIFEST.MFdone


for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"̀ ;do v=$(cat $i| grep Plugin-Ver | cut -d':' -f2 | tr -d ' '); # ./workflow-api/META-INF/MANIFEST.MF mod=EXTRACT PLUGIN NAMEdone


for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"̀ ;do v=$(cat $i| grep Plugin-Ver | cut -d':' -f2 | tr -d ' '); # ./workflow-api/META-INF/MANIFEST.MF mod=$(echo $i | cut -d'/' -f2); done


for i in `find -d $JENKINS_HOME/plugins -name "MANIFEST.MF"̀ ;do v=$(cat $i| grep Plugin-Ver | cut -d':' -f2 | tr -d ' '); mod=$(echo $i | cut -d'/' -f2); done


cd $JENKINS_HOME/plugins

for i in `find -d . -name "MANIFEST.MF"̀ ;do v=$(cat $i| grep Plugin-Ver | cut -d':' -f2 | tr -d ' '); mod=$(echo $i | cut -d'/' -f2); echo $mod:$v; # pluginname:versiondone

Инициализируем jenkins_home

● Запускаем Jenkins и монтируем JENKINS_HOMEdocker run \

$PWD/jenkins_home:/var/jenkins_home \-p 8080:8080 \

-it jenkins● Теперь у нас в jenkins_home все нужные плагины

Теперь у нас есть jenkins в Docker?

НЕТТеперь у нас есть jenkins в Docker?

Задеплоим Jenkins-Master

Mesos + Marathon + Marathon-LB

Деплоим Jenkins

Marathon Manifest [Json]

Jenkins Master



Jenkins Master

POST



Jenkins Master

POST EVENT

Reload



Jenkins Master

POST EVENT

Reload

ANNOUNCE



Jenkins Master

POST EVENT

Reload

ANNOUNCE

OPEN UI



Jenkins Master

{"id": "/my_project/jenkins", "cmd": "...", "cpus": 2, "mem": 2048, "instances": 1, "container": { "type": "DOCKER", "docker": { "image": "docker.moscow.alfaintra.net/jenkins:2.32.1-mesos", } }, "healthChecks": [ { "path": "/proxy/raw/jenkins/passport/login", "protocol": "HTTP", "portIndex": 0, ... } ], "portDefinitions": [ { "port": 11102, "protocol": "tcp", "name": "jenkinshttp", },{ "port": 11103, "protocol": "tcp", "name": "jenkinsjnlp", "labels": {} }, { "port": 11104, "protocol": "tcp", "name": "mesoslibprocess", "labels": {} } ] }

Публикуем по http


Jenkins Master

{"id": "/my_project/jenkins", ... "labels": { "HAPROXY_DEPLOYMENT_GROUP": "cd_my_project_jenkins", "HAPROXY_GROUP": "cd_my_project_jenkins", "HAPROXY_0_PATH": "/proxy/raw/jenkins/my_project", "HAPROXY_0_VHOST": "my_project.jenkins.cd" },

…}

Marathon LB


Jenkins Master

{"id": "/my_project/jenkins", ... "labels": { "HAPROXY_DEPLOYMENT_GROUP": "cd_my_project_jenkins", "HAPROXY_GROUP": "cd_my_project_jenkins", "HAPROXY_0_PATH": "/proxy/raw/jenkins/my_project", "HAPROXY_0_VHOST": "my_project.jenkins.cd" "HAPROXY_0_HTTP_FRONTEND_ACL_WITH_PATH": " acl host_{cleanedUpHostname} hdr(host) -i {hostname}\n acl path_{backend} path_beg {path}\n use_backend {backend} if path_{backend}\n", },

…}

Marathon


Jenkins Master

Открываем

● VHOST + PATH если есть DNS

Открываем

● VHOST + PATH если есть DNS● Иначе кастомизируем Haproxy acl для варианта только с PATH

Открываем

● VHOST + PATH если есть DNS● Иначе кастомизируем Haproxy acl для варианта только с PATH● curl http://jenkins.my_project.mesosdev/● curl http://any_nodehostname/proxy/raw/jenkins/my_project

http://jenkins.my_project.mesosdev/







Открываем

● VHOST + PATH если есть DNS● Иначе кастомизируем Haproxy acl для варианта только с PATH● curl http://jenkins.my_project.mesosdev/● curl http://any_nodehostname/proxy/raw/jenkins/my_project● Jenkins не поддерживает X-Forwarded

ну или у меня не получилось завести...








Открываем

● VHOST + PATH если есть DNS● Иначе кастомизируем Haproxy acl для варианта только с PATH● curl http://jenkins.my_project.mesosdev/● curl http://any_nodehostname/proxy/raw/jenkins/my_project● Jenkins не поддерживает X-Forwarded

ну или у меня не получилось завести...● см --prefix=/proxy/raw/jenkins/my_project








Проверим jenkins-mesos плагин

Jenkins Mesos Plugin$JENKINS_URL/manage → $JENKINS_URL/configure

Jenkins Mesos Plugin$JENKINS_URL/manage → $JENKINS_URL/configure

→

Mesos Hostname

Mesos native library path

Не найден mesos.so

APPLY

Как это должно работать?

Jenkins Master

JenkinsSlaveJenkins

SlaveJenkinsSlaveJenkins

Slave


MesosMaster

AgentAgent

AgentAgentJenkins

Master

JenkinsSlaveJenkins

SlaveJenkinsSlaveJenkins

Slave


Jenkins Master

MesosMaster

MesosMasterMesos

Master

AgentAgent

AgentAgent

JenkinsSlave

Mesos Native

$ docker build .


ARG MESOS_VERSIONARG MESOS_VERSION_DEBENV MESOS_VERSION ${MESOS_VERSION:-1.1.0}ENV MESOS_VERSION_DEB ${MESOS_VERSION_DEB:-2.0.107.debian81}ENV TMP_DIR=/tmp/mesos

USER rootRUN apt-key adv --keyserver keyserver.ubuntu.com --recv E56151BF && \ echo "deb http://repos.mesosphere.com/debian jessie main" > /etc/apt/sources.list.d/mesosphere.list && \ apt-get update && \ apt-get install -y --no-install-recommends mesos=$MESOS_VERSION-$MESOS_VERSION_DEB && \ rm -rf /var/lib/apt/lists/*USER jenkins


Mesos NativeDockerfileFROM jenkins:2.32.1

...

USER rootRUN apt-key adv --keyserver keyserver.ubuntu.com --recv E56151BF && \ echo "deb http://repos.mesosphere.com/debian jessie main" > /etc/apt/sources.list.d/mesosphere.list && \ apt-get update && \ apt-get install -y --no-install-recommends \ mesos=$MESOS_VERSION-$MESOS_VERSION_DEB && \ rm -rf /var/lib/apt/lists/*USER jenkins


$ docker build .

Что там в Mesos?

Mesos Hostname

Specifies the hostname:port of the Mesos master.

● node1:zk_port,node2:zk_port,node3:zk_port

Mesos Hostname


● node1:zk_port,node2:zk_port,node3:zk_port● http://node1:2181/api/v1/scheduler

Mesos Hostname


● node1:zk_port,node2:zk_port,node3:zk_port● http://node1:2181/api/v1/scheduler ● zk://node1:2181,node2:2181,node3:2181

Mesos Hostname


● node1:zk_port,node2:zk_port,node3:zk_port● http://node1:2181/api/v1/scheduler ● zk://node1:2181,node2:2181,node3:2181● zk://node1:2181,node2:2181,node3:2181/mesos

А теперь что в Mesos?

Разберемся


CLI

JNLP

HTTP

MESOS

Jenkins in Docker


CLI_PORT

JNLP_PORT

HTTP_PORT

CLI_ADVERTIZED_PORT

MESOS_PORT

HTTP_ADVERTIZED_PORT

JNLP_ADVERTIZED_PORT

MESOS_ADVERTIZED_PORT

Внутри контейнера

Внутренние порты Внешние

порты

Jenkins in Docker

Во вне

Как лечим

● -Dhudson.TcpSlaveAgentListener.port=$PORT1

● JENKINS_SLAVE_AGENT_PORT=$PORT1

● --httpPort=$PORT0


CLI_ADVERTIZED_PORT




Внутренние порты Внешние

порты

Jenkins in Docker

MesosMaster

LIBPROCESS_ADVERTIZED_PORTLIBPROCESS_ADVERTIZED_IP

CL_PORT

JNLP_PORT

HTTP_PORT

CLI_ADVERTIZED_PORT

MESOS_PORT




Внутри контейнера

Во вне

Как лечим

● -Dhudson.TcpSlaveAgentListener.port=$PORT1

● JENKINS_SLAVE_AGENT_PORT=$PORT1

● --httpPort=$PORT0

● LIBPROCESS_PORT=$PORT2

Build Now

Что еще можно потюнить?

Соберём что нибудь

Набор инструментов

● Jenkins Tools○ M3○ Docker○ Gradle○ ...

Набор инструментов

● Jenkins Tools○ M3○ Docker○ Gradle○ …

● Docker image per task type

Jenkins Jobs. Pipeline

node('mesos-jendev'){...}

Jenkins Jobs. Pipeline


Название Jenkins Cloud

Jenkins Jobs. Pipeline. Custom image


node('mesos-jendev:jenkins-slave:java-with-curl'){...}

Название Jenkins Cloud в котором будет запущен таск

Название образа в котором будет запущен новый jenkins-slave

Jenkins Jobs. Pipeline. Dind Image

node('mesos-jendev:jenkins-slave:java-dind'){...}

Docker client конфликт версий

● Официальный dind образ для docker 1.12+


● Официальный dind образ для docker 1.12+● Docker на сервере 1.10 – 1.12


● Официальный dind образ для docker 1.12+● Docker на сервере 1.10 – 1.12● Клиент 1.12 не работает с сервером 1.10


● Официальный dind образ для docker 1.12+● Docker на сервере 1.10 – 1.12● Клиент 1.12 не работает с сервером 1.10● Сделаем свой?


● Официальный dind образ для docker 1.12+● Docker на сервере 1.10 – 1.12● Клиент 1.12 не работает с сервером 1.10● Сделаем свой?● Нет, обновим Docker


node('mesos-jendev:jenkins-slave:java-with-curl'){ stage('fetch'){ checkout scm } stage('build'){

... }

}

node('mesos-jendev:jenkins-slave:java-with-curl'){ stage('fetch'){ checkout scm } stage('build'){ def server = Artifactory.server 'alfa-laboratory' def rtGradle = Artifactory.newGradleBuild() def buildInfo = Artifactory.newBuildInfo() rtGradle.run tasks: 'snapshot', buildInfo: buildInfo }}


Jenkins Job in Mesos Cluster in Docker

Jenkins Slaves под нашим контролем

● jenkins home persistence – требует mesos 1.0.1 + (Incubating API)● работа с Network BRIDGE – боль

○ jenkins jnlp4 handshake○ advertized ports○ mesos LIBPROCESS

● build cache and incremental builds● gradle cache problems gradle/851● link to MESOS_SANDBOX from builds

Немного проблем

https://github.com/gradle/gradle/issues/851

Резюме

● Jenkins`a стоит бояться● Jenkins Cloud для энтузиастов

Резюме

● Jenkins`a стоит бояться● Jenkins Cloud для энтузиастов● Подумайте 3 раза нужно ли вам это● Если не нужно не используйте

Резюме

● Jenkins`a стоит бояться● Jenkins Cloud для энтузиастов● Подумайте 3 раза нужно ли вам это● Если не нужно не используйте● Можно упороться и заставить работать Jenkins Cloud

node('mesos-jendev:jenkins-slave:java-with-httpie'){echo '1'deployTo()echo '5'

}@NonCpsdef deployTo() {

echo '2'isExistInCluster()echo '4'

}def isExistInCluster() {

echo '3'}

Pipeline прямиком из ада

Pipeline прямиком из ада> 1> 2> 3> 5> End Stage> End Pipline

node('mesos-jendev:jenkins-slave:java-with-httpie'){echo '1'deployTo()echo '5'

}@NonCpsdef deployTo() {

echo '2'isExistInCluster()echo '4' // < ---- SKIPED

}def isExistInCluster() {

echo '3'}

Pipeline прямиком из ада

Заходите на чайhttps://goo.gl/HjfOz5

QA

Jenkins в docker in mesos in ...

Technology

Transcript of Jenkins в docker in mesos in ...