Skip to content

oscardaniel88/pipeline-template

 
 

Repository files navigation

Pipeline template

Plantilla para pipelines usando Luigi

Instrucciones rápidas

Prerequisitos

  • docker
  • hub
  • git flow
  • docker-compose
  • docker-machine

Instalando

  1. Copia el template a un repositorio tuyo (en el ejemplo nanounanue, e.g. mi usuario de github) especificando el nombre del proyecto que quieres jitomate
curl -fsSL https://raw.githubusercontent.com/nanounanue/pipeline-template/master/installer.sh | bash -- /dev/stdin -p jitomate -u nanounanue
  1. Crea 5 nodos usando docker-machine, por ejemplo usando virtualbox como driver
export MACHINE_DRIVER=virtualbox
for N in $(seq 1 5); do
   docker-machine create node$N
done
  1. Crea un swarm
eval $(docker-machine env node1)

docker swarm init --advertise-addr $(docker-machine ip node1)

TOKEN=$(docker swarm join-token -q manager)
for N in $(seq 2 5); do
  eval $(docker-machine env node$N)
  docker swarm join --token $TOKEN $(docker-machine  ip node1):2377
done
eval $(docker-machine env node1)


docker node ls

NOTA: Si tienes problemas, ingresa a cada una de las máquinas

  1. Crea un registry local al swarm
docker service create --name registry --publish 5000:5000 registry:2
  1. Clona el repositorio en el nodo1
  2. Registra las imágenes contenidas en infraestructura
infraestructura/registrar.sh 
  1. Instala y ejecuta el pipeline
make setup 

make run 

Ejecutando pruebas

Deployment

Construido con…

- -

¿Cómo contribuir?

Autores

Licencia

Agradecimientos

About

Plantilla para pipelines en Luigi

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Makefile 53.0%
  • Python 39.9%
  • Shell 6.0%
  • R 1.1%