Hoy hablaremos sobre cómo podemos ahorrarnos un dinerillo cuando trabajamos con Azure Databricks, en especial con la funcionalidad de Spot Instances.
Esta opción aparece cuando creamos nuestro cluster dentro de Azure Databricks, aunque puede que no lo hayas visto porque es un botoncito (un check) muy pequeño al lado de la configuración de los nodos. Con el ajetreo del día a día, a veces se nos olvida que esta opción está ahí para ti.
¡Para esto he venido yo! Voy a ayudarte a sacarle más provecho y optimizar nuestro querido Databricks.
¿Qué son los Azure Spot Instances?
El concepto es muy simple. En la actualidad ya se viene usando en muchas otras plataformas como Amazon.
Cuando nosotros usamos Databricks e instanciamos nuestro cluster, solemos configurar una cantidad de nodos (si los dejamos por defecto de 2 a 8 por ejemplo), pero muchas veces, estamos trabajando, tenemos el cluster levantado y no usamos prácticamente nada de la potencia de nuestro cluster.
Si chequeamos la opción de Spot Instances, estaremos diciendo que toda esa potencia que estamos dejando de usar en nuestro cluster la dejamos a disposición de Azure para que pueda utilizarlo. De este modo, compartimos nuestros nodos (únicamente los nodos, el driver no se ve afectado).
Un concepto muy sencillo ¿no? Compartir lo que no utilizas.
Te preguntarás, ¿Un artículo para contarme esto? Tampoco va a ser la panacea para mi organización.
Pues te tengo que decir, que podemos llegar a ahorrar hasta un 90% del coste de computación con un mínimo impacto en tu desarrollo del día a día. Hasta el equipo de Databricks confirma este hecho en este artículo.
Es importante remarcar que es conveniente configurar esto en los entornos de desarrollo y no en los de producción. Aunque oficialmente Microsoft tiene una «Eviction Policy» donde explican cómo y cuándo toman potencia de tus workers, personalmente no lo usaría en un entorno productivo.
Ahora pues, ¿cómo puedo aprovecharme de esta maravillosa rebaja de Black Friday en mis clusters? Pues no es ningún misterio.
Tan sólo seleccionando el botoncito de Spot Instances en la parte de Workers a la hora de crear nuestro cluster:
Si desconocías esta funcionalidad (como nos ha sucedido a muchos) espero que te haya sido de utilidad para comprenderlo y utilizarlo a partir de ahora.
¡Suscríbete a nuestras RRSS!
