{"id":1815,"date":"2018-09-03T08:14:26","date_gmt":"2018-09-03T06:14:26","guid":{"rendered":"http:\/\/blogs.encamina.com\/por-una-nube-sostenible\/?p=1815"},"modified":"2018-11-26T11:26:03","modified_gmt":"2018-11-26T10:26:03","slug":"que-es-azure-databricks","status":"publish","type":"post","link":"https:\/\/blogs.encamina.com\/por-una-nube-sostenible\/que-es-azure-databricks\/","title":{"rendered":"\u00bfQu\u00e9 es Azure Databricks?"},"content":{"rendered":"

\"\"<\/p>\n

Antes de contaros qu\u00e9 es Azure Databricks,<\/strong> hablemos de Apache Spark<\/strong> y de Notebooks<\/strong> para que podamos entender perfectamente qu\u00e9 es.<\/p>\n

<\/p>\n

<\/span>Apache Spark<\/span><\/h2>\n

Apache Spark<\/a> se define como un motor de an\u00e1lisis unificado para el procesamiento de datos a gran escala<\/strong>. B\u00e1sicamente es un cluster Open Source de computaci\u00f3n distribuida pensado para ejecutar consultas de an\u00e1lisis de datos y algoritmos de Machine Learning.<\/p>\n

\"\"<\/a><\/p>\n

<\/span>Notebooks<\/span><\/h2>\n

Notebooks<\/strong> es una de las interfaces que nos permite interactuar con Databricks. Desde el punto de vista de un Data Scientist, es la herramienta de desarrollo<\/strong> donde implementaremos nuestros algoritmos, procesos de transformaci\u00f3n de datos, cuadros de mandos, etc.<\/p>\n

Soporta una amplia variedad de formatos, como puede ser un script de Python, un script de R, un Jupyter Notebook, etc.<\/p>\n

<\/span>\u00bfQu\u00e9 es Databricks?<\/span><\/h2>\n

Si juntamos estos dos conceptos principales, que son Spark <\/strong>y Notebooks<\/strong>, tenemos un 75% de la definici\u00f3n de Databricks<\/a>.<\/p>\n

\"\"<\/a><\/p>\n

Pensemos en Databricks<\/strong> como un espacio de trabajo,<\/strong> Workspace,\u00a0 basado en Apache Spark, que permite colaborar a cient\u00edficos de datos y ingenieros de datos en diferentes clusters mediante el desarrollo de Notebooks y bajo el soporte de un Runtime basado en Apache Spark donde se ejecutan todas las operaciones.<\/p>\n

La gran ventaja para un cient\u00edfico de datos<\/strong> es que desde una misma herramienta puede hacer su trabajo de desarrollo, utilizando los distintos clusters disponibles o creados por \u00e9l mismo o por sus compa\u00f1eros, los ingenieros de datos.<\/p>\n

Para un ingeniero de datos, se abre un mundo de posibilidades. Por un lado, le permite planificar y\/o ejecutar bajo demanda los diferentes Notebooks que han desarrollados los cient\u00edficos de datos, adem\u00e1s de normalizar los datos o compartir las diferentes conexiones usando Notebooks o el almacenamiento seguro de Databricks.<\/p>\n

<\/span>\u00bfY qu\u00e9 ofrece Azure en el conjunto de Databricks?<\/span><\/h2>\n

Azure Databricks<\/strong> es un servicio de primer nivel que nos permite crear un Workspace en unos sencillos pasos.<\/p>\n

El Runtime de Databricks se ejecuta con todo el potencial de Azure, pudiendo crear clusters con las diferentes SKUs (tipos de maquinas virtuales) que Microsoft nos ofrece en Azure, as\u00ed podemos crear un cluster con de VMs con GPUS, VMs optimizadas para c\u00f3mputo, m\u00e1quinas optimizado para el uso de la memoria, etc. A\u00f1adiendo la posibilidad de configurar un Autoescalado, para consumir en cada momento lo que realmente necesitamos, la opci\u00f3n de apagar el cluster cuando no lo estemos usando o utilizar un cluster en modo Serverless.<\/p>\n

\"\"<\/a><\/p>\n

La capa de seguridad empresarial la pone Azure AD, sirviendo \u00e9ste \u00faltimo como servicio de identidades asociado a nuestros Workspace de Databricks<\/strong> para gestionar los accesos y los permisos.<\/p>\n

\n
\n

Tabla de contenidos<\/p>\nToggle<\/span><\/path><\/svg><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n