{"id":2246,"date":"2021-02-08T11:28:53","date_gmt":"2021-02-08T10:28:53","guid":{"rendered":"http:\/\/blogs.encamina.com\/por-una-nube-sostenible\/?p=2246"},"modified":"2021-02-11T18:22:18","modified_gmt":"2021-02-11T17:22:18","slug":"azure-machine-learning-azure-databricks-ahora-azure-synapse","status":"publish","type":"post","link":"https:\/\/blogs.encamina.com\/por-una-nube-sostenible\/azure-machine-learning-azure-databricks-ahora-azure-synapse\/","title":{"rendered":"Azure Machine Learning, Azure Databricks, ahora Azure Synapse"},"content":{"rendered":"

\"\"<\/p>\n

S\u00ed, no lo podemos ocultar. Una de las grandes ventajas o desventajas de la tecnolog\u00eda es que evoluciona constantemente y lo que antes era Azure Machine Learning<\/a>, Azure Databricks<\/a>, ahora Azure Synapse. <\/a>La cuesti\u00f3n es \u00bfcu\u00e1ndo, c\u00f3mo y d\u00f3nde los usamos?<\/p>\n

<\/p>\n

Microsoft lleva tiempo desarrollando su servicio de anal\u00edtca avanzada llamado Azure Synapse Analytics pero al mismo tiempo invierte mucho dinero, junto a Amazon y Google, en Databricks<\/a>, otro servicio de anal\u00edtica avanzada que tenemos en Azure, y, casi en paralelo, sigue evolucionando su servicio base, tambi\u00e9n de anal\u00edtica avanzada, que es Azure Machine Learning.<\/p>\n

<\/span>\u00bfUn mensaje confuso?<\/span><\/h1>\n

Puede parecer un mensaje confuso, de hecho, realmente sin entrar en detalle lo es, aunque todos sabemos que tenemos diferentes herramientas para hacer lo mismo o cosas parecidas<\/strong>, y que lo ideal es que las conozcamos bien para aprovechar los puntos fuertes y evitar los puntos d\u00e9biles de cada uno de ellas.<\/p>\n

<\/span>Azure Databricks<\/span><\/h2>\n

Databricks es un servicio que nos permite desarrollar de forma colaborativa proyectos de anal\u00edtica avanzada, Machine Learning, etc<\/strong>. basado en la plataforma Apache Spark.<\/p>\n

\"\"<\/a><\/p>\n

Como podemos ver en el diagrama anterior, el motor de Databricks es principalmente Apache Spark<\/strong>, donde tenemos un self-service para la creaci\u00f3n de diferentes configuraciones de clusters, que junto a un Workspace colaborativo<\/strong> permite a los diferentes actores en un proyecto de este tipo colaborar mediante notebooks. Todo esto aderezado con la capacidad de programar trabajos que permiten ejecutar pipelines de transformaci\u00f3n, an\u00e1lisis, etc.<\/p>\n

Databricks da soporte a todo el ciclo de vida de un proyecto de data con mucha presencia en las fases de ingesta, preparaci\u00f3n, entrenamiento y entrega de datos. Soportado bajo los lenguajes de desarrollo habituales: Python, Scala, R.<\/p>\n

<\/span>Azure Synapse Analytics<\/span><\/h2>\n

Synapse Analytics es una plataforma anal\u00edtica de colaboraci\u00f3n<\/strong> donde los diferentes roles de un proyecto de data tienen un espacio para trabajar, basada en SQL Server Data Warehouse y Apache Spark<\/strong>.<\/p>\n

\"\"<\/a><\/p>\n

Synapse Analytics Studio es la herramienta donde se desarrollan las diferentes piezas que conforman un proyecto de data:<\/p>\n

    \n
  • Data<\/strong>, donde tenemos acceso a los diferentes or\u00edgenes de datos y sus datasets basados en SQL database, Azure Data Lake, Azure Storage, Cosmos DB…<\/li>\n
  • Develop<\/strong>, un espacio de trabajo donde implementar y ejecutamos scripts SQL, Notebooks, Data Flow o definiciones de trabajo de Spark.<\/li>\n
  • Integrate<\/strong> para desarrollar los pipeline de Azure Data Factory que realizan cargas y\/o transformaciones de datos.<\/li>\n<\/ul>\n

    Al igual que Databricks, Synapse soporta el ciclo de vida de los proyectos de data con presencia en las fases de ingesta, preparaci\u00f3n, entrenamiento, almacenamiento y entrega de datos, y con soporte nativo de SQL Data Warehouse y Apache Spark. Esto es, podemos ejecutar consultas SQL sobre los datos del Data Warehouse, podemos ejecutar consultas SQL sobre datos externos, por ejemplo, Azure Data Lake y podemos ejecutar notebooks en Apache Spark desarrollados en Python, Scala, .NET Spark y\/o Spark SQL.<\/p>\n

    <\/span>En la uni\u00f3n est\u00e1 la fuerza<\/span><\/h1>\n

    Desde cualquier perspestiva de proyecto, cualquiera de estos dos servicios nos permiten implementar y ejecutar sin problemas<\/strong>. Tal vez Synapase pareciera tener alguna ventaja con el motor SQL pero no es nada que con un poco de esfuerzo se pueda hacer desarrollando con Python, Scala o Spark SQL.<\/p>\n

    Es posible que para un cient\u00edfico de datos sea m\u00e1s natural trabajar con los Notebooks de Databricks<\/strong>, aunque Synapse tambi\u00e9n cubre esta funcionalidad, lejos de las capacidades de Jupyter Notebook o del propio Databricks, con su propia tecnolog\u00eda de Notebooks que se ejecutan sobre clusters de Spark.<\/p>\n

    Quiz\u00e1 SQL Data Warehouse y los pipeline de Data Factory que tenemos en Synpase sean\u00a0 la herramienta ideal para los ingenieros de datos<\/strong>, que no suelen tener capacidades de desarrollo en Python, Scala, etc., aunque Spark SQL y los jobs en Databricks no est\u00e1n muy lejos de la comodidad de trabajo de estos ingenieros de datos.<\/p>\n

    \"\"<\/a><\/p>\n

    La combinaci\u00f3n de estos servicios puede ser la clave. \u00bfPor qu\u00e9 no dar soporte a un ingeniero de datos que trabaje en Synapse y a que los cient\u00edficos de datos usen Databricks? un ejemplo, de muchos que podemos poner:<\/p>\n

    <\/span>Actividades de un Ingeniero de datos<\/span><\/h2>\n
      \n
    • Realizar la carga y las transformaciones en nuestro Data Lake, con Azure Synpase usando pipelines o tablas externas de SQL<\/li>\n
    • Exploraci\u00f3n de los datos del Data Lake usando consultas SQL<\/li>\n
    • Exponer un Data Mart usando SQL Data Warehouse<\/li>\n
    • Realizar agregaciones y preparar vistas de los datos usando SQL<\/li>\n<\/ul>\n

      <\/span>Actividades de un Cient\u00edfico de datos<\/span><\/h2>\n
        \n
      • Realizar transformaciones de los datos del Data Lake con Azure Databricks<\/li>\n
      • Exploraci\u00f3n y an\u00e1lisis de los datos usando notebooks de Azure Databricks<\/li>\n
      • Entrenamiento de un algoritmo predictivo usando notebooks de Azure Databricks<\/li>\n
      • Publicaci\u00f3n del modelo predictivo en MLFlow y Azure Machine Learning<\/li>\n<\/ul>\n

        Actividades diferentes, orientadas al trabajo de cada rol en el proyecto que necesitan como eje fundamental que los datos est\u00e9n bien organizados y centralizados, y en este punto parece que no hay duda, Azure Data Lake es el centro de datos para una arquitectura moderna.\u00a0\"\"<\/a><\/p>\n

        Todos los datos deber\u00edan estar disponibles en un Data Lake que permita realizar los diferentes trabajos de un proyecto de data partiendo de entidades consolidadas y verificadas por la organizaci\u00f3n y que aglutine la informaci\u00f3n necesaria a analizar de la compa\u00f1\u00eda y o del proyecto.<\/p>\n

        Si quieres m\u00e1s info, puede que te interese ver este webinar: \u00abDescubriendo Azure Synapse\u00bb<\/a> que impart\u00ed junto a Adri\u00e1n del Rinc\u00f3n y Juan Pedro \u00c1lex \ud83d\ude42<\/p>\n