{"id":1462,"date":"2021-12-27T09:11:36","date_gmt":"2021-12-27T09:11:36","guid":{"rendered":"https:\/\/blogs.encamina.com\/piensa-en-software-desarrolla-en-colores\/?p=1462"},"modified":"2021-12-27T09:38:53","modified_gmt":"2021-12-27T09:38:53","slug":"mejorando-el-rendimiento-de-azure-durable-functions-con-netherite","status":"publish","type":"post","link":"https:\/\/blogs.encamina.com\/piensa-en-software-desarrolla-en-colores\/mejorando-el-rendimiento-de-azure-durable-functions-con-netherite\/","title":{"rendered":"Mejorando el rendimiento de Azure Durable Functions con Netherite"},"content":{"rendered":"

\"\"<\/p>\n

En mayo de este a\u00f1o 2021, Microsoft anunci\u00f3 la llegada de nuevos proveedores de almacenamiento (Storage Providers) para mejorar el rendimiento de Azure Durable Functions<\/strong> ya que, en algunos casos, necesitamos m\u00e1s velocidad, fiabilidad o flexibilidad. En este art\u00edculo os voy a mostrar c\u00f3mo cambiar el Storage Provider a Netherite<\/strong>, c\u00f3mo funciona y qu\u00e9 ventajas nos aporta.<\/p>\n

<\/p>\n

\u00bfQu\u00e9 es Netherite?<\/h2>\n

Netherite<\/a>, que a\u00fan est\u00e1 en Alpha, no es en s\u00ed un servicio ni un artefacto. Netherite es un motor de ejecuci\u00f3n de flujo de Azure Durable Functions,<\/strong> es decir, lo que cambia es el modo en el que funcionar\u00e1 internamente el flujo de la orquestaci\u00f3n durante la ejecuci\u00f3n.<\/p>\n

Podemos acceder al c\u00f3digo y a los ejemplos en\u00a0el repositorio de GitHub.<\/a><\/p>\n

\u00bfC\u00f3mo funciona Netherite?<\/h2>\n

Para el correcto funcionamiento de Azure Durable Functions, es necesario el uso de alg\u00fan sistema que permita ejecutar las diferentes Functions que componen cada orquestaci\u00f3n, incluyendo con ello las sub-orquestaciones. Adem\u00e1s, se usa un sistema de almacenamiento para poder guardar el estado y la informaci\u00f3n en cada momento.<\/p>\n

En el modelo actual con BlobStorage como proveedor de almacenamiento, se usan Azure Storage Queues<\/strong> para almacenar los mensajes, y Azure Storage Tables<\/strong> para almacenar la informaci\u00f3n del estado.<\/p>\n

Aunque este modelo funciona muy bien, en orquestadores que requieran una gran carga de trabajo, tantas escrituras y lecturas en colas y tablas, frena el rendimiento y el escalado.<\/p>\n

Netherite intenta solucionar este problema haciendo uso de Azure Event Hubs<\/strong> para almacenar los mensajes de forma persistente y poder ejecutarlos en orden, y Azure PageBlobs<\/strong> para almacenar el estado de la instancia de Durable Function en forma de logs, permitiendo un mayor rendimiento.<\/p>\n

Requisitos<\/h2>\n

Antes de empezar a usar Netherite, tenemos que tener nuestro entorno de desarrollo preparado con todo lo necesario para no llevarnos sorpresas a mitad del camino.<\/p>\n

Microsoft nos propone estos requisitos m\u00ednimos. Tened cuidado si quer\u00e9is usar TypeScript o Python, porque hay algunos m\u00e1s, as\u00ed que id a la\u00a0documentaci\u00f3n<\/a><\/p>\n

.NET Core SDK 3.1<\/a>\u00a0or later. You can run\u00a0dotnet --list-runtimes<\/code>\u00a0to check what is installed.<\/p>\n

Azure Functions Core Tools 3.x<\/a>\u00a0or later. You can run\u00a0func --version<\/code>\u00a0to check what is installed.<\/p>\n

PowerShell 7.1<\/a>\u00a0or later. You can check what is installed with\u00a0pwsh --version<\/code>. PowerShell is easy to install or update via\u00a0dotnet tool install --global PowerShell<\/code>\u00a0or\u00a0dotnet tool install --global PowerShell<\/code>, respectively.<\/p>\n

Azurite 3.x<\/a>\u00a0as storage emulator for the local execution. You can run\u00a0azurite --version<\/code>\u00a0to check what is installed.<\/p>\n

The Azure CLI 2.18.0<\/a>\u00a0or later. You can run\u00a0az --version<\/code>\u00a0to check what is installed.<\/p>\n

An Azure subscription<\/a>, to allocate and deploy the required resources.<\/p>\n

\u2018Hello\u2019 Sample (microsoft.github.io)<\/a><\/cite><\/p><\/blockquote>\n

Si vamos a realizar\u00a0ejecuciones s\u00f3lo en local<\/strong>, es muy importante tener los 4 primeros requisitos: .Net SDK , Azure Functions Core Tools, PowerShell y Azurite.<\/strong><\/p>\n

Una vez tengamos todo instalado, podremos pasar al siguiente punto, que es establecer Netherite como Storage Provider.<\/p>\n

C\u00f3mo establecer Netherite como Storage Provider<\/h2>\n

Microsoft, en su af\u00e1n de hacernos las cosas m\u00e1s sencillas (como siempre), ha puesto a nuestra disposici\u00f3n un ejemplo de Azure Durable Function usando Netherite como Storage Provider. Este ejemplo<\/a>\u00a0est\u00e1 desarrollado con .NET Core 3.1 y Azure Functions v3.<\/p>\n

Pero como en la vida real no podemos vivir de ejemplos, veamos c\u00f3mo lo podemos establecer nosotros \ud83d\ude09<\/p>\n

Editar local.settings.json<\/h3>\n

Lo primero es establecer las variables de configuraci\u00f3n necesarias para el funcionamiento de la Azure Durable Function con Netherite. Para ello, tendremos que establecer las siguiente propiedades:<\/p>\n

    \n
  • AzureWebJobsStorage: Cadena de conexi\u00f3n a la cuenta de Storage<\/li>\n
  • EventHubsConnection: Cadena de conexi\u00f3n a Event Hub Namespace<\/li>\n<\/ul>\n

    Si queremos ejecutar en local el archivo quedar\u00eda de la siguiente forma:<\/p>\n

    \r\n{\r\n  "IsEncrypted": false,\r\n  "Values": {\r\n    "AzureWebJobsStorage": "UseDevelopmentStorage=true",\r\n    "EventHubsConnection": "MemoryF",\r\n \r\n    "FUNCTIONS_WORKER_RUNTIME": "dotnet"\r\n  }\r\n}\r\n<\/pre>\n
    MemoryF es la expresi\u00f3n clave que indica que se usar\u00e1 Event Hub de forma local<\/p><\/blockquote>\n
    En caso de querer usar los servicios de Blob Storage y Event Hub publicados en Azure, ser\u00e1 necesario establecer las cadenas de conexi\u00f3n con la clave de acceso correspondiente a cada uno de ellos<\/p>\n
    \r\n{\r\n  "IsEncrypted": false,\r\n  "Values": {\r\n    "AzureWebJobsStorage": "DefaultEndpointsProtocol=https;AccountName=[ACCOUNTNAME];AccountKey=[ACCOUNTKEY];EndpointSuffix=core.windows.net",\r\n    "EventHubsConnection": "Endpoint=[EVENTHUB_ENDPOINT];SharedAccessKeyName=[SHAREDACCESSKEYNAME];SharedAccessKey=[SHAREDACCESSKEYVALUE]",\r\n \r\n    "FUNCTIONS_WORKER_RUNTIME": "dotnet"\r\n  }\r\n}\r\n<\/pre>\n
    Editar host.json<\/h3>\n
    El siguiente paso es editar el archivo host.json para, ahora que tenemos la configuraci\u00f3n necesaria, indicar que se debe usar Netherite con esos valores. Para ello, en la documentaci\u00f3n podemos encontrar dos ejemplos, la versi\u00f3n m\u00ednima y la versi\u00f3n recomendada.<\/p>\n
    Versi\u00f3n m\u00ednima indicando simplemente Netherite como Storage Provider:<\/p>\n
    \r\n{\r\n  "version": "2.0",\r\n  "extensions": {\r\n    "durableTask": {\r\n      "storageProvider": {\r\n        "type": "Netherite"\r\n      }\r\n    }\r\n  }\r\n}\r\n<\/pre>\n
    Versi\u00f3n recomendada configurando n\u00famero de instancias concurrentes tanto de actividades como de orquestadores y n\u00famero de particiones:<\/p>\n
    \r\n\r\n{\r\n  "version": "2.0",\r\n  "extensions": {\r\n    "durableTask": {\r\n \r\n      \/\/ The task hub name can be changed to start from a clean state\r\n      "hubName": "myawesomeapp-11",  \r\n \r\n      \/\/ set this to true to reduce likelihood of duplicated work items   \r\n      "UseGracefulShutdown": "true",\r\n \r\n      \/\/ tweak these for performance tuning (work the same for all backends)\r\n      "maxConcurrentActivityFunctions": "100",\r\n      "maxConcurrentOrchestratorFunctions": "100",\r\n \r\n      "storageProvider": {\r\n \r\n        "type": "Netherite",\r\n \r\n        \/\/ the number of partitions to use. Cannot be changed after task hub is created.\r\n        "PartitionCount": "12",  \r\n \r\n        \/\/ where to look for the connection strings\r\n        "StorageConnectionName": "AzureWebJobsStorage",\r\n        "EventHubsConnectionName": "EventHubsConnection"\r\n      }\r\n    }\r\n  }\r\n}  \r\n\r\n<\/pre>\n
    Ejecutando la Azure Durable Function con Netherite<\/h2>\n
    Una vez hayamos editado los ficheros de configuraci\u00f3n, ya podremos hacer uso de Netherite, local o con servicios en Azure. As\u00ed que probemos la orquestaci\u00f3n que, en mi caso, se trata de la que genera la plantilla de Visual Studio con el \u00fanico cambio del nombre de las ciudades en el Hello.<\/p>\n
    \"\"<\/p>\n
    Si, adem\u00e1s, revisamos las m\u00e9tricas de uso del servicio de Event Hub, podremos observar la cantidad de solicitudes que se generan para un ejemplo tan peque\u00f1o y que, usando Netherite, se realizan de forma eficiente y fiable.<\/p>\n
    \"\"<\/figure>\n
    Ventajas de usar Netherite<\/h2>\n
    Ya hemos hablado de algunas de las ventajas de Netherite, pero vamos a enumerarlas junto con el resto para hacer un resumen:<\/p>\n
      \n
    • Significativamente un mejor rendimiento<\/li>\n
    • Menor coste de escalado permiti\u00e9ndonos controlar y optimizar el gasto de forma flexible<\/li>\n
    • Hasta 32 particiones de datos con Event Hubs Basic y Standard SKUs<\/li>\n
    • Mayor eficacia en la relaci\u00f3n coste\/rendimiento que otros proveedores<\/li>\n<\/ul>\n
      No obstante, las palabras escritas nos dicen poco sobre la realidad de nuestros desarrollos. Veamos una gr\u00e1fica con el benchmark entre BlobStorage y Netherite como Storage Providers para Durable Functions que es demoledora, demostrando que puede llegar a ser hasta casi 200 veces mejor en rendimiento Netherite.<\/p>\n
      \"thumbnail<\/figure>\n
      V\u00eddeo<\/h2>\n
      Si prefer\u00eds ver el v\u00eddeo donde explico todo esto y lo muestro en vivo, aqu\u00ed lo ten\u00e9is.<\/p>\n
      \n
      \n