material/febrero-3/3.ecoinvent.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "319d7af0-0fdf-4a33-b14f-2b3e5636a350",
   "metadata": {},
   "source": [
    "# Introduccion a brightway - pt. 2\n",
    "\n",
    "En esta seccion hablaremos de los conceptos fundamentales de brigthway. Es importante aclarar que toda esta informacion esta disponible en linea en la pagina de documentacion: \n",
    "\n",
    "https://docs.brightway.dev/en/latest/index.html"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "371fdb53-5db0-49c0-b4f3-9f50ee3df9fa",
   "metadata": {},
   "source": [
    "## Exportar bases de datos y proyectos\n",
    "En la seccion anterior aprendimos a crear bases de datos de manera automatica ('biosphere3') y de manera manual ('mi_base_de_datos'). \n",
    "En situaciones convencionales, es normal que necesitemos compartir nuestros modelos de inventario, ya sea durante el trabajo colaborativo o para reportar nuestro trabajo a revisores, colegas y cualquier por razones de transparencia.\n",
    "Para esto, bw2io ofrece una serie de herramientas que pueden usarse para exportar los modelos en diferentes formatos. \n",
    "Por un tema de popularidad, en esta seccion nos enfocaremos en 3 herramientas:\n",
    "- Exportar una base de datos a excel\n",
    "- Exportar una base de datos a csv (dataframe)\n",
    "- Exportar un proyecto como archivo comprimido de respaldo."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "acb4c96f-9da0-41c3-90bb-4c0eee116ff9",
   "metadata": {},
   "source": [
    "###  Exportar a excel\n",
    "Brightway utiliza un template para leer y exportar bases de datos en formato excel. Es conveniente para distribuir versiones finales del inventario. No es muy bueno almacenando informacion anidad. No permite 'trackear' los cambios debido a que *.xlsx no es un formato de texto."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "68524433-1822-42e3-9271-fc3dbcc9c443",
   "metadata": {},
   "outputs": [],
   "source": [
    "import bw2data as bd\n",
    "import bw2io as bi\n",
    "import bw2calc as bc\n",
    "from rich import print\n",
    "# Primero que nada, verifiquen que esten en el proyecto adecuado\n",
    "bd.projects.current"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "50e9514c-a145-4c19-85ff-87c835f0932c",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Si no es el proyecto adecuado, ya saben que hacer\n",
    "bd.projects.set_current('nuevo_proyecto_2')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "035a7529-8f0c-4079-8449-734f7d903b5d",
   "metadata": {},
   "outputs": [],
   "source": [
    " bi.export.excel.write_lci_excel??"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "f13db230-bff4-4b74-a566-4e35b19a5530",
   "metadata": {},
   "outputs": [],
   "source": [
    "# dirpath es el argumento que controla en que ubicacion se exportara el archivo. \n",
    "# En sistemas operativos tipo UNIX (Linux, MacOS), '.' significa 'aqui'.\n",
    "directorio = bi.export.excel.write_lci_excel(database_name='mi_base_de_datos',dirpath='.')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "840cd078-7770-4969-bb12-a0164890f4b8",
   "metadata": {},
   "source": [
    "###  Exportar a csv\n",
    "Brightway permite convertir los nodos (actividades) y aristas (exchanges) en DataFrames de [pandas](https://pandas.pydata.org/).\n",
    "Un DataFrame es un estructura de datos tabular que es muy usada en analisis y ciencia de datos, y puede ser exportada directamente como archivo CSV.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c177a083-fb6d-4672-9890-18af21a2b898",
   "metadata": {},
   "outputs": [],
   "source": [
    "db.nodes_to_dataframe() # Solo los nodos"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "5c17de48-d59f-48a4-ad19-a0f9c5d97660",
   "metadata": {},
   "outputs": [],
   "source": [
    "db.edges_to_dataframe() # Solo aristas"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "fce53e0a-a708-4bce-933a-232a4f1298c3",
   "metadata": {},
   "outputs": [],
   "source": [
    "# La funcion `to_csv` es propia de pandas, no de brightway\n",
    "db.nodes_to_dataframe().to_csv('mis-nodos.csv')\n",
    "db.edges_to_dataframe().to_csv('mis-aristas.csv')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a5f59971-ebf3-4862-b323-c33c7d7381f9",
   "metadata": {},
   "source": [
    "###  Exportar proyecto completo como backup\n",
    "La ultima opcion mas comun es la de exportar el proyecto completo en forma de archivo comprimido. Esto suele hacer cuando se desea guardar copias de todas las bases de datos de un proyecto. La desventaja es que el archivo resultado puede ser pesado y no es adecuado si no se tienen los permisos para compartir bases de datos comerciales."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "58e739bd-ce41-462a-915d-7d92dca40a8b",
   "metadata": {},
   "outputs": [],
   "source": [
    "bi.backup_project_directory('nuevo_proyecto_2',dir_backup='.')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c9912cb5-b2c9-4763-8fd4-916cb71a5207",
   "metadata": {},
   "source": [
    "## Importar bases de datos privadas\n",
    "Esta seccion es una continuacion natural de la anterior ya que simplemente aprenderemos a importar los archivos que fueron exportados previamente. Asumiremos, nuevamente, que excel, csv, y backup.tar.gz son los unicos formatos que nos interesan.\n",
    "\n",
    "### Importar un archivo de excel"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "640a7047-3260-43a3-93dc-d4a5888d69a8",
   "metadata": {},
   "outputs": [],
   "source": [
    "importador = bi.ExcelImporter('lci-mi_base_de_datos.xlsx')\n",
    "importador.apply_strategies()\n",
    "importador.match_database(fields=('name', 'code', 'unit', 'location'))  # Conecta nodos del archivo excel\n",
    "importador.match_database('biosphere3', fields=('name','unit','categories')) # Conecta nodos con la base de datos biosphere3\n",
    "importador.statistics()\n",
    "importador.write_excel()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "bf8629f4-ddb9-4c3b-b075-16171b15863c",
   "metadata": {},
   "outputs": [],
   "source": [
    "importador.match_database('biosphere3', fields=('name','unit','categories')) # Conecta nodos con la base de datos biosphere3\n",
    "importador.statistics()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "a023ba70-47cc-4658-bdf9-edfc43203441",
   "metadata": {},
   "outputs": [],
   "source": [
    "importador.write_database()\n",
    "bd.databases # La base de datos se ha importado correctamente"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "96c55609-0d2d-43fe-bf0f-1957303cf4e0",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "e607537e-86e0-464c-9cd3-991483448bc5",
   "metadata": {},
   "source": [
    "### Repliquemos los resultados\n",
    "Ahora podemos 'simular' un ejercicio de reproducibilidad, y realizar el calculo de los impactos una vez mas."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "f2f9a7d8-0538-4883-8615-c9ec29db2afa",
   "metadata": {},
   "outputs": [],
   "source": [
    "db = bd.Database('mi_base_de_datos')\n",
    "bicicleta = db.get('bici') # seleccionamos la actividad que tiene codigo 'bici', la definimos en la seccion anterior"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "9285bf7f-facb-4324-9498-9d66ceb57b6d",
   "metadata": {},
   "outputs": [],
   "source": [
    "lca = bc.LCA({bicicleta:1},method=('IPCC',)) # Instancia la clase\n",
    "lca.lci() # calcula el inventario de ciclo de vida\n",
    "lca.lcia() # Calcula los impactos \n",
    "print(\"El impacto es: \", lca.score) # Es el mismo 🎉"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e04b82b7-d30b-452c-8a12-d815619b979b",
   "metadata": {},
   "source": [
    "### Importar el backup del proyecto\n",
    "Este modalidad no require mucha explicacion: El proyecto se carga nuevamente. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "182deec1-f26a-4438-bcae-925d9d3468a2",
   "metadata": {},
   "outputs": [],
   "source": [
    "bi.restore_project_directory(\n",
    "    'brightway2-project-nuevo_proyecto_2-backup03-February-2025-10-47AM.tar.gz',  # nombre del archivo, creado celdas arriba\n",
    "    project_name='nuevo_nuevo_proyecto_2', # Se puede elegir un nombre nuevo para el proyecto\n",
    "    overwrite_existing = False\n",
    "    )"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "22f096fc-0c32-4b07-913e-765f9f0ddd25",
   "metadata": {},
   "source": [
    "🚧 **Manos a la obra**:\n",
    "- Un colega ha encontrado un error en tu modelo. La cantidad de Gas Natural consumida por la fibra de carbono no es 237.3, sino 23.73\n",
    "- Descarga el archivo de excel `lci-mi_base_de_datos.xlsx` a tu computadora personal y modifica el valor manualmente.\n",
    "- Importa el archivo excel modificado y vuelve a calcular el ACV. Cuanto ha cambiado el impacto final?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "975553af-7546-4575-a62c-1ec2d5a7f968",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Tu codigo aqui"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "60244225-007d-47e4-b993-10930e011106",
   "metadata": {},
   "source": [
    "## Importar bases de datos comerciales\n",
    "Hemos aprendido a construir un modelo de ACV desde cero y de forma manual. Aunque esto resulta bastante util, en la realidad solemos combinar nuestros datos con aquellos provenientes de bases de datos comerciales. En esta seccion nos enfocaremos en la base de datos ecoinvent (v3.9), que es una de las mas utilizadas en el sector. \n",
    "\n",
    "En la actualidad hay dos maneras de importar los datos de ecoinvent en nuestro proyecto:\n",
    "- Leyendo los archivos ecospold2 crudos directamente del disco y convirtiendolos en una base de datos de brigthway.\n",
    "- Utilizando la herramienta `import_ecoinvent_release` que descarga la base de datos desde un servidor remoto.\n",
    "  \n",
    "### Importando ecoinvent (crudo) desde el disco\n",
    "\n",
    "Para este caso, es necesario haber descargado ecoinvent. Ecoinvent es distribuido en formato comprimido 7z, y contiene todas las actividades en formato ecospold2 (algo similar a XML). `bw2io` tiene funciones disenadas para interpretar la informacion, verificar que los `exchanges` sean correctos, y que los nodos de la biosfera existan en la base de datos 'biosphere3'.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "f85d96b7-45c6-4184-830c-dd46b6c61327",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Los archivos ecospold2 se ven asi:\n",
    "!ls /media/ei391/datasets | head"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "b4e5451b-e5bd-4f9c-8d24-95f32a03ba36",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Para importar, hay que seguir los siguentes pasos:\n",
    "# 1. Leer los archivos XML e dejar que brigthway los interprete.\n",
    "db = bi.SingleOutputEcospold2Importer(dirpath='/media/ei391/datasets',db_name='ecoinvent39')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "2b06a719-8758-4bcc-95f8-6154592518db",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 2. Aplicar una serie de estrategias para asegurarse que no existe informacion corrupta y que la importacion es posible\n",
    "db.apply_strategies()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "af0e992f-e238-4d94-8b6c-463998656561",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 3. Ecoinvent esta listo en la memoria pero aun no ha sido grabado en el disco. \n",
    "# Hay que grabarlo en el disco.\n",
    "db.write_database()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "44650968-e5fa-4460-800b-adc6d84b6642",
   "metadata": {},
   "source": [
    "Para verificar que ha sido importado correctamente, podemos repetir el ejercicio realizado con la base de datos 'biosphere3' de la anterior seccion.bd.databases"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "574be696-1727-4d82-a757-8f222b3f2294",
   "metadata": {},
   "outputs": [],
   "source": [
    "bd.databases # Lista de las bases de datos"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e2f3f94b-ae8c-4af6-88fc-d9894b0c71a7",
   "metadata": {},
   "outputs": [],
   "source": [
    "ei = bd.Database('ecoinvent39')\n",
    "len(ei) # Muestra la cantidad de elementos"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9f947aa0-8af1-43e6-8ab6-3fd8ade2fd5d",
   "metadata": {},
   "source": [
    "### Importando ecoinvent desde un servidor remoto\n",
    "Para este caso utilizamos la funcion `bw2io.import_ecoinvent_release` que se encarga de 1) instalar una biosfera, 2) instalar los metodos de impacto mas actuales, y 3) instalar la base de datos ecoinvent. \n",
    "Como podran imaginar, requiere la autenticacion del usuario que debe poseer un cuenta de acceso ecoinvent"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "aae36dc3-d9fa-44c4-be17-8bf49084ae48",
   "metadata": {},
   "outputs": [],
   "source": [
    "# bw2io.import_ecoinvent_release(\n",
    "#     version=\"3.9\" \n",
    "#     system_model=\"cutoff\", # Otras opciones son: \"consequential\", \"apos\" y \"EN15804\"\n",
    "#     username=\"xxxx\", # Tu usuario\n",
    "#     password=\"xxxx\", # Tu clave\n",
    "#     biosphere_name=\"biosphere\" # Optional, puedes guardar la base de datos de la biosfera con otro nombre.\n",
    "# )\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "5661238f-7007-4b42-8d94-505949608478",
   "metadata": {},
   "outputs": [],
   "source": [
    "seleccionado = ei.random() # Explora las actividades\n",
    "print(seleccionado.as_dict())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cf8c8fe1-be88-4ebc-ad38-3a9a9102daca",
   "metadata": {},
   "source": [
    "Como pueden notar, el contenido de la actividad ecoinvent es bastante rica. Existen campos fuera de `name`, `code`,`location` y `unit` que son nuevos para nosotros, lo que demuestra que brightway es lo suficientemente flexible al definir una actividad. \n",
    "\n",
    "Lo que vimos en la celda anterior describe a una actividad, pero aun no describe sus conexiones (`exchanges`). Para acceder a ellas, hay que utilizar las funciones `exchanges`, `technosphere` o `biosphere`, segun lo que se desee observar."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "74091604-9e16-45c1-84a1-336f6f214f77",
   "metadata": {},
   "outputs": [],
   "source": [
    "# `exchanges` retorna un objeto the brightway que no es nativo de python\n",
    "type(seleccionado.exchanges())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "b23ad20c-4e94-4fa3-8d30-eab19ac8fd2c",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Si deseamos leerlo al estilo de una lista, hay que convertirlo en una lista.\n",
    "print(list(seleccionado.exchanges()))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "12ca7f5f-8216-4c0e-8cbb-4b5e0122f2bc",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Si deseamos solo la tecnosfera, usamos la funcion correspondiente\n",
    "print(list(seleccionado.technosphere()))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "eac063ed-955e-488f-9ed4-01b75a385ca2",
   "metadata": {},
   "source": [
    "La impresion realizada en la celda de arriba nos muestra la informacion necesaria para poder construir las matrices. Sin embargo, brightway nos permite manipular el `exchange` y acceder a su metadata."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "28b80ba6-1eec-4711-a25f-23e1f36c2fd6",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Seleccionamos el segundo `exchange`de la lista\n",
    "exchange = list(seleccionado.technosphere())[1]\n",
    "print(exchange.as_dict())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "821fcbd5-b849-4c5d-9c69-1f75da29f057",
   "metadata": {},
   "source": [
    "## Opciones de busqueda\n",
    "Como podran imaginar, manipular una base de datos con tantas actividades (~21k) es bastante complicado. Podemos utilizar funciones nativas de python (list comprehension) para realizar una busqueda."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "4933a11c-9dd9-4349-b9d3-1b3630851547",
   "metadata": {},
   "outputs": [],
   "source": [
    "truck = [x for x in ei if x['name'] == 'transport, freight, lorry >32 metric ton, EURO5'][0]\n",
    "truck"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "52f6718c-bd52-4245-9c8f-15271a89fac9",
   "metadata": {},
   "source": [
    "Esta manera de buscar es mas 'pythonic'. Sin embargo, tambien puedes usar el buscador de brightway a traves de la funcion `search`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "f4ddf31a-d8ae-4200-9066-2e177be3bbf8",
   "metadata": {},
   "outputs": [],
   "source": [
    "ei.search('transport, freight RoW >32 EURO5')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "03f312c1-f7de-4346-90bd-d82683ac5888",
   "metadata": {},
   "outputs": [],
   "source": [
    "ei.search?? # La funcion search prioriza algunos campos para hacer el filtro."
   ]
  }
 ],
 "metadata": {
  "jupytext": {
   "formats": "ipynb,auto:percent"
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.12.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}