` `
The processing framework can be extended using additional applications. Currently, SAGA, GRASS, OTB (Orfeo Toolbox) and R are supported, along with some other command-line applications that provide spatial data analysis functionalities. Algorithms relying on an external applications are managed by their own algorithm provider.
This section will show you how to configure the processing framework to include these additional applications, and it will explain some particular features of the algorithms based on them. Once you have correctly configured the system, you will be able to execute external algorithms from any component like the toolbox or the graphical modeler, just like you do with any other geoalgorithm.
By default, all algorithms that rely on an external application not shipped with QGIS are not enabled. You can enable them in the settings dialog. Make sure that the corresponding application is already installed in your system.
If you are not an advanced user and you are running QGIS on Windows, you might not be interested in reading the rest of this chapter. Make sure you install QGIS in your system using the standalone installer. That will automatically install SAGA, GRASS and OTB in your system and configure them so they can be run from QGIS. All the algorithms from these providers will be ready to be run without needing any further configuration. If installing through OSGeo4W application, make sure you select for installation SAGA, GRASS and OTB as well.
If you want to know more about how these providers work, or if you want to use some algorithms not included in the simplified toolbox (such as R scripts), keep on reading.
Cuando se utiliza un software externo, la apertura de un archivo en QGIS no significa que se puede abrir y procesar bien en ese otro software. En la mayoría de los casos, otro software puede leer lo que ha abierto en QGIS, pero en algunos casos, eso puede no ser cierto. Al utilizar las bases de datos o formatos de archivo poco comunes, ya sea para capas raster o vectoriales, podrían surgir problemas. Si eso sucede, trate de utilizar formatos de archivo conocidos que este seguro que ambos programas entiendan, y comprobar la salida de la consola (en el historico y el diálogo de registro) para saber más acerca de lo que va mal.
Utilizar capas raster de GRASS es, por ejemplo, uno de los casos en los que pueden existir problemas y no completarse el trabajo si se invoca un algoritmo externo que use dicha capa como entrada. Por este motivo, estas capas no aparecerán como disponibles para los algoritmos.
You should, however, find no problems at all with vector layers, since QGIS automatically converts from the original file format to one accepted by the external application before passing the layer to it. This adds extra processing time, which might be significant if the layer has a large size, so do not be surprised if it takes more time to process a layer from a DB connection than it does to process one of a similar size stored in a shapefile.
Providers not using external applications can process any layer that you can open in QGIS, since they open it for analysis through QGIS.
Regarding output formats, all formats supported by QGIS as output can be used, both for raster and vector layers. Some providers do not support certain formats, but all can export to common formats that can later be transformed by QGIS automatically. As in the case of input layers, if this conversion is needed, that might increase the processing time.
Las aplicaciones externas pueden también ser conscientes de las selecciones que existen en capas vectoriales dentro QGIS. Sin embargo, eso requiere reescribir todas las capas vectoriales de entrada, al igual que si originalmente estuvieran en un formato no compatible con la aplicación externa. Sólo cuando no existe ninguna selección o la opción *Utilizar sólo objetos espaciales seleccionados * no está activada en la configuración general de procesamiento, puede una capa ser directamente pasada a una aplicación externa.
En otros casos sólo es necesario exportar un conjunto de características seleccionadas, lo que hará que los tiempos de ejecución sean mayores.
Los algoritmos de SAGA pueden ser ejecutados desde QGIS si se tiene SAGA instalado en su sistema y se puede configurar correctamente el entorno de procesamiento para que pueda encontrar ejecutables SAGA. En particular, se necesita la línea de comandos SAGA ejecutable para ejecutar algoritmos SAGA.
If you are running Windows, both the stand-alone installer and the OSGeo4W installer include SAGA along with QGIS, and the path is automatically configured, so there is no need to do anything else.
If you have installed SAGA yourself and your QGIS installer did not include it, the path to the SAGA executable must be configured. To do this, open the configuration dialog. In the SAGA block, you will find a setting named SAGA Folder. Enter the path to the folder where SAGA is installed. Close the configuration dialog, and now you are ready to run SAGA algorithms from QGIS.
If you are running Linux, SAGA binaries are not included with Processing, so you have to download and install the software yourself. Please check the SAGA website for more information.
En este caso, no hay necesidad de configurar la ruta al ejecutable de SAGA, y no se verán esas carpetas. En su lugar, debe asegurarse de que SAGA está correctamente instalado y se añade su carpeta a la variable de entorno PATH. Sólo tiene que abrir una consola y escribir saga_cmd para comprobar que el sistema puede encontrar donde se encuentran los archivos binarios de SAGA.
Most SAGA algorithms that require several input raster layers require them to have the same grid system. That is, they must cover the same geographic area and have the same cell size, so their corresponding grids match. When calling SAGA algorithms from QGIS, you can use any layer, regardless of its cell size and extent. When multiple raster layers are used as input for a SAGA algorithm, QGIS resamples them to a common grid system and then passes them to SAGA (unless the SAGA algorithm can operate with layers from different grid systems).
La definición de este sistema de cuadrícula común es controlado por el usuario, y se encontrará varios parámetros en el grupo SAGA de la ventana de configuración para hacerlo. Hay dos formas de establecer el sistema de cuadrícula de destino.
Establecerlo manualmente. se define la extensión estableciendo los valores de los siguientes parámetros:
Notice that QGIS will resample input layers to that extent, even if they do not overlap with it.
Ajuste de forma automática a partir de capas de entrada. Para seleccionar esta opción, simplemente marque la opción Utilizar el sistema de cuadrícula mínima para remuestreo. Todos los demás ajustes se ignoran y la medida mínima que cubre todas las capas de entrada que se utilizarán. El tamaño de celda de la capa de destino es el máximo de todos los tamaños celulares de las capas de entrada.
Para los algoritmos que no utilizan múltiples capas raster, o para aquellos que no necesitan un único sistema de cuadrícula de entrada, no se realizará un remuestreo antes de invocar SAG y dichos parámetros no son utilizados.
A diferencia de QGIS, SAGA no tiene soporte para capas multibanda. Si desea utilizar una capa multibanda (como un RGB o imagen multiespectral), primero hay que dividirlo en imágenes de un sola banda. Para ello, se puede utilizar el algoritmo ‘imagen SAGA/Grid - Herramientas/Dividir’ (que crea tres imágenes de una imagen RGB) o el algoritmo ‘banda SAGA/Grid - Herramientas / Extracto’ (para extraer una sola banda).
SAGA asume que las capas ráster tienen el mismo tamaño de celda en el eje X y Y. Si se está trabajando con una capa con diferentes valores para el tamaño de celda horizontal y vertical, es posible que obtenga resultados inesperados. En este caso, se añadirá una advertencia al registro de procesamiento, lo que indica que una capa de entrada podría no ser adecuada para ser procesada por SAGA.
Cuando QGIS llama a SAGA, lo hace utilizando su interfaz de linea de comandos, pasando así de un conjunto de comandos para realizar todas las operaciones necesarias. SAGA muestra su progreso al escribir información a la consola, que incluye el porcentaje de procesamiento ya realizado junto con el contenido adicional. Esta salida se filtra y utiliza para actualizar la barra de proceso mientras el algoritmo se ejecuta.
Both the commands sent by QGIS and the additional information printed by SAGA can be logged along with other processing log messages, and you might find them useful to track in detail what is going on when QGIS runs a SAGA algorithm. You will find two settings, namely Log console output and Log execution commands, to activate that logging mechanism.
La mayoría del resto de proveedores que utilizan una aplicación externa y la invocan a través de la línea de comandos tienen opciones similares, de forma que las podrá encontrar también en otros lugares de la lista de ajustes de procesamiento.
La integración R en QGIS es diferente al de SAGA y es que no hay un conjunto predefinido de algoritmos que pueda ejecutar (a excepción de algunos ejemplos). En su lugar, debe escribir sus scripts y llamar a los comandos R, al igual que lo haría desde R, y de una manera muy similar a lo que vimos en la sección dedicada a scripts de procesamiento. En esta sección se muestra la sintaxis para usar y llamar a los comandos de R QGIS y cómo usar en QGIS los objetos (capas, tablas) en ellos.
Lo primero que tienes que hacer, como vimos en el caso de SAGA, es decirle a QGIS donde se encuentran los archivos binarios R. Se puede hacer esto mediante la entrada :guilabel: Carpeta de R en el diálogo de configuración de procesamiento. Una vez establecido ese parámetro, se puede empezar a crear y ejecutar sus propios scripts de R.
Nota
for Windows user, usually the R executable file is in the C:\Program Files\R\R-3.2 folder. Add just the folder and NOT the binary!
De nuevo, esto es diferente en Linux, dónde sólo hay que asegurarse de que el directorio de R está correctamente incluido en la variable de entorno PATH. Si R puede iniciarse simplemente escribiendo R en una consola, entonces la configuración es correcta.
To add a new algorithm that calls an R function (or a more complex R script that you have developed and you would like to have available from QGIS), you have to create a script file that tells the processing framework how to perform that operation and the corresponding R commands to do so.
Los archivos de script de R tienen la extensión .rsx, y crearlos es bastante sencillo si sólo tiene un conocimiento básico de la sintaxis y script de R. Deben ser almacenados en la carpeta de scripts de R. Se puede establecer esta carpeta en el grupo de ajustes R (disponible desde el diálogo de Configuración de procesamiento), al igual que se hace con la carpeta para scripts de procesamiento regular.
Vamos a echar un vistazo a un archivo de script muy simple, que llama al método R spsample para crear una cuadricula al azar dentro de los límites de los polígonos en una capa de polígono dada. Este método pertenece al paquete maptools. Dado que casi todos los algoritmos que pueden gustar incorporar a QGIS utilizará o generará datos espaciales, el conocimiento de paquetes espaciales como maptools y sobretodo sp es obligatoria.
##polyg=vector
##numpoints=number 10
##output=output vector
##sp=group
pts=spsample(polyg,numpoints,type="random")
output=SpatialPointsDataFrame(pts, as.data.frame(pts))
The first lines, which start with a double Python comment sign (##), tell QGIS the inputs of the algorithm described in the file and the outputs that it will generate. They work with exactly the same syntax as the Processing scripts that we have already seen, so they will not be described here again.
Please have a look at the R Intro and the R Syntax Training Manual Chapters to have more information on how to write your own R scripts-
Cuando se declara un parámetro de entrada, QGIS usa esa información con dos finalidades: crear la interfaz de usuario que solicita al usuario el valor de dicho parámetro y crear la variable correspondiente en R que se pueda usar después como entrada para los comandos en R.
In el ejemplo anterior, estamos declarando un tipo de entrada vector llamado polyg. Al ejecutar el algoritmo, QGIS abrirá en R la capa seleccionada por el usuario y almacenarlo en una variable llamada polyg`. Así el nombre de uno de los parámetros también es el nombre de la variable que se puede utilizar en R para acceder el valor de ese parámetro (así, se debe evitar utilizar palabras de R reservadas como nombres de parámetros).
Los elementos espaciales como las capas vectoriales y ráster se leen utilizando los comandos readOGR() y brick() (no tiene que preocuparse acerca de cómo agregar estos comandos a su archivo de descripción - QGIS lo hará), y se almacenan como objetos Spatial*DataFrame. Los campos de la tabla se almacenan como cadenas que contienen el nombre del campo seleccionado.
Las tablas se abren con el comando read.csv(). Sin una tabla introducida por el usuario no esta en formato CSV, será convertirá antes de importarlo en R.
Además, los ráster se pueden leer con el comando readGDAL()` en lugar de ``brick() utilizando el ##usereadgdal.
Si se es un usuario avanzado y no quiere QGIS para crear el objeto que representado la capa, puede utilizar la etiqueta ##passfilenames para indicar que prefiere una cadena con el nombre de archivo en su lugar. En este caso, le corresponde abrir el archivo antes de realizar cualquier operación sobre los datos que contiene.
Con la información anterior, se puede comprender la primera línea de nuestro primer script de ejemplo (la primera línea que no comienza con un comentario de Python).
pts=spsample(polyg,numpoints,type="random")
La variable polygon ya contiene un objeto SpatialPolygonsDataFrame, por lo que se puede utilizar para llamar al método spsample, al igual que numpoints, que indica el número de puntos a añadir a la rejilla de ejemplo creada.
Como hemos declarado una salida de tipo vectorial llamada salida, tenemos que crear una variable llamada salida y almacenar un objeto Spatial*DataFrame en ella (en este caso, un SpatialPointsDataFrame). Se puede utilizar cualquier nombre para sus variables intermedias. Sólo asegúrese de que la variable almacena su resultado final y que tiene el mismo nombre que utilizó al declararla, y que contiene un valor adecuado.
In this case, the result obtained from the spsample method has to be converted explicitly into a SpatialPointsDataFrame object, since it is itself an object of class ppp, which is not a suitable class to be returned to QGIS.
If your algorithm generates raster layers, the way they are saved will depend on whether or not you have used the ##dontuserasterpackage option. If you have used it, layers are saved using the writeGDAL() method. If not, the writeRaster() method from the raster package will be used.
Si ha utilizado la opción #passfilenames, las salidas se generan utilizando el paquete raster (mediante writeRaster()), incluso cuando no se utiliza para las entradas.
Si el algoritmo no genera ninguna capa, sino más bien en su lugar regresa un texto en la consola, tiene que indicar lo que desea que la consola mostrará una vez finalizada la ejecución. Para ello, basta con iniciar la línea de comandos que producen los resultados que desea imprimir con el signo > `(‘mayor’). La salida de todas las otras líneas no se mostrará. Por ejemplo, aquí está el archivo de descripción de un algoritmo que realiza una prueba normalmente en un determinado campo (columna) de los atributos de una capa vectorial:
##layer=vector
##field=field layer
##nortest=group
library(nortest)
>lillie.test(layer[[field]])
La salida de la última línea se imprime, pero la salida de la primera no (y tampoco están las salida de otras líneas de comando agregadas automáticamente por QGIS).
Si su algoritmo crea algún tipo de gráficos (utilizando el método plot()), añada la siguiente línea:
##showplots
Esto provocará que QGIS redireccione todas las salidas de gráficas R a un archivo temporal, que se abrirá una vez que terminé la ejecución de R.
Tanto los resultados gráficos como de consola, se mostrará en el gesto de resultados de procesamiento.
For more information, please check the script files provided with Processing. Most of them are rather simple and will greatly help you understand how to create your own scripts.
Nota
rgdal and raster libraries are loaded by default, so you do not have to add the corresponding library() commands (you just have to make sure that those two packages are installed in your R distribution). However, other additional libraries that you might need have to be explicitly loaded by typing, library(ggplot2). If the package is not already installed on your machine, Processing will download and install it. In this way the package will be also available in R Standalone. Be aware that if the package has to be downloaded, the first time you run the script it might take a long time.
Configuring GRASS is not much different from configuring SAGA. First, the path to the GRASS folder has to be defined, but only if you are running Windows. Additionally, a shell interpreter (usually msys.exe, which can be found in most GRASS for Windows distributions) has to be defined and its path set up as well.
By default, the processing framework tries to configure its GRASS connector to use the GRASS distribution that ships along with QGIS. This should work without problems in most systems, but if you experience problems, you might have to configure the GRASS connector manually. Also, if you want to use a different GRASS installation, you can change that setting and point to the folder where the other version is installed. GRASS 6.4 is needed for algorithms to work correctly.
Si se utiliza Linux, hay que asegurarse de que GRASS está correctamente instalado y que se puede ejecutar sin problemas desde una consola.
Los algoritmos de GRASS utilizan una región para cálculos. Esta región se puede definir manualmente utilizando valores similares a los encontrados en la configuración de SAGA, o automáticamente tomara la extensión mínima que cubre todas las capas de entrada utilizadas para ejecutar el algoritmo cada vez. Si el último enfoque es el comportamiento que prefiere, simplemente marque la opción Utilizar la región de cobertura mínima en los parámetros de configuración de GRASS.
No additional configuration is needed to run GDAL algorithms. Since they are already incorporated into QGIS, the algorithms can infer their configuration from it.
Orfeo Toolbox (OTB) algorithms can be run from QGIS if you have OTB installed in your system and you have configured QGIS properly, so it can find all necessary files (command-line tools and libraries).
As in the case of SAGA, OTB binaries are included in the stand-alone installer for Windows, but they are not included if you are running Linux, so you have to download and install the software yourself. Please check the OTB website for more information.
Once OTB is installed, start QGIS, open the processing configuration dialog and configure the OTB algorithm provider. In the Orfeo Toolbox (image analysis) block, you will find all settings related to OTB. First, ensure that algorithms are enabled.
Then, configure the path to the folder where OTB command-line tools and libraries are installed:
TauDEM (Terrain Analysis Using Digital Elevation Models) is a tools for the extraction and analysis of hydrological information from Digital Elevation Models (DEM). TauDEM can be used from QGIS if you have it installed in your system and configured QGIS properly, so it can find all necessary files.
There are two versions of TauDEM tools: singlefile (TauDEM 5.0.6 or 5.1.2) and multifile (TauDEM 5.2.0). The difference between these versions in the supported inputs/outputs. Single files version accepts only single raster file and write single file as output. Multifile version accepts a directory with rasters and writes directory with rasters as output. Such directory should contain rasters that will be treated as a single DEM grid.
TauDEM Processing provider supports both single- and multifile versions of TauDEM and even allows to use them simultaneously.
Nota
While TauDEM Processing provider supports TauDEM 5.0.6, 5.1.2 and 5.2.0 we recommend to use 5.1.2 and/or 5.2.0 as this versions have some new tools available, like Gage Watershed and TWI.
Please visit the TauDEM homepage and download desired version of the precompiled binaries for your platform (32-bit or 64-bit), usually this is “Command Line Executables”. Also you need to download Microsoft HPC Pack 2012 MS-MPI. First install Microsoft HPC Pack 2012 MS-MPI by runing mpi_x64.Msi for 64-bit platforms and mpi_x86.Msi for 32-bit platforms.
Nota
If you want to use TauDEM 5.0.6
Unfortunately there are no packages for most Linux distributions, so you should compile TauDEM by yourself. As TauDEM uses MPI it is necessary to install first any MPI implementation e.g MPICH or OpenMPI. Use your favorite package manager to install MPICH or OpenMPI.
Download TauDEM 5.2.0 source code package from GitHub repository and extract archive contents. Open terminal and cd into src directory inside extracted folder. Create build directory and cd into it
mkdir build
cd build
Configure your build (change install prefix if necessary) and compile
CXX=mpicxx cmake -DCMAKE_INSTALL_PREFIX=/usr/local ..
make
When compilation finished install TauDEM tools by running
sudo make install
Nota
Executable files will be installed into bin subdirectory inside prefix you specified at the configure stage. For example if you specified prefix /opt/taudem5.2 than binaries will be installed into /opt/taudem5.2/bin.
To use singlefile version — download source package here and perform above mentioned steps to compile and install it.
Old TauDEM 5.0.6 also available. But before compiling this version it is necessary to edit some source files.
Open the linearpart.h file, and after line
#include "mpi.h"
add a new line with
#include <stdint.h>
so you’ll get
#include "mpi.h"
#include <stdint.h>
Save the changes and close the file. Now open tiffIO.h, find line #include "stdint.h" and replace quotes ("") with <>, so you’ll get
#include <stdint.h>
Save the changes and close the file.
Now configure, compile and install TauDEM 5.0.6 using same commands as described above.
Once TauDEM is installed, start QGIS, open the Processing options dialog from Processing ‣ Options... and configure the TauDEM algorithm provider. In the Providers group find TauDEM (hydrologic analysis) block, and expand it. Here you will see all settings related to TauDEM.
First, ensure that algorithms are enabled, and activate provider if necessary.
Next step is to configure MPI. The MPICH/OpenMPI bin directory setting used to define location of the mpiexec program. In most Linux distributions you can safely leave this empty, as mpiexec available in your PATH.
The Number of MPI parallel processes to use is a second setting related to MPI. It defines number of processes that will be used to execute TauDEM commands. If you don’t know which value to use, it is better to leave this value unchanged.
Now we need to configure the path to the folder(s) where TauDEM command-line tools are installed. As we already mention TauDEM provider supports both single- and multifile TauDEM, so there are two settings for TauDEM folders:
If you have both TauDEM versions installed in different directories it is possible to specify both options.
The last step is to define which TauDEM version to use:
It is possible to enable both tools simultaneously. In this case you will have two instances of each tool in toolbox and can use them in your analysis.
Nota
Be careful with developing Processing models using TauDEM!
As single- and multifile versions have different inputs, model created with singlefile algorithms will not work if only multifile algorithms are available. If you plan to share your model please specify which TauDEM version should be used or, better, provide two versions of your model: for single- and multifile TauDEM.