Selección de modelos (AIC, etc)

[Pakillo]

Ver #1 (comment) by @CarlosLaraR

[Pakillo]

@gemaescribano se ha ofrecido a liderar este tema (#1 (comment))
Planned submission: Septiembre 2017

[Pakillo]

Hola @gemaescribano! Cómo llevas esta nota sobre model selection? Todo bien para submitir en Septiembre?

[gemaescribano]

Buenas! Pues en principio sí, pero si la idea es publicar una nota por número de Ecosistemas (right? ó me equivoco?) entiendo que hasta el número de septiembre-diciembre (que se publicaría a finales de diciembre 2017) hay tiempo. Correcto? En cualquier caso si que me gustaría tenerla para la fecha prevista. Os voy contando.

[Pakillo]

Perfe, gracias!

[ibartomeus]

@gemaescribano Hola Gemma, que tal llevas la nota? Seria genial tenerla pronto. Un abrazo y Gracias!

[ibartomeus]

Hola comunidad, podeis encontrar la nota aquí: https://github.com/ecoinfAEET/Notas_Ecosistemas/tree/master/multimodel_inference

Podeis enviar los comenterios en este mismo issue. Gracias!

[asierrl]

Buena nota, si...y necesaría. Muchas gracias, Gemma.
De todas formas, creo que necesitaría alguna aclaración. Creo que el comentario de Tano es acertado y si se quiere dejar el procedimiento ajustado al MuMIn habría que aclarar que este es el procedimiento que sigue el MuMIn, y no el procedimiento general de la selección de modelos e inferencia multimodelos. De hecho, creo que el método contradice un poco los dos primeros párrafos. En ellos se habla de comparar hipótesis alternativas previas, y sin embargo el método compara todos los modelos anidados en un modelo global. Burnham y Anderson hacen hincapié en seleccionar los modelos que se van a poner a prueba y no usar todos los posibles. Además, las hipótesis alternativas podrían no ser anidadas.
Por otro lado, la selección multimodelo no protege contra el hecho de "ignorar variables explicativas importantes que no aparezcan en el modelo elegido", ya que también pueden quedar variables fuera.
Dos detalles más. Yo sugeriría usar pesos en lugar de weights a lo largo el texto. Y si no recuerdo mal, hace poco Burnham, tras varias simulaciones decía que sus sugerencias previas con respecto a deltaAIC no eran válidas y sugería que una diferencia entre modelos menor de 7 no era suficiente para discriminar entre ellos. En cualquier caso, hablo de memoria, y de eso tengo poco, así que igual me equivoco. Ah, por cierto, la o que hay entre números en la línea 72, creo que debería llevar una tilde, no?
Un abrazo
Asier

[lnfran85]

Muy interesante y oportuna!, excelente trabajo!.
Si de hecho terminais por seguir el procedimiento ajustado al MuMIn, sugiero incluir un par de lineas a describir un poco el summary del dredge y de como se puede interpretar. Que opinais? Personalmente, cuando comencé a utilizar esta metodología, la interpretación del summary del dredge me resultó bastante confusa y complicada al principio.

Abz
Paco

[CarlosLaraR]

Gracias por la nota @gemaescribano y @tanogc. ¡Gran trabajo! Estoy de acuerdo con los comentarios previos de @lnfran85 y @asierrl. Yo creo que es interesante mantener MuMIn en la nota. Creo que un punto en común entre la nota y el comentario de @asierrl es mantener la estructura de la nota con MuMIn pero dejar un pequeño comentario recordando al lector que es necesario si usa MuMIn que todos los modelos tengan un sentido biológico y atiendan a las hipótesis planteadas. Y que la alternativa a MuMIn es especificar todos los modelos a testar y luego obtener su valor de AIC con la función AIC o AICtab (por ejemplo). A partir de esos valores de AIC seleccinar los modelos y si fuera necesario aplicar la función model.avg a los modelos seleccionados. Es cierto que usando MuMIn se corre el riesgo de testar muchas variables sin un objetivo claro. Pero creo que en la mayoría de los casos cuando introducimos variables en un modelo es porque las hemos medido y por ello consideramos que pueden tener su importancia y en esos casos creo que la utilizacion de MuMIn no contradice a Burhan y Anderson, sobretodo si tenemos cuidado con las interacciones. En este sentido creo que es importante especificar las interacciones que se quiern testar usando los dos puntos ":" en lugar de introducir todas las variables dependientes separadas de asteriscos. De esa manera nos aseguramos de que MuMIn no genere modelos imposibles con interacciones triples o cuádruples difíciles de interpretar. Respecto al punto de corte para delta AIC creo que se puede ser pragmático y dar la información sobre los posibles puntos de corte y luego que cada autor decida su punto de corte. En la nota se puede dejar 2 o 7. Por ejemplo pego aquí un texto de Burham et al 2011, Behav Ecol Sociobiol (2011) 65:23–35 que puede ser de ayuda (Las tablas 2 y 3 son muy interesantes también):

Δ>2 Rule. Some of the early literature suggested that models were poor (relative to the best model), and might be dismissed if they had Δ>2. This arbitrary cutoff rule is now known to be poor, in general.
Models where Δ is in the 2–7 range have some support and should rarely be dismissed (see Fig. 2).
Inference can be better based on the model likelihoods, probabilities, and evidence ratios and, in
general, based on all the models in the set. From these quantitative measures one can then assign their
own value judgment if they wish.

Saludos,

[Pakillo]

Muchas gracias @tanogc y @gemaescribano por la nota!

He metido mis comentarios y sugerencias de cambios en el Word adjunto.

Desde mi punto de vista, y coincidiendo con otros comentarios más arriba, creo que sería preferible enfatizar más la importancia de proponer un conjunto limitado de modelos con sentido biológico, en lugar de probar todas las combinaciones; y también cambiar la parte de promediado de parámetros (muy muy discutida), con el cálculo de predicciones multimodelo ponderadas, que sí goza de amplia aceptación.

multimodel_inference_FRS.docx

Gracias de nuevo

Paco

[ibartomeus]

@gemaescribano , @tanogc teneis trabajo de sobras con los comentarios de los compañeros. Podeis montar una segunda version para el 15 Marzo haciendo incapie en las limitaciones de AIC? Gracias!

[tanogc]

Muchas gracias @asierrl @lnfran85 @CarlosLaraR @Pakillo @ibartomeus por vuestros comentarios. Todos, muy útiles y creo que van a mejorar la robustez de la nota.

Me pongo ya mismo a revisar la nota y se la paso a @gemaescribano

Gracias de nuevo y hasta pronto
Tano

[tanogc]

Buenas de nuevo,

@gemaescribano y yo hemos revisado la nota siguiendo vuestras sugerencias. Os dejo aquí algunos comentarios sobre la revisión:

• Conjunto de modelos vs. modelo global: hemos dado énfasis a testar un grupo de modelos como opción prioritaría, pero hemos comentado también la estrategia del modelo global porque en algunos casos puede ser útil (pocos predictores que generen modelos plausibles). Hemos adaptado el código a ambas estrategias recomendando model.sel() en el caso de que tengamos un conjunto de modelos, y dredge() en el caso de que usemos un global model

• Selección de modelos de confianza: en la nueva versión hemos dejado la selección de los modelos de confianza en aquelos que tengan un deltaAIC menor o igual a 7 y también aquellos con un peso acumulado de 0.95.

• Model averaging: hemos centrado el texto en el promedio de predicciones, dejando el promedio de coeficientes solo para los casos recomendados en Banner and Higgs (2017). Creemos que es importante mencionar también esta opción para que los lectores la conozcan, comentando también que hay limitaciones y que debemos de ser precavidos.

Una cuestión adicional: Hemos sugerido que cuando modelo tenga un peso de 0.90 se podría considerar como mejor modelo, siguiendo lo proupesto por Jonhson and Omland, (2004). Sin embargo K. Burnhamm normalmente recomienda calcular el evidence ratio (peso mod1/ peso mod2) para tomar esa decisión. En este caso, si tenemos un modelo con weight=0.90, como mímino tendrá un evidence ratio de 9 (0.90/.010), que es basante. No hemos mencionado nada de los evidence ratio por simplicidad y porque no he encontrado un umbral que recomendar. ¿qué os parece?

@asierrl @lnfran85: No sé vuestro nombre completo ¿podríais decírmelo para que lo añada en agradecimientos? Gracias

Muchas gracias por todo
Tano

Os dejo los archivos (están con cambios aceptados pero con los comentarios por si queréis mirar algo):

multimodel_inference_rev.docx

Fig. 1.pptx

[asierrl]

Todo lo que comentas me parece que va en la buena dirección, sí y me parece importante también incluir el promediado de coeficientes, quen algunos casos tiene validez, creo yo (por ejemplo, en captura recaptura a menudo se modelan varios modelos de la capturabilidad pero el interés está en la estima de N o supervivencia). En fin, que me parece que la nueva versión incorpora bien las sugerencias y queda más completa. Enhorabuena y muchas gracias, Tano y Gema por el curro de hacer esta nota. Ah! el nombre...es Asier Rodríguez Larrinaga. Abrazos Asier El mié., 6 mar. 2019 a las 18:10, Tano Gutiérrez Cánovas (< [email protected]>) escribió:

…

Buenas de nuevo, Gema y yo hemos revisado la nota siguiendo vuestras sugerencias. Os dejo aquí algunos comentarios sobre la revisión: - *Conjunto de modelos vs. modelo global*: hemos dado énfasis a testar un grupo de modelos como opción prioritaría, pero hemos comentado también la estrategia del modelo global porque en algunos casos puede ser útil (pocos predictores que generen modelos plausibles). Hemos adaptado el código a ambas estrategias recomendando *model.sel*() en el caso de que tengamos un conjunto de modelos, y *dredge*() en el caso de que usemos un global model - Selección de modelos de confianza: en la nueva versión hemos dejado la selección de los modelos de confianza en aquelos que tengan un deltaAIC menor o igual a 7 y también aquellos con un peso acumulado de 0.95. - *Model averaging*: hemos centrado el texto en el promedio de predicciones, dejando el promedio de coeficientes solo para los casos recomendados en Banner and Higgs (2017). Creemos que es importante mencionar también esta opción para que los lectores la conozcan, comentando también que hay limitaciones y que debemos de ser precavidos. *Una cuestión adicional:* Hemos sugerido que cuando modelo tenga un peso de 0.90 se podría considerar como mejor modelo, siguiendo lo proupesto por Jonhson and Omland, (2004). Sin embargo K. Burnhamm normalmente recomienda calcular el evidence ratio (peso mod1/ peso mod2) para tomar esa decisión. En este caso, si tenemos un modelo con weight=0.90, como mímino tendrá un evidence ratio de 9 (0.90/.010), que es basante. No hemos mencionado nada de los evidence ratio por simplicidad y porque no he encontrado un umbral que recomendar (estamos en las de siempre, al final parece que si no das un 0.05 o un umbral, es complicado). ¿qué os parece? @asierrl <https://github.com/asierrl> @lnfran85 <https://github.com/lnfran85>: No sé vuestro nombre completo ¿podríais decírmelo para que lo añada en agradecimientos? Gracias Muchas gracias por todo Tano Os dejo los archivos (están con cambios aceptados pero con los comentarios por si queréis mirar algo): multimodel_inference_rev.docx <https://github.com/ecoinfAEET/Notas_Ecosistemas/files/2937401/multimodel_inference_rev.docx> Fig. 1.pptx <https://github.com/ecoinfAEET/Notas_Ecosistemas/files/2937403/Fig.1.pptx> — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#5 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AHr0xP2UfLNjT9kmvqKsfiPuHoV1_4bYks5vT_acgaJpZM4MBoGZ> .

[CarlosLaraR]

Geneal el trabajo. Creo que con la revisión ha quedado muy bien. Lo veo muy completo. No es fácil contar la aproximación en tan pocas palabras. Os falta un espacio en la línea 16 antes de la cita de (Johnson and Omland, 2004).

Un abrazo!!

Carlos

[algarsal]

Hola, No me he pronunciado hasta ahora porque no es un tema que controle. Pero, igual por eso mismo echo en falta alguna sugerencia sobre qué datos utilizar, supongo que se podría aconsejar alguno de los que ya vengan en alguno de los paquetes que proponéis, que sirviera para seguir los ejemplos de código del artículo. O eso o proponer alguna viñeta o tutorial que permita correr algún ejemplo en cada caso. Al final la mejor forma de enterarse es hace algún ejemplo. No digo poner el ejemplo en el artículo porque quedaría muy largo, sólo aconsejar alguna tabla de datos o algún ejemplo ya publicado. Por lo demás lo veo muy interesante, conciso y fácil de leer. Felicidades. Alfonso El 6/3/19 a las 18:10, Tano Gutiérrez Cánovas escribió:

…

Buenas de nuevo, Gema y yo hemos revisado la nota siguiendo vuestras sugerencias. Os dejo aquí algunos comentarios sobre la revisión: * *Conjunto de modelos vs. modelo global*: hemos dado énfasis a testar un grupo de modelos como opción prioritaría, pero hemos comentado también la estrategia del modelo global porque en algunos casos puede ser útil (pocos predictores que generen modelos plausibles). Hemos adaptado el código a ambas estrategias recomendando /model.sel/() en el caso de que tengamos un conjunto de modelos, y /dredge/() en el caso de que usemos un global model * Selección de modelos de confianza: en la nueva versión hemos dejado la selección de los modelos de confianza en aquelos que tengan un deltaAIC menor o igual a 7 y también aquellos con un peso acumulado de 0.95. * *Model averaging*: hemos centrado el texto en el promedio de predicciones, dejando el promedio de coeficientes solo para los casos recomendados en Banner and Higgs (2017). Creemos que es importante mencionar también esta opción para que los lectores la conozcan, comentando también que hay limitaciones y que debemos de ser precavidos. *Una cuestión adicional:* Hemos sugerido que cuando modelo tenga un peso de 0.90 se podría considerar como mejor modelo, siguiendo lo proupesto por Jonhson and Omland, (2004). Sin embargo K. Burnhamm normalmente recomienda calcular el evidence ratio (peso mod1/ peso mod2) para tomar esa decisión. En este caso, si tenemos un modelo con weight=0.90, como mímino tendrá un evidence ratio de 9 (0.90/.010), que es basante. No hemos mencionado nada de los evidence ratio por simplicidad y porque no he encontrado un umbral que recomendar (estamos en las de siempre, al final parece que si no das un 0.05 o un umbral, es complicado). ¿qué os parece? @asierrl <https://github.com/asierrl> @lnfran85 <https://github.com/lnfran85>: No sé vuestro nombre completo ¿podríais decírmelo para que lo añada en agradecimientos? Gracias Muchas gracias por todo Tano Os dejo los archivos (están con cambios aceptados pero con los comentarios por si queréis mirar algo): multimodel_inference_rev.docx <https://github.com/ecoinfAEET/Notas_Ecosistemas/files/2937401/multimodel_inference_rev.docx> Fig. 1.pptx <https://github.com/ecoinfAEET/Notas_Ecosistemas/files/2937403/Fig.1.pptx> — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub <#5 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AYjcf_0r0yiNi63N0HCdPVjApYZtJELBks5vT_abgaJpZM4MBoGZ>.

[lnfran85]

Hola a todos!,

Está genial el trabajo, esos pequeños cambios han mejorado y completado aún mas la nota. Parabéns Gemma y Tano por todo el trabajo.

Abrazo,

Francisco A. López-Núñez

[tanogc]

Hola a todos,

Muchas gracias por vuestras palabras. Me alegro de que os haya gustado la versión revisada.

@algarsal Muchas gracias por los comentarios y por la propuesta de añadir algún dataset de ejemplo. Tienes razón que con un ejemplo práctico todo se ve más fácil. De hecho, es algo que ya estuvimos considerando. Sin embargo, el hecho de sugerir un dataset de ejemplo (sin ir má allá) no sé si sería suficientemente ilustrativo. Para que lo fuera, tendríamos que añadir los modelos que se van a testar y, quizás, los resultados, lo cual haría que la nota quedara muy larga.

Un abrazo
Tano

[tanogc]

Buenas de nuevo,

Subo la versión final de la nota. @Pakillo @ibartomeus Si hace falta que revise o añada algo más, me lo decís, por favor. Muchas gracias

Un abrazo
Tano

multimodel_inference_final.docx
Fig. 1.pdf
Fig. 1.pptx

[tanogc]

Update:

Acabo de detectar un pequeño error en el código. Mando el documento actualizado:

multimodel_inference_final.docx

[Pakillo]

Muchas gracias @tanogc . Lo miro ahora y te digo

[Pakillo]

Ya lo he leído, y creo que ha quedado super bien! Muchísimas gracias @tanogc y @gemaescribano por el esfuerzo!

Sólo he añadido algunos comentarios menores al texto. Y creo que la Figura debe llevar un pie, aunque sea breve (una sola frase).

multimodel_inference_final_FRS.docx

Por lo demás, listo para enviar a Ecosistemas! Por favor, haced la submission en cuanto podáis para que entre en el próximo número. Muchas gracias de nuevo!

[ibartomeus]

Estupendo! Como ha dicho Paco listo para enviar usando el portal de Ecosistemas y indicando que es una nota ecoinformatica.

Gracias por el trabajo!
Nacho

[gemaescribano]

Gracias a todos por las contribuciones y en especial a Tano por liderar esto! Perdonad mi escasa interacción, pero la falta de tiempo últimamente raya lo absurdo... Abrazos <https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail> Libre de virus. www.avast.com <https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail> <#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2> El sáb., 16 mar. 2019 a las 8:11, Ignasi Bartomeus (< [email protected]>) escribió:

…

Estupendo! Como ha dicho Paco listo para enviar usando el portal de Ecosistemas y indicando que es una nota ecoinformatica. Gracias por el trabajo! Nacho — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#5 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AWb372o6iONoyw9zgSAg1-8IAARghqVVks5vXJkLgaJpZM4MBoGZ> .

-- Gema Escribano-Avila PhD ------------------------------------------------------------------------------------------------------------- Post-Doctoral Research Fellow IMEDEA-UIB CSIC, Mallorca. Spain.

[tanogc]

Muchas gracias por vuestros comentarios. Ya hemos revisado el documento (integrando estos últimos detalles) y lo hemos enviado a Ecosistemas Muchas gracias y un saludo Tano El 16/03/2019 a las 23:22, gemaescribano escribió:

Gracias a todos por las contribuciones y en especial a Tano por liderar esto! Perdonad mi escasa interacción, pero la falta de tiempo últimamente raya lo absurdo... Abrazos <https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail> Libre de virus. www.avast.com <https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail> <#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2> El sáb., 16 mar. 2019 a las 8:11, Ignasi Bartomeus (< ***@***.***>) escribió: > Estupendo! Como ha dicho Paco listo para enviar usando el portal de > Ecosistemas y indicando que es una nota ecoinformatica. > > Gracias por el trabajo! > Nacho > > — > You are receiving this because you were mentioned. > Reply to this email directly, view it on GitHub > <#5 (comment)>, > or mute the thread > <https://github.com/notifications/unsubscribe-auth/AWb372o6iONoyw9zgSAg1-8IAARghqVVks5vXJkLgaJpZM4MBoGZ> > . > -- Gema Escribano-Avila PhD ------------------------------------------------------------------------------------------------------------- Post-Doctoral Research Fellow IMEDEA-UIB CSIC, Mallorca. Spain. — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#5 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AX6uiJeM_DEGYhgKFD8mhnDqVPkQGkXLks5vXW7AgaJpZM4MBoGZ>.

-- Cayetano Gutiérrez Cánovas FEHM Lab <http://www.ub.edu/fem/index.php/es/> Department of Evolutionary Biology, Ecology and Environmental Sciences University of Barcelona Diagonal, 643 08028 Barcelona Spain ecomandanga.org <http://ecomandanga.org> skype: tano.gc twitter: @tano_gc