| 20 Feb 2019 |
| 20:09:55 |  Sõdur (Telegram) | https://pastebin.com/DX54bbtW |
| 20:10:10 | Sõdur (Telegram) | Tengo este gridsearch para una competicion de kaggle |
| 20:10:28 | Sõdur (Telegram) | El train, en mi memoria, me ocupa en RAM 4 gigas. |
| 20:10:40 | Sõdur (Telegram) | Lancé ese entrenamiento en una EC2 con 64 gigas de ram |
| 20:10:59 | Sõdur (Telegram) | y en cuestion de 10 segundos, se llenaba la memoria del EC2 |
| 20:11:07 | Sõdur (Telegram) | y no llegaba a hacer ningun lanzamiento |
| 20:11:13 | Sõdur (Telegram) | tengo 16 cores en la EC2 |
| 20:11:26 | Sõdur (Telegram) | lo que estoy preocupado, es que no esté usando el n_jobs correctamente |
| 20:11:42 | Sõdur (Telegram) | porque lei que con n_jobs=-1 coge todos los recursos |
| 20:11:51 | Sõdur (Telegram) | pero me parece muy raro que se llene la memoria tan rapidamente |
| 20:11:55 | Sõdur (Telegram) | que estoy haciendo mal? |
| 21:30:50 |  Javi Blasco (Telegram) | In reply to Sõdur (Telegram)
https://pastebin.com/DX54bbtW Eso sólo muestra el setting. Qué tamaño tiene la muestra que estás ajustando? Has probado con jobs=1 para empezar? |
| 21:33:18 | Javi Blasco (Telegram) | Porque estàs hablando de hacer 64 combinaciones, si no me equivoco, con kfold 3, así que 192 combinaciones. Si cada cual usa su propia memoria para el dataset entero... yo me creo que estés usando un montón de memoria |
| 21 Feb 2019 |
| 02:52:40 |  Ulises (Telegram) | que algoritmo estas utilizando? |
| 06:36:05 | Sõdur (Telegram) | In reply to Javi Blasco (Telegram)
Eso sólo muestra el setting. Qué tamaño tiene la muestra que estás ajustando? Has probado con jobs=1 para empezar? No lo he podido probar aun. Tenía pensado hacerlo mañana |
| 06:36:25 | Sõdur (Telegram) | In reply to Javi Blasco (Telegram)
Porque estàs hablando de hacer 64 combinaciones, si no me equivoco, con kfold 3, así que 192 combinaciones. Si cada cual usa su propia memoria para el dataset entero... yo me creo que estés usando un montón de memoria Claro, eso he pensado yo.
Pero como controlo para que no se lancen todas simultaneamente? |
| 06:42:23 | Javi Blasco (Telegram) | 'n_jobs = 1', como te decía |
| 13:31:15 |  manuel (Telegram) | UNa cosa Ulises, te recomiendo que uses RandomSearchCV en vez de GridSearchCV, a no ser que tu espacio de busqueda o tu dataset sean muy limitados |
| 13:38:58 | Javi Blasco (Telegram) | y eso por que, @manugarri ? |
| 13:45:40 | manuel (Telegram) | por que es mejor |
| 13:46:06 | manuel (Telegram) | para un tiempo determinado de busqueda tiende a encontrar una solucion mejor |
| 13:46:19 | manuel (Telegram) | ademas de que permite pasar distribuciones para variables en vez de rangos/valores fijos |
| 13:49:03 | Javi Blasco (Telegram) | bueno, es una explicacion... la tercera parte me convence mas, pero sin conocer el problema de Ulises no me atreveria a decir que sea lo que necesita |
| 13:49:33 | Javi Blasco (Telegram) | correccion, no es Ulises, es @ElSoldier |
| 13:53:00 | manuel (Telegram) | en general usar gridsearch no es recomendable a menos que estes trabajando con un dataset muy reducido y que los hiperparametros que esten buscando tengan valores discretos |
| 13:53:03 | manuel (Telegram) | que nunca es el caso |
| 13:53:53 | manuel (Telegram) | de hecho, para personas que hacen computacion en su maquina / una maquina tocha individual, mejor usar directamente dask-ml RandomizedSearchCV |
| 14:02:55 | Sõdur (Telegram) | Vale vale |
| 14:03:01 | Sõdur (Telegram) | Lo tendré en cuenta |
| 14:03:05 | Sõdur (Telegram) | Muchas gracias! 😊 |
