!qfTHdfJVUSCjrvSsUo:matrix.org

Python Científico

535 Members
Python + Ciencia en español3 Servers

Load older messages


Timestamp Message
20 Feb 2019
20:09:55@telegram_2829174:t2bot.ioSõdur (Telegram) https://pastebin.com/DX54bbtW
20:10:10@telegram_2829174:t2bot.ioSõdur (Telegram)Tengo este gridsearch para una competicion de kaggle
20:10:28@telegram_2829174:t2bot.ioSõdur (Telegram)El train, en mi memoria, me ocupa en RAM 4 gigas.
20:10:40@telegram_2829174:t2bot.ioSõdur (Telegram)Lancé ese entrenamiento en una EC2 con 64 gigas de ram
20:10:59@telegram_2829174:t2bot.ioSõdur (Telegram)y en cuestion de 10 segundos, se llenaba la memoria del EC2
20:11:07@telegram_2829174:t2bot.ioSõdur (Telegram)y no llegaba a hacer ningun lanzamiento
20:11:13@telegram_2829174:t2bot.ioSõdur (Telegram)tengo 16 cores en la EC2
20:11:26@telegram_2829174:t2bot.ioSõdur (Telegram)lo que estoy preocupado, es que no esté usando el n_jobs correctamente
20:11:42@telegram_2829174:t2bot.ioSõdur (Telegram)porque lei que con n_jobs=-1 coge todos los recursos
20:11:51@telegram_2829174:t2bot.ioSõdur (Telegram)pero me parece muy raro que se llene la memoria tan rapidamente
20:11:55@telegram_2829174:t2bot.ioSõdur (Telegram)que estoy haciendo mal?
21:30:50@telegram_59004152:t2bot.ioJavi Blasco (Telegram)
In reply to Sõdur (Telegram)
https://pastebin.com/DX54bbtW
Eso sólo muestra el setting. Qué tamaño tiene la muestra que estás ajustando? Has probado con jobs=1 para empezar?
21:33:18@telegram_59004152:t2bot.ioJavi Blasco (Telegram)Porque estàs hablando de hacer 64 combinaciones, si no me equivoco, con kfold 3, así que 192 combinaciones. Si cada cual usa su propia memoria para el dataset entero... yo me creo que estés usando un montón de memoria
21 Feb 2019
02:52:40@telegram_113454992:t2bot.ioUlises (Telegram)que algoritmo estas utilizando?
06:36:05@telegram_2829174:t2bot.ioSõdur (Telegram)
In reply to Javi Blasco (Telegram)
Eso sólo muestra el setting. Qué tamaño tiene la muestra que estás ajustando? Has probado con jobs=1 para empezar?
No lo he podido probar aun. Tenía pensado hacerlo mañana
06:36:25@telegram_2829174:t2bot.ioSõdur (Telegram)
In reply to Javi Blasco (Telegram)
Porque estàs hablando de hacer 64 combinaciones, si no me equivoco, con kfold 3, así que 192 combinaciones. Si cada cual usa su propia memoria para el dataset entero... yo me creo que estés usando un montón de memoria
Claro, eso he pensado yo.

Pero como controlo para que no se lancen todas simultaneamente?
06:42:23@telegram_59004152:t2bot.ioJavi Blasco (Telegram)'n_jobs = 1', como te decía
13:31:15@telegram_467612759:t2bot.iomanuel (Telegram)UNa cosa Ulises, te recomiendo que uses RandomSearchCV en vez de GridSearchCV, a no ser que tu espacio de busqueda o tu dataset sean muy limitados
13:38:58@telegram_59004152:t2bot.ioJavi Blasco (Telegram) y eso por que, @manugarri ?
13:45:40@telegram_467612759:t2bot.iomanuel (Telegram)por que es mejor
13:46:06@telegram_467612759:t2bot.iomanuel (Telegram)para un tiempo determinado de busqueda tiende a encontrar una solucion mejor
13:46:19@telegram_467612759:t2bot.iomanuel (Telegram)ademas de que permite pasar distribuciones para variables en vez de rangos/valores fijos
13:49:03@telegram_59004152:t2bot.ioJavi Blasco (Telegram)bueno, es una explicacion... la tercera parte me convence mas, pero sin conocer el problema de Ulises no me atreveria a decir que sea lo que necesita
13:49:33@telegram_59004152:t2bot.ioJavi Blasco (Telegram) correccion, no es Ulises, es @ElSoldier
13:53:00@telegram_467612759:t2bot.iomanuel (Telegram)en general usar gridsearch no es recomendable a menos que estes trabajando con un dataset muy reducido y que los hiperparametros que esten buscando tengan valores discretos
13:53:03@telegram_467612759:t2bot.iomanuel (Telegram)que nunca es el caso
13:53:53@telegram_467612759:t2bot.iomanuel (Telegram)de hecho, para personas que hacen computacion en su maquina / una maquina tocha individual, mejor usar directamente dask-ml RandomizedSearchCV
14:02:55@telegram_2829174:t2bot.ioSõdur (Telegram)Vale vale
14:03:01@telegram_2829174:t2bot.ioSõdur (Telegram)Lo tendré en cuenta
14:03:05@telegram_2829174:t2bot.ioSõdur (Telegram)Muchas gracias! 😊

There are no newer messages yet.


Back to Room List