Bonjourpierre.boudrie,

Pour l'utilisation d'un proxy avec Asqatasun, ce n'est actuellement plus possible. Un correctif est en cours de préparation, mais il n'est pas très simple à tester.

• Ticket : https://gitlab.com/asqatasun/Asqatasun/-/issues/558
• PR : https://gitlab.com/asqatasun/Asqatasun/-/merge_requests/530

Dès que j'ai un moment, je vais essayer de finaliser ce correctif.

Pour la version de MySQL, comme l'as indiqué Matthieu (2T) FAURE, nous utilisons actuellement une version 5.7 de MySQL et nous n'avons pas encore poussé nos tests sur les autres versions. J'ai comme projet de créer d'autres machines Vagrant pour tester Ubuntu 20.04 et pourquoi pas CentOS. Dans ce dernier cas, je suis très intéressé par les lignes de commandes utilisés pour installer les pre-requis (Java, ...).

En regardant les logs :

INFO  org.asqatasun.webapp.orchestrator.AsqatasunOrchestrator - Launching audit Page on http://www.google.fr
WARN  org.asqatasun.util.http.HttpRequestHandler - UnknownHostException on http://www.google.fr
WARN  org.asqatasun.util.http.HttpRequestHandler - UnknownHostException on http://www.google.fr
WARN  org.hibernate.engine.jdbc.spi.SqlExceptionHelper - SQL Error: 1064, SQLState: 42000
ERROR org.hibernate.engine.jdbc.spi.SqlExceptionHelper - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'Rank, Url, DTYPE) values (7, null, null, 0, 'http://www.google.fr', 'PageImpl')' at line 1
INFO  org.asqatasun.webapp.orchestrator.AsqatasunOrchestrator - AUDIT CRASHED:org.asqatasun.entity.audit.AuditImpl@7083e882,http://www.google.fr,1617697677
org.springframework.dao.InvalidDataAccessResourceUsageException: could not execute statement; SQL [n/a]; nested exception is org.hibernate.exception.SQLGrammarException: could not execute statement
        at org.springframework.orm.jpa.vendor.HibernateJpaDialect.convertHibernateAccessException(HibernateJpaDialect.java:281)

Je note comme @ma

Bonjourpierre.boudrie,

Pour l'utilisation d'un proxy avec Asqatasun, ce n'est actuellement plus possible. Un correctif est en cours de préparation, mais il n'est pas très simple à tester.

• Ticket : https://gitlab.com/asqatasun/Asqatasun/-/issues/558
• PR : https://gitlab.com/asqatasun/Asqatasun/-/merge_requests/530

Dès que j'ai un moment, je vais essayer de finaliser ce correctif.

Pour la version de MySQL, comme l'as indiqué Matthieu (2T) FAURE, nous utilisons actuellement une version 5.7 de MySQL et nous n'avons pas encore poussé nos tests sur les autres versions. J'ai comme projet de créer d'autres machines Vagrant pour tester Ubuntu 20.04 et pourquoi pas CentOS. Dans ce dernier cas, je suis très intéressé par les lignes de commandes utilisés pour installer les pre-requis (Java, ...).

En regardant les logs :

INFO  org.asqatasun.webapp.orchestrator.AsqatasunOrchestrator - Launching audit Page on http://www.google.fr
WARN  org.asqatasun.util.http.HttpRequestHandler - UnknownHostException on http://www.google.fr
WARN  org.asqatasun.util.http.HttpRequestHandler - UnknownHostException on http://www.google.fr
WARN  org.hibernate.engine.jdbc.spi.SqlExceptionHelper - SQL Error: 1064, SQLState: 42000
ERROR org.hibernate.engine.jdbc.spi.SqlExceptionHelper - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'Rank, Url, DTYPE) values (7, null, null, 0, 'http://www.google.fr', 'PageImpl')' at line 1
INFO  org.asqatasun.webapp.orchestrator.AsqatasunOrchestrator - AUDIT CRASHED:org.asqatasun.entity.audit.AuditImpl@7083e882,http://www.google.fr,1617697677
org.springframework.dao.InvalidDataAccessResourceUsageException: could not execute statement; SQL [n/a]; nested exception is org.hibernate.exception.SQLGrammarException: could not execute statement
        at org.springframework.orm.jpa.vendor.HibernateJpaDialect.convertHibernateAccessException(HibernateJpaDialect.java:281)

Je note comme Matthieu, un problème réseau peut-être lié à l'utilisation nécessaire d'un proxy. Par contre l'erreur SQL ne devrait pas se produire. Idéalement, il faudrait lancer Asqatasun avec une option complémentaire pour afficher la requête SQL qui plante. Je regarde comment faire...

Bonjour doryan et bienvenue ! Oui cette fonctionnalité figure bien ne première ligne ! Elle nous taquine un peu à vrai dire ; et merci beaucoup pour tes retours, il nous sont précieux !

Saurais-tu nous dire :

• quel est le proxy ? (un "simple" Squid ? Si non, quoi ?)
• y a t'il une authentification sur le proxy ? Si oui de quel type / en s'appuyant sur quelle base de compte ? (genre un LDAP ? un Active Directory ? ...)

/cc @.koj

Bonjour doryan et bienvenue ! Oui cette fonctionnalité figure bien en première ligne ! Elle nous taquine un peu à vrai dire ; et merci beaucoup pour tes retours, il nous sont précieux !

Saurais-tu nous dire :

• quel est le proxy ? (un "simple" Squid ? Si non, quoi ?)
• y a t'il une authentification sur le proxy ? Si oui de quel type / en s'appuyant sur quelle base de compte ? (genre un LDAP ? un Active Directory ? ...)

/cc @.koj

Bonjour doryan

En fait, il y a une erreur sur cette branche :
https://gitlab.com/asqatasun/Asqatasun/-/merge_requests/530#note_472988472

je corrige dès que j'ai 5 mn

Bonjour doryan

En fait, il y a une erreur facile à corriger sur cette branche :
https://gitlab.com/asqatasun/Asqatasun/-/merge_requests/530#note_472988472

je corrige dès que j'ai 5 mn

In reply to @.koj:matrix.org
https://github.com/yasserg/crawler4j/blob/master/crawler4j/src/main/java/edu/uci/ics/crawler4j/crawler/CrawlConfig.java

Hey folks, the Asqatasun forum is back online !!!

Brought back from the (OVH) ashes, this was the last part to re-build. I'm suite happy this looks to work. For now, it seems quite slow, maybe some indexes are being made. We'll see this in the weekend. In the meantime, enjoy asking and answering ! :D

Hey folks, the Asqatasun forum is back online !!!

Brought back from the (OVH) ashes, this was the last part to re-build. I'm quite happy this looks to work. For now, it seems quite slow, maybe some indexes are being made. We'll see this in the weekend. In the meantime, enjoy asking and answering ! :D

Hi folks,

I'm presently working on site.asqatasun.ovh to 1) place it on a (greener) hosting 2) have it automatically deployed with Gitlab-CI. Whish me luck and chocolate 😀

In reply to @mfaure:matrix.org

Hi folks,

I'm presently working on site.asqatasun.ovh to 1) place it on a (greener) hosting 2) have it automatically deployed with Gitlab-CI. Whish me luck and chocolate 😀

Hi folks,

I'm currently working on site-sitemap.asqatasun.ovh to 1) place it on our new green shared hosting and 2) have it automatically deployed with Gitlab-CI. Whish me cool copy/paste :joyful: