Hola a todxs, ¿Cómo están? Hace poco leí algo sobre bots en las listas pero no encuentro el mensaje. ¿Cómo lo han resuelto? Tenemos KOHA 21.05 en un servidor externo. Últimamente viene ejecutándose muy lento. Estuvo caído unos días. Hablando con el administrador del servidor me cuenta que hay una serie de bots cosechando el OPAC permanentemente, llevando el CPU al límite, al punto que cerró el tráfico del OPAC. Leyendo lo que me mandó de muestra parecen ser bots. ¿Cómo lo han resuelto sin cerrar el OPAC directamente? "(...) Revisando los logs, en particular plack.log estoy viendo que le están pegando fuerte desde internet (...) Abajo una muestra del log de recién (...) : 52.70.240.171 - - [25/Jun/2024:20:33:29 -0300] "GET /cgi-bin/koha/ opac-search.pl?count=20&idx=kw&limit=au:Diaz,%20Adriana&limit=au:Kurzrok,%20Liliana&limit=au:Lanza,%20Pierina&limit=au:Rossetti,%20Alejandro&limit=holdingbranch:IFDC&limit=au:Urquiza,%20M%C3%B3nica&limit=su-to:Ense%C3%B1anza%20de%20las%20matem%C3%A1ticas&limit=itype:LIB&nolimit=au:Kurzrok,%20Liliana&q=su-br:%22PROBABILIDAD%22&sort_by=relevance_dsc HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" 23.22.35.162 - - [25/Jun/2024:20:33:30 -0300] "GET /cgi-bin/koha/ opac-search.pl?count=20&idx=kw&limit=au:Diaz,%20Adriana&limit=au:Kurzrok,%20Liliana&limit=au:Lanza,%20Pierina&limit=au:Rossetti,%20Alejandro&limit=holdingbranch:IFDC&limit=au:Urquiza,%20M%C3%B3nica&limit=su-to:Ense%C3%B1anza%20de%20las%20matem%C3%A1ticas&limit=itype:LIB&limit=au:Guibourg,%20Flavia&q=su-br:%22PROBABILIDAD%22&sort_by=relevance_dsc HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" 3.224.220.101 - - [25/Jun/2024:20:33:31 -0300] "GET /cgi-bin/koha/ opac-search.pl?count=20&idx=kw&limit=au:Diaz,%20Adriana&limit=au:Kurzrok,%20Liliana&limit=au:Lanza,%20Pierina&limit=au:Rossetti,%20Alejandro&limit=holdingbranch:IFDC&limit=au:Urquiza,%20M%C3%B3nica&limit=su-to:Ense%C3%B1anza%20de%20las%20matem%C3%A1ticas&limit=itype:LIB&limit=au:Duarte,%20Agustina&q=su-br:%22PROBABILIDAD%22&sort_by=relevance_dsc HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" 52.70.240.171 - - [25/Jun/2024:20:33:32 -0300] "GET /cgi-bin/koha/ opac-search.pl?count=20&idx=kw&limit=au:Diaz,%20Adriana&limit=au:Kurzrok,%20Liliana&limit=au:Lanza,%20Pierina&limit=au:Rossetti,%20Alejandro&limit=holdingbranch:IFDC&limit=au:Urquiza,%20M%C3%B3nica&limit=su-to:Ense%C3%B1anza%20de%20las%20matem%C3%A1ticas&limit=itype:LIB&nolimit=au:Diaz,%20Adriana&q=su-br:%22PROBABILIDAD%22&sort_by=relevance_dsc HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" 3.224.220.101 - - [25/Jun/2024:20:33:33 -0300] "GET /cgi-bin/koha/ opac-search.pl?idx=kw&limit=au:Diaz,%20Adriana&limit=au:Kurzrok,%20Liliana&limit=au:Lanza,%20Pierina&limit=au:Rossetti,%20Alejandro&limit=holdingbranch:IFDC&limit=au:Urquiza,%20M%C3%B3nica&limit=su-to:Ense%C3%B1anza%20de%20las%20matem%C3%A1ticas&limit=itype:LIB&limit=available&q=su-br:%22PROBABILIDAD%22&sort_by=relevance_dsc HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" 52.70.240.171 - - [25/Jun/2024:20:33:34 -0300] "GET /cgi-bin/koha/ opac-search.pl?count=20&idx=kw&limit=au:Diaz,%20Adriana&limit=au:Kurzrok,%20Liliana&limit=au:Lanza,%20Pierina&limit=au:Rossetti,%20Alejandro&limit=holdingbranch:IFDC&limit=au:Urquiza,%20M%C3%B3nica&limit=su-to:Ense%C3%B1anza%20de%20la%20geometr%C3%ADa&limit=itype:LIB&limit=su-to:Ense%C3%B1anza%20de%20las%20matem%C3%A1ticas&q=su-br:%22PROBABILIDAD%22&sort_by=relevance_dsc HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" Gracias, Sol Tuero Bibliotecaria Biblioteca María Gómez Pérez de Sílin IFDC Bariloche, Río Negro, Argentina. https://ifdc.edu.ar/home/ https://biblioifdc.koha.aplicacioneslibres.com.ar/
Buenas Sol, Deberían bloquear a los bots que están molestando. Acá explica cómo y dónde crear el robots.txt: https://wiki.koha-community.org/wiki/Koha_Tuning_Guide Con este código creo que es suficiente: User-agent: Amazonbot Disallow: / Esperen un par de días para ver si tuvo éxito o no. Sino pueden probar bloquearlos desde Apache (o el servidor web que estén utilizando). Saludos, Alejo El mié, 26 de jun de 2024, 15:17, Sol Tuero via Koha-es < koha-es@lists.koha-community.org> escribió:
Hola a todxs, ¿Cómo están? Hace poco leí algo sobre bots en las listas pero no encuentro el mensaje. ¿Cómo lo han resuelto?
Tenemos KOHA 21.05 en un servidor externo. Últimamente viene ejecutándose muy lento. Estuvo caído unos días. Hablando con el administrador del servidor me cuenta que hay una serie de bots cosechando el OPAC permanentemente, llevando el CPU al límite, al punto que cerró el tráfico del OPAC. Leyendo lo que me mandó de muestra parecen ser bots. ¿Cómo lo han resuelto sin cerrar el OPAC directamente?
"(...) Revisando los logs, en particular plack.log estoy viendo que le están pegando fuerte desde internet (...) Abajo una muestra del log de recién (...) :
52.70.240.171 - - [25/Jun/2024:20:33:29 -0300] "GET /cgi-bin/koha/ opac-search.pl?count=20&idx=kw&limit=au:Diaz,%20Adriana&limit=au:Kurzrok,%20Liliana&limit=au:Lanza,%20Pierina&limit=au:Rossetti,%20Alejandro&limit=holdingbranch:IFDC&limit=au:Urquiza,%20M%C3%B3nica&limit=su-to:Ense%C3%B1anza%20de%20las%20matem%C3%A1ticas&limit=itype:LIB&nolimit=au:Kurzrok,%20Liliana&q=su-br:%22PROBABILIDAD%22&sort_by=relevance_dsc HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" 23.22.35.162 - - [25/Jun/2024:20:33:30 -0300] "GET /cgi-bin/koha/ opac-search.pl?count=20&idx=kw&limit=au:Diaz,%20Adriana&limit=au:Kurzrok,%20Liliana&limit=au:Lanza,%20Pierina&limit=au:Rossetti,%20Alejandro&limit=holdingbranch:IFDC&limit=au:Urquiza,%20M%C3%B3nica&limit=su-to:Ense%C3%B1anza%20de%20las%20matem%C3%A1ticas&limit=itype:LIB&limit=au:Guibourg,%20Flavia&q=su-br:%22PROBABILIDAD%22&sort_by=relevance_dsc HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" 3.224.220.101 - - [25/Jun/2024:20:33:31 -0300] "GET /cgi-bin/koha/ opac-search.pl?count=20&idx=kw&limit=au:Diaz,%20Adriana&limit=au:Kurzrok,%20Liliana&limit=au:Lanza,%20Pierina&limit=au:Rossetti,%20Alejandro&limit=holdingbranch:IFDC&limit=au:Urquiza,%20M%C3%B3nica&limit=su-to:Ense%C3%B1anza%20de%20las%20matem%C3%A1ticas&limit=itype:LIB&limit=au:Duarte,%20Agustina&q=su-br:%22PROBABILIDAD%22&sort_by=relevance_dsc HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" 52.70.240.171 - - [25/Jun/2024:20:33:32 -0300] "GET /cgi-bin/koha/ opac-search.pl?count=20&idx=kw&limit=au:Diaz,%20Adriana&limit=au:Kurzrok,%20Liliana&limit=au:Lanza,%20Pierina&limit=au:Rossetti,%20Alejandro&limit=holdingbranch:IFDC&limit=au:Urquiza,%20M%C3%B3nica&limit=su-to:Ense%C3%B1anza%20de%20las%20matem%C3%A1ticas&limit=itype:LIB&nolimit=au:Diaz,%20Adriana&q=su-br:%22PROBABILIDAD%22&sort_by=relevance_dsc HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" 3.224.220.101 - - [25/Jun/2024:20:33:33 -0300] "GET /cgi-bin/koha/ opac-search.pl?idx=kw&limit=au:Diaz,%20Adriana&limit=au:Kurzrok,%20Liliana&limit=au:Lanza,%20Pierina&limit=au:Rossetti,%20Alejandro&limit=holdingbranch:IFDC&limit=au:Urquiza,%20M%C3%B3nica&limit=su-to:Ense%C3%B1anza%20de%20las%20matem%C3%A1ticas&limit=itype:LIB&limit=available&q=su-br:%22PROBABILIDAD%22&sort_by=relevance_dsc HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" 52.70.240.171 - - [25/Jun/2024:20:33:34 -0300] "GET /cgi-bin/koha/ opac-search.pl?count=20&idx=kw&limit=au:Diaz,%20Adriana&limit=au:Kurzrok,%20Liliana&limit=au:Lanza,%20Pierina&limit=au:Rossetti,%20Alejandro&limit=holdingbranch:IFDC&limit=au:Urquiza,%20M%C3%B3nica&limit=su-to:Ense%C3%B1anza%20de%20la%20geometr%C3%ADa&limit=itype:LIB&limit=su-to:Ense%C3%B1anza%20de%20las%20matem%C3%A1ticas&q=su-br:%22PROBABILIDAD%22&sort_by=relevance_dsc HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
Gracias, Sol Tuero Bibliotecaria
Biblioteca María Gómez Pérez de Sílin IFDC Bariloche, Río Negro, Argentina. https://ifdc.edu.ar/home/ https://biblioifdc.koha.aplicacioneslibres.com.ar/
-- Koha-es mailing list Koha-es@lists.koha-community.org https://lists.koha-community.org/cgi-bin/mailman/listinfo/koha-es
Hola! Sí, he notado muchos Kohas con la misma situación. En uno particularmente intenso venían todos de Singapur (AS136907 HUAWEI CLOUDS). Esos son de Amazon (AS14618, USA). En mi experiencia muchos hacen caso omiso del robots.txt, por lo que no queda más que ajustar fail2ban, o incluso bloquear todo un AS. Saludos! Pablo
participants (3)
-
Alejo Janin -
Pablo Bianchi -
Sol Tuero