Recientemente para ayudar a algunos clientes para hacer frente a los ataques de rastreadores, se encontr\u00f3 que muchas personas pensaban en la CDN de alta defensa en todo est\u00e1 bien, los resultados fueron rastreados a dudar de la vida. Una estaci\u00f3n de comercio electr\u00f3nico fue incluso rastreado a trav\u00e9s de la base de datos de precios, los competidores toman directamente los datos para hacer precios din\u00e1micos, el jefe casi puso el equipo t\u00e9cnico sacrificado al cielo.<\/p>\n
CDN de alta defensa de hecho puede llevar DDoS, pero para hacer frente a los rastreadores de esta cosa debe ser utilizado inteligentemente. He probado y encontrado que simplemente por la restricci\u00f3n de flujo IP no puede evitar que los rastreadores avanzados - la gente casualmente obtener un grupo de proxy ser\u00e1 capaz de romper sus reglas. La verdadera estrategia eficaz, usted tiene que comenzar a partir de la combinaci\u00f3n de la identificaci\u00f3n de la UA y la limitaci\u00f3n de la frecuencia.<\/p>\n
El reconocimiento de UA no consiste simplemente en emparejar palabras clave<\/strong><\/p>\n Muchos equipos configuran sus reglas de UA para que s\u00f3lo bloqueen las peticiones que digan claramente \u201dPython\u201d o \u201dcurl\u201d. Hoy en d\u00eda, los rastreadores m\u00e1s avanzados son capaces de falsificar UA, por ejemplo, haci\u00e9ndose pasar por un navegador convencional:<\/p>\n \u00bfPuedes decir si es una persona real o un crawler con s\u00f3lo mirar esto? Hice pruebas en CDN5 el a\u00f1o pasado y el porcentaje de solicitudes de rastreadores que falsificaban la UA llegaba a 83%. as\u00ed que la clave tiene que estar en el perfil de comportamiento: una persona normal no utilizar\u00eda la UA de Chrome y, sin embargo, solicitar\u00eda la interfaz API 10 veces por segundo.<\/p>\n L\u00edmites de frecuencia para jugar una estrategia din\u00e1mica<\/strong><\/p>\n Establecer una regla r\u00edgida de \u201d5 peticiones por segundo\u201d puede perjudicar a los usuarios normales. Especialmente cuando hay promociones, la frecuencia de los usuarios reales tambi\u00e9n se disparar\u00e1. He practicado el algoritmo de frecuencia din\u00e1mica en el nodo de 08Host:<\/p>\n Este conjunto de configuraciones ayud\u00f3 a un sitio de noticias a reducir el n\u00famero de falsos positivos en 921 TP3T, mientras que la tasa de interceptaci\u00f3n del crawler tambi\u00e9n aument\u00f3 en 371 TP3T.<\/p>\n La biblioteca de huellas dactilares de UA en el mundo real debe actualizarse continuamente.<\/strong><\/p>\n Los marcos de rastreo ahora est\u00e1n aprendiendo a rotar UA, pero cada marco todav\u00eda tiene caracter\u00edsticas de huellas dactilares. Por ejemplo, Puppeteer por defecto con la palabra HeadlessChrome, aunque hoy en d\u00eda los rastreadores avanzados eliminar\u00e1n deliberadamente esta marca, pero a trav\u00e9s de las caracter\u00edsticas de ejecuci\u00f3n de JavaScript todav\u00eda se puede detectar.<\/p>\n La base de reglas de detecci\u00f3n que mantengo en la plataforma CDN07 contiene m\u00e1s de 1700 huellas dactilares, con algunas adiciones recientes que incluyen:<\/p>\n Estas reglas parecen sencillas, pero en realidad hay lecciones de sangre y l\u00e1grimas detr\u00e1s de cada una. Un cliente fue enga\u00f1ado por un crawler que utilizaba un UA de navegador antiguo para saltarse las reglas, y al final s\u00f3lo gracias a la detecci\u00f3n de las caracter\u00edsticas del navegador la interceptaci\u00f3n tuvo \u00e9xito.<\/p>\n Los l\u00edmites de frecuencia deben dise\u00f1arse por capas<\/strong><\/p>\n No utilice el mismo conjunto de reglas de frecuencia para todas las interfaces. La interfaz de inicio de sesi\u00f3n tiene un nivel de riesgo completamente distinto al de la p\u00e1gina de detalles del producto, y yo suelo hacer tres niveles de l\u00edmites de frecuencia para mis clientes:<\/p>\n Los recursos est\u00e1ticos se relajan a 50r\/s, la API se controla estrictamente a 10r\/s, y la interfaz de inicio de sesi\u00f3n debe limitarse a 3r\/s o menos. Es especialmente importante proteger la interfaz CAPTCHA: muchos rastreadores refrescar\u00e1n violentamente el CAPTCHA, y esto debe limitarse a 1r\/10s.<\/p>\n Ejemplo de configuraci\u00f3n en CDN5:<\/p>\n Nunca conf\u00ede en una lista blanca de UA.<\/strong><\/p>\n Algunos programas sugieren que s\u00f3lo se liberen los UA comunes de los navegadores, y no cabe duda de que algo va a ocurrir con este enfoque \u00fanico. Hoy en d\u00eda, muchos rastreadores leg\u00edtimos (motores de b\u00fasqueda, sitios de comparaci\u00f3n de precios) necesitan un tratamiento especial. He visto c\u00f3mo un sitio bloqueaba Googlebot y, como resultado, el tr\u00e1fico natural ca\u00eda en picado 40%.<\/p>\n Lo correcto es verificar la autenticidad de los rastreadores conocidos. Por ejemplo, Googlebot ofrece un m\u00e9todo de verificaci\u00f3n:<\/p>\n Otros como Bingbot tienen mecanismos de validaci\u00f3n similares, esta parte debe configurarse manualmente y no puede depender de las reglas por defecto del CDN.<\/p>\n La verificaci\u00f3n de la firma del navegador es el arma definitiva<\/strong><\/p>\n Los rastreadores avanzados son ahora perfectamente capaces de falsificar UA e IP, y al final depende del fingerprinting del navegador identificarlos. Las caracter\u00edsticas del entorno del navegador se detectan a trav\u00e9s de retos de JavaScript, como comprobar si navigator.plugins est\u00e1 completo, si el renderizador WebGL coincide, etc.<\/p>\n En CDN07 se puede configurar as\u00ed:<\/p>\n Esta soluci\u00f3n ha sido probada para bloquear 99.9% navegadores sin cabeza, pero tenga en cuenta el impacto en SEO, es mejor poner en la lista blanca los rastreadores de motores de b\u00fasqueda conocidos.<\/p>\n No olvide controlar e iterar<\/strong><\/p>\n La tecnolog\u00eda de rastreo evoluciona constantemente y las reglas que funcionaron el mes pasado pueden no funcionar este mes. Hay que disponer de un sistema de supervisi\u00f3n para vigilar estas m\u00e9tricas:<\/p>\n Porcentaje de solicitudes an\u00f3malas, tasa de activaci\u00f3n de CAPTCHA, distribuci\u00f3n de la frecuencia de solicitudes entre interfaces. Suelo hacer Kanban en tiempo real en Grafana y ajustar las reglas inmediatamente cuando encuentro anomal\u00edas.<\/p>\n Recientemente se encontr\u00f3 que el nuevo rastreador comenz\u00f3 a simular la trayectoria del rat\u00f3n, la pr\u00f3xima vez que hablar de c\u00f3mo utilizar la biometr\u00eda de comportamiento para defender. Hoy en d\u00eda, incluso las CDN tienen que \u201dprevenir a los compa\u00f1eros de equipo\u201d: \u00a1algunos rastreadores incluso se disfrazan de los propios robots de supervisi\u00f3n de las CDN!<\/p>\n Una protecci\u00f3n realmente eficaz es siempre una combinaci\u00f3n de estrategias en varios niveles: detecci\u00f3n de UA para filtrar a los rastreadores de gama baja, restricciones de frecuencia para evitar ataques intermedios y autenticaci\u00f3n del navegador para eliminar a los jugadores avanzados. Por \u00faltimo, hay una v\u00eda de escape: en caso de que un usuario real sea bloqueado por error, al menos hay que dar a la gente un canal para quejarse.<\/p>","protected":false},"excerpt":{"rendered":" Recientemente para ayudar a algunos clientes para hacer frente a los ataques de rastreadores, se encontr\u00f3 que muchas personas pensaban en la CDN de alta defensa en todo est\u00e1 bien, los resultados fueron rastreados a dudar de la vida. Una estaci\u00f3n de comercio electr\u00f3nico fue incluso rastreado a trav\u00e9s de la base de datos de precios, los competidores toman directamente los datos para hacer precios din\u00e1micos, el jefe casi puso el equipo t\u00e9cnico sacrificado al cielo. CDN de alta defensa de hecho puede llevar a DDoS, pero para hacer frente a la ara\u00f1a de esta cosa a utilizar inteligente. He encontrado que la prueba real, simplemente por la restricci\u00f3n de flujo IP no puede evitar que los reptiles avanzados - la gente casualmente participar en un grupo de proxy ser\u00e1 capaz de romper sus reglas. Una estrategia realmente eficaz es comenzar con una combinaci\u00f3n de identificaci\u00f3n de UA y restricci\u00f3n de frecuencia. La identificaci\u00f3n de UA no es una simple coincidencia de palabras clave Muchos equipos configuran reglas de UA, s\u00f3lo detendr\u00e1n aquellas con el obvio \u201dPython\u201d o \u201dcurl̶<\/p>","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"gallery","meta":{"_seopress_robots_primary_cat":"","_seopress_titles_title":"","_seopress_titles_desc":"","_seopress_robots_index":"","footnotes":""},"categories":[150],"tags":[],"collection":[],"class_list":["post-963","post","type-post","status-publish","format-gallery","hentry","category-updates","post_format-post-format-gallery"],"_links":{"self":[{"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/posts\/963","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/comments?post=963"}],"version-history":[{"count":1,"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/posts\/963\/revisions"}],"predecessor-version":[{"id":1162,"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/posts\/963\/revisions\/1162"}],"wp:attachment":[{"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/media?parent=963"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/categories?post=963"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/tags?post=963"},{"taxonomy":"collection","embeddable":true,"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/collection?post=963"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}