Recientemente, varios amigos que hacen plataformas sociales se quejaron a m\u00ed que su propia din\u00e1mica de usuario y el contenido fueron rastreados hasta el fondo, y el servidor fue bloqueado por los rastreadores de todos los d\u00edas. Un amigo incluso se ri\u00f3 amargamente y dijo: \u201cAhora leo los logs son PTSD, en cuanto veo el User-Agent con la palabra Python en \u00e9l, quiero desenchufar el cable de red\u201d.\u201d<\/p>\n
El umbral de la tecnolog\u00eda de rastreo es cada vez m\u00e1s bajo en estos d\u00edas, escribir unas pocas l\u00edneas de script Python se atrever\u00e1 a espigar datos, por no hablar de los que se especializan en el equipo de tr\u00e1fico de datos, moviendo cientos de IP de alojamiento en la nube alrededor de bombardeo. Firewall tradicional en los ojos de esas personas es s\u00f3lo como papel, confiando en una lista negra de IP para evitar que los rastreadores? Es como esperar que te toque la loter\u00eda.<\/p>\n
He ayudado a un mont\u00f3n de plataformas sociales a lo largo de los a\u00f1os para hacer soluciones anti-escalada, las pruebas encontraron que se basan puramente en la coincidencia de reglas simplemente no puede jugar el rastreador moderno. Esos rastreadores avanzados ahora simular la curva de comportamiento humano, la trayectoria del rat\u00f3n puede darle una distribuci\u00f3n normal para crear, bas\u00e1ndose en la frecuencia de solicitud para determinar si el rastreador? No sea ingenuo.<\/p>\n
Una estrategia antitrepa CDN de alta defensa social realmente eficaz debe tener tres capas de defensa<\/strong>: cifrado de contenidos para que los rastreadores no puedan obtener datos efectivos, reconocimiento de comportamientos para distinguir con precisi\u00f3n entre humanos y m\u00e1quinas y, por \u00faltimo, con mecanismos de defensa din\u00e1micos para que el coste de los rastreadores sea alto para dudar de la vida. A continuaci\u00f3n voy a combinar la experiencia pr\u00e1ctica, hablar de c\u00f3mo operar.<\/p>\n Vamos a empezar con el problema de fuga de contenido m\u00e1s perjudicial. Muchas plataformas piensan que todo est\u00e1 bien con HTTPS, pero no s\u00e9 que el rastreador directamente en su nodo CDN para analizar el contenido. He visto el caso m\u00e1s extremo es una plataforma social API de retorno de datos JSON directamente por el rastreador de an\u00e1lisis por lotes, la cadena de relaciones de usuario se han subido limpio, la persona a cargo hasta que los competidores comenzaron a cavar con precisi\u00f3n la gente encontr\u00f3 algo mal.<\/p>\n No creas a los que dicen que \u201cla autenticaci\u00f3n Token es suficiente\u201d programa, Token fuga en el c\u00edrculo de rastreo ha sido durante mucho tiempo una tecnolog\u00eda est\u00e1ndar, la gente directamente descompilar su desembalaje APP, extracci\u00f3n de claves es tan simple como ir de compras en el supermercado. El sistema de telefon\u00eda m\u00f3vil Hook directa m\u00e1s despiadado, la memoria en tiempo de ejecuci\u00f3n Token est\u00e1n pescando a cabo.<\/p>\n El enfoque fiable esCifrado din\u00e1mico de contenidos<\/strong>. Podemos hacer una ofuscaci\u00f3n de datos en el borde del nodo CDN, como los campos de datos clave para la codificaci\u00f3n aleatoria, cada solicitud devuelve un nombre de campo diferente. Por ejemplo, el campo de ID de usuario puede ser llamado \u201duid\u201d, la pr\u00f3xima vez que se convertir\u00e1 en \u201dz3df9\u2033, por lo que el rastreador simplemente no puede establecer una resoluci\u00f3n fija reglas.<\/p>\n He probado esta soluci\u00f3n en CDN5, y sus nodos de computaci\u00f3n de borde admiten l\u00f3gica de procesamiento JavaScript personalizada que puede alterar din\u00e1micamente la estructura JSON antes de exportar los datos:<\/p>\n Rastreadores de obtener este tipo de datos es como quitar una caja ciega, cada vez que analizar las reglas tienen que volver a evaluar, lo que aumenta en gran medida el costo de la limpieza de datos. Intencionalmente se filtr\u00f3 una prueba de este tipo de interfaz, colocado all\u00ed durante una semana no fueron rastreando con \u00e9xito, pero el equipo de rastreo en el foro maldijo que esta interfaz rota todos los d\u00edas para cambiar la estructura.<\/p>\n Pero el cifrado no es suficiente, algunos rastreadores avanzados ejecutar\u00e1n JS directamente para restaurar los datos. As\u00ed que tambi\u00e9n tiene que ser emparejado conPerfiles de comportamiento<\/strong>. Este es un \u00e1mbito en el que CDN07 ha hecho un gran trabajo, ya que su motor de biocomportamiento capta m\u00e1s de 200 dimensiones de las caracter\u00edsticas operativas humanas.<\/p>\n Lo que m\u00e1s me impresiona es su capacidad para detectar la coincidencia de la curva de Bezier de los movimientos del rat\u00f3n: las personas reales que manejan el rat\u00f3n tendr\u00e1n una curva de aceleraci\u00f3n natural y una peque\u00f1a fluctuaci\u00f3n, mientras que la simulaci\u00f3n del movimiento de la trayectoria que hace el crawler es demasiado perfecta o demasiado aleatoria. Tambi\u00e9n pueden detectar la distribuci\u00f3n estad\u00edstica del tiempo de permanencia en la p\u00e1gina: el tiempo de navegaci\u00f3n de las personas reales se ajusta a una distribuci\u00f3n de ley de potencia, mientras que los rastreadores tienden a tener una periodicidad fija o una distribuci\u00f3n de Poisson de los intervalos de visita.<\/p>\n Este es el conjunto de reglas que hemos configurado en 08Host:<\/p>\n No subestimes estos detalles, he atrapado a varios rastreadores \u201cde gama alta\u201d con estas reglas. Un grupo que se hizo pasar por GoogleBot utiliz\u00f3 el modo Headless completo de Chrome, con un referer normal para cada solicitud, y lo pillaron porque sus movimientos de rat\u00f3n eran demasiado lineales -\u00bfc\u00f3mo puede una persona real moverse siempre en l\u00ednea perfectamente recta?<\/p>\n Cuando se trata de bloqueo de IP, la primera reacci\u00f3n de muchas personas es tirar del segmento IP negro. Pero ahora rastreadores est\u00e1n utilizando proveedor de servicios en la nube IP, hoy sellado Ali nube ma\u00f1ana con Tencent nube, puede sellar m\u00e1s? Lo que es m\u00e1s desagradable es que los que utilizan redes proxy residencial, IP son de banda ancha dom\u00e9stica real, sellando un usuario real puede ser herido por error.<\/p>\n Yo lo recomendar\u00eda ahora.Mecanismo de desaf\u00edo din\u00e1mico<\/strong>.. En lugar de bloquear directamente el tr\u00e1fico sospechoso, se colocan retos de validaci\u00f3n aleatorios. Por ejemplo, los usuarios normales reciben CAPTCHAs minimalistas (por ejemplo, tocar un objeto en una imagen), mientras que las sesiones sospechosas de ser crawlers se encuentran con retos mejorados:<\/p>\n No subestimes este reto de problema computacional, es pan comido para la gente de verdad, pero una pesadilla para los rastreadores distribuidos. Para coordinar cientos de nodos para resolver el problema de forma sincr\u00f3nica, la latencia explota directamente. Despu\u00e9s de desplegar esta soluci\u00f3n en CDN5, el tr\u00e1fico de rastreo se redujo en 82%, y la carga de la CPU cay\u00f3 directamente desde la l\u00ednea de alerta hasta el rango normal.<\/p>\n Algunos rastreadores est\u00e1n empezando a utilizar IA para descifrar CAPTCHAs, as\u00ed que es mejor actualizar tu banco de preguntas de desaf\u00edo con regularidad. Yo suelo preparar docenas de tipos de desaf\u00edo en rotaci\u00f3n aleatoria, que van desde c\u00e1lculos matem\u00e1ticos hasta preguntas de l\u00f3gica gr\u00e1fica, para que el equipo de rastreadores siempre est\u00e9 corriendo por el camino del crackeo.<\/p>\n Por \u00faltimo, los detalles de la protecci\u00f3n de las API. Muchas API de plataformas sociales est\u00e1n dise\u00f1adas para ser demasiado prescriptivas, por ejemplo, las interfaces de informaci\u00f3n al usuario deben ser Por cierto, la protecci\u00f3n de la API de CDN07 es m\u00e1s detallada, y puedes establecer el l\u00edmite de frecuencia para cada interfaz individualmente. Por ejemplo, la interfaz de la p\u00e1gina de inicio personal tiene un m\u00e1ximo de 60 solicitudes por minuto, mientras que la interfaz sensible, como la lista de amigos, est\u00e1 limitada a 5 solicitudes por minuto, por encima de las cuales los datos falsos se devuelven autom\u00e1ticamente de forma degradada.<\/p>\n El formato de devoluci\u00f3n de los datos tambi\u00e9n deber\u00eda jugar algunas malas pasadas. No devuelva siempre datos JSON completos, puede utilizar codificaci\u00f3n en trozos (chunked encoding), dividir los datos clave en varios paquetes para enviarlos e insertar paquetes basura en medio para interferir con el an\u00e1lisis sint\u00e1ctico del crawler. El usuario real no lo percibe, pero el parser del crawler se confunde directamente.<\/p>\n \u00bfQu\u00e9 es lo m\u00e1s dudoso de la protecci\u00f3n contra rastreadores? Que mata a usuarios reales por error. Por eso recomiendo encarecidamente que todas las reglas tengan unModelo de aprendizaje<\/strong>Periodo, primero observar sin intervenci\u00f3n, registrar el patr\u00f3n de tr\u00e1fico para establecer una l\u00ednea base.El Modo Inteligente de CDN5 funciona bien, aprendiendo el tr\u00e1fico normal durante una semana antes de generar autom\u00e1ticamente los umbrales de las reglas, lo que es mucho m\u00e1s preciso que la configuraci\u00f3n manual.<\/p>\n Por \u00faltimo, para dar una sugerencia real: no esperes que un conjunto de programas se coma todos los escenarios. Generalmente utilizo CDN5 para hacer la primera capa de limpieza de tr\u00e1fico, 08Host para el an\u00e1lisis de comportamiento, CDN07 protecci\u00f3n especial interfaz API. La combinaci\u00f3n de los tres uso costo mensual de m\u00e1s de unos pocos cientos, pero m\u00e1s rentable que la p\u00e9rdida causada por el rastreo de datos.<\/p>\n Anti-crawler naturaleza es un juego de costos, lo que queremos hacer es hacer que el costo de rastreo muy superior al valor de los datos. Ahora la plataforma de mi cliente es capturado una vez que los datos, el equipo de rastreo para invertir m\u00e1s de una docena de servidores de alto perfil + decenas de miles de costos de IP proxy por mes, y nos basamos en la programaci\u00f3n inteligente y cifrado din\u00e1mico, por lo que los chicos cavar datos que cavar bitcoin todav\u00eda est\u00e1 quemando dinero.<\/p>\n Recientemente, he descubierto que la comunidad de reptiles tambi\u00e9n ha empezado a implosionar, y algunos equipos han empezado a utilizar el aprendizaje por refuerzo para simular el comportamiento humano. Sin embargo, el Dao mide un palmo y el diablo tres metros, nuestro bando tambi\u00e9n se dedica a los modelos de aprendizaje profundo para detectar patrones an\u00f3malos. Se estima que esta guerra de ataque y defensa va a continuar, pero una cosa es cierta - los que piensan que colgar un WAF puede evitar que la plataforma de rastreo, tarde o temprano para convertirse en el m\u00e1s afectado por la fuga de datos.<\/p>","protected":false},"excerpt":{"rendered":" Recientemente, varios amigos que hacen plataformas sociales se quejaron a m\u00ed que su propia din\u00e1mica de usuario y el contenido fueron rastreados hasta el fondo, y el servidor fue bloqueado por los rastreadores de todos los d\u00edas. Un amigo incluso se ri\u00f3 amargamente y dijo: \u201cAhora leo los logs son PTSD, en cuanto veo el User-Agent con la palabra Python en \u00e9l, quiero desenchufar el cable de red\u201d. Crawler umbral de la tecnolog\u00eda es cada vez m\u00e1s baja en estos d\u00edas, escribir unas pocas l\u00edneas de script de Python se atreven a espigar los datos, por no hablar de los que se especializan en el tr\u00e1fico de datos del equipo, moviendo cientos de alojamiento en la nube IP ronda bombardeo. Firewall tradicional en los ojos de esas personas es s\u00f3lo como papel, confiando en una lista negra de IP para evitar que los rastreadores? Es como esperar que te toque la loter\u00eda. Con los a\u00f1os, he ayudado a muchas plataformas de medios sociales para hacer soluciones anti-crawling, la prueba real encontr\u00f3 que se basan puramente en la coincidencia de reglas simplemente no puede jugar los rastreadores modernos. Estos<\/p>","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"gallery","meta":{"_seopress_robots_primary_cat":"","_seopress_titles_title":"","_seopress_titles_desc":"","_seopress_robots_index":"","footnotes":""},"categories":[150],"tags":[],"collection":[],"class_list":["post-1048","post","type-post","status-publish","format-gallery","hentry","category-updates","post_format-post-format-gallery"],"_links":{"self":[{"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/posts\/1048","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/comments?post=1048"}],"version-history":[{"count":1,"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/posts\/1048\/revisions"}],"predecessor-version":[{"id":1077,"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/posts\/1048\/revisions\/1077"}],"wp:attachment":[{"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/media?parent=1048"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/categories?post=1048"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/tags?post=1048"},{"taxonomy":"collection","embeddable":true,"href":"https:\/\/www.ddosgj.com\/es\/wp-json\/wp\/v2\/collection?post=1048"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}\/api\/usuario\/{id}<\/code>el rastreador escribe un bucle para rastrear por lotes. Se recomienda dise\u00f1ar la ruta de la API de forma contraintuitiva, como ocultar el n\u00famero de versi\u00f3n en el encabezado y aleatorizar la ruta de la interfaz:<\/p>\n