Cómo los atacantes convierten las plataformas de IA de confianza en una superficie de ataque

A medida que las plataformas de IA se integran en los flujos de trabajo diarios, los atacantes han encontrado una nueva vía de entrada: las propias plataformas. El Centro de Operaciones de Seguridad (SOC) de Huntress señala que el mayor riesgo cotidiano proviene de actores de amenazas que abusan de las funciones de IA en las que la gente ya confía, en lugar de atacar directamente a las empresas o modelos de IA.

En los últimos nueve meses, Huntress ha rastreado incidentes en los que los atacantes han weaponizado contenido de IA compartible, mini aplicaciones públicas y anuncios patrocinados en buscadores para dirigirse a usuarios de IA y distribuir malware.

Funciones legítimas, secuestradas

Huntress ha observado que los actores de amenazas abusan de varias funciones reales de plataformas de IA, entre ellas:

Claude Artifacts: contenido que Claude genera y muestra en un panel de vista previa del chat, que los usuarios pueden publicar y compartir mediante un enlace público.
Enlaces claude.ai/share: URL compartibles que se crean cuando alguien publica una conversación de Claude; pueden aparecer en motores de búsqueda si se publican en lugares rastreables como foros o redes sociales.
Conversaciones de ChatGPT y Grok: conversaciones compartidas e indexables alojadas en chatgpt.com y grok.com que pueden posicionarse en búsquedas de solución de problemas.

Cada una de estas funciones se encuentra dentro de un límite de confianza. Los usuarios reconocen la plataforma, la marca y el contenido que la rodea, por lo que las instrucciones o descargas maliciosas parecen legítimas. Estas campañas a menudo solo duran horas o días antes de que el proveedor retire el contenido, pero es tiempo suficiente para engañar a las víctimas antes de ser detectadas.

¿Qué haría si sufriera un ataque de ransomware?

Sus archivos están cifrados, sus operaciones detenidas, un atacante ha puesto un precio y espera su respuesta. ¿Paga? ¿Negocia? ¿O ni siquiera entra en contacto? Elija su próximo movimiento en un incidente simulado de ransomware, construido con tácticas que Huntress ha visto usar contra empresas reales. Verá cómo se comportan los operadores de ransomware cuando creen que tienen el control y qué pasos puede dar para detectar un ataque antes de que se convierta en una negociación.

FakeAgent: malvertising a través de un Artifact de Claude

En julio, Huntress observó una campaña llamada FakeAgent que afectó a más de 29 organizaciones. Comenzó con un Artifact malicioso de Claude alojado en el dominio real claude.ai. Dado que los Artifacts públicos están pensados para demostraciones ligeras y reciben una verificación mínima por parte de Anthropic más allá de un aviso genérico, los atacantes crearon una convincente página falsa de descarga de Claude Desktop.

Las víctimas que buscaban en Bing la aplicación de escritorio de Claude llegaban a la página falsa y hacían clic en lo que parecía un enlace de descarga legítimo. En realidad, eran redirigidas a un dominio externo que entregaba el malware SectopRAT. Huntress reportó el Artifact y Anthropic lo eliminó el 22 de julio, pero los incidentes relacionados con el mismo dominio de redirección continuaron hasta agosto.

Una guía de instalación falsa escondida en claude.ai/share

En un incidente aparte, una víctima que buscaba en Google "Claude on Mac" hizo clic en un resultado patrocinado que llevaba a un enlace claude.ai/share que se hacía pasar por una guía de instalación de Apple Support. Como la página estaba alojada en el propio dominio de Anthropic, no presentaba las señales de alerta habituales: ni URL similar, ni advertencia de certificado.

La guía falsa indicaba a la víctima que pegara un comando curl en Terminal, lo que iniciaba una cadena de seis etapas que desplegaba el stealer MacSync. Este recolectaba cookies, credenciales, secretos del llavero, sesiones de Telegram y claves SSH y de la nube.

Envenenamiento de IA mediante ChatGPT y Grok

Un tercer patrón ataca los propios consejos de solución de problemas generados por IA. En diciembre, una búsqueda rutinaria de "clear disk space on macOS" mostró conversaciones de ChatGPT y Grok con alto posicionamiento que daban instrucciones al estilo ClickFix en lugar de soluciones reales.

Los atacantes habían creado las conversaciones, pulsado "compartir" para generar una URL pública en el dominio de confianza de la plataforma y utilizado envenenamiento SEO para llevar el enlace a lo más alto de los resultados de Google. Como los enlaces estaban en los dominios reales chatgpt.com y grok.com, las víctimas confiaron en el consejo y ejecutaron los comandos de Terminal sugeridos, lo que entregó el stealer AMOS.

Qué deben hacer los defensores

Ninguno de estos ataques vulneró la seguridad de las plataformas de IA. Todos explotaron la confianza que los usuarios depositan en marcas conocidas y dominios reales. Los defensores deben tratar la ejecución desde el portapapeles y la solución de problemas asistida por IA como riesgos de seguridad. Restrinjan la ejecución de scripts desde el portapapeles y apliquen listas de aplicaciones permitidas. Vigilen la creación de nuevas tareas programadas y cambios en exclusiones de antivirus, y capaciten a los usuarios para detectar señuelos al estilo ClickFix. Reporten rápidamente al proveedor de la plataforma cualquier contenido sospechoso alojado en IA.

Estas campañas suelen ser efímeras, pero un reporte rápido y controles por capas pueden reducir la ventana que los atacantes tienen para explotarlas. Si le interesa este tipo de tradecraft y explorar cómo los atacantes evolucionan sus tácticas, únase a nuestros expertos en Tradecraft Tuesday, donde lo desglosamos todo cada mes.

Patrocinado y escrito por Huntress Labs.