Reflexiones sobre la credibilidad de los test antivirus “subvencionados”

26 de noviembre de 2009

Recientemente, Symantec ha publicitado dos test realizados por lo que ellos denominan “el respetado e independiente Laboratorio Dennis Technology”. El primero es una comparación de Norton 2009 Antivirus y la beta de Microsoft Security Essentials (MSE), en el cual se concluye que Norton es muy superior al producto de Microsoft. El segundo es una comparativa de 10 productos antivirus (incluyendo avast! Home) para determinar cuál es el mejor en detectar 40 páginas web infectadas, siendo otra vez Norton el mejor (en su versión Internet Security). No hace falta decir más, estos informes y sus resultados son altamente sospechosos.

¿Por qué encargan las compañías antivirus estos test? Usualmente porque no pueden conseguir los resultados que ellos quieren de probadores independientes. ¿Por qué los laboratorios de pruebas hacen estos test? Porque cobran por ello. ¿Por qué las compañías antivirus no hacen sus propios test y publican sus resultados? Porque saben que nadie creería los resultados.

Los dos informes de los que hablábamos al principio de este post han tenido mucha cobertura tanto en los medios tradicionales como en los blogs. En algunos casos son descritos como “subvencionados por Symantec”, en otros como “independientes” sin mencionar el patrocinio de dicha empresa.

Vincent Steckler, CEO de avast!, se intrigó porque no había oído hablar nunca del Laboratorio Dennis Technology, a pesar de que en las notas de prensa que distribuyó Symantec era descrito como “independiente” y “respetado”. Sí que sabía de la existencia de otros como “West Coast Labs”, “AV-Comparatives”, y otros laboratorios que sí son “reputados” e “independientes”. Así que decidió investigar sobre ese laboratorio en Google… y no encontró nada (refiriéndonos al laboratorio en sí y no a los informes). Finalmente, lo encontró en la lista de miembros de la Organización de Estándares para las Pruebas de Anti-Malware (http://www.amtso.org/members.html), AMTSO, que es una organización de la que avast! y muchas otras compañías de seguridad son miembros.

Así pues, Vincent hizo click en el enlace que le aparecía, esperando ver la página web del Laboratorio Dennis Technology. Y aquí es a donde llegó:

Dennis Technology LabComo veis, el link a la web del Laboratorio Dennis Technology lleva a la página principal de un editor inglés de revistas enfocadas al género masculino. Las imágenes rotativas de dicha web muestran a Maxim (con una mujer semi-desnuda), Monkey (una mujer en la misma tesitura que la anterior, mas dos mujeres más besándose), Men’s fitness (esta vez un hombre con el torso al aire) y PC Pro (esta vez sin ningún hombre o mujer desnudos). Pero a pesar de toda esta llamativa información, no se encontraron datos relativos al Laboratorio en esa página web, ni tampoco sobre los dos informes promovidos por Symantec.

Evidentemente estamos haciendo algo de ironía sobre dicho Laboratorio, parece evidente que están asociados de alguna manera a PC Pro y son miembros de la AMTSO. Por lo tanto, disponen de ciertas credenciales. Pero el punto clave de este artículo es que los informes promovidos o subvencionados no son demasiado útiles: ¿cuándo fue la última vez que visteis un informe pagado que no sea positivo para la compañía que lo paga?

Leyendo el segundo informe, en el que se comparaban los 10 productos de seguridad, cuatro aspectos saltan a la vista:

1.- El informe nunca menciona que fue pagado por Symantec. Este aviso es usual en laboratorios que sean realmente respetados e independientes.

2.- El informe no revela cómo fueron seleccionados los 40 sitios web infectados. ¿Quizá porque fueron elegidos a sabiendas de que contenían infecciones que sólo eran detectadas por Symantec en esos momentos?

3.- El informe no explica cómo 40 sitios potencialmente infectados son representativos de las decenas de miles de páginas peligrosas que existen.

4.- El informe juega hasta extremos alarmantes para ocultar las debilidades de Symantec.

El informe fue mostrado a los técnicos que trabajan en los laboratorios de avast! y la tónica general fue de risas y bromas, en el sentido de que cualquier laboratorio podría montar un test en el que su antivirus fuera el único que detectara 40 posibles infecciones. Y esto no son sólo palabras, aquí tenéis 40 ejemplos de lo que decimos:

#01 #02 #03 #04 #05 #06 #07 #08 #09 #10
#11 #12 #13 #14 #15 #16 #17 #18 #19 #20
#21 #22 #23 #24 #25 #26 #27 #28 #29 #30
#31 #32 #33 #34 #35 #36 #37 #38 #39 #40

Dado que la nueva versión 5 de avast! está a la vuelta de la esquina, hemos estado pensando que necesitamos testearlo. Las opciones posibles son:

1.- Pagar al Laboratorio Dennis Technology para que nos haga el test (cosa harto difícil, dado que su web no contiene información acerca de cómo contratar sus servicios).

2.- Usar nuestro propio laboratorio, lo cual garantizaría unos resultados más que óptimos.

3.- Usar a Playboy para testear nuestro antivirus. Esta fue la elección generalizada de nuestra plantilla, que argumentó que vista la web del Laboratorio Dennis Technology está claro que hay una correlación entre fotografías de chicas desnudas y laboratorios reputados e independientes.

4.- Sólo esperar y dejar a los verdaderos laboratorios probar el producto y publicar los resultados.

Nosotros votamos por la opción 4. ¿Y vosotros?

El presente artículo es una traducción y adaptación de un post escrito por Vincent Steckler en el blog oficial de avast! en inglés.

Copyright © 2005-2020 Anti-Virus.es Todos los derechos reservados. Aviso legal - Avast y sus logos son marcas registradas de Avast Software, s.r.o.

licensemap-markerlaptop-phonemenu-circlecross-circlearrow-left-circlearrow-right-circlelayers linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram