Interpretación creativa de test por parte de algunas marcas de antivirus

4 de febrero de 2011

En 2009, Symantec contrató un anuncio de página completa en la revista PC Magazine, explicando a los lectores que como Norton tenía la mayor cantidad de actualizaciones de la base de datos de virus (222 por día), también tenía la mayor tasa de detección (97,9%) comparado con otros. En avast! nos gustó el anuncio por otra razón: nosotros teníamos sólo 1 actualización por día y quedamos segundos en tasas de detección. Podéis verlo en esta captura del anuncio en cuestión:

Norton_AdvertGuiados por la curiosidad, hemos echado un vistazo al test de AV-Comparatives.org y la sorpresa ha venido al ver que Norton usó a una dosis bastante alta de creatividad al interpretar los resultados del mismo, ya que ignoraron completamente a Avira y G-Data, los cuales puntuaron incluso mejor que Norton en tasas de detección.

Pensábamos que estos niveles de creatividad serían difíciles de superar, pero estábamos equivocados. Algunos de nuestros distribuidores nos han comentado estos documentos que provienen de Eset (creadores de NOD32 antivirus):

-          Eset vs. avast! Pro Antivirus
-          Eset vs. avast! Internet Security
-          Eset vs. avast! Exchange

Cada comparación empieza con una visión global de características, y, dado que las características mencionadas están basadas en “materiales de marketing ofrecidos por las marcas y disponibles online”, sumando que cada marca usa sus propias nomenclaturas para describir ciertos conceptos, podemos entender y aceptar algunas malinterpretaciones. Pero algunas de ellas son sumamente inadecuadas:

- Sí, avast! 4 Exchange Server usa detección heurística

- Sí, avast! tiene un sistema de envío de ejemplares (avast! CommunityIQ)

- Sí, avast! tiene un escáner rápido (Intelligent Scan) que incrementa la velocidad de los escaneos hasta un 80%

Mirad la web. Está aquí. Desde que salió avast! 5 hace más de un año.

Pero lo verdaderamente sorprendente vino al echar un vistazo a través de la lista de detección y los indicadores de rendimiento. Leyendo esto, cualquiera podría pensar que avast! no está a la altura. Pero la verdad es que estamos ante una interpretación claramente creativa de hechos. Seguid leyendo para entenderlo mejor…

Para empezar, todos los test que se mencionan y que en teoría prueban la superioridad de Eset están fechados en 2008 y 2009. Sin embargo, los productos que son comparados por Eset (avast! Pro y avast! Internet Security) fueron lanzados en 2010. Para probar que Eset tiene mejor ratio de velocidad de escaneo, se argumenta (!) un test de… ¡Windows 2008 Server Edition! ¡Realizado en 2008!

Para comprobar la carga al inicio, también se basan en un test de AV-Comparatives de octubre de 2008.

Y todavía se pone mejor. Cuando compruebas los test actuales, encontrarás un ratio de 33 falsos positivos para avast! en todos los tets de 2009. Pero el número real para Eset no es 9, como ellos muestran, sino 25. ¿Un error tipográfico, quizás?

Nuestro favorito es la documentación que “demuestra” que Eset es superior en detección heurística a avast!. Pero falla en mencionar los requisitos previos y los límites del test utilizado para este argumento. En pocas palabras, el test no mide el impacto de los bloqueadores por comportamiento, lo cual limita el valor final. Y si esto no fuera suficiente, al citar los antedichos test de 2008 y 2009 listan correctamente la puntuación de Eset, pero no así la de avast! que es incorrecta. ¿Otra vez un error tipográfico?

Así pues, vamos a echar un vistazo a los más relevantes test de 2010 y comprobemos cómo lo hace avast! contra los productos de Eset. Es necesario decir que estos test se refieren a avast! Free, enfrentando nuestra solución gratuita a otros productos que son de pago, incluyendo los de Eset.

Detección:

Agosto 2010:  On-Demand Test AV Comparatives.org
avast! Free Antivirus 5.0              99.3%
Nod32 Antivirus 4.2                       98.6%

Diciembre 2010:  VB100 Comparative Review on W7    (On-Demand /  On-Access)
avast! Free Antivirus 5.0              97.7%  /  98.2%
Nod32 Antivirus 4.2                      97.1%   /  97.5%

Detección heurística:

Como los datos de AV-Comparatives tienen los límites que hemos mencionado antes, podemos echar un vistazo a los test de detección proactiva realizados por Virus Bulletin (capacidad heurística de la aplicación = capacidad de detectar nuevas muestras de malware sin que éstas estén incluidas en las base de datos de virus del programa).

Diciembre 2010:  VB100 Comparative Review on W7  (Proactive Detection)
avast! Free Antivirus 5.0              80.65%
Nod32 Antivirus 4.2                       81.29%

av-comparatives-speed-testrobSpeed:
Agosto 2010:  AV Comparatives.org
avast! Free Antivirus 5.0              17 MB/s
Nod32 Antivirus 4.2                       10 MB/s

Diciembre 2010:  VB100 Comparative Review on W7
avast! Free Antivirus 5.0              28 MB/s
Nod32 Antivirus 4.2                       12 MB/s

Para que quede claro y sin dudas: los productos de Eset son excelentes y tienen un impresionante récord de máximas puntuaciones en varios test y premios. Pero en nuestra opinión, precisamente por todo esto, sería mejor que cesaran en sus “interpretaciones creativas” y usen los hechos de los que disponen sus productos, que son magníficos.

 

El presente artículo es una traducción y adaptación de un post escrito por Milos Korenko en el blog oficial de avast! en inglés.

Copyright © 2005-2020 Anti-Virus.es Todos los derechos reservados. Aviso legal - Avast y sus logos son marcas registradas de Avast Software, s.r.o.

licensemap-markerlaptop-phonemenu-circlecross-circlearrow-left-circlearrow-right-circlelayers linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram