Faire des tests de logiciel pour l’efficacité réelle des logiciels antivirus est très, très difficile. Idéalement, on déterminerait la façon dans laquelle ils gèrent des sites et applications malicieuses dans la nature quand on les affronte exactement comme un utilisateur. Bien sûr, afin de noter le test, on aurait besoin de la capacité d’identifier chaque objet malicieux, même les attaques zero-day. Et si on pouvait faire ça, on cesserait de faire des tests et on commencerait à vendre son propre antivirus. Aussi, on n’aurait aucun moyen de comparer directement des produits multiples, car les sites malicieux diversifier leur comportement pour éviter la détection.
Les experts d’antivirus à Dennis Technology Labs ont créé une méthodologie qui s’approche du scénario réel. Ils téléchargent le contenu entier de chaque site malicieux qu’ils trouvent et utilisent un système de reproduction pour délivrer les dangers exactement pareils à chaque produit auquel ils font les tests de logiciel. Dans les résultats constatées les plus récentes, quelques produits qui ont raté dans le dernier rapport trimestriel ont remonté de manière impressionnante.
Les « Comeback Kids »
Dennis Labs certifie ses produits antivirus à 5 niveaux, AAA, AA, A, B, et C. Dans le test dernier, McAfee n’a même pas atteint la certification niveau-C, à cause de des tas de faux positifs. Trend Micro a gagné un B cette fois-là. Cette fois-ci, ils ont tous deux gagné la certification AA. C’est un redressement impressif, particulièrement pour McAfee.
Comme beaucoup de laboratoires indépendants, Dennis Labs utilise la technologie antivirus de Microsoft comme point de comparaison. N’importe quel produit qui ne peut pas faire mieux que la protection intégrée de Windows ne mérite pas de la considération. Si Microsoft avait été dans la course, il aurait raté de recevoir aucune certification, même que la dernière fois. Sur 300 points possibles pour la protection, il a gagné un 73 négatif.
Comment atteint-on un score négatif? Un antivirus gagne trois points s’il empêche complètement l’attaque du programme malveillant, deux points s’il neutralise le programme malveillant et supprime toutes les traces hasardeuses, et un point s’il neutralise au moins le programme malveillant. Cependant, si le programme malveillant réussit à compromettre le système de test, l’antivirus perd cinq points. Avec 100 échantillons, les scores possibles sont dans la gamme de 300 à 500 négatif.
Ne me bloque pas, mon pote!
En plus de faire des tests pour déterminer la capacité de chaque produit à bloquer des programmes malveillants, les testeurs vérifient pour s’assurer qu’il n’empêche pas des logiciels légitimés. Ils utilisent un système d’importance détaillé qui prend en compte la prévalence de chaque application légitimé et le traitement précis qu’il a reçu de l’antivirus. Par exemple, identifier une application comme « suspicieuse » et demander à l’utilisateur de faire une décision n’est pas sanctionné aussi extrêmement que mettre l’application activement en quarantaine comme programme malveillant.
Trend Micro a perdu des points ici, car il a bloqué six programmes valables sans une telle interaction de l’utilisateur. Kaspersky, Avira, et plusieurs d’autre n’ont rien bloqué. Les scores possibles dans cette partie du test sont dans la gamme de 740 à 740 négatif.
Avancer
Ce qui commence avec ce rapport, c’est que Dennis Labs a commencé à ajouter un « guest program » à la liste régulière de programmes. Cette fois, c’était Avira. Ils refusent de dire lequel se trouve comme invité dans le test du trimestre actuel, sauf que c’est « un de ces produits petits qui reçoivent beaucoup de bonne publicité ». Ça promet d’être intéressant.
Le score total de chaque produit s’obtient en sommant le score de protection et le score de faux positives. J’ai mentionné à Simon Edwards, Directeur Technique, que tout ça semble d’accorder de l’importance excessive aux faux positives, compte tenu du fait qu’un produit peut gagner 740 points pour aucun faux positif mais seulement 300 pour la protection parfaite. Un antivirus qui agit peu gagnerait une totale de 240 points tandis qu’un antivirus draconien qui a tout bloqué gagnerait un score de 440 négatif.
Edwards était d’accord que ce semble être un peu déséquilibré. Il est envisageable que le rapport du prochain trimestre puisse utiliser un système de notation plus équilibré. J’ai hâte de le voir.