防毒軟體測殼大亂鬥 結果公佈!

2008-01-27 15:02:05 / 個人分類：Security

引言 :
首先感謝下列各位的熱心幫助
a750828, andy, couldsst, Integear, Proll, shisin, SPeter, uegajde, 小韋, 無言啦
如沒有他們, 這次測試一定不會如此順利

測試模式 :
這次測試以32款殼(包括 : 商業用及免殺用)測了30款防毒軟體
測試樣本5個, 當中3個含惡意程式 (a,b,c), 2個是正常檔案 (d,e)
分別有兩種測試模式 (1)預設設定 及 (2)最大設定
預設設定 : 防毒軟體的預設設定
最大設定 : 所有影響防毒軟體掃瞄的設定皆調較到最大

圖表 :
防毒軟體分別以最大設定及預設設定偵測樣本a, 圖示為最大設定及預設設的偵測率及預設設定的解殼率


防毒軟體分別以最大設定及預設設定偵測樣本b, 圖示為最大設定及預設設的偵測率及預設設定的解殼率


防毒軟體分別以最大設定及預設設定偵測樣本c, 圖示為最大設定及預設設的偵測率及預設設定的解殼率


防毒軟體分別以最大設定及預設設定偵測樣本d, 圖示為最大設定及預設設的誤報率


防毒軟體分別以最大設定及預設設定偵測樣本e, 圖示為最大設定及預設設的誤報率


結果 :
防毒軟體名稱解殼名次
VBA321
Dr.Web2
F-Secure3
Kaspersky 73
Avast!5
Kaspersky 85
Symantec Norton7
江民8
Bitdefender9
金山10
防毒軟體名稱誤報名次
CA Anti-Virus1
Eset NOD321
Panda1
FortiClient4
ArcaVir5
Trend Micro6
VBA326
Avira AntiVir8
McAfee8
Symantec Norton8
測試的限制 :
由於這次測試中, 樣本比較少而且不少防毒軟體未能偵測原始檔, 難以準確顯示出各防毒軟體的解殼能力

簡評 :
小弟不可能對全部軟體皆作出簡評, 故只揀選較多人使用的及明顯問題的防毒軟體, 簡評只局限這次測試
Avast! : 解殼率不錯
Avira AntiVir : 解殼率一般, 最大設定的誤報率 (主要是報殼)亦不算嚴重
Bitdefender : 解殼率高, 是因為BHAVE的關係
Dr.Web : 解殼率不錯
Eset NOD32 :  解殼率高, 可惜處理上報的速度慢, 誤報率低
F-Secure, Kaspersky 7 : 解殼率不錯
Kaspersky 8 : 新增偵測殼的功能, 誤報率 (主要是報殼)因此上升
Microsoft Live OneCare : 解殼率不錯, 對每種病毒有一定程度的研究, 加殼後會報"Gen"
VBA32 : 解殼率好, 雖然(應該)是包括Kaspersky 的特徵庫, 但解殼率卻較Kaspersky 的高
瑞星 : 解殼率不錯, 但未如中國論壇所說的那麼高

FortiClient : 最大設定的誤報率 (主要是報殼)嚴重
F-Prot : 最大設定的報殼程度高
Ikarus : 偵測率極高, 但明顯不是解殼而成, 取特徵碼有問題, 導致誤報率極嚴重
Sophos : 最大設定的報殼程度高



PS. 遲了這樣多才公佈, 小弟各向位更萬二的的道歉
PS2. 如需轉貼, 請註明轉載至AVPClub及列出感謝名單

[ 本帖最後由 000110 於 2008-1-27 14:16 編輯 ]

防毒軟體報的名稱 (預設設定).pdf
(2008-01-27 14:14:15, Size: 110 kB, Downloads: 10)


防毒軟體報的名稱 (最大設定).pdf
(2008-01-27 14:14:15, Size: 119 kB, Downloads: 5)


論壇模式 推薦 收藏 等級(0) 編輯 管理 查看(9498) 評論(87)

TAG: Security

shisin發佈於2008-02-05 09:16:54

QUOTE:

原帖由 integear 於 2008-2-5 08:48 發表


"c.exe"還沒入庫嗎 ?
bc二個都有上報囉... 回家再試試..
integear發佈於2008-02-05 08:48:57

QUOTE:

原帖由 couldsst 於 2008-2-4 21:41 發表
今天發現ESET終於入庫B檔了
前後等約2個禮拜~~~這算是過年前的禮物嗎~~
"c.exe"還沒入庫嗎 ?
白紙一張~~ couldsst 發佈於2008-02-04 21:41:18
今天發現ESET終於入庫B檔了
前後等約2個禮拜~~~這算是過年前的禮物嗎~~
avavav發佈於2008-02-03 17:35:16

QUOTE:

原帖由 couldsst 於 2008-2-1 13:04 發表
補充後續報導~~~
小a 補測原始檔a 測28個解殼20
Dr.Web 補測原始檔c 測27個解殼21
還有其他的.........等全部齊全後在附上最終測式表
希望 ESET 跟 X星 上報會理人~~~
ESET啊，大規模肆虐的惡意軟體，在使用者上報前，官方早會處理，且反應速度不會輸給卡巴。
小規模傳播的惡意軟體，ESET能以probably unknown NewHeur_PE virus偵測到就很看得起該惡意軟體了。

每個惡意軟體都入庫的話，病毒庫會無限制變大，尤其是zoo virus，要多少有多少，
每隻都入庫的效果，只有在所謂的海量測試才看得到成績。實際使用上，海量測試前幾名的使用者照樣會中毒，
擺明要突破防毒軟體封鎖的惡意軟體才不管你的測試結果，這時，HIPS可能真的是最終防線。
白紙一張~~ couldsst 發佈於2008-02-02 22:35:37
最終版~~~
感謝 uegajde 大 幫忙
Dr.Web  (Max) 補測原先C檔原先不能偵測
McAfee  (Max) 補測A、C檔原先所不能偵測
金山 (Max) 補測原先C檔原先不能偵測
Avast! (Max) 補測原先A檔原先不能偵測
PC Tools  (Max) 補測原先A、B檔原先不能偵測
ClamWin  (Max) 補測原先A、B、C檔原先不能偵測
AVG Anti-Spyware 追加測試
AVG Anti-Malware 追加測試
VirusBuster 追加測試
ArcaVir 2008 追加測試

該上報的也都上報了~~~等了兩週還是遺憾還是有防軟不能完全偵測的地方
但也做最大的能力做後續動作

其中比較有趣的是 andy 說AVG部分
沒想到 AVG AS 可能比 AVG AV 好

完整表 final.rar
(2008-02-02 22:35:37, Size: 37.2 kB, Downloads: 7)

白紙一張~~ couldsst 發佈於2008-02-01 13:04:40
補充後續報導~~~
小a 補測原始檔a 測28個解殼20
Dr.Web 補測原始檔c 測27個解殼21
還有其他的.........等全部齊全後在附上最終測式表
希望 ESET 跟 X星 上報會理人~~~
lole發佈於2008-01-31 00:07:08
也發給我吧
野戰部落 ㄚ一 發佈於2008-01-30 19:04:23
對了！
樣本誰可以發一份給我？
我現在有時間可以測試了
野戰部落 ㄚ一 發佈於2008-01-30 19:02:36

QUOTE:

原帖由 integear 於 2008-1-30 16:27 發表


原來如此,難道Kaspersky想要重新整頓一翻 !?

不過這種偵測不到就報殼的方式,往後可能造成一堆誤判,新手使用8版可能會被這樣的警告嚇死(例如:楓之谷報殼事件) .
你可以選擇不報殼
而不會像AntiVir一樣把報殼當作啟發的一部份
integear發佈於2008-01-30 16:27:23

QUOTE:

原帖由 000110 於 2008-1-30 14:42 發表


其實8版並不是修正了7版的"怪報", 而是8版病毒資料庫有缺憾

8版所用的更新伺服器與7版不同, 而且是用全新的病毒資料庫

所以缺憾有2
(1) 8版病毒資料庫是不完全
(2) 8版病毒資料庫更新速度慢1-3日

因此 ...
原來如此,難道Kaspersky想要重新整頓一翻 !?

不過這種偵測不到就報殼的方式,往後可能造成一堆誤判,新手使用8版可能會被這樣的警告嚇死(例如:楓之谷報殼事件) .
000110的個人空間 000110 發佈於2008-01-30 14:42:48

QUOTE:

原帖由 integear 於 2008-1-30 13:27 發表
這次Kaspersky的結果怎麼沒看到人討論 .

Kaspersky8版修正了7版一些"怪報"的問題,像是這次測試當中7版報的:"Packed.Win32.Morphine.a (modification)",8版就沒報 .

另外7版偵測a的時候報:"Trojan-PSW.Wi ...
其實8版並不是修正了7版的"怪報", 而是8版病毒資料庫有缺憾

8版所用的更新伺服器與7版不同, 而且是用全新的病毒資料庫

所以缺憾有2
(1) 8版病毒資料庫是不完全
(2) 8版病毒資料庫更新速度慢1-3日

因此卡巴7報"Trojan-PSW.Win32.OnLineGames.pik"(準確的)
而8版報"Trojan-PSW.Win32.OnLineGames.ode"

另外, 由於8版病毒資料庫不完全, 所以8版是無法偵測c.exe這個原始樣本

脫殼->能否偵測->不能(報殼) 是因為要偵測未知的惡意程式
聽說正式版會內置白名單
integear發佈於2008-01-30 13:27:00
這次Kaspersky的結果怎麼沒看到人討論 .

Kaspersky8版修正了7版一些"怪報"的問題,像是這次測試當中7版報的:"Packed.Win32.Morphine.a (modification)",8版就沒報 .

另外7版偵測a的時候報:"Trojan-PSW.Win32.OnLineGames.pik",8版卻又報"Trojan-PSW.Win32.OnLineGames.ode" .

不過不了解為何Kaspersky後來要加入報殼偵測 !?

發現8版對"DAStub"明明可以脫殼,加入報殼之後變成了:脫殼->能否偵測->能(報正常名稱),這種偵測方式真特殊 .
                                                                                                                             ->不能(報殼)

[ 本帖最後由 integear 於 2008-1-30 13:28 編輯 ]
shisin發佈於2008-01-30 08:59:27
昨天晚上測了ESET 仍然無法掃出b、c檔，還要再等入庫吧。
000110的個人空間 000110 發佈於2008-01-30 00:00:01
回復 75# 的帖子
小弟把c.exe的其中一個加殼檔上報了卡巴
並查問了原因
希望到時回覆信上會有解釋
白紙一張~~ couldsst 發佈於2008-01-29 22:35:54
回復 74# 的帖子
C檔 母體是可以偵測的
但為什麼真的也不知道  
卡巴在C檔也是滑下去了
大蜘蛛剛剛可以測C檔
但卻沒有像卡巴的情況發生  
真的是很滿頭疑問
天氣預報發佈於2008-01-29 22:20:23
我自己測NIS 2008
a和b都是剩10個
可是c大概剩20幾個
不知道是c有殼還是母體掃不到
SPeter發佈於2008-01-29 20:39:31
回復 72# 的帖子
感謝。

我一直對數據中會有負號感到很疑惑……平常太少用EXCEL了……
白紙一張~~ couldsst 發佈於2008-01-29 18:05:42
昨天有下載的人請在下載一次吧!!
一直看怪怪小紅傘偵測率有這麼低........才發現小紅傘那的函數弄錯了~~~

完整表 v2.rar
(2008-01-29 18:05:42, Size: 32.8 kB, Downloads: 12)

integear發佈於2008-01-29 14:29:05

QUOTE:

原帖由 couldsst 於 2008-1-29 14:26 發表
暈.............原來是這樣
不熟悉這上報方式................
一開始也不知道,想說怎麼會這麼像Kaspersky報的方式,也不是ESET會報的名稱 .

後來上傳VT才曉得他們有先"過濾" .
白紙一張~~ couldsst 發佈於2008-01-29 14:26:21
回復 69# 的帖子
暈.............原來是這樣
不熟悉這上報方式................
我來說兩句

(可選)

Open Toolbar