發新話題
打印

[原創] 水星解密——萬流歸宗,反病毒產品測試認證

本主題由 integear 於 2008-9-24 18:55 設置高亮

水星解密——萬流歸宗,反病毒產品測試認證

全世界知名的擁有自主引擎知識產權的反病毒安全廠商至少有數十家,而OEM別家引擎自行設計UI並改良的更不在少數,在日常的軟件使用過程中,普通用戶很難瞭解哪些產品能為自己提供更好的保護,能夠更好的適應自己的要求,因此,反病毒產品測試認證應運而生,下面將由番茄我為大家詳細的介紹國內外各反病毒產品測評認證機構及其他們的大致測評認證方法。


基於海量樣本的測評機構:
代表有:AV-Comparatives.org  和AV-Test GmbH

AV-Test GmbH 與AV-Comparatives.org 使用容量超過100萬的海量樣本集。兩家機構並不限制樣本集的組成,並不斷的加入功能完好的新樣本。這些樣本包括在實際生活中已經遇到或將可能遇到的各種有害程序。

AV-Comparatives.org

AVC測試由Andreas Clementi和他的團隊完成。AV-Comparatives.org自2004 年起開始在網站上向公眾公開測試結果。他們的測試有著嚴格的測試規則和測試間期(每三個月),測試對象為16-18 款家庭版反病毒產品,這些產品運行於最常見的系統下,樣本檢測率均高於85%。該機構的網站免費提供關於測試方法與測試細節的報告。 AV-Comparatives.org 除了進行大量有害程序的按需掃瞄測試(on-demand)也進行對新型或未知的有害程序的前瞻性測試 、多態病毒測試、誤報測試、掃瞄速度測試,等等。
AV-Comparatives.org  有時還會在測試結束後不久,發佈其他專項測試的結果。AV-Comparatives頒發的獎項分三級:Standard ,Advanced 和 Advanced+。

官方網站:http://www.av-comparatives.org

關於AV-Comparatives.org使用的樣本:
在2008年2月的on-demand掃瞄測試中,AV-Comparatives.org使用了超過168萬的樣本,具體的樣本構成詳見下圖:

而2007年8月的on-demand掃瞄測試中,AV-Comparatives.org使用了超過80萬的樣本,具體的樣本構成詳見下圖:

AVC每年舉行2次on-demand的海量測試,也就是說在最近的兩次掃瞄中間,AVC測試平臺的樣本在半年之內增加了87萬餘個,平均每個月增加約14萬樣本。



AV-Test GmbH   


這裡的測試由Andreas Marx 的團隊負責。AV-Test GmbH  從事反病毒產品(及防火牆等相關安全產品)的測試已有多年。AV-Test GmbH 的測試有固定的測試間期,測試結果由AV-Test 代表反病毒廠商或雜誌,公佈於包括網站、雜誌等諸多媒體。
AV-Test GmbH是全球最大的反病毒產品測試中心。在多個不同的平臺上對產品進行全面地測試,測試包括(但不限於)病毒爆發測試、壓縮/檔案測試、對海量病毒樣本的按需掃瞄與常駐防護測試、ItW 病毒測試、掃瞄速度測試、系統性能影響測試等。其測試方法公開,但需付費獲取。測試結果在流行的電腦雜誌上都可找到,但其網站目前不提供下載。
官方網站:http://www.av-test.de

關於AV-Test GmbH使用的樣本,大概可以從2008年年初的一次測試中一窺端倪:






==================================================================================================================



基於WildList 樣本集為主的測試

代表有 VirusBulletin和CheckVir

The WildList(流行病毒清單)(http://www.wildlist.org)包含了世界範圍內廣泛傳播的病毒。WildList  每週發佈一次,但通常會延誤幾個月,這就意味著反病毒廠商在病毒上榜之前有幾個月的時間來發現這些病毒。WildList主要包含病毒和蠕蟲,而沒有覆蓋現在經常發現而且威害嚴重的木馬和類似有害程序。The WildList Organization International隸屬於ICSA Labs,在下面的認證機構中也將提到。也就是說ICSA的反病毒產品認證採用的是自己下屬單位使用的樣本。




VirusBulletin


VB100 測試由John Hawes組織,隔月在不同的平臺上開展。所有參加測試的反病毒產品都會接受VB 病毒樣本的測試,其中主要樣本會出現在Wildlist(流行病毒列表)中。其他如多態病毒等測試用樣本,僅用於測試,而不會影響產品是否通過測試或是否可以獲得有名的VB100 獎項。VB100僅僅要求受測產品的按需掃瞄與常駐防護在不誤報VirusBulletin  無毒樣本的情況下檢測到全部ItW 病毒樣本或者錯殺任何一個wildlist中的樣本都不能通過

官方網站:http://www.virusbulletin.com




CheckVir


該測試由 Ferenc Leitold的團隊完成。CheckVir進行針對WildList(流行病毒列表)樣本的按需掃瞄和常駐掃瞄測試(其中大約 80%來自於最新的三個WildList,最多20%的病毒選自任意的WildList)。要獲得標準資格受測產品需檢測到測試使用的所有樣本,而要得到高級資格,產品還必須能修複被感染的文件。

官方網站:http://www.checkvir.com



==================================================================================================================



基於WildList 樣本的認證機構
代表的有ICSA  實驗室與西海岸實驗室


ICSA Labs


「ICSA  實驗室的反病毒產品認證項目與其分項測試標準,對待測產品是否包含相關組件或產品來清除非自我複制型有害程序沒有特殊要求,因此反病毒認證標準不要求處理有害或無害的監控軟件、廣告軟件、後門、木馬和其他的一些非自我複製程序。」受測產品(按需掃瞄和常駐掃瞄)必須檢測到來自WildList 的全部病毒樣本,和「Zoo」Sample  (實驗室樣本)中90%以上的樣本。不過沒人知道測試中使用的「Zoo」樣本數量到底有多少。ICSA  實驗室測試結果只列出成功通過測試的產品名單,網站沒有提供未通過測試產品和通過測試所需次數的相關信息。ICSA實驗室是Wildlist的上屬機構。

官方網站:http://www.icsalabs.com



西海岸實驗室


該認證由Chris Thomas團隊負責。西海岸實驗室(West Coast Labs)與ICSA實驗室一樣,是一個獨立的反病毒產品測試組織。「一個產品要通過一級反病毒認證,就必須能檢測到所有WildList 內的病毒。」「所有已申請一級反病毒測試的產品都會接受『In the Wild'列表內病毒的測試,測試用病毒均至少先於產品發佈前兩個月被記錄在WildList 中。」「對首次送檢的產品,西海岸實驗室將為其免費進行一次初檢,之後的所有測試將按約定好的費率收費。對於未通過測試產品的複檢同樣按約定費率收費。」「通過二級認證的產品必須在符合一級認證的條件下,能夠對所有已被流行病毒感染但尚可修複的文件進行修複。」「在流行的病毒中大約只有12 種病毒感染後的檔案是可修複的。」西海岸實驗室只會透露誰通過了測試,網站沒有列出測試失敗的產品,以及過關產品通過認證前重複送檢的次數。

官方網站:http://www.westcoastlabs.org


==================================================================================================================



由於反病毒軟件技術的發展已經惡意軟件的日益增多,如何更好的進行反病毒軟件的測試也是擺在測試機構和認證機構的一個難題。由眾多知名反病毒廠商組織並發起的反惡意軟件標準組織。該組織正在積極討論有關反病毒軟件測試的行業標準,並即將召開年會。該組織的會員由20餘家反病毒廠商和AVC,AV-test等測評機構組成。




網址:http://www.amtso.org/


==================================================================================================================


介紹完了以上的測評認證機構,小弟不才也介紹一下我的獨立反病毒測評實驗室。


PC Security Labs   PC安全實驗室

實驗室主頁為:http://www.pcsecuritylabs.net/index.php

與利用Wildlist作為樣本材料的測評認證機構相同的是我們也採用流行樣本庫,目的是為了更好的檢測反病毒軟件對流行樣本的查殺能力,但不同的是我們並不像WIldlist將木馬排除在樣本包之外,因為目前木馬已經成為威脅計算機安全的最大來源。此外我們的樣本都為可執行樣本,我們在虛擬機內均通過HIPS進行行為判斷,目前我們使用的HIPS為Malware Defender,而且我們採取一個變種一個樣本的原則,儘量做到以儘可能少的樣本涵蓋儘可能多的樣本來源。如果大家對本實驗室的測評有什麼意見,請直接發郵件到jeffrey@pcsecuritylabs.net聯繫我,或者直接到實驗室的論壇發表帖子:http://www.pcsecuritylabs.net/forum/index.php,番茄先謝謝各位。

PS  番茄=卡飯的Lanvin=PCSL的Jeffrey[:01:]


寫了這麼多,還順便給自己做了廣告,真不好意思,也非常感謝大家耐心的看完帖子。總之一句話,適合自己的才是最好的,請大家對測評結果不要過於認真,一切僅供參考,謝謝。

番茄於2008年8月20日淩晨



文章部分材料來自於AVC的Andreas ,在此表示感謝







感謝水星兄弟  蘋果、貝哥、好弟弟、暉哥、蝦米、葉子的支持[:14:]


[ 本帖最後由 ㄚ一 於 2008-8-20 22:52 編輯 ]
本帖最近評分記錄
  • integear 威望 +300 兩個字:精華 2008-8-21 17:00
  • integear 黃金 +300 兩個字:精華 2008-8-21 17:00

TOP

希望PCSL可以在國際上擁有自己的一片天空
並且跟AVC還有AV-TEST三強鼎立!
Lawliet's blog
Folding@home with GPGPU集中討論串,大家一起來努力朝著全球制霸的目標邁進!

TOP

值得鼓勵啊。

華語區就是缺乏一個有效度和精度的測試機構,導致很多廠商或用戶拿著雞毛當令劍。若是PC Security Labs能夠發展成具公信力的付費獨立測試機構(我一向推崇ISO認證的概念,想掛認證請做好準備並付錢,這樣才能持久並維持中立與公信),相信對改善整體資安觀念大有助益。
問題是,到底你要相信自己舊有的瘋狂理論,還是你那雙會說謊的眼睛?
∼艾倫•葛林斯潘,《THE AGE OF TURBULENCE》

「他看見了我的靈魂、我的恐懼、我的脆弱、我無能面對一個我假裝很在行的世界,而我對這個世界一無所知。」
∼保羅•科爾賀,《愛的十一分鐘》(Onze Minutos)

TOP

引用:
原帖由 SPeter 於 2008-8-20 23:54 發表
值得鼓勵啊。

華語區就是缺乏一個有效度和精度的測試機構,導致很多廠商或用戶拿著雞毛當令劍。若是PC Security Labs能夠發展成具公信力的付費獨立測試機構(我一向推崇ISO認證的概念,想掛認證請做好準備並付錢, ...
谢谢您的意见,由于我们刚起步,有些方面还需要磨合和完善,暂时我们没有收费测试的计划,但是认证体系我们将会考虑您的意见,具体的方案我们内部还要讨论一下。
再次感谢您的意见,也希望您继续关注我们的实验室的最新进展。
祝好

TOP

實驗室的測試成果要得到大家的認同,還有一段蠻長的路要走,加油

台灣交大也做過一些資訊安全產品的測試,只是有些產品沒有跟廠商做好「溝通」
所以測試出來的結果也不被一些廠商認同,廠商會質疑他們的測試方法和標準流程

我比較好奇的是,你們在測試前會先跟原廠的技術人員「溝通」嗎?
例如調整參數、設定、最新版本、測試版等, 還是獨自埋頭苦幹呢

TOP

引用:
原帖由 shenhwang 於 2008-8-21 09:41 發表
實驗室的測試成果要得到大家的認同,還有一段蠻長的路要走,加油

台灣交大也做過一些資訊安全產品的測試,只是有些產品沒有跟廠商做好「溝通」
所以測試出來的結果也不被一些廠商認同,廠商會質疑他們的測試方法 ...
实验室在现阶段采用的是邀请的方式,也就是说现在参加测试的五家反病毒厂商卡巴斯基、趋势、IKSRUS、金山、费尔都已经授权我们进行测试并发布结果。
关于测试方法,我们在联系的时候已经把我们的测试方法发给厂商,所以目前参加测试的厂商是基本认可我们的测试方法的,当然我们的测试方法将根据反病毒技术的发展不断更新,使之更合理和公正。
再次谢谢您的意见和建议,如果有后续的问题也请您继续回帖,我会在第一时间回复,或者您也可以登陆我的论坛或者给我发邮件。
祝好

TOP

建議另架中文網站 這樣一些英文程度較差但又想研究的可以互相交流一下
以技術為本 造福他人 為眾人所幸
以技術為惡 危害他人 為眾人所指
解決問題的順序:
1. 先檢查硬體(有沒有超頻/記憶體模組/周邊網路設備的好壞等等)
2. 檢查 系統的登錄檔,尤其是 Run 的內容
3. 不要急,先翻書瞭解相關問題的原理,再設法解決
4. 利用關鍵字,在 論壇內 或 www.google.com.tw 搜尋是否有人已經遇過類似的問題
5. 都沒有辦法了,再在討論區以明確的標題來發問

TOP

引用:
原帖由 upside 於 2008-8-21 18:33 發表
建議另架中文網站 這樣一些英文程度較差但又想研究的可以互相交流一下
因为是这样
我们的报告是有3个版本的
英 中繁体和简体,所以对于普通用户,一般他们对结果更感兴趣,所以我们就没有在主站建立中文的版本。
原来我们是有中文的站点的,但是确实没有什么流量,应该来说暂时大家可以看我们的报告就可以,当然如果大家觉得建一个站有必要,我们可以考虑建立一个论坛或者中文的blog,挂在英文的主站下面就可以,这个技术上不是难题,也很好操作。
再次感谢您的建议,我会及时回复并采纳吸收大家的意见和建议,谢谢

TOP

你們取消中文版後
感到有一些不方便

[ 本帖最後由 abcforever 於 2008-8-23 15:40 編輯 ]

TOP

發新話題