本文通過分析web指紋的檢測(cè)對(duì)象、檢測(cè)方法、檢測(cè)原理及常用工具，設(shè)計(jì)了一個(gè)簡(jiǎn)易的指紋搜集腳本來協(xié)助發(fā)現(xiàn)新指紋，并提取了多個(gè)開源指紋識(shí)別工具的規(guī)則庫(kù)并進(jìn)行了規(guī)則重組，開發(fā)了一個(gè)簡(jiǎn)單快捷的指紋識(shí)別小工具TideFinger，并實(shí)現(xiàn)了一套在線的指紋識(shí)別平臺(tái)“潮汐指紋”，希望能為大家?guī)矸奖恪?/p>
前言
在web滲透過程中，Web指紋識(shí)別是信息收集環(huán)節(jié)中一個(gè)比較重要的步驟，通過一些開源的工具、平臺(tái)或者手工檢測(cè)CMS系統(tǒng)是公開的CMS程序還是二次開發(fā)至關(guān)重要，能準(zhǔn)確的獲取CMS類型、Web服務(wù)組件類型及版本信息可以幫助安全工程師快速有效的去驗(yàn)證已知漏洞。
在指紋識(shí)別的學(xué)習(xí)過程中，借用了很多開源的工具和指紋庫(kù)，如fofa、WhatWeb、w11scan、WebEye、御劍等等，在此感謝各種大佬的無私奉獻(xiàn)。本文并無技術(shù)上的創(chuàng)新和突破，只是把一些指紋庫(kù)重新進(jìn)行了整合和梳理并進(jìn)行了開源。
tips：文末有福利我們將搜集到的一些指紋工具、指紋庫(kù)等資料打包供大家下載
常見指紋檢測(cè)的對(duì)象
1、CMS信息：比如大漢CMS、織夢(mèng)、帝國(guó)CMS、phpcms、ecshop等；
2、前端技術(shù)：比如HTML5、jquery、bootstrap、pure、ace等；
3、Web服務(wù)器：比如Apache、lighttpd, Nginx, IIS等；
4、應(yīng)用服務(wù)器：比如Tomcat、Jboss、weblogic、websphere等；
5、開發(fā)語(yǔ)言：比如PHP、Java、Ruby、Python、C#等；
6、操作系統(tǒng)信息：比如linux、win2k8、win7、kali、centos等；
7、CDN信息：是否使用CDN，如cloudflare、360cdn、365cyd、yunjiasu等；
8、WAF信息：是否使用waf，如Topsec、Jiasule、Yundun等；
9、IP及域名信息：IP和域名注冊(cè)信息、服務(wù)商信息等；
10、端口信息：有些軟件或平臺(tái)還會(huì)探測(cè)服務(wù)器開放的常見端口。
常見的指紋識(shí)別方式
1、特定文件的MD5
一些網(wǎng)站的特定圖片文件、js文件、CSS等靜態(tài)文件，如favicon.ico、css、logo.ico、js等文件一般不會(huì)修改，通過爬蟲對(duì)這些文件進(jìn)行抓取并比對(duì)md5值，如果和規(guī)則庫(kù)中的Md5一致則說明是同一CMS。這種方式速度比較快，誤報(bào)率相對(duì)低一些，但也不排除有些二次開發(fā)的CMS會(huì)修改這些文件。
2、正常頁(yè)面或錯(cuò)誤網(wǎng)頁(yè)中包含的關(guān)鍵字
先訪問首頁(yè)或特定頁(yè)面如robots.txt等，通過正則的方式去匹配某些關(guān)鍵字，如Powered by Discuz、dedecms等。
或者可以構(gòu)造錯(cuò)誤頁(yè)面，根據(jù)報(bào)錯(cuò)信息來判斷使用的CMS或者中間件信息，比較常見的如tomcat的報(bào)錯(cuò)頁(yè)面。
3、請(qǐng)求頭信息的關(guān)鍵字匹配
根據(jù)網(wǎng)站response返回頭信息進(jìn)行關(guān)鍵字匹配，whatweb和Wappalyzer就是通過banner信息來快速識(shí)別指紋，之前fofa的web指紋庫(kù)很多都是使用的這種方法，效率非常高，基本請(qǐng)求一次就可以，但搜集這些規(guī)則可能會(huì)耗時(shí)很長(zhǎng)。而且這些banner信息有些很容易被改掉。
根據(jù)response header一般有以下幾種識(shí)別方式：
- 查看http響應(yīng)報(bào)頭的X-Powered-By字段來識(shí)別；
- 根據(jù)Cookies來進(jìn)行判斷，比如一些waf會(huì)在返回頭中包含一些信息，如360wzws、Safedog、yunsuo等；
- 根據(jù)header中的Server信息來判斷，如DVRDVS-Webs、yunjiasu-nginx、Mod_Security、nginx-wallarm等；
- 根據(jù)WWW-Authenticate進(jìn)行判斷，一些路由交換設(shè)備可能存在這個(gè)字段，如NETCORE、huawei、h3c等設(shè)備。
4、部分URL中包含的關(guān)鍵字，比如wp-includes、dede等URL關(guān)鍵特征
通過規(guī)則庫(kù)去探測(cè)是否有相應(yīng)目錄，或者根據(jù)爬蟲結(jié)果對(duì)鏈接url進(jìn)行分析，或者對(duì)robots.txt文件中目錄進(jìn)行檢測(cè)等等方式，通過url地址來判別是否使用了某CMS，比如wordpress默認(rèn)存在wp-includes和wp-admin目錄，織夢(mèng)默認(rèn)管理后臺(tái)為dede目錄，solr平臺(tái)可能使用/solr目錄，weblogic可能使用wls-wsat目錄等。
5、開發(fā)語(yǔ)言的識(shí)別
web開發(fā)語(yǔ)言一般常見的有PHP、jsp、aspx、asp等，常見的識(shí)別方式有：
- 通過爬蟲獲取動(dòng)態(tài)鏈接進(jìn)行直接判斷是比較簡(jiǎn)便的方法。
asp判別規(guī)則如下<a[^>]*?href=(‘|”)[^http][^>]*?.asp(?|#|)，其他語(yǔ)言可替換相應(yīng)asp即可。
- 通過X-Powered-By進(jìn)行識(shí)別
比較常見的有X-Powered-By: ASP.NET或者X-Powered-By: PHP/7.1.8
- 通過Set-Cookie進(jìn)行識(shí)別
這種方法比較常見也很快捷，比如Set-Cookie中包含PHPSSIONID說明是php、包含JSESSIONID說明是java、包含ASP.NET_SessionId說明是aspx等。
指紋識(shí)別工具
在研究指紋識(shí)別技術(shù)的時(shí)候，不可避免的分析了大量指紋識(shí)別工具，在此將自己用過的幾個(gè)感覺不錯(cuò)的工具和平臺(tái)介紹一下。
國(guó)外指紋識(shí)別工具
WhatWeb（推薦指數(shù)★★★★★）
下載地址：https://github.com/urbanadventurer/WhatWeb
Whatweb 是一個(gè)開源的網(wǎng)站指紋識(shí)別軟件，擁有超過1700+個(gè)插件，它能識(shí)別的指紋包括 cms 類型、博客平臺(tái)、網(wǎng)站流量分析軟件、javascript 庫(kù)、網(wǎng)站服務(wù)器，還可以識(shí)別版本號(hào)、郵箱地址、賬戶 id、web 框架模塊等。
Whatweb 是基于 ruby 語(yǔ)言開發(fā)，因此可以安裝在具備 ruby 環(huán)境的系統(tǒng)中，目前支持 Windows/Mac OSX/Linux。 在debian/ubuntu系統(tǒng)下可直接apt-get install whatweb,kali已自帶。
使用非常簡(jiǎn)單whatweb http://www.tidesec.net即可，也可以加參數(shù)-v顯示更詳細(xì)的信息。
Wapplyzer（推薦指數(shù)★★★★）
下載地址：https://github.com/AliasIO/Wappalyzer
Wappalyzer 是一個(gè)實(shí)用的跨平臺(tái)網(wǎng)站分析工具，用于幫助開發(fā)者、研究者和設(shè)計(jì)者檢測(cè)網(wǎng)頁(yè)使用的是什么技術(shù)，以更好地衡量自己的項(xiàng)目中該使用什么技術(shù)。Wappalyzer 的功能和 BuiltWith 類似，可檢測(cè)內(nèi)容管理系統(tǒng)（CMS），電子商務(wù)平臺(tái)、Web服務(wù)器、JavaScript框架和已安裝的分析工具等。
Wappalyzer可直接在chrome或火狐的應(yīng)用商城直接搜索安裝。Wappalyzer目前可識(shí)別65個(gè)大類的1216個(gè)應(yīng)用，查看可檢測(cè)的應(yīng)用程序列表：https://wappalyzer.com/applications
Whatruns（推薦指數(shù)★★★★）
Whatruns是為chrome開發(fā)的一款web指紋識(shí)別程序，還可以顯示托管的CDN、wordpress插件、wordpress字體等，擁有豐富的插件支持。
跟Wappalyzer安裝類似，Whatruns可直接在chrome應(yīng)用商城直接搜索安裝。
安裝完成后，通過插件圖標(biāo)來獲取服務(wù)的詳細(xì)運(yùn)行信息，效果如下。有時(shí)候信息會(huì)比Wapplyzer還詳細(xì)一些，但有時(shí)候獲取速度稍慢。
Plecost（推薦指數(shù)★★★）
下載地址：https://github.com/iniqua/plecost
Plecost是Wordpress博客引擎的漏洞指紋識(shí)別和漏洞查找器，能識(shí)別Wordpress版本并能查找到cve，不過訪問不了google的話可能有些功能就受限了。Plecost基于python架構(gòu)，利用了Beautiful Soup來解析html、xml文件識(shí)別網(wǎng)站使用的插件及版本。
使用也比較方便 plecost -i /usr/share/plecost/wp_plugin_list.txt http://www.freebuf.com
BlindElephant（推薦指數(shù)★★）
下載地址：https://github.com/lokifer/BlindElephant
BlindElephant是一款Web應(yīng)用程序指紋識(shí)別工具。該工具可以讀取目標(biāo)網(wǎng)站的特定靜態(tài)文件，計(jì)算其對(duì)應(yīng)的哈希值，然后和預(yù)先計(jì)算出的哈希值做對(duì)比，從而判斷目標(biāo)網(wǎng)站的類型和版本號(hào)。目前，該工具支持15種常見的Web應(yīng)用程序的幾百個(gè)版本。同時(shí)，它還提供WordPress和Joomla的各種插件。該工具還允許用戶自己擴(kuò)展，添加更多的版本支持。
不過該軟件最新更新是在2013年，插件庫(kù)應(yīng)該算比較舊的了。
下載及安裝可參考https://github.com/lokifer/BlindElephant，kali中已經(jīng)內(nèi)置。
使用命令：BlindElephant.py http://www.freebuf.com wordpress
國(guó)內(nèi)指紋識(shí)別工具
御劍web指紋識(shí)別程序
下載地址：https://www.webshell.cc/4697.html
御劍web指紋識(shí)別程序是一款CMS指紋識(shí)別小工具，該程序由.NET 2.0框架開發(fā)，配置靈活、支持自定義關(guān)鍵字和正則匹配兩種模式、使用起來簡(jiǎn)潔、體驗(yàn)良好。在指紋命中方面表現(xiàn)不錯(cuò)、識(shí)別速度很快、但目前比較明顯的缺陷是指紋的配置庫(kù)偏少。
windows下圖形界面，比較親民，掃描速度略慢，指紋庫(kù)略少，可手工更新。
Test404輕量WEB指紋識(shí)別
下載地址：https://www.test404.com/post-1618.html
Test404輕量WEB指紋識(shí)別程序是一款CMS指紋識(shí)別小工具，配置靈活、支持自行添加字典、使用起來簡(jiǎn)潔、體驗(yàn)良好。在指紋命中方面表現(xiàn)不錯(cuò)、識(shí)別速度很快?？墒謩?dòng)更新指紋識(shí)別庫(kù)，而且該軟件在2019.04月剛剛更新了一版。
w11scan分布式WEB指紋識(shí)別平臺(tái)
w11scan是一款分布式的WEB指紋識(shí)別系統(tǒng)（包括CMS識(shí)別、js框架、組件容器、代碼語(yǔ)言、WAF等等），管理員可以在WEB端新增/修改指紋，建立批量的掃描任務(wù)，并且支持多種搜索語(yǔ)法。
安裝和下載可參考：https://github.com/w-digital-scanner/w11scan
手工安裝稍微復(fù)雜，不過作者提供了docker部署，方便很多，使用了Mongodb，內(nèi)置了1800多條常見的指紋，可以識(shí)別多達(dá)538種常見CMS，當(dāng)然也可以手工添加指紋。
Dayu指紋識(shí)別工具
下載地址：https://github.com/Ms0x0/Dayu
“大禹”為一款c/s結(jié)構(gòu)jar文件工具，只需本地安裝java環(huán)境，加參數(shù)-u即可，具體設(shè)置參數(shù)可參考github介紹。
WebEye
下載地址：https://github.com/zerokeeper/WebEye/
WebEye可快速簡(jiǎn)單地識(shí)別WEB服務(wù)器類型、CMS類型、WAF類型、WHOIS信息、以及語(yǔ)言框架，使用異步實(shí)現(xiàn)指紋的快速識(shí)別。
識(shí)別速度比較快，不過指紋庫(kù)不是很多，指紋庫(kù)不是基于md5之類的，而是類似于fofa通過http頭信息、關(guān)鍵字等進(jìn)行快速識(shí)別。
作者對(duì)指紋進(jìn)行了分類，如攝像頭、waf、cdn、網(wǎng)絡(luò)設(shè)備等，很多指紋都是精心搜集的。
WTF_Scan
下載地址：https://github.com/dyboy2017/WTF_Scan
WTF團(tuán)隊(duì)出品的指紋識(shí)別平臺(tái)，包括的功能也相對(duì)比較多，除了指紋識(shí)別外，還有DNS解析、子域名、CDN、端口掃描、敏感目錄等。
不過就單獨(dú)說指紋規(guī)則來說，不算很多，可以自己添加完善，在WTF_Scan/wtf/app/api/cms/cms.txt文件中進(jìn)行指紋修改。
Webfinger
基于fofa的規(guī)則庫(kù)進(jìn)行快速檢索，大約2000+條指紋數(shù)據(jù)，位于lib/web.db可自行添加修改。
下載地址：https://github.com/se55i0n/Webfinger
類似的還有個(gè)CMSCANhttps://github.com/cuijianxiong/cmscan/
FingerPrint
好像是百度的一個(gè)MM用perl寫的一款工具，調(diào)用Wappalyzer模塊進(jìn)行指紋識(shí)別。
下載地址：https://github.com/tanjiti/FingerPrint
在線指紋識(shí)別
云悉指紋識(shí)別
指紋庫(kù)很強(qiáng)大，速度也很快，我們前端還仿了下云悉的界面，免費(fèi)服務(wù)，還能提供api接口！
如果指紋能開源就好了，哈哈~~
bugscaner指紋識(shí)別
http://whatweb.bugscaner.com/look/
目前好像指紋比較少，很多都識(shí)別不出來了。
whatweb.net
之前功能還不錯(cuò)，現(xiàn)在好像只能查看到header信息了。
TideFinger
上面介紹了那么多超級(jí)工具，都不好意思寫自己做的小破爛東西了…大佬們可以關(guān)掉本頁(yè)面了…
通過對(duì)各種識(shí)別對(duì)象、識(shí)別方法、識(shí)別工具的分析，發(fā)現(xiàn)大家的指紋庫(kù)各式各樣，識(shí)別方式也是各有千秋，傳統(tǒng)的md5、url路徑的方式居多，識(shí)別header信息的也是不少，但沒有一個(gè)能集眾家之長(zhǎng)的小工具。
于是我們就做了一個(gè)小工具TideFinger
https://github.com/TideSec/TideFinger
指紋庫(kù)整理
我們搜集了上面所有的指紋軟件，從中提取了指紋庫(kù)，進(jìn)行了統(tǒng)一的格式化處理并進(jìn)行去重，最終得到了一個(gè)大約2078條的傳統(tǒng)指紋庫(kù)。本來想把fofa的庫(kù)也合并進(jìn)來，發(fā)現(xiàn)格式差異有些大，便保持了fofa指紋庫(kù)，并把WebEye的部分指紋和fofa指紋進(jìn)行了合并。這樣就保留了兩個(gè)指紋庫(kù)，其中cms指紋庫(kù)為傳統(tǒng)的md5、url庫(kù)，大約2078條指紋，可通過關(guān)鍵字、md5、正則進(jìn)行匹配，fofa庫(kù)為2119指紋，主要對(duì)Header、url信息進(jìn)行匹配。
指紋庫(kù)優(yōu)化
在對(duì)指紋庫(kù)整理去重后，對(duì)每個(gè)指紋進(jìn)行了命中率的標(biāo)識(shí)，當(dāng)匹配到某個(gè)指紋時(shí)該指紋命中率會(huì)加1，而在使用指紋時(shí)會(huì)從優(yōu)先使用命中率高的指紋。
然后我們從互聯(lián)網(wǎng)中爬取了10W個(gè)域名進(jìn)行了命中率測(cè)試，然后對(duì)一些誤報(bào)率比較高的指紋進(jìn)行了重新優(yōu)化，得到了一份相對(duì)更高效的指紋庫(kù)。
未知指紋發(fā)現(xiàn)
目前新指紋的識(shí)別基本還是靠人工發(fā)現(xiàn)然后分析規(guī)則再進(jìn)行添加，所以各平臺(tái)都有提交指紋的功能，但是我們沒有這種資源，只能另想辦法。
于是想到了一個(gè)比較笨的方法：從網(wǎng)站中爬取一些靜態(tài)文件，如png、ico、jpg、css、js等，提取url地址、文件名、計(jì)算md5寫入數(shù)據(jù)庫(kù)，這樣再爬下一個(gè)網(wǎng)站，一旦發(fā)現(xiàn)有相同的md5，就把新的url也加入到那條記錄中，并把hint值加1，這樣爬取10W個(gè)站點(diǎn)后，就能得到一個(gè)比較客觀的不同網(wǎng)站使用相同md5文件的數(shù)據(jù)了。
獲取鏈接代碼部分
excludeext = ['.png', '.ico', '.gif','.svg', '.jpeg','js','css','xml','txt']
def getPageLinks(url):
try:
headers = requests_headers()
content = requests.get(url, timeout=5, headers=headers, verify=False).text.encode('utf-8')
links = []
tags = ['a', 'A', 'link', 'script', 'area', 'iframe', 'form'] # img
tos = ['href', 'src', 'action']
if url[-1:] == '/':
url = url[:-1]
try:
for tag in tags:
for to in tos:
link1 = re.findall(r'<%s.*?%s="(.*?)"' % (tag, to), str(content))
link2 = re.findall(r'<%s.*?%s='(.*?)'' % (tag, to), str(content))
for i in link1:
links.append(i)
for i in link2:
if i not in links:
links.append(i)
except Exception, e:
print e
print '[!] Get link error'
pass
return links
except:
return []
有興趣的可以查看具體代碼https://github.com/TideSec/TideFinger/blob/master/count_file_md5.py文件。
爬取的結(jié)果如下：
當(dāng)然了，里面肯定很多都屬于誤報(bào)，比如上圖中第一個(gè)其實(shí)是個(gè)500錯(cuò)誤頁(yè)面，所以出現(xiàn)的比較多，第二個(gè)是政府網(wǎng)站最下邊那個(gè)常見的“糾錯(cuò)”的js，所以用的也比較多…
經(jīng)過一些分析整理也發(fā)現(xiàn)了一些小眾的CMS和建站系統(tǒng)的指紋，比如三一網(wǎng)絡(luò)建站系統(tǒng)的newsxx.php，比如大漢JCM的jhelper_tool_style.css等等，后續(xù)會(huì)持續(xù)把這些新的指紋豐富到指紋庫(kù)中去。
指紋識(shí)別腳本
有了指紋庫(kù)之后，識(shí)別腳本就相對(duì)比較簡(jiǎn)單了，已有的一些也都比較成熟了，直接使用了webfinger和whatcms的部分代碼并進(jìn)行了整合優(yōu)化，于是就有了TideFinger。
1、功能邏輯都比較簡(jiǎn)單，先用fofa庫(kù)去匹配，然后獲取一定banner，如果banner中識(shí)別除了cms，則返回結(jié)果，如果未識(shí)別到cms，則會(huì)調(diào)用cms規(guī)則庫(kù)進(jìn)行匹配各規(guī)則。
2、腳本支持代理模式，當(dāng)設(shè)置了-p參數(shù)，且proxys_ips.txt文件包含代理地址時(shí)，腳本會(huì)隨機(jī)調(diào)用代理地址進(jìn)行掃描，以避免被封ip，不過這樣的話效率可能會(huì)低一些。畢竟搜集的免費(fèi)代理質(zhì)量還是差一些，速度會(huì)慢很多。有錢人可以找收費(fèi)代理池，然后每個(gè)規(guī)則都用不同代理去請(qǐng)求，這樣肯定不會(huì)被封！
代理地址的搜集可以使用我修改的另一個(gè)代理池https://github.com/TideSec/Proxy_Pool，提供了自動(dòng)化的代理ip抓取+評(píng)估+存儲(chǔ)+展示+接口調(diào)用。
3、經(jīng)測(cè)試，一般網(wǎng)站把所有指紋跑一遍大約需要30秒時(shí)間，個(gè)別的網(wǎng)站響應(yīng)比較慢的可能耗時(shí)更長(zhǎng)一些，可以通過設(shè)置網(wǎng)站超時(shí)時(shí)間進(jìn)行控制。
安裝python2依賴庫(kù)
pip install lxml
pip install requests
pip install bs4
說明：sqlite3庫(kù)在Python 2.5.x 以上版本默認(rèn)自帶了該模塊，如提示sqlite3出錯(cuò)請(qǐng)自行排查。
執(zhí)行腳本
$ python TideFinger.py
Usage: python TideFinger.py -u http://www.123.com [-p 1] [-m 50] [-t 5]
-u: 待檢測(cè)目標(biāo)URL地址
-p: 指定該選項(xiàng)為1后，說明啟用代理檢測(cè)，請(qǐng)確保代理文件名為proxys_ips.txt,每行一條代理，格式如: 124.225.223.101:80
-m: 指紋匹配的線程數(shù)，不指定時(shí)默認(rèn)為50
-t: 網(wǎng)站響應(yīng)超時(shí)時(shí)間，默認(rèn)為5秒
指紋識(shí)別界面如下：
指紋識(shí)別平臺(tái)
在有了指紋庫(kù)和識(shí)別腳本之后，我們想繼續(xù)完善下這個(gè)功能，于是又加入了其他一些功能，有了這個(gè)在線指紋查詢平臺(tái)http://finger.tidesec.net。
開始想加的很多，但后來在速度和時(shí)間方面不得不進(jìn)行了一定的取舍，于是就有了目前如下的功能。
1、網(wǎng)站信息：網(wǎng)站標(biāo)題、狀態(tài)碼、302跳轉(zhuǎn)信息等；
2、IP地址信息：IP歸屬地、IP服務(wù)商信息、GPS信息；
3、CDN識(shí)別：對(duì)目標(biāo)是否使用CDN進(jìn)行檢測(cè)，但目前CDN識(shí)別指紋還不多，對(duì)部分識(shí)別出使用CDN的目標(biāo)還會(huì)列出來CNAME；
4、中間件識(shí)別：主要通過http頭信息中的XPB、server等字段獲取中間件信息，如nginx、iis、tomcat等；
5、更多banner：主要是調(diào)用了whatweb和Wapplyzer進(jìn)行更多banner信息的獲取，如jquery、bootstrap等；
6、操作系統(tǒng)識(shí)別：識(shí)別比較簡(jiǎn)單，通過ttl值和文件大小寫是否敏感…用nmap去識(shí)別的話速度太慢…
7、本來還加入了子域名發(fā)現(xiàn)、端口掃描和waf探測(cè)等等，但發(fā)現(xiàn)耗時(shí)相對(duì)較長(zhǎng)，而且比較容易被封IP，所以又去掉了。
團(tuán)隊(duì)沒有專門做前端的，看云悉界面比較美觀，所以就參考了云悉和WTF_Scan的界面布局，大佬不要打我們…使用了TP5框架，因?yàn)槠脚_(tái)的功能都比較low，以防被噴就不放源碼了。
大家可以試用下，給我們提提意見http://finger.tidesec.net
注冊(cè)需要驗(yàn)證碼，關(guān)注下我們公眾號(hào)回復(fù)“潮汐指紋”即可被逼拉流量O(∩_∩)O哈哈
待解決的問題
1、指紋庫(kù)的繼續(xù)完善：這是個(gè)曠日持久的工作，希望能堅(jiān)持下去，我們也會(huì)持續(xù)的開源最新指紋庫(kù)，希望大家手頭有好的資源也可以貢獻(xiàn)出來。
2、代理問題：雖然集成了代理功能，但經(jīng)實(shí)際使用來看，搜集的免費(fèi)代理質(zhì)量還是差一些，速度會(huì)慢很多。
3、IP會(huì)被封：有的網(wǎng)站防護(hù)對(duì)目錄枚舉或一些路徑非常敏感，會(huì)封IP地址；
4、下一步嘗試對(duì)http頭進(jìn)行語(yǔ)義分析，從海量網(wǎng)站中提取分析header的共性，更高效的發(fā)現(xiàn)未知指紋；
5、因?yàn)楦F，所以目前還是單節(jié)點(diǎn)進(jìn)行指紋的識(shí)別，如果是第三步進(jìn)入常規(guī)目錄檢測(cè)的方式的話可能速度會(huì)比較慢。
參考資料
在指紋庫(kù)搜集和腳本開發(fā)過程中，查閱了大量資料，下面列舉的可能不全，在此一并感謝這些無私奉獻(xiàn)的安全研究者。
https://www.freebuf.com/articles/2555.html
https://blog.51cto.com/simeon/2115190
https://www.freebuf.com/news/137497.html
https://www.freebuf.com/articles/web/129939.html
https://www.freebuf.com/sectool/135216.html
https://www.test404.com/post-1299.html?wafcloud=1
https://github.com/se55i0n/Webfinger
https://github.com/tanjiti/FingerPrint
https://github.com/dyboy2017/WTF_Scan
https://github.com/zerokeeper/WebEye/
https://github.com/w-digital-scanner/w11scan
https://www.webshell.cc/4697.html
https://github.com/lokifer/BlindElephant
https://github.com/iniqua/plecost
https://github.com/AliasIO/Wappalyzer
https://github.com/urbanadventurer/WhatWeb
小福利
1、指紋檢測(cè)工具下載
我們把上面的13款指紋識(shí)別工具和搜集到的一些論文資料進(jìn)行了匯總打包，大家可以直接下載。
下載地址：https://pan.baidu.com/s/190K34cwjAWDUMLtR8EWvNA 提取碼：5y4o 解壓密碼www.tidesec.net
后續(xù)如有更新，會(huì)在我們公眾號(hào)TideSec安全團(tuán)隊(duì)上提供下載，回復(fù)“指紋工具”即可獲取最新指紋識(shí)別工具下載地址。
2、指紋庫(kù)下載
我們?cè)贕itHub上提供的是2019年4月的指紋庫(kù)（還未進(jìn)行大量的命中率測(cè)試），后續(xù)我們還會(huì)優(yōu)化調(diào)整命中策略、未知指紋識(shí)別方法，持續(xù)更新優(yōu)化指紋庫(kù)。
最新指紋庫(kù)的下載請(qǐng)關(guān)注我們公眾號(hào)TideSec安全團(tuán)隊(duì)，回復(fù)“指紋庫(kù)”即可獲取最新指紋庫(kù)下載地址。
關(guān)注我們
TideSec安全團(tuán)隊(duì)：
Tide安全團(tuán)隊(duì)正式成立于2019年1月，是以互聯(lián)網(wǎng)攻防技術(shù)研究為目標(biāo)的安全團(tuán)隊(duì)，目前聚集了十多位專業(yè)的安全攻防技術(shù)研究人員，專注于網(wǎng)絡(luò)攻防、Web安全、移動(dòng)終端、安全開發(fā)、IoT/物聯(lián)網(wǎng)/工控安全等方向。
想了解更多Tide安全團(tuán)隊(duì)，請(qǐng)關(guān)注團(tuán)隊(duì)官網(wǎng): http://www.TideSec.net
