0
都說(shuō)金三銀四，最近打算換工作的蘇大強(qiáng)（蹭熱點(diǎn)式化名）在各大招聘平臺(tái)掛上了自己的簡(jiǎn)歷。誰(shuí)知道剛過(guò)兩天就接到了十八個(gè)騷擾電話，其中只有兩個(gè)來(lái)自獵頭。
在接起第十八個(gè)貸款推廣騷擾電話后，蘇大強(qiáng)崩潰了，誰(shuí)！又是誰(shuí)TM泄露了我的信息，沒(méi)錢不貸款還不起還不行嗎！
你有沒(méi)有想過(guò)，數(shù)據(jù)泄露可能源于那份簡(jiǎn)歷。
先說(shuō)一起新聞。不久前網(wǎng)上有爆料稱簡(jiǎn)歷大數(shù)據(jù)公司北京巧達(dá)科技被查封，全員被抓，隨后有部分員工被放出。
3月24日，三言財(cái)經(jīng)也實(shí)地走訪了巧達(dá)位于中關(guān)村辦公室，發(fā)現(xiàn)大門現(xiàn)已被封條封住，辦公室內(nèi)空無(wú)一人。該封條由中鋼國(guó)際廣場(chǎng)保安部張貼，時(shí)間為2019年3月14日。
【圖片來(lái)源：三言財(cái)經(jīng)】
于是有人好奇，這家公司做了啥突然被封？
根據(jù)公開(kāi)信息，巧達(dá)科技號(hào)稱擁有中國(guó)最大的簡(jiǎn)歷數(shù)據(jù)庫(kù)，其主要數(shù)據(jù)來(lái)源是“喬大招”。喬大招旗下則擁有“愛(ài)伙伴”、“簡(jiǎn)歷時(shí)光機(jī)”等在內(nèi)10多款招聘相關(guān)產(chǎn)品。
“喬大招”可以做到通過(guò)一款工具匯總多家招聘網(wǎng)站賬號(hào)信息，企業(yè)客戶可以統(tǒng)一發(fā)布職位、收取簡(jiǎn)歷；其次，該工具可以抓取簡(jiǎn)歷的修改歷史，可以查看到對(duì)應(yīng)簡(jiǎn)歷被查閱次數(shù)、修改記錄等信息；不僅如此，還可以將簡(jiǎn)歷上傳至平臺(tái)，供其他企業(yè)、獵頭使用。
愛(ài)伙伴是一款提供“員工離職預(yù)測(cè)”的工具軟件，該軟件可以檢測(cè)到員工投遞簡(jiǎn)歷、員工簡(jiǎn)歷更新情況以及員工簡(jiǎn)歷被查看次數(shù)等信息。企業(yè)用戶購(gòu)買愛(ài)伙伴后，即可查看其收集匯總的簡(jiǎn)歷數(shù)據(jù)，依此判斷公司員工的離職傾向。
簡(jiǎn)單說(shuō)，這個(gè)一款給老板打小報(bào)告的軟件，哪個(gè)員工有離職的想法都可能被提前知道。
截至2015年6月30日，在喬大招的數(shù)據(jù)庫(kù)中，以人為計(jì)算，收入自然人的簡(jiǎn)歷超過(guò)1.6億人。以版本來(lái)計(jì)算，簡(jiǎn)歷超過(guò)18億個(gè)版本，超過(guò)25億行為軌跡。說(shuō)不準(zhǔn)你精心準(zhǔn)備的簡(jiǎn)歷就在其中！
這些數(shù)據(jù)都被這家公司用于牟利，甚至涉及違規(guī)收集個(gè)人信息。封條一帖，巧達(dá)涼涼。
不過(guò)，一家“巧達(dá)”倒下了，還有其他“巧達(dá)”站起來(lái)，打著智能招聘SaaS系統(tǒng)的簡(jiǎn)歷公司披著偽善外衣，暗地做著吸血勾當(dāng)。
智能招聘SaaS系統(tǒng)
想要竊取招聘網(wǎng)站的簡(jiǎn)歷數(shù)據(jù)有什么招數(shù)？
1. 利用公開(kāi)數(shù)據(jù)，通過(guò)爬蟲(chóng)工具爬取；
2.合法賬號(hào)內(nèi)部獲取數(shù)據(jù)；
3.利用網(wǎng)站平臺(tái)的漏洞進(jìn)入系統(tǒng)獲取數(shù)據(jù)。
其中，爬蟲(chóng)技術(shù)運(yùn)用最為廣泛，因?yàn)椴恍枰W(wǎng)站有任何漏洞，只需要模擬正常用戶訪問(wèn)操作，就可以抓取。
瑞數(shù)信息CTO馬蔚彥告訴雷鋒網(wǎng)，一般黑產(chǎn)會(huì)通過(guò)腳本、自動(dòng)化框架、手機(jī)等工具去訪問(wèn)招聘網(wǎng)站平臺(tái)，通過(guò)分析招聘網(wǎng)站的接口，這些工具可以自動(dòng)的進(jìn)行搜索關(guān)鍵字輸入、翻頁(yè)，對(duì)招聘網(wǎng)站內(nèi)容進(jìn)行抓取，然后通過(guò)腳本程序，將抓取到的原始數(shù)據(jù)進(jìn)行格式化處理，轉(zhuǎn)換成可閱讀的簡(jiǎn)歷。后期爬蟲(chóng)還可以同過(guò)定時(shí)機(jī)制，來(lái)進(jìn)行簡(jiǎn)歷數(shù)據(jù)的定時(shí)獲取更新。
這種爬蟲(chóng)技術(shù)與爬各大網(wǎng)站低價(jià)機(jī)票本質(zhì)是一個(gè)套路，不同點(diǎn)在于：機(jī)票是全公開(kāi)的，誰(shuí)都可以看。但部分簡(jiǎn)歷數(shù)據(jù)需要登錄或者付費(fèi)后查看的，這時(shí)候就需要爬蟲(chóng)組織囤積大量賬號(hào)進(jìn)行簡(jiǎn)歷抓取。
這些賬號(hào)從何而來(lái)？于是打著智能招聘SaaS系統(tǒng)的簡(jiǎn)歷公司出現(xiàn)了，聲稱該SaaS產(chǎn)品可以“幫助一個(gè)HR管理多個(gè)平臺(tái)上發(fā)布的職位和收到的簡(jiǎn)歷”，只需要登錄一個(gè)平臺(tái)就能管理所有渠道的簡(jiǎn)歷信息。
購(gòu)買該產(chǎn)品后，HR手中各大招聘平臺(tái)的付費(fèi)賬號(hào)都被簡(jiǎn)歷公司所掌握。
（注：目前很多招聘網(wǎng)站的商業(yè)模式都包括付費(fèi)下載簡(jiǎn)歷進(jìn)行收費(fèi)，花幾萬(wàn)元可以下載幾千份簡(jiǎn)歷，可以查看該招聘網(wǎng)站的無(wú)限量個(gè)人簡(jiǎn)歷。）
雷鋒網(wǎng)編輯詢問(wèn)了某做爬蟲(chóng)技術(shù)的好友，對(duì)方稱，通過(guò)爬蟲(chóng)技術(shù)抓簡(jiǎn)歷一般要解決四個(gè)問(wèn)題：
1.登陸的問(wèn)題，需要購(gòu)買一些賬號(hào)；
2.破解登陸的驗(yàn)證碼；
3.購(gòu)買ip代理、切換ip；
4.控制好爬蟲(chóng)的速度，因?yàn)榈卿浐?，一般網(wǎng)站后臺(tái)都會(huì)存有日志記錄，抓的太快的話，會(huì)被封。
而一套賣給HR的智能招聘SaaS系統(tǒng)就能解決前三個(gè)問(wèn)題，把非法的變成合法的，破解賬戶變成買賣服務(wù)。這操作，這腦洞，編輯嘆為觀止。
有了賬號(hào)，之后的操作就更簡(jiǎn)單了。利用HR的賬號(hào)托管，SaaS方可以去爬取各大招聘平臺(tái)的簡(jiǎn)歷信息，并做到實(shí)時(shí)翻新。
馬蔚彥表示這種實(shí)時(shí)可以分為實(shí)時(shí)和準(zhǔn)實(shí)時(shí)。
實(shí)時(shí)的：有HR來(lái)招聘網(wǎng)站上進(jìn)行簡(jiǎn)歷檢索的時(shí)候，除了會(huì)顯示自己本地的數(shù)據(jù)，還會(huì)將搜索請(qǐng)求轉(zhuǎn)發(fā)給其他招聘網(wǎng)站的搜索接口進(jìn)行數(shù)據(jù)獲取，并且可以將爬來(lái)的數(shù)據(jù)進(jìn)行智能比對(duì)，更新簡(jiǎn)歷。
準(zhǔn)實(shí)時(shí)：每個(gè)簡(jiǎn)歷在招聘簡(jiǎn)歷上都一個(gè)唯一的ID，爬蟲(chóng)可以定時(shí)的，以ID為參數(shù)進(jìn)行簡(jiǎn)歷數(shù)據(jù)獲取。也就是只要你更改簡(jiǎn)歷，對(duì)方就會(huì)收到數(shù)據(jù)，同步更改。
這時(shí)候，你的簡(jiǎn)歷還只是你的嗎？
潘多拉魔盒未打開(kāi)時(shí)一片平靜，放在黑盒中的簡(jiǎn)歷數(shù)據(jù)也是一樣。
你的簡(jiǎn)歷上都有什么信息？生日、電話、地址、身份證信息、工作經(jīng)歷……這些詳細(xì)得不能再詳細(xì)得數(shù)據(jù)被分銷出去，可能賣給大數(shù)據(jù)分析公司，賣給獵頭，賣給貸款公司、賣給詐騙組織，這些都是黑產(chǎn)中的某一環(huán)節(jié)。
而信息裸奔的你可能接到N個(gè)騷擾電話卻還不知道問(wèn)題出自簡(jiǎn)歷。
即使沒(méi)有這些打著智能招聘SaaS名義的公司，你的簡(jiǎn)歷就安全嗎？
不一定，邦盛科技產(chǎn)品總監(jiān)焦林俊向雷鋒網(wǎng)透露，某國(guó)內(nèi)top級(jí)別的招聘平臺(tái)曾表示，有些大商戶（付費(fèi)大企業(yè)）利用在招聘平臺(tái)的賬號(hào)密碼，登錄后臺(tái)通過(guò)爬蟲(chóng)刷新數(shù)據(jù)，爬取簡(jiǎn)歷。
之后將爬取下來(lái)的簡(jiǎn)歷放進(jìn)自己的數(shù)據(jù)庫(kù)，在合適時(shí)機(jī)將這些簡(jiǎn)歷數(shù)據(jù)出售給需要的機(jī)構(gòu)，相當(dāng)于二道販子。
至于是哪些公司，各位可以自由猜測(cè)。
招聘公司面對(duì)各種爬蟲(chóng)技術(shù)是否有反爬技術(shù)呢？
“目前也有多種反爬蟲(chóng)的技術(shù)，如驗(yàn)證碼，IP黑名單，頻率限制，IP限制，單一賬號(hào)可閱讀量、需要購(gòu)買，通過(guò)User-Agent控制等手段都能進(jìn)行一定限制。但越來(lái)越多的高級(jí)爬蟲(chóng)，利用大量代理IP，并且與真實(shí)瀏覽器訪問(wèn)的環(huán)境相似度很高，傳統(tǒng)的反爬技術(shù)在面對(duì)高級(jí)爬蟲(chóng)時(shí)已經(jīng)基本無(wú)能為力。”馬蔚彥說(shuō)道。
焦林俊也表示，招聘網(wǎng)站確有采取一些反爬蟲(chóng)技術(shù)，比如前端進(jìn)行加密，后端加入了大數(shù)據(jù)分析，機(jī)器學(xué)習(xí)等技術(shù)。但對(duì)大商戶爬取數(shù)據(jù)的行為招聘網(wǎng)站也有些頭疼，迫于營(yíng)收壓力，他們不會(huì)采取直接攔截的措施。而且先通過(guò)后臺(tái)數(shù)據(jù)分析誰(shuí)爬取了數(shù)據(jù)，再針對(duì)不同對(duì)象采取相應(yīng)的反爬措施。
目前來(lái)說(shuō)，爬蟲(chóng)技術(shù)仍處于灰色地帶，對(duì)于利用爬蟲(chóng)技術(shù)獲取公開(kāi)數(shù)據(jù)這一行為的正誤，在認(rèn)知上也各有不同。目前更多的還是在道德層面，而非法律，比如：遵循robots，盡量放慢爬取速度，從而減少對(duì)提供數(shù)據(jù)查詢網(wǎng)站的壓力，不要造成拒絕服務(wù)，不要公開(kāi)爬蟲(chóng)程序源碼，不要分享爬蟲(chóng)數(shù)據(jù)等等。
（注：robots是網(wǎng)站跟爬蟲(chóng)間的協(xié)議，用簡(jiǎn)單直接的txt格式文本方式告訴對(duì)應(yīng)的爬蟲(chóng)被允許的權(quán)限，也就是說(shuō)robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。當(dāng)一個(gè)搜索蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問(wèn)網(wǎng)站上所有沒(méi)有被口令保護(hù)的頁(yè)面。）
但這些在馬蔚彥看來(lái)，缺乏法律保障的約束力非常弱。
隨著涉及個(gè)人、企業(yè)的數(shù)據(jù)資源越來(lái)越多，提供這些數(shù)據(jù)的平臺(tái)、系統(tǒng)也越來(lái)越多，非常需要通過(guò)建立正確的爬蟲(chóng)觀念、提升反爬技術(shù)手段、建立合理的爬蟲(chóng)相關(guān)法律規(guī)定等都多方面的綜合努力，才能更好地提供對(duì)于惡意爬蟲(chóng)的防御，保護(hù)企業(yè)和客戶數(shù)據(jù)資源。
對(duì)于終端用戶來(lái)說(shuō)，除了接到手軟的騷擾電話，似乎是完全無(wú)感知的。
焦林俊表示，用戶應(yīng)該避免在不安全的招聘網(wǎng)站發(fā)布簡(jiǎn)歷，遇到打電話稱自己是獵頭需要提供本人完整信息的說(shuō)法也不要輕信。而對(duì)于招聘網(wǎng)站，應(yīng)該從業(yè)務(wù)方面進(jìn)行規(guī)范，搭建自己反爬蟲(chóng)平臺(tái)，利用前沿的反爬蟲(chóng)技術(shù)，如大數(shù)據(jù)分析，根據(jù)訪問(wèn)行為提取特征，通過(guò)設(shè)備指紋，人機(jī)識(shí)別，環(huán)境檢測(cè)等技術(shù)識(shí)別出人還是機(jī)器。這樣即可以去掉驗(yàn)證碼等降低用戶體驗(yàn)的操作，也避免了用戶有價(jià)值的信息被爬取。
做反爬不能誤傷正常用戶，這是反爬蟲(chóng)技術(shù)的關(guān)鍵點(diǎn)。爬蟲(chóng)與反爬蟲(chóng)永遠(yuǎn)在對(duì)抗，沒(méi)有勝負(fù)。
參考來(lái)源：三言財(cái)經(jīng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
