如今的ip代理在網絡界風頭勁很足，對于競爭對手或者目標消費群體的數據收集，利用爬蟲技術已經可以充分發揮，幫助海量收集數據，毫不手軟。如果不用ip修改工具，我們的爬蟲工作往往會受到很多網絡限制，以致最終賬號還被完全封鎖掉。有什么方法能避免呢？

　　1.驗證碼

　　我們在很多網站會遇到，如果請求量大了之后就會遇到驗證碼的情況。最讓人詬病的12306，其實也是一定程度上的防止非正當請求的產生。對于驗證碼，可以通過OCR來識別圖片，Github上面有很多大神分享的代碼可以用，可以去看看。

　　2.Headers限制

　　這應該是最常見的，最基本的反爬蟲手段，主要是初步判斷你是否是真實的瀏覽器在操作。這個一般很好解決，把瀏覽器中的Headers信息復制上去就OK了。

　　3.減少返回的信息

　　最基本的隱藏真實的數據量，只有不斷加載才能刷新信息。還有的就更變態，會只給你展示一部分信息，人都看不到，爬蟲也無能為力。比如CNKI，你每次搜索能夠得到的內容就是非常有限的。這個貌似沒有很好的解決辦法，但是這么干的網站畢竟是少數，因為這種方式，其實在某種程度上是犧牲了一部分真實用戶的體驗。

　　4.動態加載

　　通過異步加載，一方面是為了反爬蟲，一方面也可以給網頁瀏覽帶來不同的體驗，實現更多的功能。很多動態網站都是通過ajax或者JavaScript來加載請求的網頁。在遇到動態加載的網頁的時候就需要去分析ajax請求，一般情況都能直接找到包含我們想要數據的json文件。如果網站給文件加密，那么可以通過selenium+phantomJS框架，調用瀏覽器內核，并利用phantomJS執行js來模擬人為操作以及觸發頁面中的js腳本。理論上selenium是比較全能的爬蟲方案，因為這個確實算是真實的用戶行為。除非網站的反爬蟲嚴苛到寧愿誤殺的地步。

　　5.IP限制

　　限制IP也是很多網站反爬蟲的初衷，但是我們可以通過不斷更換IP的形式來繞過這種限制，動態ip海結合爬蟲技術是實現這類需求的不二選擇！

版權聲明：本文為ipadsl.cn所屬公司原創作品，未經許可，禁止轉載！