#求解 深卡等備份網站爬蟲機制

請問有資工的卡友嗎 想問個為什麼深卡或是pttbrain 爬蟲機制爬不到全部留言 比如有篇文章有300樓在深卡卻只看得到到50樓 但其他任何一篇文章卻能爬到相對完整的 想問一下爬蟲機制是怎麼運作的呢 不是無時無刻都會更新爬取的嗎🤔🤔 不知道該在哪問所以我軟體工程跟閒聊版都問 如有違規請告知 將會盡快刪除 感謝各位解答😅 #DISALLOW深卡 #PRIVATE_CONTENT
留言
一般來說爬蟲不會無時無刻去爬啦.. 會被鎖 ( 反爬蟲機制 爬蟲是模擬使用者的行為去跟網頁互動 你在滑低卡的時候他只會顯示部分留言對吧? 直到你滑到目前的底( e.g. 第 10 樓 然後網頁就會自動加載接下來的樓層 這部分可能就是爬蟲沒寫好不然就是有其他考量吧