#行业资讯 谷歌也开始打击 AI 抓取?谷歌搜索结果不再采用直链跳转,需要从服务器 goto 链接解码内容。此次调整应该是打击 AI 爬虫和自动化程序抓取数据的,不过也会直接破坏各类 SEO 分析工具。谷歌官方称公司长期通过技术措施应对不断变化的滥用行为,但谷歌未说明调整具体针对哪些服务。查看全文:https://ourl.co/126499
据 SER 网站发布的消息,谷歌目前正在批量部署谷歌搜索服务器跳转机制,新的跳转机制从 hxxp://google.com/goto?url=加密链接 进行服务器解码,而不是像此前那样直接暴露搜索结果的直接链接无需从服务器进行跳转。
谷歌官方也证实确实在逐渐部署该机制,谷歌解释称这是该公司长期通过技术措施应对不断变化的滥用行为,谷歌并未明确说明这是针对哪些服务,但行业猜测这可能是为了打击 AI 爬虫抓取内容。
以前搜索引擎在搜索结果页面都是直接暴露网站的明文地址,当用户点击时浏览器直接访问该地址快速进入对应页面,而谷歌现在改成的机制是不再暴露网站的明文地址,改成从 goto 页面连接服务器进行加密地址解码。
也就是说用户现在点击搜索结果的条目时,浏览器需要先请求谷歌服务器、谷歌服务器对加密地址进行解码、服务器返回解码后的地址、浏览器跟随请求进行跳转,这个过程当然也会增加用户点击链接时的请求时间。
以前百度搜索采用的就是明文跳转,但后来 (可能是 2015 年前后) 百度改成加密地址跳转,在明文跳转时网站统计分析工具可以直接抓取到关键词从而识别百度搜索来源,而改成加密跳转后统计工具无法解密因此也无法再帮助站长识别关键词来源。
当时颇为知名的统计工具 CNZZ (后被阿里巴巴收购) 还发文抨击过百度这种做法,因为百度的修改导致 CNZZ 搜索引擎来源统计功能几乎无法使用,后来百度推出自己的统计工具百度统计,百度统计可以解码数据为网站呈现关键词来源。
那谷歌此次调整带来的影响是什么呢?其中受冲击最大的可能就是各类统计和分析工具,统计分析类工具必须跟随重定向链接获取明文内容,但每个搜索结果页面有海量内容,哪怕是统计工具只抓取前 100 个结果也需要花费时间解码,这种行为也会触发谷歌搜索的反滥用机制。
例如以前统计工具只需要抓取搜索结果页面然后分析搜索结果里的条目地址收集数据,现在则需要挨个点击链接获取最终跳转的地址,而挨个点击链接显然会被谷歌拦截,所以想要继续分析数据难度会剧增。
过去依赖自动化程序抓取谷歌搜索结果虽然也有些难度但想要绕过并不是太难的事情,而现在这些 AI 爬虫和自动化程序想要继续抓取几乎是不可能的,哪怕是使用住宅代理 IP 分规模进行抓取也非常容易触发谷歌的反滥用机制。
我们认为谷歌的此次变更主要应该还是应对 AI 爬虫和自动化工具的,这些工具通过谷歌搜索抓取内容再拿去训练 AI 模型,甚至有专门的服务商负责抓取数据然后将数据卖给 AI 公司,现在这种做法会受到严重冲击。
最后这对普通用户而言基本不会产生太大的影响,尽管需要从谷歌服务器跳转可能会略微增加延迟时间,但整体来说应该不会造成明显的使用不便。
