防止内容被抓取训练AI:百度百科屏蔽谷歌/必应等搜索引擎
2024-08-22 18:27:20
神评论
据报道,近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎,预计是为了阻止这些搜索引擎和其他爬虫,未经授权抓取百度百科的内容用于训练AI。
百度百科的robots.txt文件显示,目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。
谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。
虽然360搜索没有在封禁列表中单独列出,但百度百科的策略是禁止一切非白名单爬虫抓取,所以360搜索和其他搜索引擎也都是被屏蔽的。
不过百度百科这种做法其实也只是防君子不防小人,肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。
【来源:快科技】
关于的新闻
- (2024-09-21) 崩铁:疑似停云技能曝光!召唤物体系分类汇总来了,这下真的不得不抽了!
- (2024-09-21) 魔兽世界:网传美酒节饰品可以吃大爆炸,官方变相削弱观星者?
- (2024-09-21) 《英雄联盟》艾琳穿紧身牛仔短裤热舞变装,没丰满臀部竟被抖音判违规?
- (2024-09-21) 《原神》5.1前瞻预告图?火神宣传图?骑摩托确实帅!两款新联动限时开启!
- (2024-09-21) 《黑神话悟空》大反转!鹤仙人竟是友军!营救老婆四妹稳了!杨奇亲自泄露dlc剧情!