8月8日，OpenAI在官网先容了新产物GPTBot，这是一种荟萃爬虫宝马会体育，可大范围爬取荟萃数据用于锻真金不怕火AI模子。（地址：https://platform.openai.com/docs/gptbot）

OpenAI暗意，将通过GPTBot执取海量数据，用于锻真金不怕火、优化将来模子。国际不少科技媒体指出，这个将来模子指的即是GPT-5。

事实上，OpenAI在本年7月18日提交了GPT-5商办法音书，此时又放出全新荟萃爬虫， 诠释GPT-5离咱们越来越近了。

GPTBot是OpenAI的荟萃爬虫，不错通过以下用户代理和字符串来识别，代码如下。

User agent token: GPTBot

Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML， like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

OpenAI会对执取的数据进行过滤，举例，删除需要付费才能巡视、使用的数据，征集的个东说念主身份信息（PII）或违背法律轨则的数据等，以保证执取的数据适合安全圭臬。

如若用户的网站不思被GPTBot执取数据，不错将GPTBot添加到站点的robots.txt中，代码如下：

User-agent: GPTBot

Disallow: /

用户也不错自界说GPTBot的看望权限，将其添加到网站的robots.txt中，代码如下：

User-agent: GPTBot

皇冠体育

Allow: /directory-1/

Disallow: /directory-2/

荟萃爬虫，是一种主要通过浏览荟萃执取数据的用具，时势包括数据挖掘，网页数据复制/拍照、网站镜像等时势。

荟萃爬虫是互联网和大数据时间最进击用具之一，被誉为“黄金矿工”哄骗场景突出正常。

举例，谷歌、百度等搜索引擎通过荟萃爬虫来荟萃和建造网页索引，便捷用户不错通过要害字快速找到关连的网页。

也有交易机构使用荟萃爬虫及时荟萃竞争敌手的信息，如产物价钱、新产物发布、营销手脚等，以进行阛阓分析和营销战术制定。

诚然荟萃爬虫功能强盛，但也存在数据质料不清爽、版权风险、难以爬取特定本色、爬取频率等过失。

数据质料不清爽：荟萃爬虫执取的数据可能包含无数违警、伪善或质料低下的数据，举例，爬取了一个违警网站的数据。因此，思使用爬虫的数据需要进行清洗和经管。

版权风险：荟萃爬虫可能会侵扰数据阴私和版权，违背网站的使用公约带来法律风险。举例，欧博线上代理违警爬取了打算网站的付费本色。

难以爬取特定本色：关于一些需要用户输入或交互才能赢得的本色，举例，网站搜索成果、考证码、登录后才能巡视的本色等，荟萃爬虫可能难以执取。

爬取频率：荟萃爬虫执取的数据是静态的，弗成及时反馈网页的变化需要依期再行执取。但频率过高会对打算网站的作事器变成渊博压力影响其正燕作事，频率太低数据更新又不足时，需要制定一个合理的频率。

据中国执行信息公开网，香雪制药现共有3条被执行人信息，执行标的合计5.12亿。

如今在大模子等AI时刻加持下，上述常见的荟萃爬虫过失已得到克服，而且更贵重数据版权、安全等问题。

现在，锻真金不怕火大言语模子的主要数据开首包括自荒谬据集、开源数据集和荟萃爬虫等。自荒谬据集主要哄骗在特定业务场景的微调，举例，法律畛域的使用实在的法律裁决、竹帛、法律合同等数据，锻真金不怕火专用于法律的生成式AI产物。

开源数据集，这种数据是许多大型厂商开源的数据有的可用于交易化，有的只可用于时刻测度，而且数据可能存在老旧的情况。是以，荟萃爬虫成为企业锻真金不怕火通用大模子的进击数据开首。

皇冠客服飞机：@seo3687

举例，OpenAI的GPT-3模子使用了45TB的互联网文本进行锻真金不怕火，包括代码、演义、百科、新闻、博客等，而这些数据开首多数是通过荟萃爬虫赢得。

是以，咱们就怕刻会看到ChatGPT会生成伪善的信息，即是因为在爬取时自己就执取了演叨、伪善的信息，在清洗、预锻真金不怕火、微调的经过中又没发现，才会出现这么的情况（就怕也存在AI算法问题等）。

不外OpenAI仍是制定了严格的数据赢得、使用圭臬，幸免这种情况发生。

本文开首：AIGC绽放社区宝马会体育，原文标题：《OpenAI新产物GPTBot：可爬取荟萃数据，为GPT-5作念准备》