A Cloudflare azzal vádolja a Perplexity-t, hogy rejtett crawlerekkel kerüli meg az utasításokat
A Cloudflare nyilvánosan megvádolta a Perplexity AI-t, hogy titkos, be nem jelentett webes crawlerek segítségével kerüli meg a weboldalak korlátozásait. A Cloudflare szerint ezeket a crawlereknek az a célja, hogy kijátsszák a robots.txt fájlokban található „no-crawl” utasításokat, amelyeket a weboldaltulajdonosok az automatizált adatgyűjtés (scraping) megakadályozására használnak. Ez lehetővé teszi az AI cég számára, hogy olyan kiadók tartalmaihoz is hozzáférjen, akik kifejezetten elutasították az AI-tanítást vagy az indexelést.
- A Perplexity-t be nem jelentett crawlerek használatával vádolja a blokkolások megkerülése érdekében.
- Azt állítja, hogy a crawlerek kifejezetten a robots.txt utasítások figyelmen kívül hagyására lettek tervezve.
- Rávilágít az AI cégek és a webes kiadók közötti eszkalálódó konfliktusra az adattulajdonjoggal kapcsolatban.
Miért fontos?
Ez a vita rávilágít a növekvő jogi és etikai feszültségekre azzal kapcsolatban, hogy az AI cégek hogyan szerzik be adataikat, és tiszteletben tartják-e a tartalomkészítők által felállított technikai határokat. ---
Kapcsolódó hírek