DASAR CRAWLER

Halaman public boleh ditemukan. Permukaan private tidak.

Crawler carian dan AI yang sah boleh mengindeks laman pemasaran serta dokumentasi public. Route monitoring dalaman dan pentadbiran dikecualikan dan dilindungi secara berasingan.

Keluarga crawler dan token dasar yang dinamakan

Googlebot
Google-Extended (token dasar)
Bingbot
GPTBot
OAI-SearchBot
Amazonbot
Amzn-SearchBot
Facebook external hit
Applebot
DuckDuckBot

Bingbot menyokong indeks Bing dan asas carian yang digunakan oleh pengalaman Microsoft Copilot. Google-Extended ialah token kawalan, bukannya user-agent crawler berasingan. User-agent lain tidak menerima sokongan khusus. Halaman public kekal sebagai sumber web biasa. Path bukan public terus dikecualikan dan dilindungi.

Sempadan public dan private

Halaman pemasaran, dokumentasi, kepercayaan dan hubungan tersedia untuk pengindeksan biasa. /internal/, API, build asset, konsol dan path operasi private bukan kandungan public.

robots.txt hanya panduan kepada crawler. Endpoint private kekal berauthentication dan tidak muncul dalam navigasi atau sitemap public.

Pengelasan trafik

Metrik operasi server-side mengelaskan keluarga crawler hanya berdasarkan User-Agent yang dinyatakan. KFIF Enterprise tidak menganggap signal itu sebagai identiti yang telah disahkan.