BiviantBot
Crawler-ul Biviant — ce face, cum se identifică și cum îl poți opri.
Ce face
BiviantBot citește fluxurile RSS publice ale publicațiilor românești monitorizate și, acolo unde publicația nu a exprimat o rezervare de drepturi, accesează articolele pentru procesare temporară (textul integral nu este stocat niciodată). Pe baza acestui material, Biviant grupează articolele pe evenimente și generează rezumate cu legături directe către articolele originale.
Identitatea completă a crawler-ului: BiviantBot/1.0 (+https://biviant.com/bot). Toate cererile includ acest User-Agent și un antet From de contact. Cererile sunt limitate ca frecvență per domeniu (minim 1,5 secunde între cereri, maximum 2 conexiuni simultane), respectă Crawl-delay și folosesc cereri condiționate (If-Modified-Since / If-None-Match).
Cum refuzi accesul
Respectăm toate semnalele standard, verificate la fiecare 24 de ore:
- robots.txt — folosește token-ul
User-agent: BiviantBotcuDisallow: /. Respectăm și interdicțiile generice pentru agenți AI (GPTBot, CCBot etc.) ca semnal de opt-out TDM. - TDMRep — antetul HTTP
TDM-Reservation: 1, fișierul/.well-known/tdmrep.jsonsau meta-tag-ultdm-reservation. - noai — în meta-tag-ul robots sau în antetul
X-Robots-Tag, plus fișierul/ai.txt. - Formular direct — pagina pentru publicații procesează cereri de opt-out sau de eliminare fără să fie nevoie de modificări tehnice pe site-ul tău.
Orice semnal de rezervare limitează automat domeniul la titlu + link + fragment scurt din RSS (fără accesarea articolelor), iar conținutul deja extras este șters.

