BiviantBot

Crawler-ul Biviant — ce face, cum se identifică și cum îl poți opri.

Ce face

BiviantBot citește fluxurile RSS publice ale publicațiilor românești monitorizate și, acolo unde publicația nu a exprimat o rezervare de drepturi, accesează articolele pentru procesare temporară (textul integral nu este stocat niciodată). Pe baza acestui material, Biviant grupează articolele pe evenimente și generează rezumate cu legături directe către articolele originale.

Identitatea completă a crawler-ului: BiviantBot/1.0 (+https://biviant.com/bot). Toate cererile includ acest User-Agent și un antet From de contact. Cererile sunt limitate ca frecvență per domeniu (minim 1,5 secunde între cereri, maximum 2 conexiuni simultane), respectă Crawl-delay și folosesc cereri condiționate (If-Modified-Since / If-None-Match).

Cum refuzi accesul

Respectăm toate semnalele standard, verificate la fiecare 24 de ore:

  • robots.txt — folosește token-ul User-agent: BiviantBot cu Disallow: /. Respectăm și interdicțiile generice pentru agenți AI (GPTBot, CCBot etc.) ca semnal de opt-out TDM.
  • TDMRep — antetul HTTP TDM-Reservation: 1, fișierul /.well-known/tdmrep.json sau meta-tag-ul tdm-reservation.
  • noai — în meta-tag-ul robots sau în antetul X-Robots-Tag, plus fișierul /ai.txt.
  • Formular direct — pagina pentru publicații procesează cereri de opt-out sau de eliminare fără să fie nevoie de modificări tehnice pe site-ul tău.

Orice semnal de rezervare limitează automat domeniul la titlu + link + fragment scurt din RSS (fără accesarea articolelor), iar conținutul deja extras este șters.