Robots.txt dosyası, bir web sitesinin arama motorlarına, örneğin Google'a, siteyi tararken hangi sayfaların taranabileceğini ve hangilerinin taranamayacağını söyleyen bir dosyadır. Bu dosya, web sitesinin arama motoru optimizasyonunu yönetmek ve gereksiz sayfaların taranmasını önlemek için önemlidir.
