Robots.txt üçün tam bələdçi və bunun nə üçün vacib olduğunu
Robots.txt axtarış motoru robotları üçün hansı səhifələri tarayıb gedə bilməyəcəyinə dair təlimatları ehtiva edən mətn faylıdır. Bu təlimatlar bəzi (və ya hamısı) botlara “icazə vermək” və ya “icazə verməkdən” ibarətdir . robots.txt faylı belə görünür Robots.txt faylları əvvəlcə mürəkkəb görünə bilər, lakin sintaksis (kompüter dili) olduqca sadədir. Biz bunu daha sonra araşdıracağıq. Bu yazıda biz…
