Qidiruv mexanizmlari o'rgimchak yoki bot deb ham ataladigan robotlar bilan jihozlangan, ular veb -sahifalarni tekshiradi va indekslaydi. Agar sizning saytingiz yoki sahifangiz rivojlanayotgan bo'lsa yoki maxfiy tarkibga ega bo'lsa, siz botlarni saytingizni tekshirib ko'rishni va indekslashni bloklashni xohlashingiz mumkin. Robots.txt fayllari bilan butun veb -saytlar, sahifalar va havolalarni blokirovka qilishni va html teglari bilan ma'lum sahifalar va havolalarni bloklashni o'rganing. Muayyan botlarning kontentingizga kirishini qanday blokirovka qilishni bilib olish uchun o'qing.
Qadamlar
2 -usul 1: robots.txt fayllari yordamida qidiruv tizimlarini blokirovka qilish
Qadam 1. robots.txt fayllarini tushunish
Robots.txt fayli - bu oddiy yoki ASCII matnli fayl bo'lib, u qidiruv tizimi o'rgimchaklariga sizning saytingizga kirishga ruxsat berilgan narsalarni ma'lum qiladi. Robots.txt faylida sanab o'tilgan fayllar va papkalarni qidiruv tizimi o'rgimchaklari skanerdan o'tkazmasligi va indekslashi mumkin emas. Sizga robots.txt fayli kerak bo'lishi mumkin, agar:
- Siz qidiruv tizimidagi o'rgimchaklardan ma'lum tarkibni bloklashni xohlaysiz.
- Siz jonli sayt yaratmoqdasiz va qidiruv tizimi o'rgimchaklari saytni tekshirib ko'rishga tayyor emas
- Siz obro'li botlarga kirishni cheklamoqchisiz.
Qadam 2. Robots.txt faylini yarating va saqlang
Faylni yaratish uchun oddiy matn muharriri yoki kod muharririni ishga tushiring. Faylni robots.txt formatida saqlang. Fayl nomi hamma kichik harflar bilan yozilishi kerak.
- "S" harflarini unutmang.
- Faylni saqlaganingizda "'.txt" kengaytmasini tanlang. Agar siz Word -dan foydalanayotgan bo'lsangiz, "Oddiy matn" variantini tanlang.
Qadam 3. To'liq taqiqlangan robots.txt faylini yozing
Har bir obro'li qidiruv tizimi o'rgimchaklarini saytingizni "to'liq taqiqlangan" robots.txt bilan tekshirib ko'rishni va indekslashni taqiqlash mumkin. Matn fayliga quyidagi qatorlarni yozing:
Foydalanuvchi-agent: * Ruxsat bermang: /
Qadam 4. Shartli ruxsat berilgan robots.txt faylini yozing
Barcha botlarni blokirovka qilish o'rniga, saytingizning ma'lum joylaridan maxsus o'rgimchaklarni blokirovka qilishni o'ylab ko'ring. Umumiy shartli ruxsat buyruqlari quyidagilarni o'z ichiga oladi:
- Muayyan botni blokirovka qiling: yonidagi yulduzchalarni almashtiring Foydalanuvchi-agent bilan googlebot, googlebot-yangiliklar, googlebot-rasm, bingbot, yoki teoma.
-
Katalog va uning tarkibini blokirovka qilish:
Foydalanuvchi-agent: * Ruxsat bermang: /namuna-katalog /
-
Veb -sahifani blokirovka qilish:
Foydalanuvchi-agent: * Ruxsat bermang: /priv_file.html
-
Rasmni blokirovka qilish:
Foydalanuvchi-agent: googlebot-tasvirni taqiqlash: /images_mypicture.jpg
-
Barcha rasmlarni bloklash:
Foydalanuvchi-agent: googlebot-tasvirni taqiqlash: /
-
Muayyan fayl formatini blokirovka qilish:
Foydalanuvchi-agent: * Ruxsat bermang: /p*.gif$
Qadam 5. Botlarni saytingizni indekslash va tekshirishga undang
Ko'p odamlar qidiruv tizimining o'rgimchaklarini blokirovka qilish o'rniga xush kelibsiz, chunki ular butun saytini indekslashni xohlashadi. Buni amalga oshirish uchun sizda uchta variant bor. Birinchidan, siz robots.txt faylini yaratishni rad etishingiz mumkin-robot robots.txt faylini topmasa, u butun saytingizni tekshirib ko'rishni davom ettiradi. Ikkinchidan, siz bo'sh robots.txt faylini yaratishingiz mumkin-robot robots.txt faylini topadi, uning bo'sh ekanligini tan oladi va saytingizni tekshirib ko'rishni davom ettiradi. Nihoyat, to'liq ruxsat berilgan robots.txt faylini yozishingiz mumkin. Kodni ishlating:
Foydalanuvchi-agent: * Ruxsat bermang:
Qadam 6. txt faylini domeningizning ildiziga saqlang
Robots.txt faylini yozganingizdan so'ng, o'zgarishlarni saqlang. Faylni saytingizning asosiy katalogiga yuklang. Masalan, agar sizning domeningiz bo'lsa www.domain.com, robots.txt faylini joylashtiring www.domain.com/robots.txt.
2 -dan 2 -usul: qidiruv tizimlarini meta teglar bilan blokirovka qilish
Qadam 1. HTML robotlar meta teglarini tushunish
Robotlar meta -yorlig'i dasturchilarga botlar yoki qidiruv tizimidagi o'rgimchaklar uchun parametrlarni o'rnatishga imkon beradi. Bu teglar botlarni butun saytni yoki saytning ayrim qismlarini indekslash va skanerlashni blokirovka qilish uchun ishlatiladi. Bundan tashqari, ushbu teglardan ma'lum bir qidiruv tizimi o'rgimchakining tarkibingizni indeksatsiyasini blokirovka qilish uchun foydalanishingiz mumkin. Bu teglar HTML faylingizning boshida paydo bo'ladi.
Ushbu usul odatda veb -saytning ildiz katalogiga kira olmaydigan dasturchilar tomonidan qo'llaniladi
Qadam 2. Bitta sahifadan botlarni blokirovka qilish
Barcha botlarni sahifani indekslashdan yoki sahifaning havolalarini kuzatib borishdan blokirovka qilish mumkin. Bu teg odatda jonli sayt ishlab chiqilayotganda ishlatiladi. Sayt tugagandan so'ng, bu tegni olib tashlash tavsiya etiladi. Agar siz tegni olib tashlamasangiz, sahifangiz indekslanmaydi yoki qidiruv tizimlari orqali qidirilmaydi.
- Siz botlarni sahifani indekslashni va har qanday havolaga kirishni bloklashingiz mumkin:
- Siz barcha botlarni sahifani indeksatsiyalashini bloklashingiz mumkin:
- Siz barcha botlarni sahifadagi havolalarga kirishni bloklashingiz mumkin:
Qadam 3. Botlarga sahifani indekslashga ruxsat bering, lekin uning havolalariga rioya qilmang
Agar siz botlarga sahifani indekslashga ruxsat bersangiz, sahifa indekslanadi; Agar siz o'rgimchaklar havolalarga kirishiga to'sqinlik qilsangiz, ushbu sahifadan boshqa sahifalarga o'tish yo'li buziladi. Sarlavhaga quyidagi kod qatorini kiriting:
Qadam 4. Qidiruv mexanizmi o'rgimchalari havolalarga amal qilsin, lekin sahifani indekslamasin
Agar siz botlarga havolalarni kuzatib borishga ruxsat bersangiz, ushbu sahifadan boshqa sahifalarga o'tish yo'llari saqlanib qoladi; agar siz ularni sahifani indeksatsiya qilishni cheklasangiz, veb -sahifangiz indeksda ko'rinmaydi. Sarlavhaga quyidagi kod qatorini kiriting:
Qadam 5. Bitta chiquvchi havolani blokirovka qiling
Sahifadagi bitta havolani yashirish uchun rel havola tagidagi teg. Siz blokirovka qilmoqchi bo'lgan sahifaga olib keladigan boshqa sahifalardagi havolalarni blokirovka qilish uchun ushbu tegdan foydalanishni xohlashingiz mumkin.
Bloklangan sahifaga havola kiriting
Qadam 6. Muayyan qidiruv tizimidagi o'rgimchakni blokirovka qiling
Veb -sahifangizdagi barcha botlarni blokirovka qilish o'rniga, siz bitta botning sahifani skanerlashi va indekslanishiga yo'l qo'ymasligingiz mumkin. Buni amalga oshirish uchun meta teg ichidagi "robot" ni ma'lum bir bot nomi bilan almashtiring. Misollarga quyidagilar kiradi: googlebot, googlebot-yangiliklar, googlebot-rasm, bingbotva teoma.
Qadam 7. Botlarni skanerlash va sahifangizni indekslashga undang
Agar siz sahifangiz indekslanishini va uning havolalariga rioya qilinishini ta'minlamoqchi bo'lsangiz, kuzatuv ruxsatnomasini kiritishingiz mumkin meta "robot" sarlavhaga belgi qo'ying. Quyidagi kodni ishlating:
