Іздеу жүйелері веб -беттерді тексеретін және индекстейтін өрмекшілер немесе боттар деп аталатын роботтармен жабдықталған. Егер сіздің сайтыңыз немесе бетіңіз әзірленуде немесе құпия мазмұнды қамтыса, сіз боттардың сайтты қарап шығуын және индекстеуін блоктағыңыз келуі мүмкін. Бүкіл веб -сайттарды, беттер мен сілтемелерді robots.txt файлдары арқылы блоктауды және html тегтері бар арнайы беттер мен сілтемелерді бұғаттауды үйреніңіз. Белгілі бір боттардың сіздің мазмұнға кіруін қалай блоктау керектігін білу үшін оқыңыз.
Қадамдар
2 әдісі 1: robots.txt файлдарымен іздеу жүйелерін блоктау
Қадам 1. robots.txt файлдарын түсіну
Robots.txt файлы - бұл іздеу жүйесінің өрмекшілеріне сіздің сайтыңызға кіруге рұқсат етілген нәрселер туралы хабар беретін қарапайым немесе ASCII мәтіндік файл. Robots.txt файлында тізімделген файлдар мен қалталарды іздеу жүйесінің өрмекшілері тексеріп шығуы және индекстеуі мүмкін емес. Сізге robots.txt файлы қажет болуы мүмкін, егер:
- Сіз іздеу жүйесіндегі пауктардан белгілі бір мазмұнды блоктағыңыз келеді.
- Сіз тірі сайтты әзірлеп жатырсыз және іздеу жүйесінің пауктары сайтты тексеріп шығуға дайын емессіз
- Сіз беделді боттарға кіруді шектегіңіз келеді.
Қадам 2. robots.txt файлын жасаңыз және сақтаңыз
Файлды құру үшін қарапайым мәтіндік редакторды немесе код редакторын іске қосыңыз. Файлды келесідей сақтаңыз: robots.txt. Файл атауы барлық кіші әріптерден тұруы керек.
- «С» белгісін ұмытпаңыз.
- Файлды сақтаған кезде «'.txt» кеңейтімін таңдаңыз. Егер сіз Word бағдарламасын қолдансаңыз, «Қарапайым мәтін» опциясын таңдаңыз.
Қадам 3. Толық рұқсат етілмеген robots.txt файлын жазыңыз
Кез келген беделді іздеу жүйесінің паук сайтына «толық рұқсат етілмеген» robots.txt көмегімен тексеруге және индекстеуге тыйым салуға болады. Мәтіндік файлға келесі жолдарды жазыңыз:
Қолданушы-агент: * Рұқсат етпеу: /
Қадам 4. Шартты түрде рұқсат етілген robots.txt файлын жазыңыз
Барлық боттарды бұғаттаудың орнына, сіздің сайтыңыздың белгілі бір аймақтарынан арнайы пауктарды бұғаттауды қарастырыңыз. Жалпы шартты-рұқсат беретін командаларға мыналар жатады:
- Белгілі бір ботты блоктау: жанындағы жұлдызшаларды ауыстырыңыз Қолданушы-агент бар googlebot, googlebot жаңалықтары, googlebot-сурет, бингбот, немесе teoma.
-
Каталогты және оның мазмұнын блоктау:
Пайдаланушы-агент: * Рұқсат етілмейді: /үлгі-каталог /
-
Веб -бетті блоктау:
Пайдаланушы-агент: * Рұқсат етпеу: /private_file.html
-
Суретті блоктау:
Пайдаланушы-агент: googlebot-image Рұқсат етілмейді: /images_mypicture.jpg
-
Барлық суреттерді блоктау:
Пайдаланушы-агент: googlebot-image Рұқсат етілмейді: /
-
Белгілі бір файл пішімін блоктау:
Қолданушы-агент: * Рұқсат етілмейді: /p*.gif$
Қадам 5. Боттарды сайтыңызды индекстеуге және тексеруге шақырыңыз
Көптеген адамдар іздеу жүйесінің өрмекшілерін блоктың орнына қарсы алғысы келеді, себебі олар бүкіл сайтты индекстеуді қалайды. Мұны істеу үшін сізде үш нұсқа бар. Біріншіден, сіз robots.txt файлын жасаудан бас тарта аласыз, егер робот robots.txt файлын таппаса, ол бүкіл сайтты тексеріп шығуды жалғастырады. Екіншіден, сіз бос robots.txt файлын жасай аласыз-робот robots.txt файлын табады, оның бос екенін таниды және сіздің сайтыңызды тексеріп шығуды жалғастырады. Соңында, сіз robots.txt толық рұқсат етілген файлды жаза аласыз. Кодты қолданыңыз:
Пайдаланушы-агент: * Рұқсат етілмейді:
Қадам 6. txt файлын доменнің түбіріне сақтаңыз
Robots.txt файлын жазғаннан кейін өзгертулерді сақтаңыз. Файлды сайттың түбірлік каталогына жүктеңіз. Мысалы, егер сіздің доменіңіз болса www.yourdomain.com, robots.txt файлын орналастырыңыз www.yourdomain.com/robots.txt.
2 -ші әдіс 2: мета тегтермен іздеу жүйелерін блоктау
Қадам 1. HTML роботтарының мета тегтерін түсіну
Роботтардың мета -тегі бағдарламашыларға боттарға немесе іздеу жүйесіндегі өрмекшілерге параметрлер орнатуға мүмкіндік береді. Бұл тегтер боттарды бүкіл сайтты немесе сайттың кейбір бөліктерін индекстеуге және тексеруге тыйым салу үшін қолданылады. Сондай -ақ, бұл тегтерді белгілі бір іздеу жүйесінің паук мазмұнын индекстеуге тыйым салу үшін пайдалануға болады. Бұл тегтер сіздің HTML файлыңыздың басында пайда болады.
Бұл әдісті веб -сайттың түбірлік каталогына кіре алмайтын бағдарламашылар жиі қолданады
Қадам 2. Бір беттен боттарды блоктау
Барлық боттардың бетті индекстеуіне немесе бет сілтемелеріне кіруіне тыйым салуға болады. Бұл тег әдетте тікелей сайт әзірлену кезінде қолданылады. Сайт аяқталғаннан кейін, бұл тегті жою ұсынылады. Егер сіз тегті алып тастамасаңыз, сіздің бет индекстелмейді немесе іздеу жүйелері арқылы ізделмейді.
- Сіз боттарды бетті индекстеуге және кез келген сілтемелерге кіруге тыйым сала аласыз:
- Сіз барлық боттарға бетті индекстеуге тыйым сала аласыз:
- Сіз барлық боттардың бет сілтемелеріне кіруіне тыйым сала аласыз:
Қадам 3. Боттарға бетті индекстеуге рұқсат етіңіз, бірақ оның сілтемелерін орындамаңыз
Егер сіз боттарға бетті индекстеуге рұқсат берсеңіз, бет индекстеледі; егер сіз өрмекшілердің сілтемелерге кіруіне жол бермесеңіз, осы беттен басқа беттерге сілтеме жолы үзіледі. Төмендегі код жолын тақырыпқа енгізіңіз:
Қадам 4. Іздеу жүйесінің өрмекшілеріне сілтемелерді орындауға рұқсат етіңіз, бірақ бетті индекстемеңіз
Егер сіз боттарға сілтемелерді орындауға рұқсат берсеңіз, осы беттен басқа беттерге сілтеме жолы сақталады; егер сіз оларға бетті индекстеуге шектеу қойсаңыз, сіздің веб -бетіңіз индексте көрінбейді. Төмендегі код жолын тақырыпқа енгізіңіз:
Қадам 5. Жалғыз шығыс сілтемені блоктау
Беттегі жалғыз сілтемені жасыру үшін a рел сілтеме тегінің ішіндегі тег. Сіз бұл тегті блоктағыңыз келетін нақты бетке апаратын басқа беттердегі сілтемелерді бұғаттау үшін қолданғыңыз келуі мүмкін.
Блокталған бетке сілтеме енгізіңіз
Қадам 6. Белгілі бір іздеу жүйесінің паукасын блоктаңыз
Веб -беттегі барлық боттарды бұғаттаудың орнына, сіз бір боттың бетті тексеріп шығуын және индекстеуін болдырмағыңыз келуі мүмкін. Мұны істеу үшін мета тегтің ішіндегі «роботты» белгілі бір боттың атымен ауыстырыңыз. Мысалдарға мыналар жатады: googlebot, googlebot жаңалықтары, googlebot суреті, бингбот, және teoma.
Қадам 7. Боттарды сіздің бетті қарап шығуға және индекстеуге шақырыңыз
Егер сіздің парағыңыздың индекстелетініне және оның сілтемелері орындалатынына сенімді болғыңыз келсе, сіз рұқсатты енгізе аласыз мета «робот» тақырыпқа белгі қойыңыз. Келесі кодты қолданыңыз:
