En effektiv spindelblock för WordPress

Om det inte var spindlar skulle vi inte kunna söka på Google för att hitta webbinnehåll. Spindlar är robotar som skur på nätet och indexerar allt de hittar så att när du vill söka efter artiklar på WordPress, vet den var de här artiklarna är och kan rikta dig till dem. Du behöver inte låta ett spindelindex WordPress, men det finns ett enkelt sätt att skapa ett effektivt spindelblock för WordPress som blockerar spindlar från välrenommerade företag. Ett ännu effektivare spindelblock innehåller en del inställningar och en process för att identifiera och blockera dåliga spindlar som ignorerar dina instruktioner och index Webbinnehåll som du har angett som gränsvärden för spindlar.

robots.txt

När en spindel besöker din WordPress-webbplats, är det första som det ska göra att läsa filen "robots.txt". Den här filen innehåller regler som anger de filer och kataloger som antingen kan eller inte kan indexeras av alla spindlar eller enskilda spindlar. En spindel finner sin unika "user-agent" -kod i filen eller ett jokertecken som anger "alla spindlar". Det läser sedan listan över filer och kataloger som antingen är tillåtna eller otillåtna. Därefter börjar det indexera endast de delar av webbplatsen som det är tillåtet att indexera.

Blockering Spindlar

Du kan skapa ett effektivt spindelblock för WordPress genom att skapa en "robots.txt" -fil i din WordPress-rotkatalog och ange en regel som tillåter indexering av webbplatsens rotkatalog. Detta förkänner automatiskt indexering av någon underkatalog för roten. I filen bör du också ange att denna regel gäller alla spindel-användaragentkoder. Varje spindel som besöker din webbplats borde läsa filen och lämna utan att indexera någon del av din webbplats. Till exempel ska filen "robots.txt" se ut som:

Användaragent: * Tillåt: /

Bra och dåliga Spindlar

Det finns bra spindlar och det finns dåliga spindlar. Goda spindlar är från välrenommerade företag som Google, Yahoo eller Microsoft och följer reglerna i din robots.txt-fil. Dåliga spindlar är från personer eller företag som avsiktligt ignorerar filen "robots.txt" och eventuellt indexerar hela innehållet på din webbplats oavsett vad du tillåter eller tillåter. Dessa robotar söker ibland efter specifik information som e-postadresser, att sälja till spammare, eller personlig information om användare, att sälja till andra företag. Spindlarna skura hela din webbplats, letar efter information eller innehåll som du inte har doldat eller skyddat ordentligt. Olika webmasters har olika sätt att hantera rogue spindlar. Vissa försöker enkelt identifiera vem de är och blockera dem från att indexera innehåll på webbplatsen. Andra försöker åstadkomma skador genom att förgifta spindelns databas med falsk information eller genom att lura spindeln i en ändlös slinga som antingen gör att den slutar eller avbryts.

Honungskruka

En honeypot eller tarpit är en teknik som används av några webmasters för att identifiera skurkespindlar så att de kan blockeras. Du kan skapa en honeypot genom att helt enkelt lägga till en katalog som innehåller falskt innehåll, till exempel e-postadresser, och specifikt förhindra den katalogen i filen "robots.txt". Serverns loggar kommer att berätta vilka spindlar som nått katalogen, och du kan spela in deras användaragentsträng och IP-adress. Med den informationen kan du skapa regler i WordPress "htaccess" -filen som nekar åtkomst till dessa skurkespindlar. Honeypot måste regelbundet kontrolleras för att fånga nya rogue robotar från att komma åt din webbplats.