Humanoid Insomniac ~#root




Aller au contenu | Aller au menu | Aller à la recherche

Mot-clé - robots

Fil des billets

jeudi, 1 novembre 2012

Bloquer les spam bots et aspirateurs de site web ( 48 % de votre trafic web )

Bloquer les spam bots et aspirateurs de site web

- Prérequis: Tes mains

- Mise en place: 10min

- Gain: A vous de voir

nano /etc/apache2/httpd.conf

Ajouter ceci:

<Location />
 SetEnvIf User-Agent "WASALive-Bot" BlockUA
 SetEnvIf User-Agent "GTB5" BlockUA
 SetEnvIf User-Agent "WebMoney" BlockUA
 SetEnvIf User-Agent "Sosospider" BlockUA
 SetEnvIf User-Agent "Baiduspider" BlockUA
 SetEnvIf User-Agent "wikiwix-bot" BlockUA
 SetEnvIf User-Agent "msnbot" BlockUA
 SetEnvIf User-Agent "bingbot" BlockUA
 SetEnvIf User-Agent "Yandex" BlockUA
 SetEnvIf User-Agent "almaden" BlockUA
 SetEnvIf User-Agent "@nonymouse" BlockUA
 SetEnvIf User-Agent "Art-Online" BlockUA
 SetEnvIf User-Agent "CherryPicker" BlockUA
 SetEnvIf User-Agent "Crescent\ Internet\ ToolPack" BlockUA
 SetEnvIf User-Agent "DirectUpdate" BlockUA
 SetEnvIf User-Agent "Download\ Accelerator" BlockUA
 SetEnvIf User-Agent "eCatch" BlockUA
 SetEnvIf User-Agent "Wget" BlockUA
 SetEnvIf User-Agent "echo\ extense" BlockUA
 SetEnvIf User-Agent "EmailCollector" BlockUA
 SetEnvIf User-Agent "EmailWolf" BlockUA
 SetEnvIf User-Agent "ExtractorPro" BlockUA
 SetEnvIf User-Agent "Fetch\ API\ Request" BlockUA
 SetEnvIf User-Agent "flashget" BlockUA
 SetEnvIf User-Agent "frontpage" BlockUA
 SetEnvIf User-Agent "Go!Zilla" BlockUA
 SetEnvIf User-Agent "HTTP\ agent" BlockUA
 SetEnvIf User-Agent "HTTPConnect" BlockUA
 SetEnvIf User-Agent "HTTrack" BlockUA
 SetEnvIf User-Agent "DigExt" BlockUA
 SetEnvIf User-Agent "Indy\ Library" BlockUA
 SetEnvIf User-Agent "IPiumBot\ laurion(dot)com" BlockUA
 SetEnvIf User-Agent "Kapere" BlockUA
 SetEnvIf User-Agent "libwww-perl" BlockUA
 SetEnvIf User-Agent "Microsoft\ URL\ Control" BlockUA
 SetEnvIf User-Agent "minibot\(NaverRobot\)" BlockUA
 SetEnvIf User-Agent "NICErsPRO" BlockUA
 SetEnvIf User-Agent "NPBot" BlockUA
 SetEnvIf User-Agent "Offline\ Explorer" BlockUA
 SetEnvIf User-Agent "Offline\ Navigator" BlockUA
 SetEnvIf User-Agent "Program\ Shareware" BlockUA
 SetEnvIf User-Agent "QuepasaCreep" BlockUA
 SetEnvIf User-Agent "SiteMapper" BlockUA
 SetEnvIf User-Agent "Star\ Downloader" BlockUA
 SetEnvIf User-Agent "SurveyBot" BlockUA
 SetEnvIf User-Agent "Teleport\ Pro" BlockUA
 SetEnvIf User-Agent "Telesoft" BlockUA
 SetEnvIf User-Agent "TuringOS" BlockUA
 SetEnvIf User-Agent "TurnitinBot" BlockUA
 SetEnvIf User-Agent "vobsub" BlockUA
 SetEnvIf User-Agent "webbandit" BlockUA
 SetEnvIf User-Agent "WebCapture" BlockUA
 SetEnvIf User-Agent "webcollage" BlockUA
 SetEnvIf User-Agent "WebCopier" BlockUA
 SetEnvIf User-Agent "WebDAV" BlockUA
 SetEnvIf User-Agent "WebEmailExtractor" BlockUA
 SetEnvIf User-Agent "WebReaper" BlockUA
 SetEnvIf User-Agent "WEBsaver" BlockUA
 SetEnvIf User-Agent "WebStripper" BlockUA
 SetEnvIf User-Agent "WebZIP" BlockUA
 SetEnvIf User-Agent "Wysigot" BlockUA
 SetEnvIf User-Agent "Zeus.*Webster" BlockUA
 SetEnvIf User-Agent "Zeus" BlockUA
 SetEnvIf User-Agent "ADSARobot" BlockUA
 SetEnvIf User-Agent "ah-ha" BlockUA
 SetEnvIf User-Agent "aktuelles" BlockUA
 SetEnvIf User-Agent "amzn_assoc" BlockUA
 SetEnvIf User-Agent "Anarchie" BlockUA
 SetEnvIf User-Agent "ASPSeek" BlockUA
 SetEnvIf User-Agent "ASSORT" BlockUA
 SetEnvIf User-Agent "ATHENS" BlockUA
 SetEnvIf User-Agent "Atomz" BlockUA
 SetEnvIf User-Agent "attach" BlockUA
 SetEnvIf User-Agent "attache" BlockUA
 SetEnvIf User-Agent "autoemailspider" BlockUA
 SetEnvIf User-Agent "BackWeb" BlockUA
 SetEnvIf User-Agent "Bandit" BlockUA
 SetEnvIf User-Agent "BatchFTP" BlockUA
 SetEnvIf User-Agent "bdfetch" BlockUA
 SetEnvIf User-Agent "big.brother" BlockUA
 SetEnvIf User-Agent "BlackWidow" BlockUA
 SetEnvIf User-Agent "bmclient" BlockUA
 SetEnvIf User-Agent "Boston\ Project" BlockUA
 SetEnvIf User-Agent "BravoBrian\ SpiderEngine\ MarcoPolo" BlockUA
 SetEnvIf User-Agent "Buddy" BlockUA
 SetEnvIf User-Agent "Bullseye" BlockUA
 SetEnvIf User-Agent "bumblebee" BlockUA
 SetEnvIf User-Agent "capture" BlockUA
 SetEnvIf User-Agent "ChinaClaw" BlockUA
 SetEnvIf User-Agent "CICC" BlockUA
 SetEnvIf User-Agent "clipping" BlockUA
 SetEnvIf User-Agent "Crescent" BlockUA
 SetEnvIf User-Agent "Crescent\ Internet\ ToolPak" BlockUA
 SetEnvIf User-Agent "Custo" BlockUA
 SetEnvIf User-Agent "cyberalert" BlockUA
 SetEnvIf User-Agent "Deweb" BlockUA
 SetEnvIf User-Agent "diagem" BlockUA
 SetEnvIf User-Agent "Digger" BlockUA
 SetEnvIf User-Agent "Digimarc" BlockUA
 SetEnvIf User-Agent "DIIbot" BlockUA
 SetEnvIf User-Agent "disco" BlockUA
 SetEnvIf User-Agent "DISCoFinder" BlockUA
 SetEnvIf User-Agent "Download\ Demon" BlockUA
 SetEnvIf User-Agent "Download\ Wonder" BlockUA
 SetEnvIf User-Agent "Downloader" BlockUA
 SetEnvIf User-Agent "Drip" BlockUA
 SetEnvIf User-Agent "DSurf15a" BlockUA
 SetEnvIf User-Agent "DTS.Agent" BlockUA
 SetEnvIf User-Agent "EasyDL" BlockUA
 SetEnvIf User-Agent "ecollector" BlockUA
 SetEnvIf User-Agent "efp@gmx\.net" BlockUA
 SetEnvIf User-Agent "Email\ Extractor" BlockUA
 SetEnvIf User-Agent "EirGrabber" BlockUA
 SetEnvIf User-Agent "EmailSiphon" BlockUA
 SetEnvIf User-Agent "Express\ WebPictures" BlockUA
 SetEnvIf User-Agent "EyeNetIE" BlockUA
 SetEnvIf User-Agent "fastlwspider" BlockUA
 SetEnvIf User-Agent "FavOrg" BlockUA
 SetEnvIf User-Agent "Favorites\ Sweeper" BlockUA
 SetEnvIf User-Agent "Fetch" BlockUA
 SetEnvIf User-Agent "FEZhead" BlockUA
 SetEnvIf User-Agent "FileHound" BlockUA
 SetEnvIf User-Agent "FlashGet\ WebWasher" BlockUA
 SetEnvIf User-Agent "FlickBot" BlockUA
 SetEnvIf User-Agent "fluffy" BlockUA
 SetEnvIf User-Agent "GalaxyBot" BlockUA
 SetEnvIf User-Agent "Generic" BlockUA
 SetEnvIf User-Agent "Getleft" BlockUA
 SetEnvIf User-Agent "GetRight" BlockUA
 SetEnvIf User-Agent "GetSmart" BlockUA
 SetEnvIf User-Agent "GetWeb!" BlockUA
 SetEnvIf User-Agent "GetWebPage" BlockUA
 SetEnvIf User-Agent "gigabaz" BlockUA
 SetEnvIf User-Agent "Girafabot" BlockUA
 SetEnvIf User-Agent "go-ahead-got-it" BlockUA
 SetEnvIf User-Agent "GornKer" BlockUA
 SetEnvIf User-Agent "Grabber" BlockUA
 SetEnvIf User-Agent "GrabNet" BlockUA
 SetEnvIf User-Agent "Grafula" BlockUA
 SetEnvIf User-Agent "Green\ Research" BlockUA
 SetEnvIf User-Agent "Harvest" BlockUA
 SetEnvIf User-Agent "hhjhj@yahoo" BlockUA
 SetEnvIf User-Agent "hloader" BlockUA
 SetEnvIf User-Agent "HMView" BlockUA
 SetEnvIf User-Agent "HomePageSearch" BlockUA
 SetEnvIf User-Agent "httpdown" BlockUA
 SetEnvIf User-Agent "http\ generic" BlockUA
 SetEnvIf User-Agent "IBM_Planetwide" BlockUA
 SetEnvIf User-Agent "Image\ Stripper" BlockUA
 SetEnvIf User-Agent "Image\ Sucker" BlockUA
 SetEnvIf User-Agent "imagefetch" BlockUA
 SetEnvIf User-Agent "IncyWincy" BlockUA
 SetEnvIf User-Agent "informant" BlockUA
 SetEnvIf User-Agent "Ingelin" BlockUA
 SetEnvIf User-Agent "InterGET" BlockUA
 SetEnvIf User-Agent "Internet\ Ninja" BlockUA
 SetEnvIf User-Agent "InternetLinkAgent" BlockUA
 SetEnvIf User-Agent "InternetSeer\.com" BlockUA
 SetEnvIf User-Agent "Iria" BlockUA
 SetEnvIf User-Agent "Irvine" BlockUA
 SetEnvIf User-Agent "JBH*Agent" BlockUA
 SetEnvIf User-Agent "JetCar" BlockUA
 SetEnvIf User-Agent "JOC" BlockUA
 SetEnvIf User-Agent "JOC\ Web\ Spider" BlockUA
 SetEnvIf User-Agent "JustView" BlockUA
 SetEnvIf User-Agent "KWebGet" BlockUA
 SetEnvIf User-Agent "Lachesis" BlockUA
 SetEnvIf User-Agent "larbin" BlockUA
 SetEnvIf User-Agent "LeechFTP" BlockUA
 SetEnvIf User-Agent "LexiBot" BlockUA
 SetEnvIf User-Agent "lftp" BlockUA
 SetEnvIf User-Agent "libwww" BlockUA
 SetEnvIf User-Agent "likse" BlockUA
 SetEnvIf User-Agent "Link*Sleuth" BlockUA
 SetEnvIf User-Agent "LINKS\ ARoMATIZED" BlockUA
 SetEnvIf User-Agent "LinkWalker" BlockUA
 SetEnvIf User-Agent "LWP" BlockUA
 SetEnvIf User-Agent "lwp-trivial" BlockUA
 SetEnvIf User-Agent "Magnet" BlockUA
 SetEnvIf User-Agent "Mac\ Finder" BlockUA
 SetEnvIf User-Agent "Mag-Net" BlockUA
 SetEnvIf User-Agent "Mass\ Downloader" BlockUA
 SetEnvIf User-Agent "MCspider" BlockUA
 SetEnvIf User-Agent "MIDown\ tool" BlockUA
 SetEnvIf User-Agent "Mirror" BlockUA
 SetEnvIf User-Agent "Missigua\ Locator" BlockUA
 SetEnvIf User-Agent "Mister\ PiX" BlockUA
 SetEnvIf User-Agent "MMMtoCrawl\/UrlDispatcherLLL" BlockUA
 SetEnvIf User-Agent "^Mozilla$" BlockUA
 SetEnvIf User-Agent "MSProxy" BlockUA
 SetEnvIf User-Agent "multithreaddb" BlockUA
 SetEnvIf User-Agent "nationaldirectory" BlockUA
 SetEnvIf User-Agent "Navroad" BlockUA
 SetEnvIf User-Agent "NearSite" BlockUA
 SetEnvIf User-Agent "Net\ Vampire" BlockUA
 SetEnvIf User-Agent "NetAnts" BlockUA
 SetEnvIf User-Agent "NetCarta" BlockUA
 SetEnvIf User-Agent "NetMechanic" BlockUA
 SetEnvIf User-Agent "netprospector" BlockUA
 SetEnvIf User-Agent "NetResearchServer" BlockUA
 SetEnvIf User-Agent "NetSpider" BlockUA
 SetEnvIf User-Agent "NetZIP" BlockUA
 SetEnvIf User-Agent "NetZip\ Downloader" BlockUA
 SetEnvIf User-Agent "NetZippy" BlockUA
 SetEnvIf User-Agent "NEWT" BlockUA
 SetEnvIf User-Agent "nicerspro" BlockUA
 SetEnvIf User-Agent "NPBot" BlockUA
 SetEnvIf User-Agent "Octopus" BlockUA
 SetEnvIf User-Agent "OpaL" BlockUA
 SetEnvIf User-Agent "Openfind" BlockUA
 SetEnvIf User-Agent "OpenTextSiteCrawler" BlockUA
 SetEnvIf User-Agent "OrangeBot" BlockUA
 SetEnvIf User-Agent "PackRat" BlockUA
 SetEnvIf User-Agent "PageGrabber" BlockUA
 SetEnvIf User-Agent "Papa\ Foto" BlockUA
 SetEnvIf User-Agent "pavuk" BlockUA
 SetEnvIf User-Agent "PersonaPilot" BlockUA
 SetEnvIf User-Agent "pcBrowser" BlockUA
 SetEnvIf User-Agent "PingALink" BlockUA
 SetEnvIf User-Agent "Pockey" BlockUA
 SetEnvIf User-Agent "Proxy" BlockUA
 SetEnvIf User-Agent "psbot" BlockUA
 SetEnvIf User-Agent "PSurf" BlockUA
 SetEnvIf User-Agent "puf" BlockUA
 SetEnvIf User-Agent "Pump" BlockUA
 SetEnvIf User-Agent "PushSite" BlockUA
 SetEnvIf User-Agent "QRVA" BlockUA
 SetEnvIf User-Agent "RealDownload" BlockUA
 SetEnvIf User-Agent "Reaper" BlockUA
 SetEnvIf User-Agent "Recorder" BlockUA
 SetEnvIf User-Agent "ReGet" BlockUA
 SetEnvIf User-Agent "replacer" BlockUA
 SetEnvIf User-Agent "RepoMonkey" BlockUA
 SetEnvIf User-Agent "Robozilla" BlockUA
 SetEnvIf User-Agent "Rover" BlockUA
 SetEnvIf User-Agent "RPT-HTTPClient" BlockUA
 SetEnvIf User-Agent "Rsync" BlockUA
 SetEnvIf User-Agent "SearchExpress" BlockUA
 SetEnvIf User-Agent "searchhippo" BlockUA
 SetEnvIf User-Agent "searchterms\.it" BlockUA
 SetEnvIf User-Agent "Second\ Street\ Research" BlockUA
 SetEnvIf User-Agent "Seeker" BlockUA
 SetEnvIf User-Agent "Shai" BlockUA
 SetEnvIf User-Agent "sitecheck" BlockUA
 SetEnvIf User-Agent "SiteSnagger" BlockUA
 SetEnvIf User-Agent "SlySearch" BlockUA
 SetEnvIf User-Agent "SmartDownload" BlockUA
 SetEnvIf User-Agent "snagger" BlockUA
 SetEnvIf User-Agent "SpaceBison" BlockUA
 SetEnvIf User-Agent "Spegla" BlockUA
 SetEnvIf User-Agent "SpiderBot" BlockUA
 SetEnvIf User-Agent "SqWorm" BlockUA
 SetEnvIf User-Agent "Stripper" BlockUA
 SetEnvIf User-Agent "Sucker" BlockUA
 SetEnvIf User-Agent "SuperBot" BlockUA
 SetEnvIf User-Agent "SuperHTTP" BlockUA
 SetEnvIf User-Agent "Surfbot" BlockUA
 SetEnvIf User-Agent "SurfWalker" BlockUA
 SetEnvIf User-Agent "Szukacz" BlockUA
 SetEnvIf User-Agent "tAkeOut" BlockUA
 SetEnvIf User-Agent "tarspider" BlockUA
 SetEnvIf User-Agent "Templeton" BlockUA
 SetEnvIf User-Agent "TrueRobot" BlockUA
 SetEnvIf User-Agent "TV33_Mercator" BlockUA
 SetEnvIf User-Agent "UIowaCrawler" BlockUA
 SetEnvIf User-Agent "URL_Spider_Pro" BlockUA
 SetEnvIf User-Agent "UtilMind" BlockUA
 SetEnvIf User-Agent "Vacuum" BlockUA
 SetEnvIf User-Agent "vagabondo" BlockUA
 SetEnvIf User-Agent "vayala" BlockUA
 SetEnvIf User-Agent "visibilitygap" BlockUA
 SetEnvIf User-Agent "VoidEYE" BlockUA
 SetEnvIf User-Agent "vspider" BlockUA
 SetEnvIf User-Agent "w3mir" BlockUA
 SetEnvIf User-Agent "web\.by\.mail" BlockUA
 SetEnvIf User-Agent "Web\ Data\ Extractor" BlockUA
 SetEnvIf User-Agent "Web\ Downloader" BlockUA
 SetEnvIf User-Agent "Web\ Image\ Collector" BlockUA
 SetEnvIf User-Agent "Web\ Sucker" BlockUA
 SetEnvIf User-Agent "WebAuto" BlockUA
 SetEnvIf User-Agent "Webclipping" BlockUA
 SetEnvIf User-Agent "webcollector" BlockUA
 SetEnvIf User-Agent "WebCopier" BlockUA
 SetEnvIf User-Agent "webcraft@bea" BlockUA
 SetEnvIf User-Agent "webdevil" BlockUA
 SetEnvIf User-Agent "webdownloader" BlockUA
 SetEnvIf User-Agent "Webdup" BlockUA
 SetEnvIf User-Agent "WebFetch" BlockUA
 SetEnvIf User-Agent "WebGo\ IS" BlockUA
 SetEnvIf User-Agent "WebHook" BlockUA
 SetEnvIf User-Agent "Webinator" BlockUA
 SetEnvIf User-Agent "WebLeacher" BlockUA
 SetEnvIf User-Agent "WEBMASTERS" BlockUA
 SetEnvIf User-Agent "WebMiner" BlockUA
 SetEnvIf User-Agent "WebMirror" BlockUA
 SetEnvIf User-Agent "webmole" BlockUA
 SetEnvIf User-Agent "WebReaper" BlockUA
 SetEnvIf User-Agent "WebSauger" BlockUA
 SetEnvIf User-Agent "Website\ eXtractor" BlockUA
 SetEnvIf User-Agent "Website\ Quester" BlockUA
 SetEnvIf User-Agent "WebSnake" BlockUA
 SetEnvIf User-Agent "Webster" BlockUA
 SetEnvIf User-Agent "WebStripper" BlockUA
 SetEnvIf User-Agent "websucker" BlockUA
 SetEnvIf User-Agent "webvac" BlockUA
 SetEnvIf User-Agent "webwalk" BlockUA
 SetEnvIf User-Agent "WebWhacker" BlockUA
 SetEnvIf User-Agent "webweasel" BlockUA
 SetEnvIf User-Agent "WebZIP" BlockUA
 SetEnvIf User-Agent "whizbang" BlockUA
 SetEnvIf User-Agent "WhosTalking" BlockUA
 SetEnvIf User-Agent "Widow" BlockUA
 SetEnvIf User-Agent "WISEbot" BlockUA
 SetEnvIf User-Agent "WUMPUS" BlockUA
 SetEnvIf User-Agent "Wweb" BlockUA
 SetEnvIf User-Agent "WWWOFFLE" BlockUA
 SetEnvIf User-Agent "Xaldon\ WebSpider" BlockUA
 SetEnvIf User-Agent "XGET" BlockUA
 SetEnvIf User-Agent "x-Tractor" BlockUA
 SetEnvIf User-Agent "traffixer" BlockUA
 SetEnvIf User-Agent "netfactual" BlockUA
 SetEnvIf User-Agent "netcraft" BlockUA
 SetEnvIf User-Agent "Advanced\ Email\ Extractor" BlockUA
 Order allow,deny
 Allow from all
 Deny from env=BlockUA
</Location>

C'est radical je le conçoit mais il n'y a pas toujours un Robot d'indexation
derrière une requête qui s'annonce en tant que tel :)