Humanoid Insomniac ~#root




Aller au contenu | Aller au menu | Aller à la recherche

Bingbot l'attaque DDoS soignee par Microsoft


Bingbot l'attaque DDoS soignee par Microsoft
ou comment bloquer proprement et définitivement le Bot a Bilou

Exploration des logs:

... "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" ...

Nombres de requêtes en 60 secondes: 334
Chez moi on appelle ça du Bourrinage de serveur

Il fallait une méthode radicale pour se debarrasser de ce " referenceur ? ah bon il sait faire ça Bilou Referencer? "

passez moi la méthode triviale du " robots.txt " avec:

User-Agent: bingbot
Crawl-delay: 1

C'est encore pire, donc la méthode qui tue, c'est le 403 direct, on soulage ainsi les serveurs, on laisse la place aux " vrais visiteurs "

On va généraliser la méthode a tous les sites présents et hébergés, mais peut etre appliqué au cas par cas par " vhosts "
Edition du fichier de configuration de base:

nano /etc/pache2/httpd.conf

ServerTokens Prod
ServerSignature Off
<Location />
SetEnvIf User-Agent "Wget" BlockUA
SetEnvIf User-Agent "bingbot" BlockUA
SetEnvIf User-Agent "msnbot" BlockUA
SetEnvIf User-Agent "OverBlog RSS Parser" BlockUA
SetEnvIf User-Agent "PHP" BlockUA
SetEnvIf User-Agent "MJ12bot" BlockUA
SetEnvIf User-Agent "SEO" BlockUA
SetEnvIf User-Agent "AhrefsBot" BlockUA
SetEnvIf User-Agent "WASALive-Bot" BlockUA
SetEnvIf User-Agent "GTB5" BlockUA
SetEnvIf User-Agent "WebMoney" BlockUA
SetEnvIf User-Agent "Sosospider" BlockUA
SetEnvIf User-Agent "wikiwix-bot" BlockUA
SetEnvIf User-Agent "almaden" BlockUA
SetEnvIf User-Agent "@nonymouse" BlockUA
SetEnvIf User-Agent "Art-Online" BlockUA
SetEnvIf User-Agent "CherryPicker" BlockUA
SetEnvIf User-Agent "Crescent\ Internet\ ToolPack" BlockUA
SetEnvIf User-Agent "DirectUpdate" BlockUA
SetEnvIf User-Agent "Download\ Accelerator" BlockUA
SetEnvIf User-Agent "eCatch" BlockUA
SetEnvIf User-Agent "echo\ extense" BlockUA
SetEnvIf User-Agent "EmailCollector" BlockUA
SetEnvIf User-Agent "EmailWolf" BlockUA
SetEnvIf User-Agent "ExtractorPro" BlockUA
SetEnvIf User-Agent "Fetch\ API\ Request" BlockUA
SetEnvIf User-Agent "flashget" BlockUA
SetEnvIf User-Agent "frontpage" BlockUA
SetEnvIf User-Agent "Go!Zilla" BlockUA
SetEnvIf User-Agent "HTTP\ agent" BlockUA
SetEnvIf User-Agent "HTTPConnect" BlockUA
SetEnvIf User-Agent "HTTrack" BlockUA
SetEnvIf User-Agent "DigExt" BlockUA
SetEnvIf User-Agent "Indy\ Library" BlockUA
SetEnvIf User-Agent "IPiumBot\ laurion(dot)com" BlockUA
SetEnvIf User-Agent "Kapere" BlockUA
SetEnvIf User-Agent "Microsoft\ URL\ Control" BlockUA
SetEnvIf User-Agent "minibot\(NaverRobot\)" BlockUA
SetEnvIf User-Agent "NICErsPRO" BlockUA
SetEnvIf User-Agent "NPBot" BlockUA
SetEnvIf User-Agent "Offline\ Explorer" BlockUA
SetEnvIf User-Agent "Offline\ Navigator" BlockUA
SetEnvIf User-Agent "Program\ Shareware" BlockUA
SetEnvIf User-Agent "QuepasaCreep" BlockUA
SetEnvIf User-Agent "SiteMapper" BlockUA
SetEnvIf User-Agent "Star\ Downloader" BlockUA
SetEnvIf User-Agent "SurveyBot" BlockUA
SetEnvIf User-Agent "Teleport\ Pro" BlockUA
SetEnvIf User-Agent "Telesoft" BlockUA
SetEnvIf User-Agent "TuringOS" BlockUA
SetEnvIf User-Agent "TurnitinBot" BlockUA
SetEnvIf User-Agent "vobsub" BlockUA
SetEnvIf User-Agent "webbandit" BlockUA
SetEnvIf User-Agent "WebCapture" BlockUA
SetEnvIf User-Agent "webcollage" BlockUA
SetEnvIf User-Agent "WebCopier" BlockUA
SetEnvIf User-Agent "WebDAV" BlockUA
SetEnvIf User-Agent "WebEmailExtractor" BlockUA
SetEnvIf User-Agent "WebReaper" BlockUA
SetEnvIf User-Agent "WEBsaver" BlockUA
SetEnvIf User-Agent "WebStripper" BlockUA
SetEnvIf User-Agent "WebZIP" BlockUA
SetEnvIf User-Agent "Wysigot" BlockUA
SetEnvIf User-Agent "Zeus.*Webster" BlockUA
SetEnvIf User-Agent "Zeus" BlockUA
SetEnvIf User-Agent "ADSARobot" BlockUA
SetEnvIf User-Agent "ah-ha" BlockUA
SetEnvIf User-Agent "aktuelles" BlockUA
SetEnvIf User-Agent "amzn_assoc" BlockUA
SetEnvIf User-Agent "Anarchie" BlockUA
SetEnvIf User-Agent "ASPSeek" BlockUA
SetEnvIf User-Agent "ASSORT" BlockUA
SetEnvIf User-Agent "ATHENS" BlockUA
SetEnvIf User-Agent "Atomz" BlockUA
SetEnvIf User-Agent "attach" BlockUA
SetEnvIf User-Agent "attache" BlockUA
SetEnvIf User-Agent "autoemailspider" BlockUA
SetEnvIf User-Agent "BackWeb" BlockUA
SetEnvIf User-Agent "Bandit" BlockUA
SetEnvIf User-Agent "BatchFTP" BlockUA
SetEnvIf User-Agent "bdfetch" BlockUA
SetEnvIf User-Agent "big.brother" BlockUA
SetEnvIf User-Agent "BlackWidow" BlockUA
SetEnvIf User-Agent "bmclient" BlockUA
SetEnvIf User-Agent "Boston\ Project" BlockUA
SetEnvIf User-Agent "BravoBrian\ SpiderEngine\ MarcoPolo" BlockUA
SetEnvIf User-Agent "Buddy" BlockUA
SetEnvIf User-Agent "Bullseye" BlockUA
SetEnvIf User-Agent "bumblebee" BlockUA
SetEnvIf User-Agent "capture" BlockUA
SetEnvIf User-Agent "ChinaClaw" BlockUA
SetEnvIf User-Agent "CICC" BlockUA
SetEnvIf User-Agent "clipping" BlockUA
SetEnvIf User-Agent "Crescent" BlockUA
SetEnvIf User-Agent "Crescent\ Internet\ ToolPak" BlockUA
SetEnvIf User-Agent "Custo" BlockUA
SetEnvIf User-Agent "cyberalert" BlockUA
SetEnvIf User-Agent "Deweb" BlockUA
SetEnvIf User-Agent "diagem" BlockUA
SetEnvIf User-Agent "Digger" BlockUA
SetEnvIf User-Agent "Digimarc" BlockUA
SetEnvIf User-Agent "DIIbot" BlockUA
SetEnvIf User-Agent "disco" BlockUA
SetEnvIf User-Agent "DISCoFinder" BlockUA
SetEnvIf User-Agent "Download\ Demon" BlockUA
SetEnvIf User-Agent "Download\ Wonder" BlockUA
SetEnvIf User-Agent "Downloader" BlockUA
SetEnvIf User-Agent "Drip" BlockUA
SetEnvIf User-Agent "DSurf15a" BlockUA
SetEnvIf User-Agent "DTS.Agent" BlockUA
SetEnvIf User-Agent "EasyDL" BlockUA
SetEnvIf User-Agent "ecollector" BlockUA
SetEnvIf User-Agent "efp@gmx\.net" BlockUA
SetEnvIf User-Agent "Email\ Extractor" BlockUA
SetEnvIf User-Agent "EirGrabber" BlockUA
SetEnvIf User-Agent "EmailSiphon" BlockUA
SetEnvIf User-Agent "Express\ WebPictures" BlockUA
SetEnvIf User-Agent "EyeNetIE" BlockUA
SetEnvIf User-Agent "fastlwspider" BlockUA
SetEnvIf User-Agent "FavOrg" BlockUA
SetEnvIf User-Agent "Favorites\ Sweeper" BlockUA
SetEnvIf User-Agent "Fetch" BlockUA
SetEnvIf User-Agent "FEZhead" BlockUA
SetEnvIf User-Agent "FileHound" BlockUA
SetEnvIf User-Agent "FlashGet\ WebWasher" BlockUA
SetEnvIf User-Agent "FlickBot" BlockUA
SetEnvIf User-Agent "fluffy" BlockUA
SetEnvIf User-Agent "GalaxyBot" BlockUA
SetEnvIf User-Agent "Generic" BlockUA
SetEnvIf User-Agent "Getleft" BlockUA
SetEnvIf User-Agent "GetRight" BlockUA
SetEnvIf User-Agent "GetSmart" BlockUA
SetEnvIf User-Agent "GetWeb!" BlockUA
SetEnvIf User-Agent "GetWebPage" BlockUA
SetEnvIf User-Agent "gigabaz" BlockUA
SetEnvIf User-Agent "Girafabot" BlockUA
SetEnvIf User-Agent "go-ahead-got-it" BlockUA
SetEnvIf User-Agent "GornKer" BlockUA
SetEnvIf User-Agent "Grabber" BlockUA
SetEnvIf User-Agent "GrabNet" BlockUA
SetEnvIf User-Agent "Grafula" BlockUA
SetEnvIf User-Agent "Green\ Research" BlockUA
SetEnvIf User-Agent "Harvest" BlockUA
SetEnvIf User-Agent "hhjhj@yahoo" BlockUA
SetEnvIf User-Agent "hloader" BlockUA
SetEnvIf User-Agent "HMView" BlockUA
SetEnvIf User-Agent "HomePageSearch" BlockUA
SetEnvIf User-Agent "httpdown" BlockUA
SetEnvIf User-Agent "http\ generic" BlockUA
SetEnvIf User-Agent "IBM_Planetwide" BlockUA
SetEnvIf User-Agent "Image\ Stripper" BlockUA
SetEnvIf User-Agent "Image\ Sucker" BlockUA
SetEnvIf User-Agent "imagefetch" BlockUA
SetEnvIf User-Agent "IncyWincy" BlockUA
SetEnvIf User-Agent "informant" BlockUA
SetEnvIf User-Agent "Ingelin" BlockUA
SetEnvIf User-Agent "InterGET" BlockUA
SetEnvIf User-Agent "Internet\ Ninja" BlockUA
SetEnvIf User-Agent "InternetLinkAgent" BlockUA
SetEnvIf User-Agent "InternetSeer\.com" BlockUA
SetEnvIf User-Agent "Iria" BlockUA
SetEnvIf User-Agent "Irvine" BlockUA
SetEnvIf User-Agent "JBH*Agent" BlockUA
SetEnvIf User-Agent "JetCar" BlockUA
SetEnvIf User-Agent "JOC" BlockUA
SetEnvIf User-Agent "JOC\ Web\ Spider" BlockUA
SetEnvIf User-Agent "JustView" BlockUA
SetEnvIf User-Agent "KWebGet" BlockUA
SetEnvIf User-Agent "Lachesis" BlockUA
SetEnvIf User-Agent "larbin" BlockUA
SetEnvIf User-Agent "LeechFTP" BlockUA
SetEnvIf User-Agent "LexiBot" BlockUA
SetEnvIf User-Agent "lftp" BlockUA
SetEnvIf User-Agent "libwww" BlockUA
SetEnvIf User-Agent "likse" BlockUA
SetEnvIf User-Agent "Link*Sleuth" BlockUA
SetEnvIf User-Agent "LINKS\ ARoMATIZED" BlockUA
SetEnvIf User-Agent "LinkWalker" BlockUA
SetEnvIf User-Agent "LWP" BlockUA
SetEnvIf User-Agent "lwp-trivial" BlockUA
SetEnvIf User-Agent "Magnet" BlockUA
SetEnvIf User-Agent "Mac\ Finder" BlockUA
SetEnvIf User-Agent "Mag-Net" BlockUA
SetEnvIf User-Agent "Mass\ Downloader" BlockUA
SetEnvIf User-Agent "MCspider" BlockUA
SetEnvIf User-Agent "MIDown\ tool" BlockUA
SetEnvIf User-Agent "Mirror" BlockUA
SetEnvIf User-Agent "Missigua\ Locator" BlockUA
SetEnvIf User-Agent "Mister\ PiX" BlockUA
SetEnvIf User-Agent "MMMtoCrawl\/UrlDispatcherLLL" BlockUA
SetEnvIf User-Agent "^Mozilla$" BlockUA
SetEnvIf User-Agent "MSProxy" BlockUA
SetEnvIf User-Agent "multithreaddb" BlockUA
SetEnvIf User-Agent "nationaldirectory" BlockUA
SetEnvIf User-Agent "Navroad" BlockUA
SetEnvIf User-Agent "NearSite" BlockUA
SetEnvIf User-Agent "Net\ Vampire" BlockUA
SetEnvIf User-Agent "NetAnts" BlockUA
SetEnvIf User-Agent "NetCarta" BlockUA
SetEnvIf User-Agent "NetMechanic" BlockUA
SetEnvIf User-Agent "netprospector" BlockUA
SetEnvIf User-Agent "NetResearchServer" BlockUA
SetEnvIf User-Agent "NetSpider" BlockUA
SetEnvIf User-Agent "NetZIP" BlockUA
SetEnvIf User-Agent "NetZip\ Downloader" BlockUA
SetEnvIf User-Agent "NetZippy" BlockUA
SetEnvIf User-Agent "NEWT" BlockUA
SetEnvIf User-Agent "nicerspro" BlockUA
SetEnvIf User-Agent "NPBot" BlockUA
SetEnvIf User-Agent "Octopus" BlockUA
SetEnvIf User-Agent "OpaL" BlockUA
SetEnvIf User-Agent "Openfind" BlockUA
SetEnvIf User-Agent "OpenTextSiteCrawler" BlockUA
SetEnvIf User-Agent "OrangeBot" BlockUA
SetEnvIf User-Agent "PackRat" BlockUA
SetEnvIf User-Agent "PageGrabber" BlockUA
SetEnvIf User-Agent "Papa\ Foto" BlockUA
SetEnvIf User-Agent "pavuk" BlockUA
SetEnvIf User-Agent "PersonaPilot" BlockUA
SetEnvIf User-Agent "pcBrowser" BlockUA
SetEnvIf User-Agent "PingALink" BlockUA
SetEnvIf User-Agent "Pockey" BlockUA
SetEnvIf User-Agent "Proxy" BlockUA
SetEnvIf User-Agent "psbot" BlockUA
SetEnvIf User-Agent "PSurf" BlockUA
SetEnvIf User-Agent "puf" BlockUA
SetEnvIf User-Agent "Pump" BlockUA
SetEnvIf User-Agent "PushSite" BlockUA
SetEnvIf User-Agent "QRVA" BlockUA
SetEnvIf User-Agent "RealDownload" BlockUA
SetEnvIf User-Agent "Reaper" BlockUA
SetEnvIf User-Agent "Recorder" BlockUA
SetEnvIf User-Agent "ReGet" BlockUA
SetEnvIf User-Agent "replacer" BlockUA
SetEnvIf User-Agent "RepoMonkey" BlockUA
SetEnvIf User-Agent "Robozilla" BlockUA
SetEnvIf User-Agent "Rover" BlockUA
SetEnvIf User-Agent "RPT-HTTPClient" BlockUA
SetEnvIf User-Agent "Rsync" BlockUA
SetEnvIf User-Agent "SearchExpress" BlockUA
SetEnvIf User-Agent "searchhippo" BlockUA
SetEnvIf User-Agent "searchterms\.it" BlockUA
SetEnvIf User-Agent "Second\ Street\ Research" BlockUA
SetEnvIf User-Agent "Seeker" BlockUA
SetEnvIf User-Agent "Shai" BlockUA
SetEnvIf User-Agent "sitecheck" BlockUA
SetEnvIf User-Agent "SiteSnagger" BlockUA
SetEnvIf User-Agent "SlySearch" BlockUA
SetEnvIf User-Agent "SmartDownload" BlockUA
SetEnvIf User-Agent "snagger" BlockUA
SetEnvIf User-Agent "SpaceBison" BlockUA
SetEnvIf User-Agent "Spegla" BlockUA
SetEnvIf User-Agent "SpiderBot" BlockUA
SetEnvIf User-Agent "SqWorm" BlockUA
SetEnvIf User-Agent "Stripper" BlockUA
SetEnvIf User-Agent "Sucker" BlockUA
SetEnvIf User-Agent "SuperBot" BlockUA
SetEnvIf User-Agent "SuperHTTP" BlockUA
SetEnvIf User-Agent "Surfbot" BlockUA
SetEnvIf User-Agent "SurfWalker" BlockUA
SetEnvIf User-Agent "Szukacz" BlockUA
SetEnvIf User-Agent "tAkeOut" BlockUA
SetEnvIf User-Agent "tarspider" BlockUA
SetEnvIf User-Agent "Templeton" BlockUA
SetEnvIf User-Agent "TrueRobot" BlockUA
SetEnvIf User-Agent "TV33_Mercator" BlockUA
SetEnvIf User-Agent "UIowaCrawler" BlockUA
SetEnvIf User-Agent "URL_Spider_Pro" BlockUA
SetEnvIf User-Agent "UtilMind" BlockUA
SetEnvIf User-Agent "Vacuum" BlockUA
SetEnvIf User-Agent "vagabondo" BlockUA
SetEnvIf User-Agent "vayala" BlockUA
SetEnvIf User-Agent "visibilitygap" BlockUA
SetEnvIf User-Agent "VoidEYE" BlockUA
SetEnvIf User-Agent "vspider" BlockUA
SetEnvIf User-Agent "w3mir" BlockUA
SetEnvIf User-Agent "web\.by\.mail" BlockUA
SetEnvIf User-Agent "Web\ Data\ Extractor" BlockUA
SetEnvIf User-Agent "Web\ Downloader" BlockUA
SetEnvIf User-Agent "Web\ Image\ Collector" BlockUA
SetEnvIf User-Agent "Web\ Sucker" BlockUA
SetEnvIf User-Agent "WebAuto" BlockUA
SetEnvIf User-Agent "Webclipping" BlockUA
SetEnvIf User-Agent "webcollector" BlockUA
SetEnvIf User-Agent "WebCopier" BlockUA
SetEnvIf User-Agent "webcraft@bea" BlockUA
SetEnvIf User-Agent "webdevil" BlockUA
SetEnvIf User-Agent "webdownloader" BlockUA
SetEnvIf User-Agent "Webdup" BlockUA
SetEnvIf User-Agent "WebFetch" BlockUA
SetEnvIf User-Agent "WebGo\ IS" BlockUA
SetEnvIf User-Agent "WebHook" BlockUA
SetEnvIf User-Agent "Webinator" BlockUA
SetEnvIf User-Agent "WebLeacher" BlockUA
SetEnvIf User-Agent "WEBMASTERS" BlockUA
SetEnvIf User-Agent "WebMiner" BlockUA
SetEnvIf User-Agent "WebMirror" BlockUA
SetEnvIf User-Agent "webmole" BlockUA
SetEnvIf User-Agent "WebReaper" BlockUA
SetEnvIf User-Agent "WebSauger" BlockUA
SetEnvIf User-Agent "Website\ eXtractor" BlockUA
SetEnvIf User-Agent "Website\ Quester" BlockUA
SetEnvIf User-Agent "WebSnake" BlockUA
SetEnvIf User-Agent "Webster" BlockUA
SetEnvIf User-Agent "WebStripper" BlockUA
SetEnvIf User-Agent "websucker" BlockUA
SetEnvIf User-Agent "webvac" BlockUA
SetEnvIf User-Agent "webwalk" BlockUA
SetEnvIf User-Agent "WebWhacker" BlockUA
SetEnvIf User-Agent "webweasel" BlockUA
SetEnvIf User-Agent "WebZIP" BlockUA
SetEnvIf User-Agent "whizbang" BlockUA
SetEnvIf User-Agent "WhosTalking" BlockUA
SetEnvIf User-Agent "Widow" BlockUA
SetEnvIf User-Agent "WISEbot" BlockUA
SetEnvIf User-Agent "WUMPUS" BlockUA
SetEnvIf User-Agent "Wweb" BlockUA
SetEnvIf User-Agent "WWWOFFLE" BlockUA
SetEnvIf User-Agent "Xaldon\ WebSpider" BlockUA
SetEnvIf User-Agent "XGET" BlockUA
SetEnvIf User-Agent "x-Tractor" BlockUA
SetEnvIf User-Agent "traffixer" BlockUA
SetEnvIf User-Agent "netfactual" BlockUA
SetEnvIf User-Agent "netcraft" BlockUA
SetEnvIf User-Agent "Advanced\ Email\ Extractor" BlockUA
Order allow,deny Allow from all Deny from env= BlockUA
</Location>

Ceci aura pour effet a chaque visite des ces indésirables du NET, d'avoir pour réponse le code " 403 " " access denied "

Vous trouverez dans cette liste assez complète et non exhaustive l'essentiel pour " soulager vos serveurs " et laisser la place a vos visiteurs les plus fidèles.
Passez moi le " Oui mais je ne vais plus être référencé? "
Un bon site bien codé, rapide avec du contenu intéressant et bien posé n'a pas besoin de référencement, le bouche a oreille suffit :)