A webtárhelyek biztonsága kritikus jelentőségű a modern digitális világban, különösen a weboldalak és online szolgáltatások zavartalan működése szempontjából. Egyre több vállalkozás és magánszemély támaszkodik weboldalakra, amelyek jelentős forgalmat generálhatnak. Ezért fontos, hogy a tárhely biztonságosan és hatékonyan kezelje a terhelést, különösen a kereső-botok – vagy más néven SEO-botok – által okozott forgalmat. Az ilyen botok gyakran nemcsak hasznos információkat gyűjtenek, hanem túlzott terhelést is okozhatnak, ami veszélyezteti a webhely teljesítményét és elérhetőségét.

Esettanulmány: SEO-botok által okozott túlterhelés

Egy ügyfelem vállalkozása folyamatos és erőteljes növekedésben van. Weboldalának forgalma hónapról-hónapra növekszik. Google Ads, Meta és TikTok csatornákon keresztül, valamint organikus keresések által is egyre több látogató érkezik a webhelyre.

A weboldal (ami egy webshop) sebességre és teljesítményre optimalizálásával, valamint stratégiai tárhelyválasztással segítem a növekvő forgalma skálázható és biztonságos kiszolgálását.

A probléma

Mégis, időről-időre előfordult, hogy nagyobb forgalmú időszakokban, de időnként azokon kívül is a webhely egyszerűen elfogyasztotta a rendelkezésre álló tárhely-erőforrásait.

Ilyenkor a webshop elérhetetlenné vált, nem lehetett vásárolni, a hirdetés(ek)re költött pénzt kidobtuk az ablakon!

Mivel a stratégiában ott tartunk jelenleg, hogy még nem érett meg a helyzet egy dedikált szerver bérlésére (de már elő van készítve a döntés), a webshop egyelőre egy erősebb osztott tárhelyen van, több más weboldallal közös erőforrásokon osztozva.

Hetek, sőt hónapok óta próbáltam a weboldalon kideríteni, mi okozza az időszakos lehalásokat.

Nem sikerült a weboldal kódjában hibát találni.

Ebben az időszakban a tárhelyszolgáltató váltig azt állította, hogy dedikált szervert javasol – ők a tárhelyen problémát nem látnak.

A megoldás

Addig-addig erőlködtem, elemeztem, és kérdeztem, míg a tárhelyszolgáltató szakemberei végül mélyebb elemzésnek vetették alá maguk is a tárhelyet, és rájöttek, hogy bizonyos időszakokban rendkívül megnövekszik a keresőbotok (SEO-botok) által okozott terhelés. Ráadásul ez nemcsak a mi webshop-unkat, hanem a tárhelyen lévő más weboldalakat is érinti!

Kérését követően alaposabb vizsgálatnak vetettük alá az oldalát és tárhelyét. Arra lettünk figyelmesek, hogy a tegnap este tapasztalt jelenség egy időbe esett azzal, hogy a tárhelyét kiszolgáló szerveren nagy mennyiségű bot forgalom volt érzékelhető. Ez kihatással volt a szerveren lévő összes oldal teljesítményére, többek közt az Önére is. Ezek összessége kb egy kisebb ddos támadással voltak egyenlők, noha nem beszélhetünk ddos támadásról. A botok kitiltásra kerültek, amit követően a teljesítmény ismét normalizálódott így a felesleges erőforrás használat megszűnt.

A botok amik kitiltásra kerültek

SemrushBot
AhrefsBot
MJ12bot

A következő napokban-hetekben fokozatosan újra fogjuk aktiválni ezen SEO-botok hozzáférését, amennyiben úgy látjuk, hogy az általuk gyakorolt forgalom megfelelő erőforrás használat mellett történik.

Végül azzal is elismerték a mulasztásukat, hogy 1 hónappal meghosszabbították a tárhelybérletünk időtartamát ingyenesen.

Úgy gondolom, hogy ez a korrekt hozzáállás egy tárhelyszolgáltató részéről.

Miért jelent problémát a kereső-botok (SEO-botok) általi terhelés?

A keresőmotorok, mint például a Google vagy a Bing, folyamatosan indexelik a weboldalakat, hogy friss tartalmat nyújtsanak a felhasználóknak. Azonban nem minden bot jóindulatú vagy jól konfigurált. Sok bot célja a webhelyek adatainak kiszolgálása vagy sebezhetőségeinek felderítése, ami jelentős problémákat okozhat. A leggyakoribb problémák a következők:

Szolgáltatás-megtagadás (DoS): Ha egy webhelyet túl sok bot egyszerre ér el, a tárhely túlterhelődhet, ami lassuláshoz vagy akár teljes leálláshoz vezethet.

Felesleges sávszélesség-fogyasztás: A botok által generált forgalom jelentős sávszélességet használhat el, ami növeli a tárhely költségeit.

Adatlopás: Egyes rosszindulatú botok érzékeny adatokat gyűjthetnek, amelyek biztonsági kockázatot jelenthetnek.

Negatív SEO-hatás: Az alacsony teljesítményű webhelyek rosszabb helyezéseket érhetnek el a keresőmotorokban, ami közvetlen hatással van az organikus forgalomra és a bevételekre.

A hatékony védelem alapjai

Ahhoz, hogy megvédjük a webtárhelyeket a kereső-botok által okozott károktól, több szempontot is figyelembe kell venni. A megfelelő technológiai megoldások kombinálásával csökkenthetjük a kockázatokat és biztosíthatjuk a webhely zavartalan működését.

1. Botforgalom figyelése és azonosítása

Az első lépés a botok azonosítása. Ez magában foglalja a naplófájlok és az analitikai eszközök használatát a gyanús forgalom figyelésére. A legtöbb modern tárhelyszolgáltató rendelkezik olyan eszközökkel, amelyek segítenek azonosítani, hogy mely IP-címekről érkezik szokatlanul magas forgalom.

2. Robots.txt fájl helyes konfigurálása

A robots.txt fájl segítségével szabályozhatjuk, hogy a jóindulatú botok (pl. SEO-botok) milyen részeit érhetik el a webhelynek. Bár ez nem garantálja a rosszindulatú botok kizárását, segít minimalizálni a felesleges indexelést.

3. IP-blokkolás és geolokációs korlátozások

Az IP-blokkolás hatékony módszer lehet az ismert rosszindulatú források kizárására. Ezenkívül geolokációs korlátozásokkal megakadályozható, hogy bizonyos országokból származó gyanús forgalom elérje a webhelyet.

4. Captcha és más hitelesítési módszerek

A CAPTCHA-k használata segíthet megkülönböztetni az emberi felhasználókat a botoktól. Ez különösen hasznos olyan oldalaknál, amelyek érzékeny információkat tartalmaznak vagy adatbekérést végeznek.

5. Web Application Firewall (WAF) alkalmazása

A WAF technológiák hatékonyan blokkolhatják a rosszindulatú botokat, miközben engedélyezik a normál felhasználói forgalmat. Ezek a tűzfalak elemzik a bejövő forgalmat, és automatikusan blokkolják a gyanús tevékenységet.

6. Tárhely-optimalizáció

Az erős tárhely infrastruktúra képes kezelni a nagyobb terhelést is. Fontos, hogy a webhely gyorsítótárazási megoldásokat alkalmazzon, például CDN-eket (Content Delivery Network), amelyek csökkentik a szerver terhelését.

A megelőzés és az edukáció szerepe

Az egyik legfontosabb lépés a megelőzés, amely az oktatással kezdődik. A weboldal-tulajdonosoknak tisztában kell lenniük azzal, hogy milyen típusú botok léteznek, és hogyan lehet védekezni ellenük. A folyamatos frissítések, a rendszeres biztonsági ellenőrzések és a legújabb technológiák alkalmazása jelentősen csökkenti a kockázatokat.

Összegzés

A webtárhelyek védelme nemcsak technikai kérdés, hanem stratégiai fontosságú feladat is minden online vállalkozás számára. A kereső-botok általi terhelés elleni védelem kulcsfontosságú a webhely teljesítménye, elérhetősége és biztonsága szempontjából. Az iparág legjobb gyakorlatai, például a botforgalom figyelése, a megfelelő technológiai eszközök alkalmazása és a rendszeres karbantartás segíthetnek a fenyegetések minimalizálásában és a zavartalan működés biztosításában.

Kérem ezért, hogy a

weboldal karbantartás

szolgáltatást weboldal készítés megrendelésével együtt minden esetben vegye igénybe, hogy weboldala frissítése és biztonságossá tétele az esetleges támadások ellen megtörténjen, elkerülve ezzel a fent említett veszélyeket.

Amennyiben a

weboldal karbantartás

szolgáltatást meglévő weboldalára szeretné igényelni, mindenképpen KEZDJEN EGY ELEMZÉSSEL:

Ingyenes weboldal SEO elemzés

• Mitől lesz vevőszerző a honlapom?
• Érdemes-e hirdetni a weboldalam?
• Hogyan kerüljön előre a keresőben?
• Hogyan tudna a honlapom milliós forgalmat termelni?

BŐVEBBEN