Cache-Crawler nur bei nachgewiesenem Warmup-Bedarf

Cookbook: Ziel und Ergebnis

Warmup erzeugt nur so viele kontrollierte Ursprungstreffer, wie der Server mit Reserve verarbeiten kann. Der reale Gewinn an Hit-Rate muss größer als die zusätzliche Last sein.

Rezept: Schritt für Schritt

1. Sitemap-URL-Zahl und alle Cache-Varianten zählen. Seltene Filter-, Parameter- und interne URLs ausschließen.
2. Ursprungszeit je Cache-Miss und sichere zusätzliche Requests pro Sekunde unter Nebenlast messen.
3. Mit kleiner Teil-Sitemap, einer öffentlichen Variante und ruhigem Zeitfenster starten. Crawlerintervalle so wählen, dass kein Zyklus überlappt.
4. CPU, Load, I/O, PHP-Queue, Datenbank, Fehlerrate und reale Hit-Rate vergleichen.

Rechenweg oder Entscheidungsregel

Warmup-Requests = URLs × Varianten\nMindestdauer = Warmup-Requests / sichere Requests pro Sekunde\nCPU-Arbeit ≈ Requests × mittlere CPU-Zeit je Miss

Praxisbeispiel

12.000 URLs × 2 Sprachen × 2 Gerätevarianten = 48.000 Requests. Bei sicher 2 RPS dauert ein Lauf mindestens 6,7 Stunden. Wird die Gerätevariante nicht benötigt, halbiert sich die Last; stündlicher Vollcrawl wäre unmöglich.

Prüfen, ob es funktioniert

• Crawler verursacht keine anhaltende Queue, Swap, DB-Locks oder 5xx.
• Reale Nutzer-Hit-Rate verbessert sich messbar.
• Zyklus endet vor dem nächsten Start; Cachegröße bleibt beherrschbar.

Rollback

Crawler stoppen/deaktivieren, geplante Aufgabe entfernen und Last normalisieren lassen. Cache nicht automatisch vollständig purgen – dadurch würde der Warmup-Effekt abrupt in Nutzer-Misses umschlagen.

Wann sinnvoll

Große Sites mit selten besuchten, aber zeitkritisch schnellen URLs oder häufigen globalen Purges können von kontrolliertem Warmup profitieren. Kleine Sites mit stabiler TTL werden meist durch echte Besuche ausreichend aufgewärmt.

Kosten

LiteSpeed dokumentiert ausdrücklich höhere Serverlast. Jede Cache-Variante für Mobil, Cookie, Rolle oder Sprache vervielfacht die zu crawlenden URLs. Rollen-Simulation kann besonders teuer sein.

Sichere Einführung

Mit kleiner Sitemap, niedriger Frequenz und nur öffentlichem Cache beginnen. CPU, Load Average, I/O, PHP-Worker, Datenbank und Cache-Speicher beobachten. Crawl außerhalb von Spitzenzeiten planen und bei Grenzwerten abbrechen.

Erfolgskontrolle

Miss Cache-Hit-Rate realer Nutzer gegen zusätzliche Ursprungslast. Wenn Warmup mehr Ressourcen kostet als die vermiedenen Cache-Misses, abschalten.

Quellen und Prüfstand

• LiteSpeed: Crawler
• LiteSpeed: Cache-Einstellungen und Variants

Inhalt fachlich geprüft am 17. August 2026. Konkrete Werte sind Ausgangspunkte, keine Universaldosierung.