convez.ai
PluginDados & AnalyticsAvançado
straussbastian

Einsatzplaner — Comparativo de Schedulers (IA vs. Algoritmo Clássico)

straussbastian/Einsatzplanerauswertung

Comparativo científico: OR-Tools vs. LLM em otimização de rotas com tempo real

Ver no GitHub
InicialPluginScore · de 0 a 100

Experimento rigoroso comparando quatro estratégias de escalonamento para VRPTW (Vehicle Routing Problem with Time Windows): heurística determinística, OR-Tools clássico, LLM direto e híbrido IA-guiado. Executa 30 seeds com perturbações intraday estocásticas em cenário realista de serviço técnico, revelando que OR-Tools supera marginalmente abordagens baseadas em LLM.

Instalação

$npx convez-ai straussbastian/Einsatzplanerauswertung

1 comando no terminal: detecta o formato do repositório (marketplace ou plugin avulso) e instala via Claude Code. Requer Node 18+ e o Claude Code instalado.

Métricas

Estrelas
0
Forks
0
Acompanhando
0
Saúde
42%
Último commit
há 1 dia
Versão
—
Issues abertas
0
Contribuidores
1

Casos de uso

  • Benchmarking de solvers de roteamento em domínios com restrições complexas
  • Avaliação de quando LLM-augmentation traz ou não ganho em otimização combinatória
  • Estudo de caso: replanejamento dinâmico sob perturbações intraday
  • Validação metodológica com tamanho de amostra adequado (30 seeds vs. 10)

Veredito

Trabalho metodologicamente sólido com transparência nas limitações. Maior valor está na lição aprendida sobre tamanho de amostra e na refutação honesta da hipótese hybrid — raro em papers que experimentam com LLM. Útil para quem questiona quando IA realmente melhora vs. quando é overhead.

README

A tradução para o português deste README ainda está na fila.

Einsatzplaner — KI vs. klassischer Algorithmus in der Tourenplanung

Titel

Ein Experiment zur Frage: Kann ein LLM-gestützter Scheduler einen klassischen VRPTW-Solver übertreffen — und wenn ja, wo?

Antwort der Arbeit, in einem Satz: In einer Domäne mit etabliertem algorithmischem Fundament (VRPTW, OR-Tools) ist ein vernünftig konstruierter klassischer Solver dem LLM-gestützten Hybrid durchgehend ebenbürtig oder marginal überlegen — über vier unabhängige Testsetups inklusive Skill-Heterogenität (30 Seeds) lässt sich keine Bedingung identifizieren, in der LLM-Augmentation einen statistisch signifikanten Performance-Vorteil liefert.

Ein Zwischenbefund aus einem 10-Seed-Pilotlauf zum Qualifikations-Constraint legte kurzzeitig einen ersten positiven Hybrid-Effekt nahe (+0.13 pp Completion). Der 30-Seed-Absicherungslauf reproduziert diese Richtung nicht — die nominelle Rangfolge dreht sich (OR-Tools-normal +0.55 pp vor Hybrid), bleibt aber selbst bei n=30 im Rauschen (p ≈ 0.3). Was die Absicherung tatsächlich zeigt: kein detektierbarer Effekt in beide Richtungen. Der Bericht dokumentiert beides und zieht daraus eine methodische Lesson Learned zur Seed-Größe.

📄 Auswertungen

Die zentralen Dokumente dieser Arbeit:

  • 📊 Wissenschaftlicher Auswertungs-Report — Ausgangslage, Methodik, Verfahren, LLM-Prompts (wörtlich), alle drei Haupt-Ergebnisse (Multi-Profil, Replan, Replan+Context), Diskussion, Limitationen, Ausblick.
  • 🔧 Technische Dokumentation — Projektstruktur, Datenmodell, Scheduler-Architektur, Replan-Infrastruktur, Benchmark-Workflow, Kennzahlen.

Inhalt

Domain

Fiktiver Heizungsbaubetrieb in Oldenburg (Oldb.) mit 10 Servicetechnikern, die täglich 40–50 Wartungsaufträge im 30-km-Radius erledigen. Zu lösen: VRPTW (Vehicle Routing Problem with Time Windows) mit Priorisierung (Dringlichkeit, Notfälle, SLA-Fristen, Rollover-Count), Pausenpflicht (15 min Frühstück, 45 min Mittag), Zeitfenstern für Gewerbe- und Fixtermine und stochastischen Intraday-Störungen (Krankmeldung, Stau, Auftragsverlängerung, spontaner Notfall, Kundenabsage).

Vier Verfahren

VerfahrenAnsatzStärkeSchwäche
HeuristikDeterministische Greedy-Insertion mit Prio-ScoreSekundenschnell, keine AbhängigkeitenKeine globale Optimierung, ~14 pp Completion unter den Solvern
OR-Tools VRPTWGoogle OR-Tools mit Disjunction-Penalties, per-Vehicle Start-Nodes für ReplanGlobale Optimierung, robust gegen Penalty-VariationDeterministisch kalibriert, reagiert nicht auf Tageskontext
LLM-DirectClaude Sonnet 4.6 macht Zuordnung + Reihenfolge via Tool-UseErklärt seine Strategie in natürlicher SpracheKombinatorisch schwächer, unterfüllt die Touren
HybridLLM setzt pro Tag/Replan die Penalty-Gewichte, OR-Tools optimiertKontext-sensitive Kalibrierung ohne manuelle RegelKein messbarer Performance-Gewinn gegenüber statischer Kalibrierung

Kern-Ergebnisse

Vier unabhängige Haupttests in einer Progression — alle vier widerlegen die Hybrid-Hypothese:

TestSetupErgebnis
Multi-Profil-Woche20 Seeds, 5 Tagesprofile Mo–Fr + stochastische Intraday-Events; vier statische Kalibrierungen + HybridAlle fünf Varianten statistisch ununterscheidbar. Hybrid liefert keinen Performance-Vorteil.
Replan-Test10 Seeds, Intraday-Events triggern Scheduler-ReplanReplan hilft nur der Heuristik (+2.9 pp). Hybrid und OR-Tools verlieren beide leicht durch kleinteilige Replan-Zyklen.
Replan + Tagesverlauf-Kontext10 Seeds, Hybrid bekommt Tagesverlaufs-Info (wievielter Replan, Trigger-Event, Rest-Schicht pro Tech)Kein Mittelwert-Gewinn gegenüber „Replan ohne Kontext". Einziger Effekt: Streuung sinkt (±2.43 → ±1.73).
Qualifikations-Constraint30 Seeds, 40 % Techniker mit Kälteschein, 20 % Aufträge erfordern ihnHybrid-Hypothese nicht bestätigt. 10-Seed-Pilotsignal (+0.13 pp Hybrid) bei 30 Seeds nicht reproduzierbar; die 30-Seed-Nominalrichtung (+0.55 pp OR-Tools) ist ebenfalls nicht signifikant (p ≈ 0.3). Netto: kein detektierbarer Effekt in beide Richtungen.

Details, Tabellen und Interpretation in der wissenschaftlichen Auswertung.

Installation

git clone git@github.com:straussbastian/Einsatzplanerauswertung.git
cd Einsatzplanerauswertung
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
cp .env.example .env
# .env öffnen und ANTHROPIC_API_KEY eintragen (nur für LLM/Hybrid nötig)

App starten

Die interaktive Streamlit-Oberfläche läuft mit:

streamlit run app.py

Features:

  • Tag-Modus: Plane einen einzelnen Tag mit frei gewähltem Scheduler, Gantt-Chart, Karte, Techniker-Übersicht.
  • Wochen-Modus: Fünf-Tage-Lauf mit Szenario-Auswahl, Intensitäts-Presets (Normal / Hochlast / Notfallwoche / SLA-Katastrophe / Chaos / Realistisch), Pro-Woche-Auftragsmenge. Zeigt Tagesüberblick, Events, Gantt pro Tag, Karte pro Tag, bei Hybrid das LLM-Reasoning + die gewählten Gewichte.
  • Arena: Mehrere Scheduler parallel auf denselben Daten vergleichen, automatische Metrik-Tabelle und Balkendiagramme.

Gantt-Chart pro Tag

Zeigt jeden Techniker als eigene Zeile, farblich unterschieden nach Stop-Typ (geplant / erledigt / storniert / nicht ausgeführt / Pause / Depot). Pausen werden realistisch mitten im Auftrag dargestellt, wenn die Arbeit über die Mittagszeit läuft.

Gantt pro Tag

Karte pro Tag

Folium-Karte mit Betriebshof und den Touren je Techniker, farblich getrennt. Klick auf einen Stop zeigt Auftrags-ID, Kunde, Adresse und Status.

Karte pro Tag

Arena: mehrere Scheduler direkt vergleichen

Multi-Select in der Sidebar wählt die Scheduler aus, die auf denselben generierten Daten laufen. Ergebnis ist eine Metrik-Tabelle plus Balkendiagramm-Vergleich über Completion, Prio-gewichtete Completion und Auslastung. Bei Hybrid werden zusätzlich Reasoning + gewählte Penalty-Gewichte angezeigt.

Arena-Vergleich

Benchmark ausführen

Der Multi-Seed-Benchmark reproduziert die Ergebnisse aus dem Auswertungsreport:

# Voller Lauf (alle 5 Scheduler × 20 Seeds, ~60 Min mit Hybrid)
python bench/multiseed_benchmark.py --seeds 20 --llm-model claude-sonnet-4-6

# Schneller Preview (4 Scheduler × 10 Seeds, ~25 Min)
python bench/multiseed_benchmark.py --seeds 10 --core-only

# Ohne LLM (spart API-Kosten, nur Heuristik + OR-Tools-Varianten)
python bench/multiseed_benchmark.py --seeds 20 --skip-hybrid

Rohdaten landen als CSV in bench/results_*.csv, aggregierte Kennzahlen in bench/results_*_aggregated.csv.

Projektstruktur

Einsatzplanerauswertung/
├── README.md                       # diese Datei
├── .env.example                    # Template für API-Key
├── requirements.txt
├── app.py                          # Streamlit-UI (Tag- + Wochen-Modus + Arena)
├── einsatzplaner/
│   ├── models.py                   # Dataclasses: Auftrag, Techniker, Stop, Tour, …
│   ├── generator.py                # Auftragsgenerator, Szenarioprofile, Multi-Profil-Woche
│   ├── geo.py                      # Haversine + austauschbares RouteProvider-Interface
│   ├── simulator.py                # Wochenlauf, Intraday-Event-Würfler, Replan-Trigger
│   ├── disruptions.py              # YAML-Szenario-Loader
│   ├── evaluator.py                # Metriken + Vergleichs-DataFrames
│   ├── visualization.py            # Gantt-Transformer: Pausen mitten im Auftrag
│   └── scheduler/
│       ├── base.py                 # Scheduler-Protocol, PlanInput, TechSnapshot, ReplanKontext
│       ├── heuristic.py            # Greedy-Insertion (mit Replan-Support)
│       ├── ortools_vrp.py          # OR-Tools VRPTW (mit Replan + per-Vehicle Start-Nodes)
│       ├── llm.py                  # LLM-Direct (Claude als Disponent)
│       └── hybrid.py               # LLM wählt Penalty-Gewichte, OR-Tools löst
├── scenarios/                      # YAML-Störungsszenarien (Krank, Absagen, Stau, Chaos)
├── bench/
│   └── multiseed_benchmark.py      # CLI-Benchmark für Reports
├── docs/
│   ├── auswertung.md               # Wissenschaftlicher Haupt-Report
│   └── technik.md                  # Technische Dokumentation
└── assets/
    └── title.png                   # Titelbild

Tech-Stack

  • Python 3.14
  • Streamlit für die UI
  • Google OR-Tools (ortools) für den VRPTW-Solver
  • Anthropic Claude (Sonnet 4.6 / Opus 4.6 / Haiku 4.5 wählbar) für LLM- und Hybrid-Scheduler
  • Plotly / Folium für Gantt-Charts und Karten
  • pytest für Tests (Infrastruktur vorbereitet, Tests aktuell Minimal)

Status

Prototyp / Forschungsprojekt. Die Ergebnisse sind reproduzierbar, aber nicht im Feld validiert. Siehe Limitationen in der Auswertung.

Lizenz

MIT — siehe LICENSE.

Ver o original no GitHub

Bom para

Relacionados