Green Agentic AI Coding mit Headroom

🌐 English version below · Der Talk findet auf Englisch statt.

Worum geht's?

Der Kontext: Die Umweltkosten der KI verlagern sich vom Training hin zur Inferenz. Google hat berichtet, dass die Inferenz etwa 60 % seines Energieverbrauchs im Bereich des maschinellen Lernens ausmacht, und Meta hat rund 70 % seiner KI-Rechenkapazität für die Inferenz bereitgestellt. Jedes Token, das ein Agent an ein LLM sendet, kostet Rechenleistung, und Agenten sind verschwenderisch: Sie senden bei jedem Zug aufgeblähte Tool-Ausgaben, Protokolle, Code und den Konversationsverlauf erneut.

In diesem Vortrag wird „Headroom“ vorgestellt, eine Open-Source-Schicht zur Kontextkomprimierung, die zwischen Anwendungen und LLM-Anbietern angesiedelt ist. Headroom entfernt redundanten Kontext, bevor dieser das Modell erreicht, und hält Prompt-Präfixe stabil, sodass Anbieter zwischengespeicherte Ergebnisse wiederverwenden können, anstatt sie neu zu berechnen. Das Ergebnis ist die gleiche Aufgabe, die mit weniger Token erledigt wird, was geringere Kosten und weniger Rechenaufwand pro Aufgabe bedeutet.

Tejas zeigt, woher die Token-Verschwendung in Agenten-Workloads kommt, wie Komprimierung und Cache-Ausrichtung sie reduzieren und warum Effizienz auf Softwareebene einer der schnellsten Nachhaltigkeitshebel für Teams ist, die KI bereits produktiv einsetzen.

Agenda

• 18:00 Einlass & Networking
• 18:30 Vortrag mit einer kleinen Pause zwischendurch
• 21:00 Ende & Networking

Anmeldung

Das Meetup ist wie immer hybrid, bitte wählt bei der Anmeldung das passende Format (online oder vor Ort).

Ort

bluehands GmbH & Co.mmunication KG, Waldstraße 63 (Eingang über Blumenstraße), 76133 Karlsruhe

Gastgeber & Atmosphäre

bluehands freut sich, den Abend zu hosten – mit spannenden fachlichen Insights, offenem Austausch sowie Networking in entspannter Atmosphäre. Für Snacks und Getränke ist gesorgt. Interessierte sind wie immer herzlich willkommen!

Unterstützer & Partnernetzwerke

Die Veranstaltung wird unterstützt von 

• Initiative karlsruhe.digital (Programm “supported by karlsruhe.digital”)
• Green Software Foundation - Green Software Development Karlsruhe ist ein unabhängiger Teil der globalen Community
• CyberForum
• Initiative Fairantwortung
• ImpactHub Karlsruhe
• Wirtschaftsförderung Karlsruhe 

Vielen Dank dafür!

Mehr zu Green Software Development Karlsruhe

Green Software Development Karlsruhe ist eine lokale Community von Softwareentwickler:innen und IT‑Expert:innen, die sich mit der Frage beschäftigt, wie Software klimafreundlich entwickelt und betrieben werden kann. Die Gruppe trifft sich einmal monatlich bei bluehands zu Vorträgen und Diskussionsrunden rund um ökologische Nachhaltigkeit in der Softwareentwicklung. Der Austausch ist offen für alle Interessierte. Mit über 1.000 Mitgliedern zählt die Gruppe zu den größten lokalen Meetups zum Thema Green Software und Green IT.

Sie wollen mehr über Green IT und Green Software wissen?

Hier gibt es noch mehr von unserem Expertenwissen zu “klimafreundlicher Softwareentwicklung”, den “Vorteilen von Green Software Development”  und zu den “10 Gründen, für eine nachhaltige Softwareentwicklung”.

━━━━━━━━━━━━━━━━━━━━

🌐 ENGLISH VERSION

Our next Green Software Development meeting will once again focus on Green AI Coding. We’ll be joined by Tejas Chopra, the founder of Headroom – a project that’s really taking off at the moment.

What's it about?

The context: AI's environmental cost is shifting from training to inference. Google has reported that inference made up about 60% of its ML energy use, and Meta allocated roughly 70% of its AI power capacity to inference. Every token an agent sends to an LLM costs compute, and agents are wasteful: they re-send bloated tool outputs, logs, code, and conversation history on every turn.

This talk introduces Headroom, an open-source context-compression layer that sits between applications and LLM providers. Headroom removes redundant context before it reaches the model, and it keeps prompt prefixes stable so providers can reuse cached work instead of recomputing it. The result is the same task done with fewer tokens, which means lower cost and less compute per task.

Tejas will cover where token waste comes from in agent workloads, how compression and cache alignment reduce it, and why efficiency at the software layer is one of the fastest sustainability wins available to teams that already run AI in production.

Agenda

• 18:00 Doors open & networking
• 18:30 Presentation, with a short break in between
• 21:00 End & networking

Registration

As always, the meetup will be held as a hybrid event; please select the appropriate format (online or in person) when you register.

Venue

bluehands GmbH & Co.mmunication KG, Waldstraße 63 (entrance via Blumenstraße), 76133 Karlsruhe