LLM4KMU – Optimierter Einsatz von Open-Source Large Language Models in kleinen und mittleren Unternehmen

Förderkontext

• EFRE/JTF-Programm NRW 2021–2027
• Innovationswettbewerb NEXT.IN.NRW
• Innovationsfelder: Digitale Transformation, IKT, Schlüsseltechnologien der Zukunft

Laufzeit

01.06.2025 – 31.05.2028 (36 Monate)

Gesamtvolumen

• Gesamtausgaben: ca. 4,75 Mio. €
• Gesamtförderung: ca. 3,71 Mio. €

Zielgruppe

• Kleine und mittlere Unternehmen (KMU), insbesondere aus Industrie, technologieintensiven Dienstleistungen und wissensbasierten Sektoren
• Multiplikatoren, Innovationsberater, Forschungseinrichtungen

Projektvision

Große Sprachmodelle (Large Language Models, LLMs) gelten als Schlüsseltechnologie der generativen KI. Ihr industrieller Einsatz ist jedoch für KMUs bislang strukturell erschwert, insbesondere durch:

• hohe Kosten für Training und Betrieb,
• fehlendes internes KI-Know-how,
• mangelnde Transparenz und Vergleichbarkeit von Modellen,
• Risiken bzgl. Datenschutz, Datensouveränität und Abhängigkeit von Hyperscalern,
• unzureichende Robustheit (Halluzinationen, mangelnde Verlässlichkeit).

LLM4KMU adressiert genau diese Lücke zwischen rasanter Open-Source-Entwicklung und realer, sicherer, wirtschaftlicher Nutzung im Mittelstand.

Übergeordnete Zielsetzung

LLM4KMU verfolgt das strategische Ziel, KMUs in NRW zu befähigen, Open-Source-LLMs:

• selbstbestimmt,
• kosteneffizient,
• datensouverän und
• robust

für konkrete betriebliche Anwendungsfälle einzusetzen.

Konkret bedeutet dies:

• Abbau von Eintrittsbarrieren für KI-Nutzung
• Erschließung unstrukturierter Daten (Text, Dokumente, Berichte, Foren, technische Unterlagen)
• Entwicklung neuer KI-basierter Produkte, Services und Entscheidungsunterstützungssysteme
• Stärkung der technologischen Unabhängigkeit von KMUs

Zentrale Innovationen des Projekts

LLM4KMU realisiert vier eng verzahnte Innovationslinien:

Innovation 1: Auto-LLM-Experimentierplattform

Eine modulare Plattform, die es ermöglicht, automatisiert:

• Open-Source-LLMs,
• Modellarchitekturen (z. B. RAG),
• Trainingsverfahren,
• Hardwarekonfigurationn

systematisch zu testen und zu vergleichen („Auto-ML für LLMs“).

➡ Ziel: Bestes Modell-Setup für einen konkreten Anwendungsfall finden – ohne tiefes Expertenwissen

Innovation 2: Best Practices für effiziente Modellanpassung

• Fine-Tuning, Transfer Learning, Distillation
• Fokus auf kleine und mittlere Modelle (<5 Mrd. Parameter)
• Reduktion von Trainingskosten auf 500–10.000 € pro Use Case

Innovation 3: Vertrauenswürdigkeit & Robustheit

• Methoden zur Reduktion von Halluzinationen
• Adversarial Testing, Faktualitätschecks, Bias-Analysen
• Qualitätsmetriken für produktive Nutzung

Innovation 4: Datensouveräne KI-Architekturen

• On-Premise- und Edge-fähige Open-Source-Setups
• Kein Abfluss sensibler Daten über externe APIs
• volle Kontrolle über Modelle, Daten und Updates