AI-Plattform Engineer (m/w/d)
asap
3 Monate+
remote/Pliezhausen
Projekt-ID: 30616
Für unseren Kunden suchen wir derzeit einen AI Plattform Engineer (m/w/d)
Ihre Aufgaben:
- (Weiter-)Entwicklung und Betreuung der LLM-Plattform (inkl. OpenAI-kompatiblem Gateway, Modell Serving und GPU-Infrastruktur)
- Implementierung kundenspezifischer Wissensanbindungen (RAG)
- Qualitätssicherung, inkl. Monitoring und Observability für Performance, Qualität und Nutzung der KI-Dienste
- (Weiter-)Entwicklung und Betrieb der containerbasierten Plattform
- Betrieb der Linux-, Cloud- und Datenbank-Infrastruktur hinsichtlich Stabilität, Sicherheit und Verfügbarkeit
- Aufbau von Monitoring-, Logging- und Alerting-Lösungen
- Dokumentation und Wissenstransfer
Anforderungen:
must-have:
-Erfahrung im DevOps-, Plattform-Engineering- oder Cloud-/Infrastruktur-Umfeld
-Fundierte Praxiserfahrung mit Kubernetes, Docker und Linux
-Kenntnisse mit CI/CD-Pipelines, Cloud-Plattformen (insb. Azure) sowie PostgreSQL
-Know-How im Aufbau und produktiven Betrieb von LLM- und KI-Diensten (LiteLLM. llm-d, vLLM)
-Praktische Erfahrung mit LLM-Gateways, RAG-Architekturen, Vector-Datenbanken und Modell-Serving-Lösungen
-Solide Python-Kenntnisse für Automatisierung und Integrationen
-Kenntnisse mit Grafana
Umfeld:
LLM, Kubernetes, Docker, Linux, Azure, PosrgreSQL, Python, Grafana
Ihr Kontakt bei Contractor:
Kirsten Wiehle
+49 89 41 61 716 - 32
kirsten.wiehle@contractor.de