Servire MedGemma 27B su Modal: FP8, sleep mode di vLLM e cold start da 21 secondi
Self-hosting di MedGemma 27B con vLLM su Modal: API compatibile OpenAI con scale-to-zero, quantizzazione FP8, GPU snapshot, cold start da 21 s e tool calling.
11 min di lettura#llm#vllm#self-hosting