agorum testet: KI-Server von Thomas-Krenn.AG
Der Startschuss fiel mit der Einrichtung des Servers und der Integration in unsere bestehende Infrastruktur. Unser erster Schritt bestand darin, die notwendige Software-Umgebung zu schaffen. Wir haben uns für Modelle aus der Hugging Face Plattform entschieden, insbesondere für das Llama-3.1-8B-Q4. Die Wahl fiel auf dieses Modell aufgrund seiner herausragenden Balance zwischen Performance und Ressourcenverbrauch.