Bifrost
BifrostPasserelle IA haute performance, une seule API compatible OpenAI pour 15+ fournisseurs LLM, avec budgets, fallback et observabilité.
Bifrost est une passerelle IA écrite en Go (binaire unique, ~50–150 Mo de RAM, latence ajoutée ~11–20 µs). Une seule API compatible OpenAI pour OpenAI, Anthropic, AWS Bedrock, Vertex, OpenRouter, Ollama et 10+ autres. MCP gateway natif, cache sémantique, failover automatique, gestion de budgets, observabilité OpenTelemetry et dashboard Grafana inclus.
Le problème
Chaque app IA (n8n, agents, RAG, scripts) embarque sa propre clé API. Les coûts explosent sans visibilité, un fournisseur qui tombe casse toute la production, et impossible d'arbitrer entre modèles selon le budget. Une passerelle centralise tout : une clé virtuelle par app, métriques en temps réel, fallback automatique.
Fonctionnalités clés
15+ fournisseurs unifiés
OpenAI, Anthropic, OpenRouter, Bedrock, Vertex, Mistral, Ollama local. Une seule API compatible OpenAI pour tous.
Virtual keys & budgets
Une clé virtuelle par app/utilisateur, avec budget mensuel et limite de débit. Coupe automatiquement quand le seuil est atteint.
Failover & routing
Bascule automatique en cas de panne fournisseur. Règles de routing par modèle, coût ou latence. Mix local + cloud transparent.
Cache sémantique
Détecte les requêtes similaires et renvoie la réponse cachée. Économies importantes sur les usages répétitifs (FAQ, classification).
Dashboard Grafana intégré
Trafic, latences, tokens in/out, coût cumulé et projection mensuelle, top virtual keys, cache hits, provisionné automatiquement avec Grafana.
MCP gateway natif
Expose vos serveurs MCP au travers de Bifrost. Les agents accèdent à vos outils internes via la même API que les LLMs.
Sur votre serveur
PostgreSQL local
Configuration et logs LLM stockés en PostgreSQL avec authentification socket Unix. Sauvegarde via
pg_dump, rétention configurable.Sécurisé par défaut
Dashboard protégé par mot de passe, virtual keys obligatoires sur l'inférence. Aucune fenêtre où l'API est ouverte au monde.
Modèle gratuit pré-configuré
Un modèle Ollama cloud gratuit (
gpt-oss:120b-cloud) est câblé dès l'activation. Utilisable immédiatement, fallback payant facile à brancher ensuite.Disponible sur votre serveur
Bifrost est pré-configuré avec PostgreSQL, dashboard sécurisé, virtual keys obligatoires, métriques Prometheus et dashboard Grafana. Activable en une ligne dans
server.nix.