Mostek Wnioskowania: Most przeglądarki do lokalnego i chmurowego dostępu do LLM
Inference Bridge, stworzony przez samsamskies (SamSamskies), to rozszerzenie Chrome, które implementuje eksperymentalne API Inference Provider, aby połączyć aplikacje internetowe i LLM. Wstrzykuje ustandaryzowany obiekt window.inference, dzięki czemu strony mogą bezpośrednio żądać odpowiedzi AI przez przeglądarkę, wspierając przesyłanie tekstu przez window.inference.request() i kierując do OpenAI z przechowywanym kluczem lub do lokalnych instancji Ollama. Skierowane do programistów internetowych, badaczy AI i użytkowników dbających o prywatność, przechowuje klucze API wewnątrz rozszerzenia i oferuje kontrolę uprawnień na poziomie pochodzenia dla bezpieczniejszego dostępu do modeli.
Jak eksponuje standardowy interfejs AI dla stron internetowych
Wstrzykuje API po stronie przeglądarki poprzez dostarczenie obiektu window.inference, który strony mogą wywoływać bezpośrednio. Rozszerzenie wspiera strumieniowy czat tekstowy za pomocą window.inference.request(), dzięki czemu aplikacje internetowe mogą konsumować tokeny w miarę ich przybywania. Żądania są weryfikowane wewnątrz rozszerzenia przed jakąkolwiek aktywnością sieciową, co zapobiega przesyłaniu dowolnych ładunków przez strony. Takie podejście pozwala interfejsom internetowym działać jako klienci LLM bez osadzania poświadczeń dostawcy w skryptach stron.
Jak oddziela poświadczenia i kontroluje dostęp
Monity o pozwolenie per-origin pytają użytkowników o pozwolenie, odmowę lub zapamiętanie dostępu dla każdego dostawcy i modelu, dając precyzyjną kontrolę na poziomie strony. Klucze API są przechowywane w serwisie roboczym rozszerzenia, więc skrypty stron nigdy nie widzą poświadczeń. Rozszerzenie również usuwa nagłówki Origin i Referer, aby ułatwić lokalne połączenia, a także ogranicza wstrzykiwanie do bezpiecznych kontekstów najwyższego poziomu, aby zmniejszyć narażenie na niezabezpieczone strony.
Gdzie spotykają się lokalne modele i klucze w chmurze
Ujednolicona powierzchnia API wspiera zarówno lokalne serwery Ollama, jak i opcję OpenAI z własnym kluczem, dzięki czemu deweloperzy mogą prototypować z dowolnym dostawcą. Rozszerzenie obsługuje usuwanie nagłówków i lokalne routowanie, aby obejść powszechne bariery CORS dla lokalnej inferencji, eliminując potrzebę dodatkowego proxy podczas testowania. Wsparcie dla strumieniowania i jeden interfejs sprawiają, że integracje prototypowe zachowują się spójnie w różnych typach dostawców.
Praktyczne ograniczenia, na które muszą planować deweloperzy
Zbudowane jako eksperymentalny punkt odniesienia, rozszerzenie ogranicza wstrzykiwanie do ram najwyższego poziomu i nie działa na stronach file: ani w podramkach, więc integracje, które zależą od osadzonych ramek, potrzebują alternatywnych projektów. Celuje tylko w przeglądarki oparte na Chromium, a deweloper przedstawia je jako oficjalną implementację odniesienia dla propozycji Inference Provider API, więc zespoły powinny traktować to narzędzie jako punkt wyjścia, a nie jako gotowy komponent produkcyjny.
Pragmatyczny, skoncentrowany na deweloperach most z eksperymentalnymi kompromisami
Rozszerzenie jest pragmatyczną opcją dla deweloperów i badaczy prototypujących przepływy pracy przeglądarki do LLM, którzy akceptują eksperymentalne narzędzia i prace integracyjne. Oczekuj dostosowania kodu aplikacji i przeprowadzania testów w kontrolowanych środowiskach. Jako praktyczna wskazówka, ogranicz pamiętane uprawnienia do hostów deweloperskich i trzymaj punkty końcowe modelu w izolowanych sieciach podczas testowania. Narzędzie służy jako działający punkt odniesienia do wdrażania proponowanego API przeglądarki.
