Jeśli dane firmy nie powinny opuszczać jej infrastruktury, serwer lokalny może być częścią rozwiązania. Ale „lokalnie” nie znaczy automatycznie „bezpiecznie”. Źle zabezpieczony serwer w biurze może być łatwiejszym celem niż dobrze skonfigurowana usługa chmurowa.
Dlatego nie zaczynałbym od pytania „jaki model zmieści się na serwerze?”. Najpierw ustaliłbym: kto ma dostęp, jakie dane może zobaczyć i co system może zrobić. Dopiero potem dobierałbym sprzęt i model.
Najpierw narysuj granice
Wyobraź sobie firmę jak biuro z kilkoma zamkniętymi pokojami. Recepcja może wiedzieć, kto przyszedł. Księgowość widzi faktury. Zarząd widzi raporty. Nie dajesz każdemu klucza głównego tylko dlatego, że pracuje w tej samej firmie.
W systemie działa to podobnie. Oddziel użytkowników, serwer aplikacji, bazę danych i narzędzia administracyjne. Każde połączenie powinno mieć konkretny cel i minimalny potrzebny zakres. Takie podejście opisuje NIST jako decyzje o dostępie do zasobu, a nie zaufanie wynikające z samego bycia w sieci firmowej.
flowchart LR
subgraph Z1[Strefa użytkownika]
U[Pracownik
MFA]
end
subgraph Z2[Strefa aplikacji i AI]
A[Brama aplikacji
logowanie + reguły]
G[Agent AI
ograniczony runtime]
H{Zgoda człowieka?}
T[Narzędzie wykonawcze]
X[Stop
zapis zdarzenia]
end
subgraph Z3[Strefa danych]
D[(Baza firmowa)]
B[(Backup poza serwerem)]
end
U -->|uwierzytelnione żądanie| A
A -->|tylko potrzebne dane| D
A -->|ograniczone narzędzia| G
G -->|propozycja działania| H
H -->|zatwierdzono| T
H -.->|brak zgody| X
D -. kopia szyfrowana .-> B
classDef focus fill:#103844,stroke:#18d5e7,color:#f4fbfc,stroke-width:2px
classDef boundary fill:#0b1d27,stroke:#7396a1,color:#edf5f6
classDef store fill:#10272c,stroke:#91dfe2,color:#f4fbfc
class G,H focus
class U,A,T,X boundary
class D,B storeW skrócie: pracownik przechodzi przez bramę logowania, aplikacja dostaje tylko potrzebne dane, agent ma ograniczone narzędzia, a ryzykowne działanie czeka na zatwierdzenie.
Co daje klaster czterech Mac Studio?
NetworkChuck opisał zestaw czterech Mac Studio Ultra, z których każdy ma 512 GB pamięci zunifikowanej. Suma wynosi 2 TB pamięci w czterech osobnych komputerach. To nie jest jedna wspólna pula VRAM: model trzeba rozdzielić między węzły, a program musi koordynować ich pracę.
| Element | Co można powiedzieć | Granica interpretacji |
|---|---|---|
| Pamięć | 4 × 512 GB = 2 TB łącznie. Apple podaje do 512 GB pamięci zunifikowanej dla Mac Studio z M5 Ultra. | Pamięć pozostaje fizycznie rozdzielona między cztery maszyny. |
| GPU | W konfiguracji z układami do 80 rdzeni GPU na węzeł suma wynosi 320 rdzeni. | To suma rdzeni czterech komputerów, nie jeden GPU. Dokładne modele należy sprawdzić w specyfikacji konkretnego zestawu. |
| Połączenie | Thunderbolt 5 z RDMA przenosi dane między pamięciami komputerów z mniejszym narzutem CPU i systemu. | RDMA wymaga obsługi sprzętu, systemu i oprogramowania; sama obecność kabla TB5 go nie włącza. |
| Opóźnienie | Przewodnik NetworkChucka podaje pomiar 300 µs → 3 µs dla swojej konfiguracji. | To wynik konkretnego pomiaru autora, nie gwarantowana wartość dla każdej sieci i obciążenia. |
| Koszt | Autor szacuje zestaw na około 50 tys. USD i porównuje go z ponad 780 tys. USD za wskazaną konfigurację NVIDIA. | To orientacyjne porównanie autora. Nie jest aktualną ofertą ani porównaniem równoważnej wydajności. |
flowchart LR C[Klient / aplikacja] --> E[Exo: orkiestracja i podział modelu] E --> N1[Mac Studio 1
512 GB Unified Memory] E --> N2[Mac Studio 2
512 GB Unified Memory] E --> N3[Mac Studio 3
512 GB Unified Memory] E --> N4[Mac Studio 4
512 GB Unified Memory] N1 -->|TB5 + RDMA| N2 N2 -->|TB5 + RDMA| N3 N3 -->|TB5 + RDMA| N4 N4 -->|TB5 + RDMA| N1 N1 -->|agregacja przez Exo| O[Wynik rozproszonego wnioskowania] classDef focus fill:#103844,stroke:#18d5e7,color:#f4fbfc,stroke-width:2px classDef node fill:#0b1d27,stroke:#7396a1,color:#edf5f6 class E,O focus class N1,N2,N3,N4 node
W skrócie: Exo rozdziela model między cztery komputery; MLX/JACCL i RDMA obsługują komunikację. Łączna pojemność pamięci to 2 TB, ale każdy węzeł nadal ma własne 512 GB.
Apple dokumentuje RDMA over Thunderbolt od macOS 26.2 dla zgodnego sprzętu z Thunderbolt 5. W materiałach Apple JACCL dostarcza operacje komunikacji zbiorowej, takie jak all-reduce, a MLX pozwala dzielić model między urządzenia. Exo jest jedną z warstw, które pomagają uruchomić i koordynować taki klaster. Tensor parallelism może przyspieszyć wybrane zadania, ale wynik zależy od modelu, rozmiaru danych i topologii połączeń.
Opis NetworkChucka podaje też koszt około 50 tys. USD wobec ponad 780 tys. USD za zestaw NVIDIA. Traktuj to jako szacunek autora, a nie aktualną wycenę lub test równoważnej wydajności. Koszt samego sprzętu nie obejmuje pracy, poboru energii, pamięci masowej, utrzymania ani doboru modeli.
Podstawowe zabezpieczenia serwera
Nie ma jednej magicznej konfiguracji pasującej każdej firmie. Jest za to zestaw pytań, które warto przejść przed uruchomieniem produkcji:
- Dostęp administratora: włącz MFA tam, gdzie jest dostępne. Ogranicz liczbę kont administracyjnych i wyłącz konta, których nikt już nie używa.
- Aktualizacje: określ właściciela i rytm instalowania poprawek systemu, aplikacji oraz zależności. CISA przypomina, że aktualizacje usuwają znane luki.
- Sieć: otwórz tylko porty potrzebne do działania. Panel administracyjny, baza i API zarządzające nie powinny być publicznie dostępne bez powodu.
- Hasła i klucze: nie wpisuj sekretów na stałe w kodzie, obrazie kontenera ani promptach. Ogranicz ich zakres i zaplanuj wymianę po incydencie.
- Kopie zapasowe: kopia powinna być odseparowana od serwera, a odtworzenie regularnie sprawdzane. Sam komunikat „backup zakończony” nie dowodzi, że dane da się odzyskać.
- Monitoring: zbieraj logi logowania, zmian uprawnień, wdrożeń i błędów. Ustal, kto reaguje na alerty oraz jak długo logi są przechowywane.
Kontenery nie są osobnym sejfem
Kontener porządkuje sposób uruchamiania aplikacji, ale nie zwalnia z pilnowania uprawnień hosta. Dokumentacja Dockera ostrzega, że dostęp do demona może dać możliwość uzyskania uprawnień roota na maszynie. Nie wystawiaj zdalnego API Dockera do internetu. Jeśli zespół potrzebuje zdalnej administracji, użyj kontrolowanego dostępu, takiego jak SSH, i ogranicz dostęp do zaufanych kont.
Praktyczna zasada: aplikacja działa jako użytkownik bez uprawnień administratora, a dane i katalogi hosta są montowane tylko wtedy, gdy są rzeczywiście potrzebne.
Co zmienia podłączenie AI?
Model językowy nie jest filtrem bezpieczeństwa. Może otrzymać tekst z e-maila, dokumentu lub strony, który próbuje nakłonić go do niepożądanej czynności. OWASP opisuje między innymi prompt injection, ujawnienie informacji i nadmierne uprawnienia agenta.
Dlatego agent powinien dostać tylko te narzędzia, które są potrzebne do jego zadania. Odczyt dokumentu nie powinien automatycznie oznaczać prawa do wysłania go dalej. Wykonanie płatności, skasowanie danych czy zmiana uprawnień powinny wymagać osobnej zgody i zostawiać ślad w logach.
Jeśli wysyłasz dane do zewnętrznego dostawcy modelu, sprawdź warunki przetwarzania, retencję i dostępne ustawienia. „AI on-premise” też wymaga kontroli dostępu, aktualizacji, kopii i monitoringu. Miejsce uruchomienia zmienia ryzyka, ale ich nie kasuje.
Lista przed uruchomieniem
- Spisz wrażliwe dane i osoby, które rzeczywiście muszą je widzieć.
- Oddziel publiczny ruch od paneli administracyjnych i baz.
- Włącz MFA oraz minimalne uprawnienia dla ludzi i usług.
- Sprawdź aktualizacje, sekrety, kopie i możliwość odtworzenia.
- Ogranicz narzędzia agenta, przetestuj niepożądane instrukcje i dodaj zatwierdzanie działań wysokiego ryzyka.
- Ustal, kto obserwuje logi i co robi po wykryciu incydentu.
Źródła i dalsza lektura
- NIST SP 800-207: Zero Trust Architecture
- CISA: Secure Our World
- OWASP: Top 10 for LLM Applications
- Docker Engine security
- Docker: zdalny dostęp do demona
- Apple: Mac Studio — specyfikacja M5 Ultra
- Apple Developer: RDMA over Thunderbolt
- Apple WWDC 2026: rozproszone wnioskowanie MLX i JACCL
- NetworkChuck: opis konfiguracji klastra 2 TB
- Exo: rozproszone uruchamianie modeli
- MLX: framework uczenia maszynowego Apple
To poradnik ogólny, nie audyt konkretnej infrastruktury. Konfigurację trzeba dopasować do systemu, danych, dostawców i wymagań firmy.
