Welches Modell rechnet mit Mandantendaten?

Bei Kanzlei-KI wird viel über Funktionen gesprochen und wenig über die Frage darunter: Welches Modell rechnet hier eigentlich gerade und wo? Dabei entscheidet genau das, wer Mandantendaten theoretisch sehen könnte. Für SOFI lässt sich die Frage präzise beantworten, inklusive der Stellen, an denen die Technik an ihre Grenzen kommt.

Drei Modi. Die Kanzlei entscheidet, was gilt.

Zuerst das Prinzip, denn es unterscheidet sich von dem, was der Markt üblicherweise anbietet: Welche Modellwelt zum Einsatz kommt, entscheidet jede Kanzlei für sich. SOFI bietet mindestens das, was anderswo das ganze Angebot ist, nämlich starke Frontier-Modelle mit vertraglichem Schutz. Und für alle, die mehr wollen als Verträge, gibt es die versiegelte Ausführung obendrauf. Im Überblick:

Die Voreinstellung: nur TEE. Wer nichts ändert, bekommt den vorsichtigsten Modus: Jede Anfrage mit Mandantendaten rechnet in einer vertraulichen Ausführungsumgebung (Trusted Execution Environment) in der EU. Dort laufen Open-Weights-Modelle, aktuell Kimi K2.6 als Standardmodell, dazu GPT-OSS und weitere, je nach Aufgabe. Auch KI-, Modell- und Inferenzanbieter sehen dort keinen Klartext. Und dass wirklich läuft, was laufen soll, wird bei jedem Verbindungsaufbau per Remote Attestation geprüft.

Frontier-Modelle, wenn die Kanzlei sie will. Anthropic-Modelle über AWS Bedrock stehen jeder Kanzlei offen, die damit arbeiten möchte; freigeschaltet wird kanzleiweise, ausschließlich nach ausdrücklicher Anforderung der Kanzlei und mit schriftlicher Bestätigung. Auch dann attestieren wir weiter, nämlich den Weg bis zu AWS. Ab dort endet die technische Garantie, danach gilt Vertrag statt Technik und das sagen wir vorher, nicht im Kleingedruckten. Das ist exakt das Schutzniveau, mit dem der Großteil des Marktes insgesamt arbeitet, nur offen ausgewiesen.

Hybrid, zeitnah verfügbar. Als dritten Modus führen wir eine kanzleiweite Option ein, die beides verbindet: Jede Anfrage läuft zuerst vollständig durch das TEE. Dort wird geprüft, ob schützenswerte Inhalte enthalten sind. Nur was keinen Mandantenbezug hat, darf weiter zu einem Frontier-Modell; sobald Mandantenbezug erkannt wird, bleibt die Anfrage in der versiegelten Umgebung. Es gibt dann keinen zweiten Weg.

Warum es Claude nicht einfach „im TEE" gibt

Die naheliegende Frage: Warum nicht gleich die bekannten Frontier-Modelle in die versiegelte Umgebung stecken? Weil deren Gewichte das Haus nicht verlassen. Anthropic, OpenAI und Google geben die Modellgewichte ihrer Spitzenmodelle nicht heraus und ohne Gewichte kein Betrieb in einer eigenen Enklave. Anthropic forscht selbst an vertraulicher Inferenz und beschreibt den Stand ohne jede Beschönigung:

„This is just a sketch of our research to start a conversation; we're still early in this work and it is too soon to forecast how it will evolve into specific designs or features we might offer in the future." (Anthropic Research, Confidential Inference via Trusted VMs)

Bis sich das ändert, gilt: Wer ein Closed-Frontier-Modell nutzt, verlässt sich ab der Modellgrenze auf Verträge.

Bei Open-Weights-Modellen ist die versiegelte Ausführung dagegen heute Realität. NVIDIA bietet Confidential Computing über die GPU-Generationen Hopper, Blackwell und Rubin an, samt Attestation Suite für die kryptografische Prüfung. Und die Modelle selbst haben aufgeholt: OpenAIs GPT-OSS-120b läuft laut Modellkarte auf einer einzelnen 80-GB-GPU. Ende Juli 2026 hat Moonshot AI die Gewichte von Kimi K3 veröffentlicht, einem Mixture-of-Experts-Modell mit 2,8 Billionen Parametern (104 Milliarden aktiv), das in ersten Benchmarks vorn mitspielt; sobald es unsere Prüfung durchlaufen hat, zieht es in die versiegelte Umgebung ein. Die Zeiten, in denen „sicher" automatisch „schwächeres Modell" hieß, gehen erkennbar zu Ende.

Wenn es doch Frontier sein soll: warum AWS und nicht Azure

Auch für den Wunsch-Modus haben wir uns den Weg genau angesehen und die Unterschiede sind dokumentierbar (jeweils laut Anbieter-Dokumentation, Stand 30.07.2026):

	AWS Bedrock (Default)	Azure OpenAI
Speicherung von Ein- und Ausgaben	Nein, Zero Data Retention	Auffällig eingestufte Eingaben können gespeichert werden
Menschliche Sichtung	Nein, Zero Operator Access; Missbrauchserkennung automatisiert	Möglich durch autorisierte Microsoft-Mitarbeiter; bei EWR-Deployments Prüfer im EWR, für globale Deployments keine Standortangabe
Abschaltbar?	Entfällt	Nur per genehmigungspflichtigem Antrag (modified abuse monitoring)
Zugriff der Modellanbieter	Kein Zugriff auf die Deployment-Konten	Claude in Foundry: Anthropic als eigenständiger Auftragsverarbeiter, auffällige Inhalte können an dessen Trust-and-Safety-Team gehen

Zwei Fußnoten dazu. Für die allerneueste Modellgeneration dokumentiert AWS Ausnahmen mit Speicherfristen als ausdrückliches Opt-in; für die Modelle, die SOFI im Wunsch-Modus anbietet, gilt der Default. Und für Claude in Microsoft Foundry sind als Datenzonen Global und US dokumentiert, eine EU-Datenzone nicht (Stand der Microsoft-Doku vom 24.07.2026). Nichts davon macht Azure unbenutzbar. Aber für einen Wunsch-Weg, der ohnehin auf Vertrauen statt Versiegelung beruht, wählen wir die Kette mit den wenigsten offenen Enden.

Woran du jeden Anbieter messen kannst

Ob ein AVV allein „ausreicht", beantwortet derzeit keine Kammer abschließend; unstreitig ist die Pflicht zur sorgfältigen Auswahl des Dienstleisters nach § 62a Abs. 2 StBerG. Und sorgfältige Auswahl braucht prüfbare Kriterien. Unsere drei sind: Welches Modell rechnet mit Mandantendaten, wo rechnet es und lässt sich beides nachweisen statt nur zusichern? Frontier-Modelle bieten viele. Eine versiegelte Ausführung mit nachprüfbarer Attestierung bietet kaum jemand. Bei SOFI gibt es beides und welche Kombination gilt, entscheidet die Kanzlei. Die technischen Grundlagen dazu erklärt der Ratgeber zum Confidential Computing, wie SOFI seine Zusagen belegt, steht auf Datensouveränität und welche Modelle SOFI einsetzt und warum, dokumentiert die Seite zur KI-Transparenz.

---

Quellen

• NVIDIA Confidential Computing (Produktseite, GPU-Architekturen Hopper, Blackwell, Rubin), nvidia.com, abgerufen am 30.07.2026.
• NVIDIA Attestation Suite (Dokumentation), docs.nvidia.com, abgerufen am 30.07.2026.
• „Confidential Inference via Trusted Virtual Machines", Anthropic Research, anthropic.com, abgerufen am 30.07.2026.
• Kimi K3, Modellkarte mit Gewichten und Lizenz, Moonshot AI, huggingface.co, abgerufen am 30.07.2026.
• gpt-oss-120b, Modellkarte, OpenAI, huggingface.co, abgerufen am 30.07.2026.
• „Kimi K3: The open weights escalation" (Veröffentlichung und Benchmark-Einordnung), Interconnects, interconnects.ai, abgerufen am 30.07.2026.
• Amazon Bedrock: Abuse detection (Zero Data Retention, Zero Operator Access), AWS, docs.aws.amazon.com, abgerufen am 30.07.2026.
• Amazon Bedrock: Data protection (Model Deployment Accounts), AWS, docs.aws.amazon.com, abgerufen am 30.07.2026.
• Abuse monitoring für Foundry Models sold by Azure, Microsoft Learn, learn.microsoft.com, abgerufen am 30.07.2026.
• Data, privacy, and security for Anthropic Claude models in Microsoft Foundry, Microsoft Learn, learn.microsoft.com, abgerufen am 30.07.2026.
• § 62a StBerG, Inanspruchnahme von Dienstleistungen, gesetze-im-internet.de, abgerufen am 30.07.2026.