Bei diesen L\u00f6sungen ist es schwierig, ein Gleichgewicht zwischen Genauigkeit, Skalierbarkeit und Kosteneffizienz zu finden, vor allem, wenn Hunderte von Millionen Seiten an Dokumenten verarbeitet werden m\u00fcssen, und die Kosten sind oft unerschwinglich.<\/p>\n\n\n\n Um Gemini 2.0 f\u00fcr die Verarbeitung von PDF-Dokumenten zu verwenden, m\u00fcssen Sie zun\u00e4chst die Umgebung einrichten und einen Inferenz-Client erstellen. Hier sind die einzelnen Schritte:<\/p>\n\n\n\n Mit den oben genannten Schritten haben wir die Konfiguration der Basisumgebung abgeschlossen und die erste PDF-Datei erfolgreich zur Verarbeitung hochgeladen. Es ist erw\u00e4hnenswert, dass die Gemini File API es erlaubt, bis zu 20 GB an Dateien pro Projekt zu speichern, mit einem Maximum von 2 GB pro Datei, und hochgeladene Dateien werden f\u00fcr 48 Stunden gespeichert.<\/p>\n\n\n\n Gemini 2.0 verf\u00fcgt \u00fcber die M\u00f6glichkeit, strukturierte Daten aus PDF-Dateien zu extrahieren. Im Folgenden wird gezeigt, wie das Pydantic-Modell mit Gemini verwendet werden kann, um diese Funktion zu erreichen.<\/p>\n\n\n\n Zun\u00e4chst definieren wir eine generische Methode zur Verarbeitung von PDF-Dateien und zur R\u00fcckgabe strukturierter Daten:<\/p>\n\n\n\n F\u00fcr die Rechnungsklasse PDF k\u00f6nnen wir das folgende Modell definieren, um Schl\u00fcsselinformationen zu extrahieren:<\/p>\n\n\n\n F\u00fcr Formulare, die handschriftliche Inhalte enthalten, k\u00f6nnen wir ebenfalls spezielle Modelle definieren:<\/p>\n\n\n\n Anhand des obigen Beispiels k\u00f6nnen wir sehen, dass Gemini 2.0 den Textinhalt in der PDF-Datei genau identifizieren kann, auch handschriftlichen Text, und ihn in ein strukturiertes JSON-Datenformat konvertieren kann, was den Datenextraktionsprozess erheblich vereinfacht.<\/p>\n\n\n\n In RAG-Systemen (Retrieval Augmented Generation) ist das Chunking von Dokumenten ein wichtiger Schritt zus\u00e4tzlich zur grundlegenden Textextraktion, und Gemini 2.0 erm\u00f6glicht es uns, sowohl OCR als auch semantisches Chunking in einem einzigen Schritt durchzuf\u00fchren.<\/p>\n\n\n\n Hier ist ein Tipp f\u00fcr die Konvertierung von PDF in Markdown und das gleichzeitige semantische Chunking:<\/p>\n\n\n\n Mit diesem Ansatz werden die semantischen Grenzen eines Dokuments ermittelt und aussagekr\u00e4ftigere Textabschnitte erzeugt, was die Genauigkeit der anschlie\u00dfenden Suche erheblich verbessert. Im Vergleich zum herk\u00f6mmlichen mechanischen Chunking, das auf der Anzahl der Zeichen basiert, ist das semantische Chunking besser in der Lage, die Koh\u00e4renz und Integrit\u00e4t des Inhalts zu erhalten.<\/p>\n\n\n\n F\u00fcr komplexere Szenarien k\u00f6nnen wir verschachtelte Pydantic-Modelle definieren, um mehrere Datenebenen zu verarbeiten:<\/p>\n\n\n\n Im Folgenden finden Sie einige bew\u00e4hrte Verfahren zur Verbesserung der Effizienz und Genauigkeit bei der Verarbeitung von PDF-Dokumenten in gro\u00dfem Umfang:<\/p>\n\n\n\n Wenn Sie eine gro\u00dfe Anzahl von PDF-Szenen bearbeiten m\u00fcssen, k\u00f6nnen Sie eine Stapelverarbeitung durchf\u00fchren, um die Effizienz zu steigern:<\/p>\n\n\n\n Die Auswahl der richtigen Modellvariante f\u00fcr die tats\u00e4chlichen Anforderungen kann die Kosten erheblich senken:<\/p>\n\n\n\n Im Folgenden wird die Verarbeitungseffizienz der verschiedenen Modelle verglichen:<\/p>\n\n\n\n In einer Produktionsumgebung ist es wichtig, robuste Mechanismen zur Fehlerbehandlung zu implementieren:<\/p>\n\n\n\n Bei PDFs, die komplexe Formulare enthalten, k\u00f6nnen die folgenden Stichw\u00f6rter verwendet werden, um die Genauigkeit der Formularerkennung zu verbessern:<\/p>\n\n\n\n![\"\"](\"https:\/\/school.myshirtai.com\/wp-content\/uploads\/2025\/05\/Jietu20250213-233957@2x.jpg\")
<\/figure>\n\n\n\nKonfigurieren der Umgebung und Einrichten von Gemini 2.0<\/h2>\n\n\n\n
Installieren Sie die erforderlichen Bibliotheken<\/h3>\n\n\n\n
%pip installieren \"google-genai>=1\"\n<\/code><\/pre><\/div>\n\n\n\nErstellen von Clients und Modellkonfigurationen<\/h3>\n\n\n\n
von google importieren genai\n\n# Client erstellen\napi_key = \"YOUR_API_KEY\" # Ersetzen Sie durch Ihren API-Schl\u00fcssel.\nclient = genai.Client(api_key=api_key)\n\n# Definieren Sie das zu verwendende Modell\nmodel_id = \"gemini-2.0-flash\" # Verwenden Sie auch \"gemini-2.0-flash-lite-preview-02-05\" oder \"gemini-2.0-pro-exp-02-05\".\n<\/code><\/pre><\/div>\n\n\n\nHochladen und Verarbeiten von PDF-Dateien<\/h3>\n\n\n\n
# PDF-Datei hochladen\nrechnung_pdf = client.files.upload(file=\"rechnung.pdf\", config={'display_name': 'rechnung'})\n\n# \u00dcberpr\u00fcfen, in wie viele Token die Datei umgewandelt wird\nfile_size = client.models.count_tokens(model=model_id, contents=invoice_pdf)\nprint(f'Datei: {Rechnung_pdf.display_name} entspricht {file_size.total_tokens} tokens')\n\n# Musterausgabe: Datei: Rechnung entspricht 821 Token\n<\/code><\/pre><\/div>\n\n\n\nPraxis der strukturierten PDF-Datenextraktion<\/h2>\n\n\n\n
Definition allgemeiner Datenextraktionsmethoden<\/h3>\n\n\n\n
def extract_structured_data(file_path: str, model: BaseModel).\n # Hochladen einer Datei in die Datei-API\n file = client.files.upload(file=file_path, config={'display_name': file_path.split('\/')[-1].split('.') [0]})\n\n # Generierung einer strukturierten Antwort mit der Gemini-API\n prompt = f \"Extrahiere die strukturierten Daten aus der folgenden PDF-Datei\"\n response = client.models.generate_content(model=model_id,\n content=[prompt, file], config={'response_mime_content')\n \n 'response_schema': model})\n\n # wandelt die Antwort in ein Pydantic-Modell um und gibt es zur\u00fcck\n return response.parsed\n<\/code><\/pre><\/div>\n\n\n\nFall 1: Extraktion von Rechnungsdaten<\/h3>\n\n\n\n
from pydantic import BaseModel, Feld\n\nclass Item(BaseModel).\n description: str = Field(description=\"Die Beschreibung des Artikels\")\n quantity: float = Field(description=\"Die Menge des Artikels\")\n gross_worth: float = Field(description=\"Der Bruttowert des Artikels\")\n\nclass Invoice(BaseModel).\n \"\"\"Extrahiert die Rechnungsnummer, das Datum und alle Listenpositionen mit Beschreibung, Menge und Bruttowert sowie den Gesamtbruttowert.\"\"\"\"\n invoice_number: str = Field(description=\"Die Rechnungsnummer z.B. 1234567890\")\n date: str = Field(description=\"Das Datum der Rechnung z.B. 2024-01-01\")\n items: list[Item] = Field(description=\"Die Liste der Positionen mit Beschreibung, Menge und Bruttowert\")\n total_gross_worth: float = Field(description=\"Der Gesamtbruttowert der Rechnung\")\n\n# Extrahieren der Daten anhand dieses Modells\nErgebnis = extract_structured_data(\"Rechnung.pdf\", Rechnung)\n\n# Ausgabe der Ergebnisse\nprint(f \"Extrahierte Rechnung: {result.invoice_number} am {result.date} mit Gesamtbruttowert {result.total_gross_worth}\")\nfor item in result.items: print(f \"Artikel: {item_gross_worth}\")\n print(f \"Artikel: {Artikel.Beschreibung} mit Menge {Artikel.Menge} und Bruttowert {Artikel.Bruttowert}\")\n<\/code><\/pre><\/div>\n\n\n\n![\"\"](\"https:\/\/school.myshirtai.com\/wp-content\/uploads\/2025\/05\/image-54.png\")
<\/figure>\n\n\n\nFall 2: Formularverarbeitung mit handschriftlichem Inhalt<\/h3>\n\n\n\n
class Form(BaseModel).\n \"\"\"Extrahieren Sie die Formularnummer, das Datum f\u00fcr den Beginn und das Ende des Gesch\u00e4ftsjahres sowie die Planverbindlichkeiten zu Beginn und am Ende des Jahres. \"\"\"\"\n form_number: str = Field(description=\"Die Formularnummer\")\n start_date: str = Field(description=\"Effective Date\")\n beginning_of_year: float = Field(description=\"Die Planverbindlichkeiten zu Beginn des Jahres\")\n end_of_year: float = Field(description=\"Die Planverbindlichkeiten am Ende des Jahres\")\n\n# Daten extrahieren\nresult = extract_structured_data(\"handschriftliches_formular.pdf\", Formular)\n\n# Ausgabe der Ergebnisse\nprint(f'Extrahierte Formularnummer: {result.form_number} mit Startdatum {result.start_date}. \\nPlanverbindlichkeiten Anfang des Jahres {result.beginning_of_year} und Ende des Jahres {result.end_of_year}')\n# Ausgabebeispiel: Extrahierte Formularnummer: CA530082 mit Beginndatum 02\/05\/2022.\n# Planverbindlichkeiten Anfang des Jahres 40000.0 und Ende des Jahres 55000.0\n<\/code><\/pre><\/div>\n\n\n\nFortgeschrittene Anwendungen: Chunking von Dokumenten und semantisches Verstehen<\/h2>\n\n\n\n
Beispiel f\u00fcr semantisches Chunking im PDF-Format<\/h3>\n\n\n\n
CHUNKING_PROMPT = \"\"\"OCR die folgende Seite in Markdown. Tabellen sollten als HTML formatiert werden.\nUmgeben Sie Ihre Ausgabe nicht mit dreifachen Backticks.\nUnterteilen Sie das Dokument in Abschnitte von etwa 250 bis 1000 W\u00f6rtern. Unser Ziel ist\nUnser Ziel ist es, Teile der Seite mit demselben semantischen Thema zu identifizieren.\nDiese Chunks werden eingebettet und in einer RAG-Pipeline verwendet.\nUmgeben Sie die Chunks mit html-Tags.\"\"\"\"\n\n# verwendet diese Eingabeaufforderung f\u00fcr die Verarbeitung\nresponse = client.models.generate_content(\n model=model_id,\n contents=[CHUNKING_PROMPT, pdf_file]\n)\n\nchunked_content = response.text\n<\/code><\/pre><\/div>\n\n\n\nKomplexe Datenextraktion mit Pydantic<\/h3>\n\n\n\n
class Person(BaseModel): first_name: str = Field(description=\"Der Vorname der Person\")\n first_name: str = Field(description=\"Der Vorname der Person\")\n last_name: str = Field(description=\"Der Nachname der Person\")\n last_name: str = Field(description=\"Der Nachname der Person\") last_name: str = Field(description=\"Der Nachname der Person\")\n work_topics: list[Topic] = Field(description=\"Die Interessengebiete der Person, falls nicht angegeben, bitte eine leere Liste zur\u00fcckgeben\")\n\n# Generieren einer Antwort unter Verwendung des Modells Person\nprompt = \"Philipp Schmid ist Senior AI Developer Relations Engineer bei Google DeepMind und arbeitet an Gemini, Gemma mit der Mission, jedem Entwickler zu helfen zu helfen, KI auf verantwortungsvolle Weise zu entwickeln und zu nutzen.\"\nresponse = client.models.generate_content(\n model=model_id,\n content=prompt,\n config={'response_mime_type': 'application\/json', 'response_schema': Person}\n)\n\nDas #-SDK wandelt die Antwort automatisch in ein Pydantic-Modell um\nphilipp: Person = response.parsed\nprint(f \"Vorname ist {philipp.first_name}\")\n<\/code><\/pre><\/div>\n\n\n\nLeistungsoptimierung und bew\u00e4hrte Praktiken<\/h2>\n\n\n\n
Stapelverarbeitung und Token-Optimierung<\/h3>\n\n\n\n
async def batch_process_pdfs(file_paths, model, batch_size=10):: results = [].\n results = []\n for i in range(0, len(file_paths), batch_size):: batch = file_paths[i:i+batch_size): batch = file_paths[i:i\n batch = file_paths[i:i+batch_size]: results = [] for i in range(0, len(file_paths), batch_size).\n tasks = [extract_structured_data(path, model) for path in batch]\n batch_results = await asyncio.gather(*tasks)\n results.extend(batch_results)\n print(f \"Verarbeiteter Stapel {i\/\/batch_size + 1}\/{(len(file_paths)+batch_size-1)\/\/batch_size}\")\n Ergebnisse zur\u00fcckgeben\n<\/code><\/pre><\/div>\n\n\n\nModellauswahl und Kostenkontrolle<\/h3>\n\n\n\n
\n
Modellierung<\/strong><\/th> Verarbeitete PDF-Seiten pro Dollar (Markdown-Konvertierung)<\/strong><\/th><\/tr><\/thead> Zwilling 2.0 Flash<\/td> Ca. 6.000 Seiten<\/td><\/tr> Gemini 2.0 Flash Lite<\/td> Ca. 12.000 Seiten<\/td><\/tr> Zwilling 1.5 Blitzlicht<\/td> Ca. 10.000 Seiten<\/td><\/tr> OpenAI 4-mini<\/td> Ca. 450 Seiten<\/td><\/tr> OpenAI 4o<\/td> Etwa 200 Seiten<\/td><\/tr> Anthropic Claude-3.5<\/td> Ca. 100 Seiten<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n Fehlerbehandlung und Wiederholungsmechanismus<\/h3>\n\n\n\n
def extract_with_retry(file_path, model, max_retries=3):: for attempt in range(max_retries)\n for attempt in range(max_retries).\n try.\n return extract_structured_data(file_path, model): for attempt in range(max_retries): try.\n except Exception as e: if attempt == max_retries\n if attempt == max_retries - 1: print(f \"Failed to get to the file.\n print(f \"Konnte {file_path} nach {max_retries} Versuchen nicht verarbeiten: {e}\")\n return Keine\n print(f \"Versuch {Versuch+1} fehlgeschlagen, erneuter Versuch: {e}\")\n time.sleep(2 ** attempt) # exponentielle Wiederholungsstrategie\n<\/code><\/pre><\/div>\n\n\n\n![\"\"](\"https:\/\/school.myshirtai.com\/wp-content\/uploads\/2025\/05\/rd-bench-example.jpg\")
<\/figure>\n\n\n\nOptimierung der Formverarbeitung<\/h3>\n\n\n\n