Estas solu\u00e7\u00f5es t\u00eam dificuldade em equilibrar a precis\u00e3o, a escalabilidade e a rela\u00e7\u00e3o custo-efic\u00e1cia, especialmente quando confrontadas com cen\u00e1rios em que \u00e9 necess\u00e1rio processar centenas de milh\u00f5es de p\u00e1ginas de documentos, e o custo \u00e9 muitas vezes proibitivo.<\/p>\n\n\n\n Para come\u00e7ar a usar o Gemini 2.0 para processar documentos PDF, primeiro \u00e9 necess\u00e1rio configurar o ambiente e criar um cliente de infer\u00eancia. Aqui est\u00e3o as etapas espec\u00edficas:<\/p>\n\n\n\n Com as etapas acima, conclu\u00edmos a configura\u00e7\u00e3o do ambiente b\u00e1sico e carregamos com \u00eaxito o primeiro arquivo PDF para processamento. \u00c9 importante notar que a API de ficheiros do Gemini permite armazenar at\u00e9 20 GB de ficheiros por projeto, com um m\u00e1ximo de 2 GB por ficheiro, e que os ficheiros carregados s\u00e3o guardados durante 48 horas.<\/p>\n\n\n\n Uma carater\u00edstica poderosa do Gemini 2.0 \u00e9 a capacidade de extrair dados estruturados de ficheiros PDF. A seguir, mostraremos como utilizar o modelo Pydantic do caso real com o Gemini para obter esta funcionalidade.<\/p>\n\n\n\n Em primeiro lugar, definimos um m\u00e9todo gen\u00e9rico para processar ficheiros PDF e devolver dados estruturados:<\/p>\n\n\n\n Para a classe de fatura\u00e7\u00e3o PDF, podemos definir o seguinte modelo para extrair informa\u00e7\u00f5es-chave:<\/p>\n\n\n\n Para formul\u00e1rios com conte\u00fado manuscrito, podemos definir modelos especializados de forma semelhante:<\/p>\n\n\n\n Atrav\u00e9s do exemplo acima, podemos ver que o Gemini 2.0 consegue identificar com precis\u00e3o o conte\u00fado do texto no PDF, mesmo incluindo texto manuscrito, e convert\u00ea-lo para um formato de dados JSON estruturado, simplificando consideravelmente o processo de extra\u00e7\u00e3o de dados.<\/p>\n\n\n\n Nos sistemas RAG (Retrieval Augmented Generation), a fragmenta\u00e7\u00e3o de documentos \u00e9 um passo fundamental para al\u00e9m da extra\u00e7\u00e3o b\u00e1sica de texto, e o Gemini 2.0 permite-nos fazer tanto o OCR como a fragmenta\u00e7\u00e3o sem\u00e2ntica num \u00fanico passo.<\/p>\n\n\n\n Aqui est\u00e1 uma dica para converter PDF para Markdown e para a fragmenta\u00e7\u00e3o sem\u00e2ntica ao mesmo tempo:<\/p>\n\n\n\n Esta abordagem identifica os limites sem\u00e2nticos de um documento e gera partes de texto mais significativas, melhorando consideravelmente a precis\u00e3o da recupera\u00e7\u00e3o subsequente. Em compara\u00e7\u00e3o com a fragmenta\u00e7\u00e3o mec\u00e2nica tradicional baseada no n\u00famero de caracteres, a fragmenta\u00e7\u00e3o sem\u00e2ntica \u00e9 mais capaz de manter a coer\u00eancia e a integridade do conte\u00fado.<\/p>\n\n\n\n Para cen\u00e1rios mais complexos, podemos definir modelos Pydantic aninhados para tratar v\u00e1rios n\u00edveis de dados:<\/p>\n\n\n\n Eis algumas pr\u00e1ticas recomendadas para melhorar a efici\u00eancia e a precis\u00e3o no processamento de documentos PDF em grande escala:<\/p>\n\n\n\n Para a necessidade de lidar com um grande n\u00famero de cenas PDF, \u00e9 poss\u00edvel efetuar o processamento em lote para melhorar a efici\u00eancia:<\/p>\n\n\n\n A sele\u00e7\u00e3o da variante de modelo correta para os requisitos reais pode reduzir significativamente os custos:<\/p>\n\n\n\n Segue-se uma compara\u00e7\u00e3o da efici\u00eancia de processamento dos diferentes modelos:<\/p>\n\n\n\n Num ambiente de produ\u00e7\u00e3o, \u00e9 fundamental implementar mecanismos robustos de tratamento de erros:<\/p>\n\n\n\n Para PDFs que cont\u00eam formul\u00e1rios complexos, as seguintes palavras-chave podem ser utilizadas para melhorar a precis\u00e3o do reconhecimento de formul\u00e1rios:<\/p>\n\n\n\n![\"\"](\"https:\/\/school.myshirtai.com\/wp-content\/uploads\/2025\/05\/Jietu20250213-233957@2x.jpg\")
<\/figure>\n\n\n\nConfigurando o ambiente e instalando o Gemini 2.0<\/h2>\n\n\n\n
Instalar as bibliotecas necess\u00e1rias<\/h3>\n\n\n\n
%pip install \"google-genai>=1\"\n<\/code><\/pre><\/div>\n\n\n\nCriando Clientes e Configura\u00e7\u00f5es de Modelos<\/h3>\n\n\n\n
from google import genai\n\n# Criar cliente\napi_key = \"YOUR_API_KEY\" # Substituir pela sua chave API.\ncliente = genai.Client(api_key=api_key)\n\n# Defina o modelo a ser utilizado\nmodel_id = \"gemini-2.0-flash\" # Utilize tamb\u00e9m \"gemini-2.0-flash-lite-preview-02-05\" ou \"gemini-2.0-pro-exp-02-05\"\n<\/code><\/pre><\/div>\n\n\n\nCarregamento e processamento de ficheiros PDF<\/h3>\n\n\n\n
# Carregar ficheiro PDF\ninvoice_pdf = client.files.upload(file=\"invoice.pdf\", config={'display_name': 'invoice'})\n\n# Ver em quantos tokens o ficheiro \u00e9 convertido\nfile_size = client.models.count_tokens(model=model_id, contents=invoice_pdf)\nprint(f'Ficheiro: {invoice_pdf.display_name} \u00e9 igual a {file_size.total_tokens} tokens')\n\n# Exemplo de sa\u00edda: Ficheiro: fatura \u00e9 igual a 821 tokens\n<\/code><\/pre><\/div>\n\n\n\nPr\u00e1tica de extra\u00e7\u00e3o de dados estruturados em PDF<\/h2>\n\n\n\n
Definir m\u00e9todos gen\u00e9ricos de extra\u00e7\u00e3o de dados<\/h3>\n\n\n\n
def extract_structured_data(file_path: str, model: BaseModel).\n # Carregamento de um ficheiro para a API File\n file = client.files.upload(file=file_path, config={'display_name': file_path.split('\/')[-1].split('.') [0]})\n\n # Gera\u00e7\u00e3o de uma resposta estruturada utilizando a API Gemini\n prompt = f \"Extrair os dados estruturados do seguinte ficheiro PDF\"\n response = client.models.generate_content(model=model_id,\n contents=[prompt, file], config={'response_mime_content')\n \n 'response_schema': model})\n\n O # transforma a resposta num modelo Pydantic e devolve-a\n return response.parsed\n<\/code><\/pre><\/div>\n\n\n\nCaso 1: Extra\u00e7\u00e3o de dados de facturas<\/h3>\n\n\n\n
from pydantic import BaseModel, Field\n\nclass Item(BaseModel).\n description: str = Field(description=\"A descri\u00e7\u00e3o do item\")\n quantidade: float = Field(description=\"The Qty of the item\")\n gross_worth: float = Field(description=\"O valor bruto do artigo\")\n\nclass Invoice(BaseModel).\n \"\"\"Extrair o n\u00famero da fatura, a data e todos os itens da lista com a descri\u00e7\u00e3o, a quantidade e o valor bruto e o valor bruto total. \"\"\"\"\n invoice_number: str = Field(description=\"O n\u00famero da fatura, por exemplo, 1234567890\")\n date: str = Field(description=\"A data da fatura, por exemplo, 2024-01-01\")\n items: list[Item] = Field(description=\"A lista de itens com descri\u00e7\u00e3o, quantidade e valor bruto\")\n total_gross_worth: float = Field(description=\"O valor bruto total da fatura\")\n\n# Extrair os dados utilizando este modelo\nresult = extract_structured_data(\"invoice.pdf\", Invoice)\n\n# Resultados de sa\u00edda\nprint(f \"Fatura extra\u00edda: {result.invoice_number} em {result.date} com valor bruto total {result.total_gross_worth}\")\nfor item in result.items: print(f \"Item: {item_gross_worth}\")\n print(f \"Item: {item.description} com quantidade {item.quantity} e valor bruto {item.gross_worth}\")\n<\/code><\/pre><\/div>\n\n\n\n![\"\"](\"https:\/\/school.myshirtai.com\/wp-content\/uploads\/2025\/05\/image-54.png\")
<\/figure>\n\n\n\nCaso 2: Processamento de formul\u00e1rios com conte\u00fado manuscrito<\/h3>\n\n\n\n
classe Form(BaseModel).\n \"\"\"Extrair o n\u00famero do formul\u00e1rio, a data de in\u00edcio do exerc\u00edcio, a data de fim do exerc\u00edcio e o passivo do plano no in\u00edcio do ano e no fim do ano. \"\"\"\"\n form_number: str = Field(description=\"O n\u00famero do formul\u00e1rio\")\n start_date: str = Field(description=\"Effective Date\")\n beginning_of_year: float = Field(description=\"The plan liabilities beginning of the year\")\n end_of_year: float = Field(description=\"The plan liabilities end of the year\")\n\n# Extrair dados\nresult = extract_structured_data(\"handwriting_form.pdf\", Form)\n\n# Resultados de sa\u00edda\nprint(f'N\u00famero do formul\u00e1rio extra\u00eddo: {result.form_number} com data de in\u00edcio {result.start_date}. \\nPlano de responsabilidades in\u00edcio do ano {result.beginning_of_year} e fim do ano {result.end_of_year}')\n# Exemplo de sa\u00edda: N\u00famero de formul\u00e1rio extra\u00eddo: CA530082 com data de in\u00edcio 02\/05\/2022.\n# Passivos do plano no in\u00edcio do ano 40000.0 e no final do ano 55000.0\n<\/code><\/pre><\/div>\n\n\n\nAplica\u00e7\u00f5es avan\u00e7adas: fragmenta\u00e7\u00e3o de documentos e compreens\u00e3o sem\u00e2ntica<\/h2>\n\n\n\n
Exemplo de fragmenta\u00e7\u00e3o sem\u00e2ntica em PDF<\/h3>\n\n\n\n
CHUNKING_PROMPT = \"\"\"OCR a seguinte p\u00e1gina em Markdown. As tabelas devem ser formatadas como HTML.\nN\u00e3o coloque tr\u00eas pontos triplos \u00e0 volta do seu resultado.\nDivida o documento em sec\u00e7\u00f5es de cerca de 250 a 1000 palavras. O nosso objetivo \u00e9\nO nosso objetivo \u00e9 identificar partes da p\u00e1gina com o mesmo tema sem\u00e2ntico.\nEstes peda\u00e7os ser\u00e3o incorporados e utilizados num pipeline RAG.\nEnvolva os peda\u00e7os com as etiquetas html .\"\"\"\"\n\nO # usa este prompt para processamento\nresponse = client.models.generate_content(\n model=model_id,\n contents=[CHUNKING_PROMPT, pdf_file]\n)\n\nconte\u00fado_em_cachos = response.text\n<\/code><\/pre><\/div>\n\n\n\nExtra\u00e7\u00e3o de dados complexos com Pydantic<\/h3>\n\n\n\n
class Person(BaseModel): first_name: str = Field(description=\"O primeiro nome da pessoa\")\n first_name: str = Field(description=\"O primeiro nome da pessoa\")\n last_name: str = Field(description=\"O \u00faltimo nome da pessoa\")\n last_name: str = Field(description=\"The last name of the person\") last_name: str = Field(description=\"The last name of the person\")\n work_topics: list[Topic] = Field(description=\"Os dom\u00ednios de interesse da pessoa; se n\u00e3o forem fornecidos, devolver uma lista vazia\")\n\n# Gerar uma resposta utilizando o modelo Pessoa\nprompt = \"Philipp Schmid \u00e9 um engenheiro s\u00e9nior de rela\u00e7\u00f5es com programadores de IA na Google DeepMind que trabalha no Gemini, Gemma, com a miss\u00e3o de ajudar todos os programadores a construir e beneficiar da IA de uma forma respons\u00e1vel\".\nresponse = client.models.generate_content(\n model=model_id,\n contents=prompt,\n config={'response_mime_type': 'application\/json', 'response_schema': Person}\n)\n\nO SDK # converte automaticamente a resposta para um modelo Pydantic\nphilipp: Person = response.parsed\nprint(f \"O primeiro nome \u00e9 {philipp.first_name}\")\n<\/code><\/pre><\/div>\n\n\n\nOtimiza\u00e7\u00e3o do desempenho e melhores pr\u00e1ticas<\/h2>\n\n\n\n
Processamento de lotes e otimiza\u00e7\u00e3o de fichas<\/h3>\n\n\n\n
async def batch_process_pdfs(file_paths, model, batch_size=10):: results = [].\n resultados = []\n for i in range(0, len(file_paths), batch_size):: batch = file_paths[i:i+batch_size): batch = file_paths[i:i\n lote = file_paths[i:i+batch_size]: resultados = [] for i in range(0, len(file_paths), batch_size).\n tarefas = [extract_structured_data(path, model) for path in batch]\n batch_results = await asyncio.gather(*tasks)\n results.extend(batch_results)\n print(f \"Lote processado {i\/\/batch_size + 1}\/{(len(file_paths)+batch_size-1)\/\/batch_size}\")\n retornar resultados\n<\/code><\/pre><\/div>\n\n\n\nSele\u00e7\u00e3o de modelos e controlo de custos<\/h3>\n\n\n\n
\n
modela\u00e7\u00e3o<\/strong><\/th> P\u00e1ginas PDF processadas por d\u00f3lar (convers\u00e3o Markdown)<\/strong><\/th><\/tr><\/thead> Gemini 2.0 Flash<\/td> Aprox. 6.000 p\u00e1ginas<\/td><\/tr> Gemini 2.0 Flash Lite<\/td> Aprox. 12.000 p\u00e1ginas<\/td><\/tr> Gemini 1.5 Flash<\/td> Aprox. 10.000 p\u00e1ginas<\/td><\/tr> OpenAI 4-mini<\/td> Cerca de 450 p\u00e1ginas<\/td><\/tr> OpenAI 4o<\/td> Cerca de 200 p\u00e1ginas<\/td><\/tr> Cl\u00e1usula antr\u00f3pica-3.5<\/td> Aprox. 100 p\u00e1ginas<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n Tratamento de erros e mecanismo de repeti\u00e7\u00e3o<\/h3>\n\n\n\n
def extract_with_retry(file_path, model, max_retries=3):: for attempt in range(max_retries)\n for attempt in range(max_retries).\n try.\n return extract_structured_data(file_path, model): for attempt in range(max_retries): try.\n except Exception as e: if attempt == max_retries\n if attempt == max_retries - 1: print(f \"Falha ao aceder ao ficheiro.\n print(f \"Falha ao processar {caminho_do_ficheiro} ap\u00f3s {max_retries} tentativas: {e}\")\n return None\n print(f \"A tentativa {tentativa+1} falhou, nova tentativa: {e}\")\n time.sleep(2 ** tentativa) Estrat\u00e9gia de repeti\u00e7\u00e3o exponencial #\n<\/code><\/pre><\/div>\n\n\n\n![\"\"](\"https:\/\/school.myshirtai.com\/wp-content\/uploads\/2025\/05\/rd-bench-example.jpg\")
<\/figure>\n\n\n\nOtimiza\u00e7\u00e3o do processamento de formul\u00e1rios<\/h3>\n\n\n\n