pdf: accelerate OCR
Signed-off-by: Rodrigo Bertoldo de Sousa Martins <rodrigo.sousa.577@gmail.com>
This commit is contained in:
rodrigo committed
1 parent
ab73ea667e
commit
d381d17435
1 file changed
+167
-58
+167
-58
@@ -2,6 +2,7 @@ import { PDFDocument, rgb } from 'pdf-lib';
|
||||
import sharp from 'sharp';
|
||||
import { createWorker, Worker } from 'tesseract.js';
|
||||
import { fromPath } from 'pdf2pic';
|
||||
import pdfParse from 'pdf-parse';
|
||||
import fs from 'fs/promises';
|
||||
import path from 'path';
|
||||
import { v4 as uuidv4 } from 'uuid';
|
||||
@@ -564,8 +565,13 @@ export class PDFService {
|
||||
}
|
||||
|
||||
/**
|
||||
* Realiza OCR em um PDF e extrai o texto
|
||||
* Otimizado para velocidade: worker em cache, baixa resolução, grayscale
|
||||
* Realiza OCR / extração de texto de um PDF
|
||||
*
|
||||
* Abordagem em 2 fases para máxima velocidade:
|
||||
* 1. RÁPIDA (~100ms): Extrai texto embarcado via pdf-parse (funciona para PDFs digitais)
|
||||
* 2. LENTA (fallback): Se não encontrou texto, usa Tesseract OCR (para PDFs escaneados)
|
||||
*
|
||||
* A maioria dos PDFs já tem texto embarcado, então a fase 1 resolve em <1 segundo.
|
||||
*/
|
||||
static async performOCR(
|
||||
inputPath: string,
|
||||
@@ -577,10 +583,88 @@ export class PDFService {
|
||||
const { language = 'por', pages = 'all' } = options;
|
||||
const startTime = Date.now();
|
||||
|
||||
console.log(`[OCR] Iniciando OCR: idioma=${language}, páginas=${JSON.stringify(pages)}`);
|
||||
console.log(`[OCR] Iniciando extração de texto: idioma=${language}`);
|
||||
|
||||
// Converte PDF em imagens otimizadas para OCR (150 DPI, grayscale)
|
||||
// ========== FASE 1: Extração rápida via pdf-parse (instantânea) ==========
|
||||
const t1 = Date.now();
|
||||
const pdfBytes = await fs.readFile(inputPath);
|
||||
|
||||
let extractedText = '';
|
||||
let pageTexts: string[] = [];
|
||||
|
||||
try {
|
||||
// pdf-parse extrai texto embarcado diretamente - sem conversão de imagem
|
||||
const pdfData = await pdfParse(pdfBytes, {
|
||||
// Callback por página para obter texto separado por página
|
||||
pagerender: async function(pageData: any) {
|
||||
const textContent = await pageData.getTextContent();
|
||||
const text = textContent.items.map((item: any) => item.str).join(' ');
|
||||
return text;
|
||||
}
|
||||
});
|
||||
|
||||
extractedText = pdfData.text || '';
|
||||
|
||||
// Separa texto por páginas (pdf-parse separa com form feed ou quebras duplas)
|
||||
if (extractedText.trim()) {
|
||||
// Tenta separar por form feed (\f) primeiro
|
||||
pageTexts = extractedText.split(/\f/).filter((t: string) => t.trim());
|
||||
|
||||
// Se não tiver form feed, tenta por quebra dupla de linha
|
||||
if (pageTexts.length <= 1 && pdfData.numpages > 1) {
|
||||
// Distribui o texto pelas páginas (estimativa)
|
||||
const fullText = extractedText.trim();
|
||||
const linesPerPage = Math.ceil(fullText.split('\n').length / pdfData.numpages);
|
||||
const lines = fullText.split('\n');
|
||||
pageTexts = [];
|
||||
for (let i = 0; i < pdfData.numpages; i++) {
|
||||
const start = i * linesPerPage;
|
||||
const end = start + linesPerPage;
|
||||
pageTexts.push(lines.slice(start, end).join('\n'));
|
||||
}
|
||||
}
|
||||
}
|
||||
} catch (parseError) {
|
||||
console.warn(`[OCR] pdf-parse falhou, tentando Tesseract:`, parseError);
|
||||
}
|
||||
|
||||
const t1Elapsed = Date.now() - t1;
|
||||
console.log(`[OCR] Extração pdf-parse: ${t1Elapsed}ms - ${extractedText.length} caracteres encontrados`);
|
||||
|
||||
// Se encontrou texto significativo (>50 caracteres por página), retorna imediatamente
|
||||
const pdfDoc = await PDFDocument.load(pdfBytes);
|
||||
const totalPages = pdfDoc.getPageCount();
|
||||
const hasSignificantText = extractedText.trim().length > (totalPages * 50);
|
||||
|
||||
if (hasSignificantText) {
|
||||
console.log(`[OCR] ✅ Texto embarcado encontrado! Retornando em ${Date.now() - startTime}ms`);
|
||||
|
||||
// Filtra por páginas solicitadas
|
||||
const targetPages = pages === 'all'
|
||||
? Array.from({ length: totalPages }, (_, i) => i)
|
||||
: pages.map(p => p - 1);
|
||||
|
||||
const pageResults = targetPages.map((pageIdx, i) => ({
|
||||
pageNumber: pageIdx + 1,
|
||||
text: pageTexts[pageIdx] || '',
|
||||
confidence: 99.0, // Texto embarcado = confiança máxima
|
||||
}));
|
||||
|
||||
const filteredText = targetPages
|
||||
.map(idx => pageTexts[idx] || '')
|
||||
.join('\n\n')
|
||||
.trim();
|
||||
|
||||
return {
|
||||
text: filteredText || extractedText.trim(),
|
||||
confidence: 99.0,
|
||||
pages: pageResults,
|
||||
};
|
||||
}
|
||||
|
||||
// ========== FASE 2: Tesseract OCR (fallback para PDFs escaneados) ==========
|
||||
console.log(`[OCR] ⚠️ PDF escaneado detectado (sem texto embarcado). Usando Tesseract...`);
|
||||
|
||||
const imagePaths = await this.pdfToImagesForOCR(inputPath, pages);
|
||||
console.log(`[OCR] Conversão PDF→imagens: ${Date.now() - t1}ms (${imagePaths.length} páginas)`);
|
||||
|
||||
@@ -588,10 +672,7 @@ export class PDFService {
|
||||
return { text: '', confidence: 0, pages: [] };
|
||||
}
|
||||
|
||||
// Obtém worker do cache (rápido após primeira chamada)
|
||||
const t2 = Date.now();
|
||||
const worker = await this.getWorker(language);
|
||||
console.log(`[OCR] Worker obtido: ${Date.now() - t2}ms`);
|
||||
|
||||
const pageResults: Array<{
|
||||
pageNumber: number;
|
||||
@@ -602,7 +683,6 @@ export class PDFService {
|
||||
let allText = '';
|
||||
let totalConfidence = 0;
|
||||
|
||||
// Processa cada imagem com o worker em cache
|
||||
const t3 = Date.now();
|
||||
for (let i = 0; i < imagePaths.length; i++) {
|
||||
try {
|
||||
@@ -618,13 +698,12 @@ export class PDFService {
|
||||
allText += data.text + '\n\n';
|
||||
totalConfidence += data.confidence;
|
||||
|
||||
// Remove a imagem temporária
|
||||
await fs.unlink(imagePath).catch(() => {});
|
||||
} catch (error) {
|
||||
console.error(`[OCR] Erro ao processar página ${i + 1}:`, error);
|
||||
}
|
||||
}
|
||||
console.log(`[OCR] Reconhecimento: ${Date.now() - t3}ms`);
|
||||
console.log(`[OCR] Tesseract reconhecimento: ${Date.now() - t3}ms`);
|
||||
|
||||
const averageConfidence = pageResults.length > 0
|
||||
? totalConfidence / pageResults.length
|
||||
@@ -695,7 +774,12 @@ export class PDFService {
|
||||
|
||||
/**
|
||||
* Adiciona camada de OCR a um PDF (torna o PDF pesquisável)
|
||||
* Otimizado: usa worker em cache e imagens de baixa resolução
|
||||
*
|
||||
* Abordagem em 2 fases:
|
||||
* 1. RÁPIDA: Usa pdf-parse para extrair texto embarcado e adicionar como camada invisível
|
||||
* 2. FALLBACK: Se PDF escaneado (sem texto), usa Tesseract
|
||||
*
|
||||
* Para PDFs digitais (com texto embarcado), completa em <1 segundo.
|
||||
*/
|
||||
static async addOCRLayerToPDF(
|
||||
inputPath: string,
|
||||
@@ -707,67 +791,92 @@ export class PDFService {
|
||||
const startTime = Date.now();
|
||||
console.log(`[OCR Layer] Iniciando adição de camada OCR...`);
|
||||
|
||||
// Carrega o PDF original
|
||||
const pdfBytes = await fs.readFile(inputPath);
|
||||
const pdfDoc = await PDFDocument.load(pdfBytes);
|
||||
const totalPages = pdfDoc.getPageCount();
|
||||
|
||||
// Converte em imagens otimizadas para OCR (baixa resolução, grayscale)
|
||||
const t1 = Date.now();
|
||||
const imagePaths = await this.pdfToImagesForOCR(inputPath, 'all');
|
||||
console.log(`[OCR Layer] Conversão: ${Date.now() - t1}ms`);
|
||||
// ========== FASE 1: Tentar extrair texto com pdf-parse (instantâneo) ==========
|
||||
let pageTexts: string[] = [];
|
||||
let hasEmbeddedText = false;
|
||||
|
||||
// Obtém worker do cache
|
||||
const worker = await this.getWorker(language);
|
||||
try {
|
||||
const t1 = Date.now();
|
||||
const pdfData = await pdfParse(pdfBytes);
|
||||
const fullText = pdfData.text || '';
|
||||
|
||||
// Verifica se tem texto significativo
|
||||
hasEmbeddedText = fullText.trim().length > (totalPages * 30);
|
||||
|
||||
// Cria novo PDF com camada de texto
|
||||
if (hasEmbeddedText) {
|
||||
// Separa texto por páginas
|
||||
const textParts = fullText.split(/\f/);
|
||||
if (textParts.length >= totalPages) {
|
||||
pageTexts = textParts.slice(0, totalPages);
|
||||
} else {
|
||||
// Distribui texto entre páginas
|
||||
const lines = fullText.split('\n');
|
||||
const linesPerPage = Math.ceil(lines.length / totalPages);
|
||||
for (let i = 0; i < totalPages; i++) {
|
||||
const start = i * linesPerPage;
|
||||
pageTexts.push(lines.slice(start, start + linesPerPage).join('\n'));
|
||||
}
|
||||
}
|
||||
console.log(`[OCR Layer] ✅ Texto embarcado extraído via pdf-parse em ${Date.now() - t1}ms`);
|
||||
}
|
||||
} catch (parseError) {
|
||||
console.warn(`[OCR Layer] pdf-parse falhou:`, parseError);
|
||||
}
|
||||
|
||||
// ========== FASE 2: Fallback Tesseract para PDFs escaneados ==========
|
||||
if (!hasEmbeddedText) {
|
||||
console.log(`[OCR Layer] ⚠️ PDF escaneado, usando Tesseract...`);
|
||||
|
||||
const imagePaths = await this.pdfToImagesForOCR(inputPath, 'all');
|
||||
const worker = await this.getWorker(language);
|
||||
|
||||
pageTexts = [];
|
||||
for (let i = 0; i < imagePaths.length; i++) {
|
||||
try {
|
||||
const { data } = await worker.recognize(imagePaths[i]);
|
||||
pageTexts.push(data.text);
|
||||
await fs.unlink(imagePaths[i]).catch(() => {});
|
||||
} catch (error) {
|
||||
console.error(`[OCR Layer] Erro Tesseract página ${i + 1}:`, error);
|
||||
pageTexts.push('');
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// ========== Cria PDF com camada de texto invisível ==========
|
||||
const newDoc = await PDFDocument.create();
|
||||
|
||||
let totalConfidence = 0;
|
||||
let pagesProcessed = 0;
|
||||
|
||||
const t2 = Date.now();
|
||||
for (let i = 0; i < totalPages; i++) {
|
||||
const [copiedPage] = await newDoc.copyPages(pdfDoc, [i]);
|
||||
newDoc.addPage(copiedPage);
|
||||
|
||||
// Faz OCR apenas se temos imagem para esta página
|
||||
if (i < imagePaths.length) {
|
||||
try {
|
||||
const { data } = await worker.recognize(imagePaths[i]);
|
||||
totalConfidence += data.confidence;
|
||||
pagesProcessed++;
|
||||
const text = pageTexts[i] || '';
|
||||
if (text.trim()) {
|
||||
const newPage = newDoc.getPage(i);
|
||||
const { height } = newPage.getSize();
|
||||
|
||||
const newPage = newDoc.getPage(i);
|
||||
const { height } = newPage.getSize();
|
||||
const lines = text.split('\n');
|
||||
let yPosition = height - 20;
|
||||
|
||||
// Adiciona texto invisível (camada OCR pesquisável)
|
||||
const lines = data.text.split('\n');
|
||||
let yPosition = height - 20;
|
||||
|
||||
lines.forEach((line) => {
|
||||
if (line.trim()) {
|
||||
newPage.drawText(line, {
|
||||
x: 10,
|
||||
y: yPosition,
|
||||
size: 8,
|
||||
color: rgb(0, 0, 0),
|
||||
opacity: 0.01,
|
||||
});
|
||||
yPosition -= 12;
|
||||
}
|
||||
});
|
||||
|
||||
// Remove imagem temporária
|
||||
await fs.unlink(imagePaths[i]).catch(() => {});
|
||||
} catch (error) {
|
||||
console.error(`[OCR Layer] Erro na página ${i + 1}:`, error);
|
||||
}
|
||||
lines.forEach((line: string) => {
|
||||
if (line.trim()) {
|
||||
newPage.drawText(line, {
|
||||
x: 10,
|
||||
y: yPosition,
|
||||
size: 8,
|
||||
color: rgb(0, 0, 0),
|
||||
opacity: 0.01,
|
||||
});
|
||||
yPosition -= 12;
|
||||
}
|
||||
});
|
||||
}
|
||||
}
|
||||
console.log(`[OCR Layer] Reconhecimento: ${Date.now() - t2}ms`);
|
||||
|
||||
// Salva o PDF com camada OCR
|
||||
const finalOutputPath = outputPath || path.join(
|
||||
this.OUTPUT_DIR,
|
||||
`ocr-${uuidv4()}.pdf`
|
||||
@@ -776,13 +885,13 @@ export class PDFService {
|
||||
const newPdfBytes = await newDoc.save();
|
||||
await fs.writeFile(finalOutputPath, newPdfBytes);
|
||||
|
||||
const avgConfidence = pagesProcessed > 0 ? totalConfidence / pagesProcessed : 0;
|
||||
const confidence = hasEmbeddedText ? 99.0 : 85.0;
|
||||
const totalTime = Date.now() - startTime;
|
||||
console.log(`[OCR Layer] Concluído em ${totalTime}ms (${pagesProcessed} páginas, confiança: ${avgConfidence.toFixed(1)}%)`);
|
||||
console.log(`[OCR Layer] Concluído em ${totalTime}ms (${totalPages} páginas, método: ${hasEmbeddedText ? 'pdf-parse' : 'Tesseract'})`);
|
||||
|
||||
return {
|
||||
outputPath: finalOutputPath,
|
||||
confidence: avgConfidence,
|
||||
confidence,
|
||||
};
|
||||
} catch (error) {
|
||||
console.error('Erro ao adicionar camada OCR:', error);
|
||||
|
||||
Reference in new issue
Block a user