Tive uma call com uma startup semana passada. "Nossa busca tá muito lenta, a gente tá pensando em implementar busca semântica com IA usando vector embeddings."
Perguntei quantos registros tinham. "Uns cinquenta mil."
Perguntei se tinham criado um index. Eles ainda não tinham olhado o query plan.
Index em banco existe desde os anos 1970. O index certo leva essa busca de um full table scan para um index lookup.
"Mas busca com IA entenderia a INTENÇÃO do usuário."
Os usuários deles buscam nome de produto. Para casar "camisa azul" com a coluna nome_produto que contém "Camisa Azul", um index de trigramas (pg_trgm com GIN) e ILIKE, ou o full-text search do Postgres, resolve. Não precisa de um transformer pra isso.
O mesmo vale para recomendação que ninguém tentou ordenar por quantidade de compra e para analytics rodando SELECT STAR numa tabela de 10 milhões de linhas sem WHERE.
Embeddings fazem sentido quando o usuário busca com sinônimos ou descreve o que quer em vez de digitar o nome do produto, e você mediu que a busca por palavra-chave erra esses casos. Aí a busca híbrida, palavra-chave mais embeddings, é o próximo passo.
Antes de montar modelo, embedding ou pipeline, olhe o query plan. Às vezes basta evitar o full table scan. Paginação e cache também valem a tentativa. Para essa busca, eu começaria pelo index.