Não gosto muito da ideía de ter meus BD num só arquivo, como é feito com os .FDB que dentro possuem as tabelas
Você não gosta por quê pensa nos dados de forma linear e espacialmente ajustados, como se você próprio estivesse gravando-os em DBF, que são notórios sistemas de aglomeração de dados, que estão há muito obsoletos .
Bancos de dados como o Firebird, que utilizam apenas um arquivo, têm excelentes mecanismos de otimização de gravação e recuperação de dados. A teoria que envolve esses tipos de operações são extensas e complexas.
Além do quê, vale o que se vê: dificilmente você encontrará um banco de dados Firebird rodando lento. E se encontrar, provavelmente será culpa da sentença SQL que o programador utiliza, ou da forma como ele próprio arquitetou o banco de dados.