В нескольких справочниках ожидается, в среднем, по 500000 записей. Думаю добавить поле с флагом, поднимаемым в случае успешной синхронизации. И далее выгрузка производится только записей с отсутствующим флажком. Делать ли флаг (1/0) индексируемым или пусть сканирует? База SQL.
Требовать и эффективности, и гибкости от одной и той же программы — все равно, что искать очаровательную и скромную жену... по-видимому, нам следует остановиться на чем-то одном из двух. Фредерик Брукс-младший