У меня около 100 таблиц mysql и множество запросов sql, выполнение каждой из которых занимает около 1-3 часов, и каждый из них возвращает от 1 до 2 миллиардов записей.
Однако каждые пару минут некоторые записи вставляются и удаляются из любой из 100 таблиц. Есть ли способ не выполнять эти sql-запросы для всей базы данных и вместо этого знать записи, которые были удалены? Например. предположим, что одна запись была удалена из одной из 100 таблиц, я смогу удалить соответствующую запись из моего предыдущего результата sql.
Моя идея:
Для вставок я могу посмотреть время вставки новой записи и вставить последнюю. Для удалений я должен узнать, какая запись была удалена из журналов (debezium). Но как мне удалить запись из полученного запроса?