Intereting Posts
Count или Skip (1) .Any (), где я хочу узнать, есть ли более 1 записи – Entity Framework Сохраненная процедура с именем таблицы как параметром среди других Рекомендации по хранению версии схемы базы данных в SQL Server? строковый эквивалент суммы для конкатенации Linq group join и где инструкция по свойству объединенной таблицы Лучший способ сделать центральный SqlConnection Вариации имени в базе данных SQLServerException: соединение TCP / IP с локальным хостом хоста, порт 1433 провалилось. Можно ли иногда вызывать выражения SELECT для строк, не соответствующих предложению WHERE? Доступ к SQL Server в Windows Server 2008 R2 с удаленного клиента «Где IN» с несколькими столбцами (SQL Server) Ошибка конверсии при преобразовании даты и / или времени из символьной строки как вставить данные parellel в три разные таблицы Указывается ли COUNT (*)? Могу ли я вставить большое текстовое значение в SQL Server из ASP.net, не имея всего файла в памяти на веб-сервере?

Отфильтровать дубликаты из загруженного набора данных в SSIS

Я делаю некоторые ETL в SSIS для создания некоторых наборов данных. Одна из них – это дата. Когда вы создаете набор дат для измерения, я могу использовать поиск по сравнению с тем, что уже существует в измерении даты, и перенаправить любой из них, которые считаются новыми датами, а затем добавляются в таблицу.

Проблема в том, что набор данных, который у меня есть, может содержать повторяющиеся даты. Это приведет к ошибкам с уникальными ключами даты при вставке в таблицу измерений. Поэтому я ищу способ фильтрации внутри набора данных, который загружается в конвейер SSIS.

Я мог бы использовать DISTINCT при начальной загрузке даты, но дата в этом случае – DATETIME. Мне нужно использовать преобразование преобразования данных позже, чтобы превратить это в DATE, просто принимая компонент даты. Я ищу уникальные дни, и отличительный знак DATETIME не даст мне этого.

Я не могу использовать поиск SSIS, как и раньше, поскольку для этого требуется диспетчер соединений, указывающий на базу данных.

Я мог бы сказать, что назначение OLE DB не использует массовую вставку, игнорируя любые ошибки. Это предполагает, однако, что единственными ошибками будут двойные даты.

Я довольно новичок в SSIS и не смог найти инструмент преобразования, который позволит мне сравнить с другими строками в наборе.

Solutions Collecting From Web of "Отфильтровать дубликаты из загруженного набора данных в SSIS"

Вы можете использовать преобразование сортировки и выбирать удаление дубликатов, или использовать преобразование Агрегат и использовать только группу (которая будет более или менее похожа на DISTINCT). Обратите внимание, что эти операции являются асинхронными, то есть все строки должны вводить эту задачу до их продолжения, в отличие от задач синхронизации, которые просто ест и выплескивают буферы строк по мере их поступления.