Deduplikacja kandydatów polega na wyszukaniu w systemie rekrutacyjnym wszystkich profili, które dotyczą tej samej osoby, i połączeniu ich w jeden kompletny rekord, bez utraty historii kontaktów, aplikacji i notatek. Uporządkowana baza oznacza wiarygodne raporty i brak sytuacji, w której dwóch rekruterów dzwoni do tego samego specjalisty w sprawie tego samego projektu. Łatwiej też wtedy spełnić obowiązki wynikające z RODO. Poniżej opisano, skąd biorą się duplikaty, jak je rozpoznawać, jak je bezpiecznie scalać i jak nie dopuścić do ich ponownego powstawania.

Kluczowe wnioski

• Duplikaty najczęściej powstają przy ręcznym wprowadzaniu danych i przy łączeniu baz z różnych źródeł, dlatego w agencji pozyskującej kandydatów z wielu kanałów są zjawiskiem stałym, a nie wyjątkiem.

• Sam adres e-mail nie wystarcza do dopasowania profili. Skuteczne porównanie opiera się na kilku identyfikatorach jednocześnie i uwzględnia literówki oraz różne formaty zapisu.

• Scalanie powinno zachowywać pełną historię rekrutacji i zgody kandydata, a wybór rekordu głównego musi być świadomą decyzją, nie przypadkiem.

• Najtańszy duplikat to ten, który nie powstał: kontrola w momencie importu CV lub utworzenia profilu jest skuteczniejsza niż okresowe porządki.

• Deduplikacja wspiera zgodność z RODO, bo pozwala ustalić, jakie dane kandydata administrator faktycznie przechowuje i na jakiej podstawie.

Spis treści

• 1. Czym jest deduplikacja kandydatów

• 2. Skąd biorą się duplikaty w systemie rekrutacyjnym

• 3. Konsekwencje zdublowanych profili

• 4. Jak rozpoznać, że dwa profile dotyczą tej samej osoby

• 5. Scalanie duplikatów krok po kroku

• 6. Zapobieganie nowym duplikatom

• 7. Deduplikacja a RODO

• 8. Jak mierzyć skuteczność deduplikacji

• Perspektywa Recruitify: deduplikacja jako źródło przychodu

• Uporządkowana baza kandydatów w Recruitify

• FAQ

• Źródła

Spis treści

1. Czym jest deduplikacja kandydatów

2. Skąd biorą się duplikaty w systemie rekrutacyjnym

3. Konsekwencje zdublowanych profili

4. Jak rozpoznać, że dwa profile dotyczą tej samej osoby

5. Scalanie duplikatów krok po kroku

6. Zapobieganie nowym duplikatom

7. Deduplikacja a RODO

8. Jak mierzyć skuteczność deduplikacji

1. Czym jest deduplikacja kandydatów

W ujęciu ogólnym deduplikacja danych to identyfikacja powtarzających się rekordów odnoszących się do tego samego podmiotu i wybór jednego rekordu, który będzie go jednoznacznie reprezentował. Kluczowe jest to, że takie rekordy rzadko są identyczne. Ta sama osoba może figurować w bazie jako „Katarzyna Nowak-Wiśniewska” z prywatnym adresem e-mail i jako „Kasia Nowak” z adresem służbowym, z innym numerem telefonu i CV sprzed trzech lat.

W rekrutacji deduplikacja ma więc dwa wymiary. Pierwszy jest techniczny: system musi rozpoznać, że różniące się zapisy wskazują na jedną osobę. Drugi jest procesowy: zespół musi zdecydować, które dane zachować, jak połączyć historię i kto odpowiada za ostateczną decyzję w przypadkach niejednoznacznych.

Warto odróżnić deduplikację kandydatów od deduplikacji w sensie infrastrukturalnym, znanej z systemów kopii zapasowych, gdzie chodzi o oszczędzanie miejsca na dyskach przez eliminację powtarzających się bloków danych. W ATS celem nie jest oszczędność przestrzeni, lecz jakość informacji: jeden człowiek, jeden profil, jedna spójna historia.

2. Skąd biorą się duplikaty w systemie rekrutacyjnym

Zduplikowane rekordy powstają najczęściej przy łączeniu baz danych i ręcznym wprowadzaniu danych. W agencji rekrutacyjnej oba te źródła występują codziennie. Typowe scenariusze to:

• Aplikacje z wielu kanałów. Kandydat odpowiada na ogłoszenie na portalu pracy, a kilka tygodni później aplikuje przez stronę kariery na inne stanowisko. Bez kontroli przy zapisie powstają dwa profile.

• Sourcing równoległy. Dwóch rekruterów pracujących nad różnymi projektami znajduje tę samą osobę w wyszukiwaniu X-Ray lub na portalu zawodowym i każdy zakłada jej profil ręcznie.

• Import historycznych baz. Migracja z arkuszy kalkulacyjnych, starego ATS lub skrzynki pocztowej przenosi do nowego systemu wszystkie wcześniejsze niespójności.

• Zmiana danych kontaktowych. Kandydat zmienia pracę, a wraz z nią adres e-mail, albo zmienia nazwisko. Nowa aplikacja nie zostaje powiązana ze starym rekordem.

• Polecenia i przekazania. Profil tworzony na podstawie rekomendacji często zawiera jedynie imię, nazwisko i link do profilu zawodowego, co utrudnia późniejsze dopasowanie.

Problem narasta wraz ze skalą. Im więcej źródeł pozyskania kandydatów i im więcej osób pracuje na jednej bazie, tym większe prawdopodobieństwo, że ta sama osoba zostanie wprowadzona kilkukrotnie. Dla agencji, która integruje formularz aplikacyjny z systemem, istotne jest więc już samo połączenie strony kariery z ATS, bo to tam zaczyna się kontrola jakości danych.

3. Konsekwencje zdublowanych profili

Duplikaty rzadko wywołują jeden spektakularny błąd. Ich koszt rozkłada się na wiele drobnych strat, które łącznie obniżają wydajność zespołu i wiarygodność agencji wobec klientów.

Wydajność rekrutacji. Rekruter, który nie widzi pełnej historii kandydata, powtarza pracę: ponownie weryfikuje kompetencje, ponownie pyta o oczekiwania finansowe, ponownie przeprowadza rozmowę wstępną. Informacja, że kandydat odrzucił podobną ofertę pół roku wcześniej, pozostaje ukryta w drugim profilu.

Doświadczenie kandydata. Specjalista IT, który w ciągu tygodnia otrzymuje dwie wiadomości od różnych osób z tej samej agencji w sprawie tego samego projektu, wyciąga wniosek o braku organizacji. W segmencie, w którym dobrzy kandydaci są stale zabiegani, takie wrażenie trudno odwrócić.

Relacja z klientem. Najbardziej kosztowny scenariusz to przedstawienie tego samego kandydata klientowi dwukrotnie albo przez dwóch różnych rekruterów. Może to prowadzić do sporów o prawo do prowizji i podważa profesjonalizm agencji.

Raportowanie. Zduplikowane rekordy zawyżają liczbę kandydatów w lejku, zaniżają współczynniki konwersji i zniekształcają analizę źródeł. Decyzje o budżecie na ogłoszenia lub licencje na zewnętrzne bazy podejmowane są wtedy na podstawie niewiarygodnych danych.

Wartość własnej bazy. Baza kandydatów jest jednym z najcenniejszych aktywów agencji, ale tylko wtedy, gdy da się ją skutecznie przeszukiwać. Rozproszone, niepełne profile wypadają z wyników wyszukiwania, a agencja płaci za ponowne dotarcie do osób, które już ma w systemie. Szerzej opisuje to tekst o tym, że ATS powinien pamiętać to, o czym zapominają rekruterzy.

Zgodność z przepisami. Jeśli kandydat żąda usunięcia danych, a jego informacje znajdują się w trzech rekordach, usunięcie jednego nie wypełnia obowiązku. Ten wątek rozwinięto w części 7.

4. Jak rozpoznać, że dwa profile dotyczą tej samej osoby

Dopasowanie rekordów polega na znajdowaniu takich samych osób mimo różnic, błędów i literówek w zapisie. W praktyce oznacza to porównywanie kilku pól jednocześnie i nadawanie każdemu z nich odpowiedniej wagi.

Z tabeli wynika kilka praktycznych zasad:

1. Normalizacja przed porównaniem. Numery telefonów warto sprowadzić do jednego formatu, adresy e-mail do małych liter, a imiona i nazwiska porównywać także w wersji bez polskich znaków. Wiele pozornych różnic znika już na tym etapie.

2. Dopasowanie przybliżone dla pól tekstowych. Porównanie „Krzysztof Wiśniewski” i „Krzystof Wisniewski” powinno wskazywać wysokie podobieństwo, a nie brak zgodności. Służą do tego algorytmy oceniające podobieństwo ciągów znaków.

3. Kombinacja sygnałów. Zgodność samego imienia i nazwiska nie wystarcza, bo w dużej bazie powtarzają się popularne nazwiska. Zgodność nazwiska i numeru telefonu albo nazwiska i historii zatrudnienia jest już silną przesłanką.

4. Progi decyzyjne. Rekordy o bardzo wysokim stopniu podobieństwa można oznaczać do scalenia automatycznie lub półautomatycznie, a przypadki pośrednie kierować do weryfikacji przez rekrutera.

Przykład: w bazie znajdują się dwa profile. Pierwszy: „Tomasz Kowalczyk”, tomasz.kowalczyk@firma-a.pl, Java Developer, Kraków. Drugi: „Tomek Kowalczyk”, prywatny adres e-mail, numer telefonu w innym formacie, ale identyczny po normalizacji, Senior Java Developer. Zbieżność nazwiska, numeru telefonu i ścieżki zawodowej wskazuje na tę samą osobę, mimo różnicy w adresach e-mail i imieniu.

5. Scalanie duplikatów krok po kroku

Scalanie jest operacją, której skutków nie zawsze da się łatwo cofnąć. Przy łączeniu rekordów trzeba zadbać, by nie nadpisać istotnych informacji i nie wywołać konfliktów w systemach, które korzystają z identyfikatorów kandydatów, na przykład w integracjach z narzędziami do fakturowania lub zarządzania kontraktami. Bezpieczny proces wygląda następująco:

1. Wskazanie rekordu głównego. Zazwyczaj jest to profil najstarszy lub najbardziej kompletny, z najdłuższą historią procesów. Warto przyjąć jedną zasadę dla całego zespołu, zamiast decydować za każdym razem od nowa.

2. Porównanie pól w konflikcie. Gdy dwa rekordy mają różne wartości w tym samym polu, na przykład różne numery telefonu, nie należy automatycznie wybierać jednej z nich. Starsze dane kontaktowe można zachować jako dodatkowe lub archiwalne.

3. Połączenie historii. Wszystkie aplikacje, etapy procesów, notatki z rozmów, oceny i korespondencja powinny trafić do rekordu głównego z zachowaniem dat i autorów wpisów.

4. Połączenie dokumentów. Wszystkie wersje CV warto zachować, oznaczając najnowszą jako aktualną. Starsze wersje pokazują rozwój kandydata i bywają przydatne przy weryfikacji.

5. Weryfikacja zgód i podstaw przetwarzania. To krok, który najczęściej jest pomijany. Jeśli jeden rekord zawiera zgodę na udział w przyszłych rekrutacjach, a drugi nie, scalony profil musi odzwierciedlać rzeczywisty stan zgód, z datą ich udzielenia i zakresem.

6. Aktualizacja powiązań. Projekty, short-listy, prezentacje u klientów i kontrakty przypisane do rekordu usuwanego muszą zostać przepięte do rekordu głównego.

7. Zapis w dzienniku zmian. System powinien rejestrować, kto, kiedy i które rekordy połączył. Ułatwia to wyjaśnienie ewentualnych pomyłek i rozliczalność wobec kandydata.

W przypadku dużych baz, liczonych w dziesiątkach tysięcy profili, warto zacząć od rekordów najaktywniejszych, czyli kandydatów obecnie uczestniczących w procesach, a dopiero potem przejść do archiwum.

6. Zapobieganie nowym duplikatom

Okresowe porządki rozwiązują problem tylko na chwilę. Trwały efekt daje kontrola w momencie, gdy rekord ma powstać: przy imporcie CV, przy aplikacji przez formularz i przy ręcznym dodawaniu profilu z sourcingu. Najskuteczniejsze praktyki to:

• Sprawdzanie bazy przed zapisem. System porównuje nowe dane z istniejącymi rekordami w czasie rzeczywistym i zamiast tworzyć nowy profil proponuje aktualizację istniejącego.

• Automatyczne parsowanie CV. Dane wyodrębnione z dokumentu przez parser są ustrukturyzowane i zapisane w spójnym formacie, co znacząco ułatwia porównanie z istniejącymi profilami. Ręczne przepisywanie danych z PDF to jedno z głównych źródeł literówek.

• Jedna ścieżka wprowadzania danych. Aplikacje z portali, strony kariery i skrzynki e-mail powinny trafiać do systemu przez integrację, a nie przez ręczne przeklejanie.

• Wyszukiwanie przed dodaniem. Prosta zasada zespołowa: zanim rekruter doda kandydata znalezionego w sourcingu, sprawdza go w bazie po nazwisku, telefonie i adresie profilu.

• Kontrola przy migracji. Import historycznej bazy to moment, w którym deduplikację należy przeprowadzić przed zapisem danych w nowym systemie, a nie po nim.

• Jasne zasady własności rekordu. W agencji warto ustalić, kto odpowiada za kandydata i jak wygląda przekazanie profilu między rekruterami, co ogranicza dublowanie pracy i spory o prowizje.

Więcej o tym, jak automatyzacja przepływów pracy ogranicza ręczne wprowadzanie danych, opisano na stronie poświęconej automatyzacji procesu rekrutacji.

7. Deduplikacja a RODO

Deduplikacja nie jest wyłącznie kwestią porządku. Ma bezpośredni związek z obowiązkami administratora danych osobowych kandydatów.

Urząd Ochrony Danych Osobowych w swoich poradnikach wskazuje, że pracodawca może żądać od kandydatów tylko tych danych, do których zbierania uprawniają go przepisy, a po zakończeniu rekrutacji dane należy niezwłocznie usunąć, chyba że kandydat zgodzi się na ich wykorzystywanie w przyszłych naborach. W kontekście duplikatów wynikają z tego trzy praktyczne konsekwencje:

• Usunięcie danych musi być kompletne. Jeśli kandydat występuje w kilku rekordach, usunięcie jednego z nich po zakończeniu rekrutacji lub na żądanie kandydata pozostawia jego dane w systemie. Deduplikacja jest warunkiem skutecznej realizacji tego obowiązku.

• Stan zgód musi być jednoznaczny. Przy dwóch rekordach jedna osoba może mieć jednocześnie aktywną i wygasłą zgodę na przyszłe rekrutacje. Scalony profil pozwala ustalić, na jakiej podstawie dane są przechowywane i do kiedy. Wzór takiej zgody i zasady jej formułowania omówiono w artykule o zgodzie na przetwarzanie danych w rekrutacji.

• Zakres danych powinien być ograniczony. Scalanie to dobra okazja, by nie przenosić do rekordu głównego informacji, których agencja nie potrzebuje i nie powinna przechowywać.

W praktyce każda polityka deduplikacji powinna być powiązana z polityką retencji danych. Okres przechowywania danych kandydata należy liczyć według zgody i podstawy prawnej, a nie według daty utworzenia przypadkowego duplikatu. Przy wątpliwościach dotyczących konkretnych podstaw przetwarzania lub terminów usunięcia danych decyzję warto skonsultować z inspektorem ochrony danych lub prawnikiem specjalizującym się w ochronie danych osobowych. Uporządkowany przegląd obowiązków zawierają teksty o tym, jak spełnić wymogi RODO w ATS, oraz o trzech krokach do zgodności z RODO w rekrutacji.

Osobną kwestią jest anonimizacja. Gdy kandydat nie wyraża zgody na dalsze przetwarzanie, a agencja chce zachować dane statystyczne, na przykład liczbę aplikacji z danego źródła, anonimizacja pozwala usunąć dane osobowe przy zachowaniu informacji zagregowanych. Również ona wymaga wcześniejszej deduplikacji, bo zanonimizowanie jednego z kilku rekordów tej samej osoby nie usuwa jej tożsamości z bazy.

8. Jak mierzyć skuteczność deduplikacji

Deduplikacja jest procesem ciągłym, dlatego jej efekty warto mierzyć regularnie, na przykład co miesiąc lub co kwartał. Poniższe wskaźniki dają obraz zarówno jakości bazy, jak i wpływu na pracę zespołu.

Dla właściciela agencji najważniejszy jest ostatni poziom analizy: ile procesów zamknięto dzięki kandydatom odnalezionym we własnej bazie i ile kosztowałoby pozyskanie ich z zewnętrznych źródeł. Metodę liczenia takiego zwrotu opisano w tekście o rzeczywistym zwrocie z inwestycji w system rekrutacyjny.

Perspektywa Recruitify: deduplikacja jako źródło przychodu

W rozmowach z agencjami rekrutacyjnymi IT widzimy, że deduplikacja jest zwykle traktowana jako obowiązek techniczny, który odkłada się na później. Uważamy, że to błędne podejście. Baza kandydatów, w której każda osoba ma jeden kompletny profil z pełną historią, jest aktywem, które można monetyzować. Baza pełna duplikatów jest kosztem, za który agencja płaci podwójnie: czasem rekruterów i licencjami na zewnętrzne platformy, z których ponownie pozyskuje osoby, które już zna.

Dlatego projektując Recruitify, przyjęliśmy zasadę, że duplikaty należy wychwytywać w chwili, gdy powstają. Nasz AI CV Parser z technologią OCR wyodrębnia dane z plików PDF, DOCX, skanów i zdjęć, w około 3 sekundy buduje ustrukturyzowany profil kandydata i automatycznie wychwytuje duplikaty. Inteligentne indeksowanie bazy pozwala z kolei odzyskiwać kandydatów, którzy w innym systemie pozostaliby niewidoczni.

Jednocześnie zalecamy ostrożność: automatyzacja powinna przygotowywać decyzję, a w przypadkach niejednoznacznych ostateczne słowo powinien mieć rekruter, który zna kandydata i kontekst jego procesów.

- Recruitify Team

Uporządkowana baza kandydatów w Recruitify

Recruitify łączy w jednym systemie ATS, sprzedażowy CRM i moduł do zarządzania kontraktami IT, dzięki czemu profil kandydata, projekt klienta i umowa B2B są powiązane z jednym, spójnym rekordem. Parser CV z automatycznym wykrywaniem duplikatów, kontekstowe dopasowanie AI ze scoringiem oraz wyszukiwarka X-Ray i Boolean działają na tej samej bazie, więc agencja przeszukuje własne zasoby, zanim sięgnie po zewnętrzne źródła.

Plan Zespół HR kosztuje od 265 zł miesięcznie za użytkownika, a plan Agencja od 290 zł miesięcznie za użytkownika. Dla większych organizacji dostępny jest plan Enterprise. Szczegóły zawiera cennik planów Recruitify, a funkcje pracy z bazą opisano na stronie zarządzanie kandydatami w Recruitify.

FAQ

Czy wystarczy porównywać kandydatów po adresie e-mail?

Nie. Adres e-mail jest silnym sygnałem, ale kandydaci często używają kilku adresów, a adres służbowy przestaje działać po zmianie pracy. Skuteczne dopasowanie łączy e-mail z numerem telefonu, imieniem i nazwiskiem oraz historią zatrudnienia.

Czy scalanie duplikatów można w pełni zautomatyzować?

Rekordy o bardzo wysokim podobieństwie, na przykład z identycznym e-mailem i telefonem, można scalać automatycznie lub półautomatycznie. Przypadki pośrednie, takie jak zgodne nazwisko przy różnych danych kontaktowych, powinien weryfikować rekruter. Takie podejście ogranicza ryzyko połączenia profili dwóch różnych osób.

Co zrobić ze zgodami RODO przy scalaniu profili?

Scalony rekord musi odzwierciedlać rzeczywisty stan zgód kandydata: ich zakres, datę udzielenia i ewentualne wycofanie. Nie należy przyjmować, że zgoda z jednego rekordu automatycznie obejmuje dane z drugiego. W razie wątpliwości co do podstawy przetwarzania warto zasięgnąć opinii inspektora ochrony danych.

Jak często przeprowadzać deduplikację bazy?

Przy kontroli w momencie zapisu nowych rekordów okresowe porządki są potrzebne rzadziej, zwykle raz na kwartał lub przed większą migracją danych. Bez takiej kontroli duplikaty narastają z każdym nowym procesem, więc przegląd powinien być częstszy.

Od czego zacząć porządkowanie dużej bazy kandydatów?

Najlepiej od kandydatów aktywnych, czyli uczestniczących w bieżących procesach, bo tam błędy są najbardziej kosztowne. Następnie warto uporządkować profile z ważną zgodą na przyszłe rekrutacje, a na końcu archiwum, sprawdzając jednocześnie, które dane należy usunąć.

Źródła

• DataWise: Deduplikacja baz danych

• UODO: Poradniki i wskazówki

Rekomendacje

• Zarządzanie kandydatami

• Przestań dublować kontakt: 5 pytań na linii ATS vs CRM, które rekruterzy muszą zadać

• Baza kandydatów w ATS

• Twój ATS powinien pamiętać to, o czym zapominają rekruterzy