Integrare de date · Educație
Recuperarea și validarea unui flux de import de date
Un flux de import se oprise după pierderea unor fișiere de referință. Am recuperat datele dintr-o copie de siguranță și am adăugat verificări înainte de procesare, împreună cu pași de revenire pentru operațiunile nereușite.
Contextul
Sistemul existent prelucra exporturi dintr-o platformă de evaluare și pregătea fișiere pentru un sistem administrativ. Un instrument separat regenera datele de referință folosite de procesare. Cele două componente depindeau astfel de aceleași informații, deși aveau responsabilități diferite.
Problema
Instrumentul de regenerare fusese pornit fără fișierul de intrare necesar. Mutase datele existente în arhivă, dar nu produsese înlocuitori valizi. Procesarea ulterioară nu mai putea identifica înregistrările de referință. O nouă încercare de import nu rezolva cauza: lipseau datele de care importul avea nevoie.
Contribuția noastră
- Am separat problema datelor de problema codului, urmărind dependența dintre cele două componente.
- Am restaurat fișierele de referință din copia de siguranță disponibilă.
- Am modificat instrumentul de regenerare pentru a verifica condițiile necesare înainte să înceapă operațiunea.
- Am adăugat pași de revenire pentru situația în care regenerarea nu poate fi finalizată.
Cum a fost verificată intervenția
Pachetul de intervenție documentează fișierele recuperate și modificarea instrumentului de regenerare. Am delimitat explicit componenta modificată de procesarea care doar folosea acele date. Această separare permite urmărirea contribuției și evită atribuirea altor modificări intervenției noastre.
Ce înseamnă pentru proiecte similare
Într-o integrare, datele de referință fac parte din funcționarea sistemului. Verificarea intrării înainte de înlocuirea datelor existente și o cale de revenire sunt la fel de importante ca transformarea fișierului propriu-zis. Începem de la aceste dependențe și când evaluăm automatizarea unui flux.
PROIECTUL TĂU
