Σε ένα μπολ, διαλύουμε τη μαγιά στο χλιαρό γάλα, προσθέτοντας ένα κουταλάκι του γλυκού ζάχαρη. Ανακατεύουμε καλά και σκεπάζουμε το μπολ με μία πετσέτα ή ένα πιάτο.

Σε μία λεκανίτσα για ζύμωμα, ή σε μίξερ ρίχνουμε το αλεύρι και σιγά – σιγά τη ζάχαρη, το αλάτι και το ξύσμα πορτοκαλιού. Αδειάζουμε στην ίδια λεκάνη την αφρισμένη μαγιά και ζυμώνουμε. Προσθέτουμε όσο χλιαρό νεράκι χρειάζεται μέχρι η ζύμη μας να γίνει αφράτη και μαλακιά. Όταν είναι πλέον έτοιμη, αδειάζουμε μέσα τις σταφίδες, τις οποίες έχουμε από πριν ξεπλύνει και στεγνώσει καλά. Ζυμώνουμε το μείγμα ώστε να ανακατευτούν όλα τα υλικά καλά και στο τέλος ρίχνουμε το ελαιόλαδο, το οποίο πρέπει να προσέξουμε να έχει απορροφηθεί καλά.

Σκεπάζουμε τη ζύμη με μία πετσέτα και την αφήνουμε να "ξεκουραστεί" για τουλάχιστον ½ ώρα. Χωρίζουμε τη ζύμη μας σε μικρά μπαλάκια, τους δίνουμε σχήμα μικρού καρβελιού και τα τοποθετούμε σε ορθογώνιες φόρμες ψησίματος ή σε μεγάλο ταψί, αφού πρώτα στρώσουμε λαδόκολλα. Καλύπτουμε το ταψί / φόρμα, με δύο χαρτοπετσέτες και τα αφήνουμε να φουσκώσουν. Όταν διπλασιαστούν σε μέγεθος, αλείψτε το επάνω μέρος τους με γάλα ή ασπράδι αυγού χτυπημένα με χλιαρό νερό.

Χαρακώνουμε τις φραντζολίτσες σε 3-4 μεριές και ψήνουμε σε προθερμασμένο φούρνο στους 175ºC για περίπου μία ώρα.