Jednym z podstawowych wyzwań audytu algorytmicznego jest ograniczony dostęp do danych treningowych oraz wewnętrznej struktury modelu, szczególnie w przypadku systemów dostarczanych przez zewnętrznych dostawców technologii, którzy traktują szczegóły implementacyjne jako informację poufną.
Prowadzenie audytu algorytmicznego wymaga połączenia kompetencji technicznych i znajomości kontekstu prawnego oraz społecznego, w jakim system jest wykorzystywany. Znalezienie osób łączących te kompetencje pozostaje istotnym wyzwaniem organizacyjnym.
Systemy AI mogą zmieniać swoje zachowanie w czasie w wyniku aktualizacji modelu bazowego lub zmiany charakterystyki danych wejściowych, co oznacza, że jednorazowy audyt nie gwarantuje zgodności systemu w dłuższej perspektywie — konieczne jest okresowe powtarzanie oceny.
Częściowo — audytorzy zewnętrzni mogą negocjować szerszy dostęp na podstawie umów o zachowaniu poufności, jednak pełna przejrzystość nie zawsze jest możliwa do uzyskania.
Częstotliwość powinna uwzględniać tempo aktualizacji systemu — przy częstych zmianach modelu zaleca się częstsze przeglądy niż w przypadku systemów stabilnych.