Dokładny czas akcji nie jest znany, w przybliżeniu możemy uznać, że są to lata współczesne pisarzowi, lata, w których przebywał w więzieniu, czyli 1850-54. Akcja wspomnień toczy się w ciągu 10 lat, zaczyna się w zimie, gdy główny bohater rozpoczyna pobyt na katordze, kończy także w zimie, gdy Aleksander Pietrowicz opuszcza więzienie. Jest jeszcze drugi czas akcji, narratora, który po śmierci Aleksandra Pietrowicza odnajduje jego notatki, a wśród nich wspomnienia z katorgi i który te wspomnienia czyta. Jest to zapewne kilka lat po opuszczeniu więzienia przez Aleksandra Pietrowicza. W powieści występują więc dwa czasy zdarzeń, zaczyna się od opowieści o Aleksanrze Pietrowiczu i jego życiu po opuszczeniu katorgi, później cofamy się w czasie do lat więziennych bohatera.
Akcja całej powieści toczy się na Syberii, początkowo w małym syberyjskim miasteczku („w miasteczku K.”), cała zaś akcja wspomnień Aleksandra Pietrowicza w twierdzy na katordze.
