Choose the appropriate form of the verb.We had very little time. ...

У нас было мало времени. Если бы у нас было больше времени, мы бы пошли проведать бабушку.

Сослагательное наклонение употребляется, когда говорят о нереальной, вымышленной ситуации, т.е. когда фантазируют о том, чего не было. В русском языке выражается частицей бы и прошедшим временем (если бы было больше времени).

Формула сослагательного наклонения в настоящем времени:

If I did something, I would/should do something else.

Формула сослагательного наклонения в прошедшем времени:

I would/should have done something if I had done something else.

В данном случае речь идет о прошлой ситуации (we had little time - у нас было мало времени), значит используем формулу прошедшего времени.

Таким образом, правильно сказать:

If we had had more time, we would/should have gone.