Evet doğru demişsin cihan , son aldığın değeri Writer ile bir dosyaya yazarsan ve her açılışta o dosyadan aynı veriyi çekersen sorununa bir çözüm olabilir.

puanla'nın son değerini global bir değişkene atıp , oncreate metodu içerisinde setText kullanarak yaparsan , programın her başladığında son bıraktığın puan değerini textview'de görebilirsin.