8年後，張玉舜成為市委副書記、代市長，2000年3月正式就任市長，到達其政治生涯輝煌頂點。
但他的市長生涯只持續了兩年，還沒有任滿一屆，2002年1月，正廳級的張玉舜就被平調至甘肅省人大，先後擔任副秘書長、秘書長，這背後有頗為複雜的原因。
在蘭州市商業系統老同事的眼中，張玉舜是一個「敬業、平實」、思想活躍的人。他在公開場合，常把「我是本地人，我做蘭州市長對蘭州和蘭州人民感情很深」這句話掛在嘴邊。
但據甘肅省紀委通報，他在擔任市長期間，甘肅大陸橋房地產有限公司董事長林賢友為取得蘭州十六中的整體遷建項目，安排公司一名股東送給張玉舜6萬美元；2003年，蘭州黃河實業發展總公司經理賈仲瑚送給他25萬元人民幣；2004年春節前後，浙江東陽某建築公司蘭州分公司為承攬工程，以拜年名義送給其10萬元。這些錢，他全部笑納了。
此外，張玉舜的妻子、女兒各收受甘肅首富張國芳送來的10萬元。另據省檢察院辦案人員介紹，除了這些受賄事實外，張玉舜還主動「退賠」80多萬元。
張玉舜最早出事的時間在2004年10月，一直暗中查案的中紀委對其進行了「雙規」，並成為中紀委直接查辦的要案。
「雙規」期間，張玉舜異常「活躍」，經常往外「遞條子」。據一位瞭解案情的人士透露，張玉舜為了串供，頻頻向外發送信息，欲將收來的贓款搖身變成「借來的錢」。後來，一位看守他的武警將條子上交甘肅省紀委，張玉舜的串供意圖敗露，偵查人員隨後在其女婿家搜出偽造的證據「借條」。為了徹底斷絕張和外界的聯繫，最後中紀委將張玉舜羈押至四川綿陽。
2005年元月，中紀委將該案移交至甘肅省檢察院反貪局，並繼續進行調查取證。5月16日，甘肅省檢察院以涉嫌受賄罪決定逮捕張玉舜。但張玉舜以「身體健康狀況不適」、其行為不是受賄犯罪，並稱其有舉報立功表現，拒絕在逮捕證上簽字，並要求重新審查。
甘肅省檢察院對張玉舜的身體進行醫學專業檢查，認定其不符合「取保候審」的條件。對於其舉報揭發其他人的立功表現，辦案人員告訴他，法官會在庭審判決時給他明確答覆，同時會在量刑時給予充分考慮。經過再次審查，甘肅省檢察院最後認為張玉舜的申訴理由不成立，擬維持原逮捕決定。
6月2日，甘肅省檢察院針對該案首次啟動了人民監督員程序。當日上午9點，4名人民監督員來到甘肅省檢察院的6樓，經過3個小時的案情瞭解和磋商，最後獨立表決，一致同意對張玉舜逮捕的決定。
目前，張玉舜涉嫌受賄案已經移交至甘肅省檢察院指定的定西地區檢察院，正在審查起訴。
在此期間，因為對家人請的辯護律師不太滿意，張玉舜又要求換成李勇和陳利民律師為其辯護。6月14日，張玉舜的大女兒張翠蘭和李勇簽下「授權委託書」，聘請李為張玉舜受賄案的辯護律師。
張玉舜為何在2002年從蘭州市長的位置被調至甘肅省人大，中紀委為何盯上了他？這中間頗具戲劇性。
神秘的舉報人
一切風波，最初肇始於號稱「甘肅首富」的張國芳案件--2004年5月，以9.5億身家躋身胡潤中國富豪榜的張國芳，突然被中紀委帶走「協助調查」，一時間在蘭州引起了巨大反響。
張國芳是浙江東陽人，21歲時來到甘肅定西地區闖蕩，憑藉其精湛的木工手藝，他生產的「西湖牌」床墊成為當地的暢銷貨，由此挖到了第一桶金。
十多年前他到蘭州之後，財富急劇膨脹，並成長為「甘肅首富」，在這一膨脹過程中，「權力」對他的支持是關鍵因素。
在張國芳的財富軌跡中，起點是建設位於蘭州市中心的國芳百盛商場。1998年4月，張國芳低價拿到了蘭州市中心地帶東方紅廣場的公益用地，並在這裡建起了商場。
蘭州市政府的初衷是，在這裡建設一座國際博覽中心，作為蘭洽會一個永久性主會場使用。但為何公益用地變成了張國芳的商業用地呢？中紀委開始調查後，這成為了一個重要的突破點。
就在調查的關鍵時刻，中紀委和甘肅省紀委聯合組成的調查小組，收到了一份神秘舉報材料，材料中以詳實的證據，反映了時任蘭州市委書記王軍、副市長楊在溪的違規問題，其中就涉及將蘭州市中心地帶東方紅廣場的公益用地，低價轉讓給張國芳開發國芳百盛；將蘭州安寧區農業用地，轉讓於蘭州黃河實業發展總公司經理賈仲瑚，建設黃河藥市。
楊在溪是主管城建、環保的副市長，在東方紅廣場用地的轉讓上，他正是具體的主管人，發揮過不小的作用，從後來對楊在溪的起訴來看，其中在2002年，楊在溪先後兩次收受張國芳6萬元、10萬元的賄賂。
從檢察院後來披露的情況來看，張國芳的商場，最初是以建一座8層的國際博覽中心為名義的，當初達成的協議是：1-4層產權歸張國芳，政府擁有5-6層產權及7-8層蘭洽會期間40天的免費使用權。
在建設時，張國芳因缺乏資金，又與政府達成一項合同。合同內容為：張國芳免費取得土地使用權，甘肅省與蘭州市財政各支付6000萬及4000萬元建設資金作為國際博覽中心5-8層的建設資金。
此外，為瞭解決資金難題，張國芳在建設之初先將國際博覽中心1-4層劃分為精品屋向社會公開預售，後以「商場經營格局變化」為由，將已經賣出的樓層全部收回。同時，國芳百盛又提出要求，向政府收取物業管理費用，最終雙方達成協議，5-6樓由國芳百盛免費使用，開蘭洽會時清場。（本報於2004年7月 22日曾做詳細報導）
另據本報記者在蘭州市公安局提交的一份報告草案中瞭解到，1996年，張國芳涉嫌虛假註冊名為蘭州國芳置業有限公司的中外合資企業，騙取稅收減免560餘萬元。
調查因為有舉報的證據，進展得十分順利，而張國芳交代出來的一個賬本，詳盡記錄了行賄的情況，更是牽出了蘭州市一串的官員。
2004年11月底，經中共甘肅省委常委會議討論決定，免去王軍中共蘭州市委書記、常委、委員職務，並隨時接受檢察院的調查。
2004年12月31日，楊在溪被依法逮捕。
那麼，神秘的舉報人是誰？蘭州市上下猜測紛紛，當他們最後得知前市長是舉報人時，非常吃驚。
舉報者也是涉案人
事實上，張玉舜從來沒有隱瞞，是他舉報了市委書記王軍和副市長楊在溪，作為蘭州市長，他與此兩人結怨頗深，而其中的矛盾焦點，是與王軍之間的恩怨。
張玉舜與王軍的矛盾由來已久，雙方經常發生衝突，「有時兩人在辦公會上就吵僵了，劍拔弩張的樣子，」一位曾在會議期間目睹的市委官員說，「甚至兩人都互相威脅要將對方送進監獄。」
據《第一財經日報》2005年5月24日報導，張、王二人的衝突公開化，始於三年前發生在蘭州的出租車司機罷工事件。
事件發生後，雙方互相指責，矛盾激化。市委書記王軍認為，市長張玉舜在風波中負有不可推卸的責任，並在隨後的蘭州市十二屆人大常委會第33次會議上，明確表示不再支持張玉舜的工作。張玉舜隨即在之後的投票表決中落選，並辭去蘭州市市長職務，於2002年1月調任省人大先後擔任副秘書長、秘書長。
這無疑使兩人的衝突進一步升級，2004年中紀委前來調查張國芳案時，也就有了蘭州市上演的這幕「市長舉報市委書記」。
戲劇性的發展是，張玉舜舉報王軍和楊在溪的問題時，涉及到的兩個行賄人－－張國芳和賈仲瑚，在接受調查時，證實了舉報的情況，例如賈仲瑚就交代，他曾三次向楊在溪行賄。
不過讓辦案人員沒想到的是，張國芳曾向張玉舜的妻女送過20萬元，賈仲瑚也供認，他曾向張玉舜行過賄。
舉報人原來也是「案中人」，這倒成了一個意外的收穫，2004年10月，張玉舜被中紀委「雙規」。
甘肅省一位幹部告訴本報記者，此案發生之後，甘肅省領導曾兩次赴京，向中央匯報案情，可見對此的重視。
張玉舜冒著把自己也牽進去的「風險」，舉報的成效看來也不小，2005年5月18日，楊在溪案在武威中院開庭審理，檢察機關查明，他4年間索賄受賄300萬元，包括人民幣193萬元、美金9.3萬元、港幣5萬元、價值人民幣約15萬元的金條。
原蘭州市委書記王軍在被免職後，後來又曾給予「黨內警告」處分。
而張玉舜在舉報之後又被查處，看來受到了不小的刺激，尤其是被檢察院批准逮捕時，情緒曾十分反常，甘肅省一位幹部告訴記者，「他接受不了這個結果，精神快要崩潰了，為此還接受了一段時間的治療。」這位曾和張玉舜共事多年的幹部，認為把張玉舜「心理素質不是太好」。
「他心理肯定不平衡，」張玉舜的辯護律師李勇說，「即使作為一個普通人來看，也會出現這種情況。」
