一 非圣无法
桓谭字君山，沛国相县人，父成帝时为太乐令，谭少年为郎，善弹奏古琴，精于音律，又博学多通，遍习五经，曾从刘歆、扬雄学，辩析疑异，研习大义，不为章句之学，显示哲人风范。桓谭学有心得，养成批判习性，“喜非毁俗儒”，因此落落寡合，颇与时辈不合。王莽先摄政，后登极，建立新朝，桓谭任“掌乐大夫”。其时众多文士竞相褒称新朝德美，作“符命”以求容媚。连名声显赫的刘歆、扬雄，亦参与其中，扬雄还写了《剧秦美新》一文，吹捧王莽“执粹清之道，镜照四海，听聆风俗，博览广包，参天贰地，兼并神明，配五帝，冠三王，开辟以来，未之闻也”。而桓谭默然自守，不参与对新朝的曲意奉承。新朝不久覆灭，桓谭又在更始帝刘玄幕中短暂担任太中大夫。据载，此为汉代九卿之一光禄勋的属官，“大夫掌论议，有太中大夫、中大夫、谏大夫，皆无员，多至数十人。……太中大夫秩比千石如故”（《汉书·百官公卿表》）。可知其地位不低，但并无实权。
光武帝刘秀建立东汉政权后，大司空宋弘举荐桓谭为“通儒之士”，拜为议郎、给事中。朝廷每有燕会，常令桓谭弹琴，以为佐乐。而桓谭不愿以俳优弄臣自居，反而认真议政，曾上疏《陈时政所宜》，文中论及君臣关系，通过楚庄王说：“善！愿相国与诸大夫共定国是也。”桓谭提出君臣“共定国是”，体现了在君臣关系上的相对性主张，一定程度上凸显出士人的人格意识。在皇权体制已经强固建立的东汉时期，其说甚不合时宜，结果“书奏不省”，刘秀连看都不看。
桓谭接着再次上疏，谓：“臣前献瞽言，未蒙诏报，不胜愤懑，冒死复陈……”皇帝对他的议论不予置理，他竟敢抗议说“不胜愤懑”，态度未免过于认真，也颇为“不敬”。他还要“复陈”，而所“陈”内容，更加令刘秀难以接受，因他猛烈抨击图谶。所谓“图谶”，包括“河图”“谶言”，它们只是一些内容虚妄的政治性神学预言，为政治野心家服务。刘秀在新莽乱局中最后取胜，曾经得益于谶书《赤伏符》，那里说“刘秀发兵捕不道”，给他的行为贴上了“天命”之符。由此，他对图谶极其信奉，称帝后常依据谶言或纬书（依附于《六经》的一些神学色彩浓厚的著作，相对于“经”而称“纬”）决定重大政务，包括重要人事任命。晚年更“宣布图谶于天下”（《后汉书·光武帝纪》），将它们当作不刊经典，要广大文士学习。但是桓谭却唯独敢在这个问题上唱反调：
观先王之所记述，咸以仁义正道为本，非有奇怪虚诞之事。盖天道性命，圣人所难言也。自子贡以下不得而闻，况后世浅儒能通之乎？今诸巧慧小才伎数之人，增益图书，矫称谶记，以欺惑贪邪，诖误人主，焉可不抑远之哉！臣谭伏闻陛下穷折方士黄白之术，甚为明矣。而乃欲听纳谶记，又何误也？其事虽有时合，譬犹卜数只偶之类，陛下宜垂明听，发圣意，屏群小之曲说，述五经之正义，略雷同之俗语，详通人之雅谋。
他指出“谶记”非“先王”“圣人”所记述，与“仁义正道”“五经之正义”不符，有时也有偶然巧合，则与“卜数”（卜卦算命之术）类似。谶记是“巧慧小才伎数之人”“增益”“矫称”之产物，是假造的文献，所以虚妄不可信。他肯定刘秀曾经对玩弄“黄白之术”（即所谓“炼金术”）的方士采取“穷折”即彻底追究的手段，予以打击；但又直截了当地说皇帝“欲听纳谶记，又何误也！”桓谭此文，言辞犀利，理直气壮，抗言帝王，最是文章骨鲠所在，尽显其个性风采。但此文得到的效果却是：“帝省奏，愈不悦。”（《后汉书》本传）
此后，朝廷为建立灵台，讨论选址问题，久议不决。那灵台相传是周文王始造于丰，是为了观气象而作。《诗经·大雅》中有一篇《灵台》，专咏此事。这本来是一件挺正经的事，刘秀却问桓谭：“吾欲以谶决之，何如？”桓谭默然良久，然后答道：“臣不读谶。”刘秀听了追问其故，而桓谭的回答又是阐述一番“谶纬”非“经”的大道理。这是再次披逆鳞。刘秀大怒，说“桓谭非圣无法”，将要处之以极刑。桓谭叩头流血许久，才得免于刑罚，结果是将他贬出朝廷，去六安郡任丞，也就是郡太守的属官。桓谭遭此打击，惚惚不乐，病卒于路，年七十余，也算得上长寿了。
桓谭毕生坚持反对谶纬，遭遇君怒，付出个人政治前程方面的沉重代价，这在古代思想文化史上颇为突出。他反对谶纬的态度，是基于他本人崇尚知识、追求真实的思想信念。这是一种可贵的思想品格。在两汉之交神学迷信甚嚣尘上、占据官方主流文化地位的背景下，他代表着部分文士中正在发展的知识主义潮流。这使他站到文化制高点上，并与当时那些“俗儒”划清界限。桓谭以其“非毁俗儒”与“非圣无法”的表现，昭示着一种正直的人格素质：学术不臣服于权力。其思想和人格的光彩熠熠生辉！对此，宋代叶适评论说：“谭与扬雄、刘歆并时，低徊乱亡，无所阿徇，虽稍疏阔，要为名世，光武不能容于列大夫间，而摧折之致死，可谓褊而严矣。”（《习学记言》卷二十五）叶适批评光武帝，推重桓谭，并且说他优于扬雄、刘歆两位大名士，颇称允当。
桓谭毕生勤于著述，《后汉书》本传载：“初，谭著书言当世行事二十九篇，号曰《新论》。”又“所著赋、诔、书、奏，凡二十六篇”。然而后世散佚不少，殊可叹惜。