任瑰他没有理会副使的担忧，张公谨等人也没有辜负他的期望，在他们的坚守之下，叛军并没有攻入虞城，无奈撤军走了；
这是他在大唐境内初次崭露头角，后来经过尉迟敬德等人的推荐，被李世民招入秦王府邸；
李世民和太子李建成与李元吉的关系日渐紧张，他向张公瑾询问自保之策
张公瑾给出的对策，让李世民非常的满意；
所以在秦王府，他渐渐的得到重用，进入了秦王的核心权力内部；
在玄武门之变前夕，李世民犹豫不决，他想要通过占卜来测测这件事情的吉凶；
恰好，此时，张公瑾撞见了主公要占卜吉凶的现场；
他走上前将占卜所用的龟壳扔在地上，记载中他劝诫道：“占卜都是为了决定疑难之事，现在事情并无疑难，已成定定局”。
张公瑾的意思是现在已经没有占卜的必要，若是占卜的结果不好；
难道还草率的就不行事了吗？
如此看来，占卜并没有什么好处，相反若是不好还会平白无故的给人压力，何必呢？
李世民被他说服了，觉得非常的有道理，于是放弃了这个莫名其妙的想法；
玄武门之变后，李建成和李元吉身死，其党羽想要为他们二人报仇，和秦王李世民拼个你死我活；
张公瑾非常的厉害，一人关上大门，太子和齐王的属下冯立等人被关在大门之外，最终残余势力溃散；
之后，李世民太子之位稳固，张公谨因功劳升为左武侯将军，被封定远郡公。
公元627年，张公瑾出任代州都督，他上书朝廷认为可以屯田，得到李世民的赞许；
此后，张公瑾经常性的针对时事政治发表自己的看法，都得到二凤陛下的采纳，
他的政治敏锐力和大局观都是非常的快人一步，十分的优异；
公元629年，也就是贞观三年张公瑾又上书朝廷，认为此时是讨伐东突厥的最好时机；他例举了六大理由：
第一，东突厥可汗非常的残暴，而且喜欢奢华，亲小人远贤臣；
第二，突利、拓设、欲谷设都得罪过颉利可汗，肯定会很支持，不反抗哪有什么容身之所；
第三，塞北地区刚刚经历过霜冻干旱，这等天灾使得东突厥他们正是十分缺少粮食的时候；
第四点，颉利可汗他对本族人不怎么亲密，倒是十分的信重外族人，而且胡人反复无常，根本就没有什么忠心可言，只要大唐的军队一到，他们绝对会生内乱；
第五点，薛延陀等部落皆已叛逃，部落实力大打折扣；
第六点，汉人早年都到北方逃避战乱，现在几乎已经缓过来，他们近来活动频繁，武装自己，占据险要之地；
大唐的军队若是出击，他们内部也一定响应；
张公瑾的这六大原因不仅成功的说服了朝中大臣还把二凤陛下也说动了；
他任命兵部尚书李靖为行军主管，而张公瑾为副主管一起去讨伐东突厥；