いや、やってみると普通に振るより居合い抜き速いよ。
あとムシキングの漫画であったんだけど、攻撃は無駄な力が一切無いときに最大の威力を発するみたいなの。たぶん居合い抜きはその理論じゃないかとおもう。
普通に構えるだけだと、構える分の力もあって攻撃にはいらない力が加算される。けど居合い抜きなら力を抜いて、攻撃の際に必要なだけの全力を出せる。みたいなものじゃないかな。

まぁ、漫画とかであるのはぶっちゃけただカッコいいからだろうけど。

普通に刀を振るなら円運動で力も威力も刀身に最大限伝えられる。
しかし居合いでは鞘から抜くのに一旦刀身を直線運動させてから円運動の振る動作に移る。
この刀身に直線運動させる腕の動作は複雑かつ力の伝達に不利な動きで、攻撃動作上では余計な動きでしかない。
居合いはこの攻撃に余計な(鞘から抜くための)直線運動がある限り確実に遅れる。