英語学習全般に通して言えることですが、
特にリスニングは慣れが大切です。
初めて聞いた時に早すぎて聞き取れなかった文も
何度も繰り返し聞いているうちにそんなに早く感じなくなります。
TOEICやTOFELなどのリスニング問題のCDをまず聞いてみて、
次に解説のスクリプトを見ながら文字を追いつつ聞き、
慣れてきたらスクリプトを見ずに聞いてみると、
最初に聞いた時よりは聞き取れるようになっていると思います。
スクリプトと音声ファイルの両方がアップされているようなサイトもあるので、
そういったものを利用するのもおすすめです。