ワードプレスでは既にテンプレートが用意されているので便利です。
下記のタグを埋め込むだけでページのURLを表示してくれますよ！

通常は「posts_per_page=5」で「1ページに5件表示」のように使いますが、-1を指定することで全件を対象にすることができます。

ということで、全記事をリスト表示するには以下のコードで。

1. <php
2. query_posts('posts_per_page=-1');
3.  
4. if (have_posts()) :
5. echo '<ul>' . PHP_EOL;
6. while (have_posts()) : the_post();
7. echo '<li><a href="' . get_permalink() . '">' . get_the_title() . '</a></li>' . PHP_EOL;
8. endwhile;
9. echo '</ul>' . PHP_EOL;
10. endif;
11.  
12. wp_reset_query();
13. ?>