動的ページを使う場合は、Googleサイトマップの利用をお勧めします。
Googleアカウントお持ちの方は、URL リストを含む簡単な形式のXML ファイルを作成することで、ウェブ サイト内のクロールさせたい URL を検索エンジンに知らせることができます。 必ず登録される保障はないですが、やっておいたほうがクロール精度を上げることができます。
Googleウェブマスター ツールを使うと、googlebotのクロール率も設定可能になります。さらに検索エンジンから削除したい情報の提出も可能です。
googleサイトマップのXMLデータは手書きでも作成できます（する人はいないと思いますが）、検索すればいろんなツールが出てきます。XMLなのでDBと連動して自作ツールでも作成できます。ただUTF-8 エンコードで作成しなければなりません。
中身は以下のように
< urlset xmlns="http://www.google.com/schemas/sitemap/0.84">
< url>
< loc>http://www.example.com/
< lastmod>2005-01-01
< changefreq>monthly
< priority>0.8
| loc | ページの URL |
| lastmod | 最終更新日 |
| changefreq | 更新頻度 |
| priority | サイト内の他の URL と比較したこの URL の優先度 |