静岡県立中央図書館が株式会社Geolocation TechnologyとPDFを自動収集するクローリングシステムを共同開発

システム概要

• クローリング対象
  静岡県内の自治体Webサイトのドメイン内に格納されているPDF。
  
• 収集範囲
  ドメイン以下5階層目まで。
  ※5階層内のHTMLにPDFへのリンク（<a href=”*.pdf”></a>）があれば，収集範囲の対象階層外であっても収集する。一方、外部ドメインへのリンクは収集しない。
  
• 保存方法
  収集したPDFは、Googleドライブで収集した日付ごと、収集元のドメインと同じディレクトリ構造で保存される。また世代管理も行っている。
  
• 管理方法
  1.収集範囲内にあるすべてのPDFを機械的に管理
  2.収集したPDFをリネームし管理

成果

• 収集できたPDFの数　
  455,133件
  ※初回は収集対象すべてのPDFを収集しています。２回目以降は、前回との差分（含む更新）を収集します。

今後の展望

今回の実証実験で、これまで収集が困難だった、自治体WebサイトにアップロードされたPDFを自動で収集する仕組みを構築できた。今後は、収集したPDFをもととしたサービスの可能性を検証していく。

参考

開発元：株式会社Geolocation Technology

• https://www.geolocation.co.jp/

図書館DX実証実験について

第1弾

• https://prtimes.jp/main/html/rd/p/000000051.000079445.html
  

第2弾及び第3弾

• https://current.ndl.go.jp/node/44874

静岡県立中央図書館Webサイト

• https://www.tosyokan.pref.shizuoka.jp