Danbooruのクロールが終わりました
一昨日,疲れたとか思いながらブログを書いたものの,物凄く書いてる内容が理解しづらくてワロタ.さすがに見直してみたらつらい.
Danbooruの画像のクロールがやっと終わりました.何件あるのか知りませんが,画像のクロールで引っかかった点は以下のとおりです.
- Content-Lengthが実際のファイルサイズと異なっていて例外が飛んでくる
- ファイルのURLに他所のURLが指定されていて落ちる
- Mechanizeでメモリリークが発生している? なぜかクラッシュする
- 稀に403が返ってくる
DanbooruのAPIを使う場合は,GETパラメータにAPIキーだとかユーザ名だとか入れる必要がありましたが,画像のクロールには制限がないのでいくらでもできます.何度も失敗してほんとすみません.
今はダウンロードした画像をJPGに変換してるわけですが,どういうわけかRARみたいな謎のファイルがアップロードされているわけです.同人誌か何かの可能性が高いのですが,数が多いので展開するの面倒くさいこともあって放置してます.
あとは,いろいろです.mpegとか,webmとか,flvとか.動画系のファイルもちょくちょくアップロードされてます.よく許容するなぁとか思うわけですが,サービスの方針的にアーカイブが目的だからいいんでしょう.
で,結局クロールした合計の容量が900GBもあって取り出すことできません.研究のために外付けハードディスク欲しいです.
変換が終わったらタグ付けです.タグ付けが終わったら,一度Picasaでデータベースを再構築するわけですが,ハードディスクの容量がその段階で足りるのかどうかかなり怪しいです.
たまたま同一ハードディスクに別パーティションで古いデータをバックアップしている領域があったので,そこにデータベースを構築したいと思ってます.
たぶん,この作業だけでもまだ1週間以上かかる気がしてつらい.実験用にTobiiかEyeTribeが欲しいのですが,Kinectを腐らせた前歴があるのでわかんないです.でも,個人的にも欲しいとか思うわけですが悩みます.
ASIO SDKを叩くのもいよいよ佳境に入ってきました.ライブラリとして綺麗にまとまりつつあるので,実際にハードウェアを接続した上のテストとかが楽しみです.
ASIOはどうやら,ダブルバッファリングという謎のバッファリング方法で高速化を実現しているらしいです.謎のvoid*が2つあって,バッファサイズと同じぐらいの大きさらしいです.
1つ目のバッファが静的なもので,2つ目のバッファが動的なものです.2つ目のバッファが満杯になると,1つ目のバッファにコピーします(恐らく).コピーではなく,カレントのバッファを切り替えるだけかもしれませんが.
満杯の通知はコールバック関数の呼び出しで行われます.コールバック関数は事前に利用者が登録することができる感じです.この辺りはもう概念的に難しくて疲れるので,自分でラップしてわかりやすくしようかなって思ってます.
ASIOの奴は基本的に目指せ公式のSDKよりも使いやすいライブラリです.いや,本家の許されざる設計はちょっときついので,なんとかして綺麗にしたいなと.それに安全に使って欲しいです.
ASIOの制御ができるようになると,もっとDACを使ったオーディオアプリとかガンガン作れるようになるので,その辺りにちょっと種を蒔くことができればいいなとか思いました.
その次はMIDIですよMIDI.MIDIのライブラリをちょっと作らないといけないかな,とか思ってます.MIDIを自力で叩かなきゃならないので,どうせならちゃんとしたライブラリも作れたらな,とか思ってます.
ただ,MIDIのほうは時期的にどこまでやれるかな,とか思ってます.難しいですね.
MMD Transporterは充電中です.PMDファイルの読み込みに関してIssueが飛んできました.やること多いです…….
エクスポータの設計は少しだけ迷ってます.材質ごとにオブジェクトを分けたほうがいいのか,一つのメッシュにまとめてもらったほうがいいのか.どっちもワークフロー的に罠がありそうです.
ちなみに,ハルヒをもう一度作りなおしているので楽しいです.
足の構造がちょっと不安定だったので,今度は人体の構造を見ながら作ってます.ただ,資料不足否めないので,いつかZBrushとかデッサンとか集中的にやれる日が来るといいなとか思ってます.
どうでもいいですが,鉛インゴット1kg買いました.東急ハンズだと500円ほど高いのでアマゾンで.これを溶かしてドラムの練習パッドの土台にくっつけようかなと.防振性能が少し不安ではありますが,防振ゴムも使うのでその辺りはある程度,緩和されるんじゃないかなとか.
ただ,パッド本体の振動が完全に共振してしまってうるさいので,こいつから発せられる振動や音をどうやって吸収させればいいのか少し考えてます.きちんとした吸音材を巻いたら緩和されるのか,今は経験不足なのでわからないです.
生涯の研究テーマとして,自宅でうるさい楽器を静かに鳴らす方法とか,隣から苦情が出ないのに保守性の高い防音壁とか,なんかいろいろ手を付けてみたいです.と言うより,自宅で生ドラムできたら世話無いです.ほんとに.
長々と書きましたが,昨日は後輩と朝7時まで飲んでいたのに12時起きで昼寝なしというやばいミッションをこなしたのでそろそろ眠くなってきました.なのでここで筆を置こうと思います.終わり.