cifar10 example 관련

[younghwanoh]

현재, caffe로 돌릴 수 있는 가장 큰 벤치마크를 찾고 있습니다.
일단 $caffe_root/example/cifar10 의 예제를 training해보고 있는데, ./train_full.sh가 1시간 정도 걸리는 것 같네요.
그런데 아래와 같이 training 시에 hdf5 format의 데이터를 처리하면서 에러가 발생하는 것으로 보입니다.
구글링을 하더라도 cifar10 예제와 관련해서는 해결책이 잘 보이지 않네요.
왜 그런지 아시는 분 계실까요??
아니면 혹시, cifar10 말고 트레이닝 하는데 시간이 꽤 오래 걸리는 다른 벤치마크라도..

[koosyong]

cifar 100 도 있습니다. 아니면 저는 univ. Washington의 rgbd object dataset (http://rgbd-dataset.cs.washington.edu/) 으로 트레이닝 중입니다. 이것도 데이터가 상당하네요..

[younghwanoh]

아직 caffe에 대해 감이 잘 안오는데, cifar10이나 말씀하신 dataset에 정해진 포맷이 있는 건가요?
caffe에서 그걸 어떻게 parsing해서 쓰는지 모르겠네요.

[younghwanoh]

그리고 koosyong님은 튜토리얼에 적으신대로 c++ API를 사용하시는 건가요? python을 쓰거나 아니면 코딩없이(?) 모델만 만들어서 할 수도 있는것 같은데 어떤 방식을 쓰고 계신지 궁금하네요

[koosyong]

데이터셋은 임의의 dataset 을 caffe에서 쓰는 leveldb로 바꿔서 사용합니다. 제가 올린 예제중에 이 파일 참고하세요. https://github.com/koosyong/caffestudy/blob/master/examples/ex5_net/bindb.cpp

[koosyong]

그리고 c++ API와 스크립트 모델을 혼용해서 자유롭게 caffe를 사용하는것이 목적입니다. 제가 올린 예제중에 https://github.com/koosyong/caffestudy/blob/master/examples/ex5_net/logreg_test.cpp 이거랑 https://github.com/koosyong/caffestudy/blob/master/examples/ex5_net/logreg_train.cpp 이거 보시면 model training 또는 training 된 모델을 불러와서 prediction 하는 것을 c++로 구현한 예제입니다.

[koosyong]

blob, layer, net 에 관련된 c++ API 사용하는 간단한 예제들을 일단 파일만 올려 놨는데요, 강의에 쓴 설명 자료도 영어로 만들어 놨는데 ㅜㅜ 곧 올리도록 할게요.. 그 동안은 아쉬우나마 예제 파일들 보세요..

[younghwanoh]

막막했는데 정말 감사드립니다^^

[younghwanoh]

저 위에 에러 메시지는 train_quick.sh 파일에

--snapshot=examples/cifar10/cifar10_quick_iter_4000.solverstate.h5

부분을

--snapshot=examples/cifar10/cifar10_quick_iter_4000.solverstate

이렇게 만들면 해결되네요. 버그 같습니다.