如何正确使用BoW训练OpenCV SVM

phi

我无法训练SVM识别我的对象。我正在尝试使用SURF +单词袋+ SVM来执行此操作。我的问题是分类器没有检测到任何东西。所有结果均为0。

这是我的代码:

Ptr<FeatureDetector> detector = FeatureDetector::create("SURF");
Ptr<DescriptorExtractor> descriptors = DescriptorExtractor::create("SURF");

string to_string(const int val) {
    int i = val;
    std::string s;
    std::stringstream out;
    out << i;
    s = out.str();
    return s;
}

Mat compute_features(Mat image) {
    vector<KeyPoint> keypoints;
    Mat features;

    detector->detect(image, keypoints);
    KeyPointsFilter::retainBest(keypoints, 1500);
    descriptors->compute(image, keypoints, features);

    return features;
}

BOWKMeansTrainer addFeaturesToBOWKMeansTrainer(String dir, BOWKMeansTrainer& bowTrainer) {
    DIR *dp;
    struct dirent *dirp;
    struct stat filestat;

    dp = opendir(dir.c_str());


    Mat features;
    Mat img;

    string filepath;
    #pragma loop(hint_parallel(4))
    for (; (dirp = readdir(dp));) {
        filepath = dir + dirp->d_name;

        cout << "Reading... " << filepath << endl;

        if (stat( filepath.c_str(), &filestat )) continue;
        if (S_ISDIR( filestat.st_mode ))         continue;

        img = imread(filepath, 0);

        features = compute_features(img);
        bowTrainer.add(features);
    }


    return bowTrainer;
}

void computeFeaturesWithBow(string dir, Mat& trainingData, Mat& labels, BOWImgDescriptorExtractor& bowDE, int label) {
    DIR *dp;
    struct dirent *dirp;
    struct stat filestat;

    dp = opendir(dir.c_str());

    vector<KeyPoint> keypoints;
    Mat features;
    Mat img;

    string filepath;

    #pragma loop(hint_parallel(4))
    for (;(dirp = readdir(dp));) {
        filepath = dir + dirp->d_name;

        cout << "Reading: " << filepath << endl;

        if (stat( filepath.c_str(), &filestat )) continue;
        if (S_ISDIR( filestat.st_mode ))         continue;

        img = imread(filepath, 0);

        detector->detect(img, keypoints);
        bowDE.compute(img, keypoints, features);

        trainingData.push_back(features);
        labels.push_back((float) label);
    }

    cout << string( 100, '\n' );
}

int main() {
    initModule_nonfree();

    Ptr<DescriptorMatcher> matcher = DescriptorMatcher::create("FlannBased");

    TermCriteria tc(CV_TERMCRIT_ITER + CV_TERMCRIT_EPS, 10, 0.001);
    int dictionarySize = 1000;
    int retries = 1;
    int flags = KMEANS_PP_CENTERS;
    BOWKMeansTrainer bowTrainer(dictionarySize, tc, retries, flags);
    BOWImgDescriptorExtractor bowDE(descriptors, matcher);

    string dir = "./positive_large", filepath;
    DIR *dp;
    struct dirent *dirp;
    struct stat filestat;

    cout << "Add Features to KMeans" << endl;
    addFeaturesToBOWKMeansTrainer("./positive_large/", bowTrainer);
    addFeaturesToBOWKMeansTrainer("./negative_large/", bowTrainer);

    cout << endl << "Clustering..." << endl;

    Mat dictionary = bowTrainer.cluster();
    bowDE.setVocabulary(dictionary);

    Mat labels(0, 1, CV_32FC1);
    Mat trainingData(0, dictionarySize, CV_32FC1);


    cout << endl << "Extract bow features" << endl;

    computeFeaturesWithBow("./positive_large/", trainingData, labels, bowDE, 1);
    computeFeaturesWithBow("./negative_large/", trainingData, labels, bowDE, 0);

    CvSVMParams params;
    params.kernel_type=CvSVM::RBF;
    params.svm_type=CvSVM::C_SVC;
    params.gamma=0.50625000000000009;
    params.C=312.50000000000000;
    params.term_crit=cvTermCriteria(CV_TERMCRIT_ITER,100,0.000001);
    CvSVM svm;

    cout << endl << "Begin training" << endl;

    bool res=svm.train(trainingData,labels,cv::Mat(),cv::Mat(),params);

    svm.save("classifier.xml");

    //CvSVM svm;
    svm.load("classifier.xml");

    VideoCapture cap(0); // open the default camera

    if(!cap.isOpened())  // check if we succeeded
        return -1;

    Mat featuresFromCam, grey;
    vector<KeyPoint> cameraKeyPoints;
    namedWindow("edges",1);
    for(;;)
    {
        Mat frame;
        cap >> frame; // get a new frame from camera
        cvtColor(frame, grey, CV_BGR2GRAY);
        detector->detect(grey, cameraKeyPoints);
        bowDE.compute(grey, cameraKeyPoints, featuresFromCam);

        cout << svm.predict(featuresFromCam) << endl;
        imshow("edges", frame);
        if(waitKey(30) >= 0) break;
    }   

        return 0;
}

您应该知道我从一个现有项目中获得了很好的结果,所以我认为它们在我的代码中也很有用(但最终可能没有用)。

我有310张正面图片和508张负面图片。我尝试使用相等数量的正负图像,但结果相同。我要检测的对象是汽车方向盘。这是我的数据集

你知道我在做什么错吗?谢谢!

古尼卡伊姆

首先,在现有项目中使用相同的参数并不能证明您使用的参数正确。实际上,我认为这是完全胡说八道的方法(没有违法)。这是因为,SVM参数直接受到数据集和分枝器提取方法的影响。为了获得正确的参数,您必须进行交叉验证因此,如果这些参数是从其他识别任务中获得的,则将毫无意义。例如,在我的脸上验证项目最佳工艺参数为0.0625和10gammaC分别。

方法的另一个重要问题是测试图像。据我从您的代码中看到的那样,您没有使用磁盘上的图像来测试分类器,因此在这里我将做一些假设。如果从相机获取的测试图像与正像不同,则它将失败。我的意思是不同的。您必须确保测试图像仅由方向盘组成,因为您的训练图像仅包含方向盘。如果您的测试图像包含例如汽车座椅,则您的测试图像的BoW描述符将与火车图像的BoW描述符完全不同。因此,简单来说,您的测试图像不应包含带有其他物体的方向盘,而应仅包含方向盘。

如果满足这些要求,那么使用训练图像来测试系统是最基本的方法。即使在这种情况下,您也可能会遇到一些实现问题。其他方法可以是这样;将您的训练数据分为两部分,这样您就有四个分区:

  • 正面火车图像
  • 负火车图像
  • 阳性测试图像
  • 负测试图像

仅使用训练图像来训练系统,并使用测试图像对其进行测试。同样,您必须通过交叉验证来指定参数。

除此之外,您可能需要在执行我之前写的之前先检查一些特定步骤以定位问题。

  1. 每个图像检测到几个关键点?相似的图像会导致相似数量的关键点。
  2. 您知道BoW描述符是图像SURF描述符的直方图。确保相似的图像导致相似的直方图(BoW描述符)。最好通过可视化直方图进行检查。
  3. 如果满足了上一步,则问题很可能出在SVM培训步骤上,这是非常重要的一步(也许是最重要的一步)。

我希望我能够强调交叉验证的重要性。做交叉验证!

祝你好运!

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章