我正在研究C ++程序(C ++ 98)。它读取包含很多行(10000行)的文本文件。这些是制表符分隔的值,然后将其解析为Vector对象的Vector。但是,它似乎适用于某些文件(Smaller),但是我的一个文件给了我以下错误(此文件有10000行,它是90MB)。我猜这是与内存相关的问题吗?你能帮我么?
terminate called after throwing an instance of 'std::bad_alloc'
what(): std::bad_alloc
Abort
void AppManager::go(string customerFile) {
vector<vector<string> > vals = fileReader(customerFile);
for (unsigned int i = 0; i < vals.size();i++){
cout << "New One\n\n";
for (unsigned int j = 0; j < vals[i].size(); j++){
cout << vals[i][j] << endl;
}
cout << "End New One\n\n";
}
}
vector<vector<string> > AppManager::fileReader(string fileName) {
string line;
vector<vector<string> > values;
ifstream inputFile(fileName.c_str());
if (inputFile.is_open()) {
while (getline(inputFile,line)) {
std::istringstream iss(line);
std::string val;
vector<string> tmp;
while(std::getline(iss, val, '\t')) {
tmp.push_back(val);
}
values.push_back(tmp);
}
inputFile.close();
}
else {
throw string("Error reading the file '" + fileName + "'");
}
return values;
}
您的代码没有错,您只是在可能内存较小的平台上运行,可能是旧的编译器,也可能是旧的C ++库。这一切都对你不利。您必须进行微优化:(
这是您可以做的,首先从挂起最少的水果开始:
试一下整个文件,只计算行数。然后values.resize(numberOfLines)
,寻找开始,然后才读取值。当然,你将不会被使用values.push_back
了,只是values[lineNumber] = tmp
。在values
添加矢量时调整其大小可能会暂时使过程所需的内存量增加一倍以上。
在该行的末尾,执行tmp.resize(tmp.size()
-它将缩小向量以使其恰好适合数据。
通过将所有值存储在一个向量中,可以减少现有代码的开销。
如果每行具有不同数量的元素,但是您稍后又顺序访问它们,则可以将一个空字符串存储为内部定界符,它的开销可能比向量要低。
如果每行具有相同数量的值,则将它们按行拆分会增加不必要的开销-您知道每行中第一个值的索引,就是说lineNumber * valuesPerLine
,第一行具有number 0
。
内存映射文件。将每个单词的开头和结尾存储在向量的结构元素中,如果需要将其分成几行,还可以存储行号。
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句