将数据从一个文件传输到另一个文件（Bash）-Web搜集

debugcn 发表于 Dev

学习者

我正在使用进行网页抓取bash。我将这些网址保存在名为的文件中URL.txt。

?daypartId=1&amp;catId=1
?daypartId=1&amp;catId=11
?daypartId=1&amp;catId=2

我想将这些URL传递到另一个文件中的数组，该文件main.sh将附加在基本URL中https://www.mcdelivery.com.pk/pk/browse/menu.html**(append here)**。我想将所有UR1URL.txt文件一一追加到基本URL的末尾。

我想出了从中提取URL的代码，URL.txt但是无法将其一个接一个地添加到基本URL中。

#!/bin/bash
ARRAY=()
while read -r LINE
do
    ARRAY+=("$LINE")
done < URL.txt

for LINE in "${ARRAY[@]}"
do    
    echo $LINE
    curl https://www.mcdelivery.com.pk/pk/browse/menu.html$LINE | grep -o '<span class="starting-price">.*</span>' | sed 's/<[^>]\+>//g' >> price.txt 
done

只需要循环的帮助，这样我就可以在URL.txt文件的基本URL末尾附加文件中的不同URL main.sh。

亚历克斯

关于您的grep | sed无法帮助，因为不知道预期的输出

这是一个示例，以说明为什么将URL传递给curl而不附加URI

#!/bin/bash

# just for demo
> URI.txt
URI='?daypartId=1&amp;catId='
URL=https://www.mcdelivery.com.pk/pk/browse/menu.html

# just for demo
for id in 1 11 2
  do
    echo -e "${URI}${id}" | tee -a URI.txt
    # reason why it fails
    echo -e "\n\n\n" >> URI.txt
done

ARRAY=()
while read -r LINE || [[ -n $LINE ]]
do
    ## how to prevent
    #[ "$LINE" ] && \
    ARRAY+=("$LINE")
done < URI.txt

for LINE in "${ARRAY[@]}"
  do
    # just for demo
    echo -e "LINE='$LINE'"
    # skipt empty lines
    [ "$LINE" ] && curl "${URL}${LINE}" | grep -o '<span class="starting-price">.*</span>' | sed 's/<[^>]\+>//g' >> price.txt 
done

exit 0

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。