我正在使用Beautiful Soup刮一些文本，但是它输出的是奇怪的字符。
我的Python 2.7代码：
source = requests.get('https://alwafd.news/%D8%A7%D9%84%D8%B7%D8%B1%D9%8A%D9%82-%D8%A5%D9%84%D9%89-%D8%A7%D9%84%D8%A8%D8%B1%D9%84%D9%85%D8%A7%D9%86').text
soup = BeautifulSoup(source, 'lxml')
for article in soup.find_all('div' , class_='item'):
headline = article.h3.text.encode('utf8')
这是我的输出：
Ø´Ùر٠اÙجÙد٠: سÙعÙر سÙÙاء رغ٠أÙ٠اÙØاÙدÙÙ
这是预期的输出
خطة النواب توافق على رفع ضريبة إجمالى عمليات بيع الأوراق المالية
我不确定如何正确编码以获取预期的输出。
让我们BeautifulSoup确定编码。在这种情况下，charset响应标头中未指定，因此BeautifulSoup在解码方面会做得更好requests。
>>> source = requests.get('https://alwafd.news/%D8%A7%D9%84%D8%B7%D8%B1%D9%8A%D9%82-%D8%A5%D9%84%D9%89-%D8%A7%D9%84%D8%A8%D8%B1%D9%84%D9%85%D8%A7%D9%86')
>>> soup = BeautifulSoup(source.content, 'lxml')
>>> for article in soup.find_all('div' , class_='item'):
... print article.h3.text
...
خطة النواب توافق على تعديلات قانون ضريبة الدخل لدعم شركات قطاع الأعمال
خطة النواب توافق على رفع ضريبة إجمالى عمليات بيع الأوراق المالية
مطالبات بمحاسبة المجتمع الدولي تركيا على انتهاكاتها
خطة البرلمان توافق على استمرار إيقاف العمل بضريبة الأطيان الزراعية لمدة عامين
اقتصادية النواب توافق على تعديل قانون شركات قطاع الأعمال العام
شكرى الجندى يتقدم ببيان عاجل لتثبيت متضرري التربية والتعليم بكفر الشيخ
إفريقية البرلمان تضامن مع دول شرق القارة اجتاحتها الفيضانات
إنفوجراف.. أهم 10 تصريحات أطلقها رئيس مجلس النواب منذ أزمة كورونا
شكرى الجندى يطالب النائب العام بالتحقيق مع وزير الثقافة السابق
تجاهل مطالب المرشديين السياحيين على طاولة البرلمان
فرج عامر : تسليط CNN للأضواء على قناة السويس أكبر دعاية لجذب الاستثمارات العالمية للمنطقة
خطة النواب تكشف تراجع إيرادات هيئة البريد
طارق شوقي : ندرس سيناريوهات المنظومة التعليمية في العام الدارسي الجديد
شوقي: طلاب أولى وثانية ثانوي محظوظين لأن معهم أجهزة تابلت
د.محمد خليفه يطالب بإدراج مشاكل مصانع المحلة على جدول أعمال مجلس الوزراء
رئيس أفريقية النواب يعترض علي هجوم نائبة كويتية علي وزيرة الهجرة
شكرى الجندى : سنعمر سيناء رغم أنف الحاقدين
معيط: أزمة كورونا وضعت وزارة المالية أمام خيارين تجاه الموازنة
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句