How to scrape data from html using python and xml?

Question

I'm new to python (2.7) and I have the following html code (stored in a text file on my hdd) that i want to extract certain data from:

                        </div><div class="tab_content_card">
        <div class="card-header">
            <strong title="Art @ Home BV">Art @ Home BV</strong>
            <span class="tel" title="Telefoonnummer aanwezig en geen mailstop en geen indicator “afgesloten of onjuist”.">Telefoonnummer aanwezig</span><span class="marketable besluit" title="Hier vindt besluitvorming plaats en bedrijf heeft geen mailstop en is marketable">Marketable / Hier vindt besluitvorming plaats</span><span class="mailstop geen-mailstop" title="Bedrijf heeft geen mailstop en adresgegevens zijn bekend en geen buitenlands adres">Geen Mailstop</span>
		
        </div>
        <div class="card-content">
            
			
            <table>
                <tbody>
                    <tr>
                        <td colspan="4">
                            
                            <label class="downdrill-sbi" title="Groothandel in overige consumentenartikelen n.e.g.">Groothandel in overige consumentenartikelen n...</label>
                        </td>
                    </tr>
                    <tr>
                        <td width="20">&nbsp;</td>
                        <td width="245">&nbsp;</td>
                        <td width="50">&nbsp;</td>
                        <td width="80">&nbsp;</td>
                    </tr>
                    <tr>
                        <td colspan="2">Arkeneel 2 </td>
                        <td></td>
                        <td></td>
                    </tr>
                    <tr>
                        <td colspan="2">3905 NS&nbsp;&nbsp;
                            
                            <label class="downdrill-sbi" title="VEENENDAAL">VEENENDAAL</label>
                        </td>
                        <td></td>
                        <td></td>
                    </tr>
                    <tr>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                    </tr>
                    <tr><td>T.</td><td>0318-514063</td><td>VAT nr.</td><td>30069687</td></tr>
                    <tr><td>F.</td><td>0318-529434</td><td colspan="2"></td></tr>
                    <tr>
                        <td colspan="2"> <a href="http://" target="_blank"></a> </td>
                        <td>Businesskey</td>
                        <td>S1585464</td>
                    </tr>
                </tbody>
            </table>
        </div>
        <div class="card-footer">
            <span class="card-checked">
                <input type="checkbox" id="bedrijf_geselecteerd-2-S1585464" value="S1585464">
                <label for="bedrijf_geselecteerd-2-S1585464">Geselecteerd</label>
            </span>

            <label class="mailstop-card-text">Dit bedrijf heeft een mailstop</label>

            <a class="card-plaatsinwinkelwagen" rel="S1585464" href="#">Plaats in winkelwagen</a>
            <span>|</span>
            <span>
                <a class="card-meerinfo" rel="S1585464" href="#">Meer info</a>
            </span>
        </div>

    </div><div class="tab_content_card">
        <div class="card-header">
            <strong title="Art Collection International BV">Art Collection International BV</strong>
            <span class="tel" title="Telefoonnummer aanwezig en geen mailstop en geen indicator “afgesloten of onjuist”.">Telefoonnummer aanwezig</span><span class="marketable besluit" title="Hier vindt besluitvorming plaats en bedrijf heeft geen mailstop en is marketable">Marketable / Hier vindt besluitvorming plaats</span><span class="mailstop geen-mailstop" title="Bedrijf heeft geen mailstop en adresgegevens zijn bekend en geen buitenlands adres">Geen Mailstop</span>
		
        </div>
        <div class="card-content">
            
			
            <table>
                <tbody>
                    <tr>
                        <td colspan="4">
                            
                            <label class="downdrill-sbi" title="Groothandel in overige consumentenartikelen n.e.g.">Groothandel in overige consumentenartikelen n...</label>
                        </td>
                    </tr>
                    <tr>
                        <td width="20">&nbsp;</td>
                        <td width="245">&nbsp;</td>
                        <td width="50">&nbsp;</td>
                        <td width="80">&nbsp;</td>
                    </tr>
                    <tr>
                        <td colspan="2">Hollandse Kade 32 </td>
                        <td></td>
                        <td></td>
                    </tr>
                    <tr>
                        <td colspan="2">1391 JM&nbsp;&nbsp;
                            
                            <label class="downdrill-sbi" title="ABCOUDE">ABCOUDE</label>
                        </td>
                        <td></td>
                        <td></td>
                    </tr>
                    <tr>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                    </tr>
                    <tr><td>T.</td><td>0294-286666</td><td>VAT nr.</td><td>30196193</td></tr>
                    <tr><td>F.</td><td>0294-286600</td><td>BKL nr.</td><td>45213546904B01</td></tr>
                    <tr>
                        <td colspan="2"> <a href="http://www.artcollectioninternational.nl" target="_blank">www.artcollectioninternational.nl</a> </td>
                        <td>Businesskey</td>
                        <td>S3046655</td>
                    </tr>
                </tbody>
            </table>
        </div>
        <div class="card-footer">
            <span class="card-checked">
                <input type="checkbox" id="bedrijf_geselecteerd-2-S3046655" value="S3046655">
                <label for="bedrijf_geselecteerd-2-S3046655">Geselecteerd</label>
            </span>

            <label class="mailstop-card-text">Dit bedrijf heeft een mailstop</label>

            <a class="card-plaatsinwinkelwagen" rel="S3046655" href="#">Plaats in winkelwagen</a>
            <span>|</span>
            <span>
                <a class="card-meerinfo" rel="S3046655" href="#">Meer info</a>
            </span>
        </div>

    </div><div class="tab_content_card">
        <div class="card-header">
            <strong title="Art Fashion BV">Art Fashion BV</strong>
            <span class="tel" title="Telefoonnummer aanwezig en geen mailstop en geen indicator “afgesloten of onjuist”.">Telefoonnummer aanwezig</span><span class="marketable besluit" title="Hier vindt besluitvorming plaats en bedrijf heeft geen mailstop en is marketable">Marketable / Hier vindt besluitvorming plaats</span><span class="mailstop geen-mailstop" title="Bedrijf heeft geen mailstop en adresgegevens zijn bekend en geen buitenlands adres">Geen Mailstop</span>
		
        </div>
        <div class="card-content">
            
			
            <table>
                <tbody>
                    <tr>
                        <td colspan="4">
                            
                            <label class="downdrill-sbi" title="Groothandel in overige consumentenartikelen n.e.g.">Groothandel in overige consumentenartikelen n...</label>
                        </td>
                    </tr>
                    <tr>
                        <td width="20">&nbsp;</td>
                        <td width="245">&nbsp;</td>
                        <td width="50">&nbsp;</td>
                        <td width="80">&nbsp;</td>
                    </tr>
                    <tr>
                        <td colspan="2">Prattenburg 35 </td>
                        <td></td>
                        <td></td>
                    </tr>
                    <tr>
                        <td colspan="2">3452 NN&nbsp;&nbsp;
                            
                            <label class="downdrill-sbi" title="VLEUTEN">VLEUTEN</label>
                        </td>
                        <td></td>
                        <td></td>
                    </tr>
                    <tr>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                    </tr>
                    <tr><td>T.</td><td>0345-588020</td><td>VAT nr.</td><td>11058753</td></tr>
                    <tr><td>F.</td><td>0183-564113</td><td>BKL nr.</td><td>45213249429B01</td></tr>
                    <tr>
                        <td colspan="2"> <a href="http://" target="_blank"></a> </td>
                        <td>Businesskey</td>
                        <td>S2482421</td>
                    </tr>
                </tbody>
            </table>
        </div>
        <div class="card-footer">
            <span class="card-checked">
                <input type="checkbox" id="bedrijf_geselecteerd-2-S2482421" value="S2482421">
                <label for="bedrijf_geselecteerd-2-S2482421">Geselecteerd</label>
            </span>

            <label class="mailstop-card-text">Dit bedrijf heeft een mailstop</label>

            <a class="card-plaatsinwinkelwagen" rel="S2482421" href="#">Plaats in winkelwagen</a>
            <span>|</span>
            <span>
                <a class="card-meerinfo" rel="S2482421" href="#">Meer info</a>
            </span>
        </div>

    </div><div class="tab_content_card">
        <div class="card-header">
            <strong title="Arthe Civil &amp; Structure BV">Arthe Civil &amp; Structure BV</strong>
            <span class="tel" title="Telefoonnummer aanwezig en geen mailstop en geen indicator “afgesloten of onjuist”.">Telefoonnummer aanwezig</span><span class="marketable besluit" title="Hier vindt besluitvorming plaats en bedrijf heeft geen mailstop en is marketable">Marketable / Hier vindt besluitvorming plaats</span><span class="mailstop geen-mailstop" title="Bedrijf heeft geen mailstop en adresgegevens zijn bekend en geen buitenlands adres">Geen Mailstop</span>
		
        </div>
        <div class="card-content">
            
			
            <table>
                <tbody>
                    <tr>
                        <td colspan="4">
                            
                            <label class="downdrill-sbi" title="Technisch ontwerp en advies voor grond-, water- en wegenbouw">Technisch ontwerp en advies voor grond-, wate...</label>
                        </td>
                    </tr>
                    <tr>
                        <td width="20">&nbsp;</td>
                        <td width="245">&nbsp;</td>
                        <td width="50">&nbsp;</td>
                        <td width="80">&nbsp;</td>
                    </tr>
                    <tr>
                        <td colspan="2">Kokermolen 7 </td>
                        <td></td>
                        <td></td>
                    </tr>
                    <tr>
                        <td colspan="2">3994 DG&nbsp;&nbsp;
                            
                            <label class="downdrill-sbi" title="HOUTEN">HOUTEN</label>
                        </td>
                        <td></td>
                        <td></td>
                    </tr>
                    <tr>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                    </tr>
                    <tr><td>T.</td><td>030-6384554</td><td>VAT nr.</td><td>30236509</td></tr>
                    <tr><td colspan="2"></td><td>BKL nr.</td><td>45219013602B01</td></tr>
                    <tr>
                        <td colspan="2"> <a href="http://www.arthecs.nl" target="_blank">www.arthecs.nl</a> </td>
                        <td>Businesskey</td>
                        <td>S4354827</td>
                    </tr>
                </tbody>
            </table>
        </div>
        <div class="card-footer">
            <span class="card-checked">
                <input type="checkbox" id="bedrijf_geselecteerd-2-S4354827" value="S4354827">
                <label for="bedrijf_geselecteerd-2-S4354827">Geselecteerd</label>
            </span>

            <label class="mailstop-card-text">Dit bedrijf heeft een mailstop</label>

            <a class="card-plaatsinwinkelwagen" rel="S4354827" href="#">Plaats in winkelwagen</a>
            <span>|</span>
            <span>
                <a class="card-meerinfo" rel="S4354827" href="#">Meer info</a>
            </span>
        </div>

    </div><div class="tab_content_card">
        <div class="card-header">
            <strong title="Arthemis KDV BV">Arthemis KDV BV</strong>
            <span class="tel" title="Telefoonnummer aanwezig en geen mailstop en geen indicator “afgesloten of onjuist”.">Telefoonnummer aanwezig</span><span class="marketable besluit" title="Hier vindt besluitvorming plaats en bedrijf heeft geen mailstop en is marketable">Marketable / Hier vindt besluitvorming plaats</span><span class="mailstop geen-mailstop" title="Bedrijf heeft geen mailstop en adresgegevens zijn bekend en geen buitenlands adres">Geen Mailstop</span>
		
        </div>
        <div class="card-content">
            
			
            <table>
                <tbody>
                    <tr>
                        <td colspan="4">
                            
                            <label class="downdrill-sbi" title="Kinderopvang">Kinderopvang</label>
                        </td>
                    </tr>
                    <tr>
                        <td width="20">&nbsp;</td>
                        <td width="245">&nbsp;</td>
                        <td width="50">&nbsp;</td>
                        <td width="80">&nbsp;</td>
                    </tr>
                    <tr>
                        <td colspan="2">Springweg 102 /E</td>
                        <td></td>
                        <td></td>
                    </tr>
                    <tr>
                        <td colspan="2">3511 VV&nbsp;&nbsp;
                            
                            <label class="downdrill-sbi" title="UTRECHT">UTRECHT</label>
                        </td>
                        <td></td>
                        <td></td>
                    </tr>
                    <tr>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                    </tr>
                    <tr><td>T.</td><td>06-51520630</td><td>VAT nr.</td><td>50087932</td></tr>
                    <tr><td colspan="2"></td><td>BKL nr.</td><td>45222551135B01</td></tr>
                    <tr>
                        <td colspan="2"> <a href="http://" target="_blank"></a> </td>
                        <td>Businesskey</td>
                        <td>S4957725</td>
                    </tr>
                </tbody>
            </table>
        </div>
        <div class="card-footer">
            <span class="card-checked">
                <input type="checkbox" id="bedrijf_geselecteerd-2-S4957725" value="S4957725">
                <label for="bedrijf_geselecteerd-2-S4957725">Geselecteerd</label>
            </span>

            <label class="mailstop-card-text">Dit bedrijf heeft een mailstop</label>

            <a class="card-plaatsinwinkelwagen" rel="S4957725" href="#">Plaats in winkelwagen</a>
            <span>|</span>
            <span>
                <a class="card-meerinfo" rel="S4957725" href="#">Meer info</a>
            </span>
        </div>

    </div><div class="tab_content_card">
        <div class="card-header">
            <strong title="Arthur &amp; Willemijn Stores BV">Arthur &amp; Willemijn Stores BV</strong>
            <span class="tel" title="Telefoonnummer aanwezig en geen mailstop en geen indicator “afgesloten of onjuist”.">Telefoonnummer aanwezig</span><span class="marketable besluit" title="Hier vindt besluitvorming plaats en bedrijf heeft geen mailstop en is marketable">Marketable / Hier vindt besluitvorming plaats</span><span class="mailstop geen-mailstop" title="Bedrijf heeft geen mailstop en adresgegevens zijn bekend en geen buitenlands adres">Geen Mailstop</span>
		
        </div>
        <div class="card-content">
            
			
            <table>
                <tbody>
                    <tr>
                        <td colspan="4">
                            
                            <label class="downdrill-sbi" title="Winkels in bovenkleding en mode-artikelen (algemeen assortiment)">Winkels in bovenkleding en mode-artikelen (al...</label>
                        </td>
                    </tr>
                    <tr>
                        <td width="20">&nbsp;</td>
                        <td width="245">&nbsp;</td>
                        <td width="50">&nbsp;</td>
                        <td width="80">&nbsp;</td>
                    </tr>
                    <tr>
                        <td colspan="2">Steenhoffstraat 11 </td>
                        <td></td>
                        <td></td>
                    </tr>
                    <tr>
                        <td colspan="2">3764 BH&nbsp;&nbsp;
                            
                            <label class="downdrill-sbi" title="SOEST">SOEST</label>
                        </td>
                        <td></td>
                        <td></td>
                    </tr>
                    <tr>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                    </tr>
                    <tr><td>T.</td><td>033-4229111</td><td>VAT nr.</td><td>31022283</td></tr>
                    <tr><td>F.</td><td>033-4621539</td><td>BKL nr.</td><td>45207729541B01</td></tr>
                    <tr>
                        <td colspan="2"> <a href="http://www.arthurenwillemijnstores.nl" target="_blank">www.arthurenwillemijnstores.nl</a> </td>
                        <td>Businesskey</td>
                        <td>S3666945</td>
                    </tr>
                </tbody>
            </table>
        </div>
        <div class="card-footer">
            <span class="card-checked">
                <input type="checkbox" id="bedrijf_geselecteerd-2-S3666945" value="S3666945">
                <label for="bedrijf_geselecteerd-2-S3666945">Geselecteerd</label>
            </span>

            <label class="mailstop-card-text">Dit bedrijf heeft een mailstop</label>

            <a class="card-plaatsinwinkelwagen" rel="S3666945" href="#">Plaats in winkelwagen</a>
            <span>|</span>
            <span>
                <a class="card-meerinfo" rel="S3666945" href="#">Meer info</a>
            </span>
        </div>

    </div><div class="tab_content_card">
        <div class="card-header">
            <strong title="Artifoto Veenendaal VOF">Artifoto Veenendaal VOF</strong>
            <span class="tel" title="Telefoonnummer aanwezig en geen mailstop en geen indicator “afgesloten of onjuist”.">Telefoonnummer aanwezig</span><span class="marketable besluit" title="Hier vindt besluitvorming plaats en bedrijf heeft geen mailstop en is marketable">Marketable / Hier vindt besluitvorming plaats</span><span class="mailstop geen-mailstop" title="Bedrijf heeft geen mailstop en adresgegevens zijn bekend en geen buitenlands adres">Geen Mailstop</span>
		
        </div>
        <div class="card-content">
            
			
            <table>
                <tbody>
                    <tr>
                        <td colspan="4">
                            
                            <label class="downdrill-sbi" title="Winkels in fotografische artikelen">Winkels in fotografische artikelen</label>
                        </td>
                    </tr>
                    <tr>
                        <td width="20">&nbsp;</td>
                        <td width="245">&nbsp;</td>
                        <td width="50">&nbsp;</td>
                        <td width="80">&nbsp;</td>
                    </tr>
                    <tr>
                        <td colspan="2">Hoofdstraat 84 </td>
                        <td></td>
                        <td></td>
                    </tr>
                    <tr>
                        <td colspan="2">3901 AV&nbsp;&nbsp;
                            
                            <label class="downdrill-sbi" title="VEENENDAAL">VEENENDAAL</label>
                        </td>
                        <td></td>
                        <td></td>
                    </tr>
                    <tr>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                    </tr>
                    <tr><td>T.</td><td>0318-511607</td><td>VAT nr.</td><td>58133488</td></tr>
                    <tr><td colspan="2"></td><td colspan="2"></td></tr>
                    <tr>
                        <td colspan="2"> <a href="http://www.artifoto.nl" target="_blank">www.artifoto.nl</a> </td>
                        <td>Businesskey</td>
                        <td>S5786857</td>
                    </tr>
                </tbody>
            </table>
        </div>
        <div class="card-footer">
            <span class="card-checked">
                <input type="checkbox" id="bedrijf_geselecteerd-2-S5786857" value="S5786857">
                <label for="bedrijf_geselecteerd-2-S5786857">Geselecteerd</label>
            </span>

            <label class="mailstop-card-text">Dit bedrijf heeft een mailstop</label>

            <a class="card-plaatsinwinkelwagen" rel="S5786857" href="#">Plaats in winkelwagen</a>
            <span>|</span>
            <span>
                <a class="card-meerinfo" rel="S5786857" href="#">Meer info</a>
            </span>
        </div>

    </div><div class="tab_content_card">
        <div class="card-header">
            <strong title="Artitec BV">Artitec BV</strong>
            <span class="tel" title="Telefoonnummer aanwezig en geen mailstop en geen indicator “afgesloten of onjuist”.">Telefoonnummer aanwezig</span><span class="marketable besluit" title="Hier vindt besluitvorming plaats en bedrijf heeft geen mailstop en is marketable">Marketable / Hier vindt besluitvorming plaats</span><span class="mailstop geen-mailstop" title="Bedrijf heeft geen mailstop en adresgegevens zijn bekend en geen buitenlands adres">Geen Mailstop</span>
		
        </div>
        <div class="card-content">
            
			
            <table>
                <tbody>
                    <tr>
                        <td colspan="4">
                            
                            <label class="downdrill-sbi" title="Groothandel in ferrometalen en -halffabrikaten">Groothandel in ferrometalen en -halffabrikate...</label>
                        </td>
                    </tr>
                    <tr>
                        <td width="20">&nbsp;</td>
                        <td width="245">&nbsp;</td>
                        <td width="50">&nbsp;</td>
                        <td width="80">&nbsp;</td>
                    </tr>
                    <tr>
                        <td colspan="2">Fornheselaan 120 </td>
                        <td></td>
                        <td></td>
                    </tr>
                    <tr>
                        <td colspan="2">3734 GE&nbsp;&nbsp;
                            
                            <label class="downdrill-sbi" title="DEN DOLDER">DEN DOLDER</label>
                        </td>
                        <td></td>
                        <td></td>
                    </tr>
                    <tr>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                        <td>&nbsp;</td>
                    </tr>
                    <tr><td>T.</td><td>030-8507060</td><td>VAT nr.</td><td>33217980</td></tr>
                    <tr><td>F.</td><td>030-8507061</td><td>BKL nr.</td><td>NL007793972B01</td></tr>
                    <tr>
                        <td colspan="2"> <a href="http://www.artitec.com" target="_blank">www.artitec.com</a> </td>
                        <td>Businesskey</td>
                        <td>S2185596</td>
                    </tr>
                </tbody>
            </table>
        </div>
        <div class="card-footer">
            <span class="card-checked">
                <input type="checkbox" id="bedrijf_geselecteerd-2-S2185596" value="S2185596">
                <label for="bedrijf_geselecteerd-2-S2185596">Geselecteerd</label>
            </span>

            <label class="mailstop-card-text">Dit bedrijf heeft een mailstop</label>

            <a class="card-plaatsinwinkelwagen" rel="S2185596" href="#">Plaats in winkelwagen</a>
            <span>|</span>
            <span>
                <a class="card-meerinfo" rel="S2185596" href="#">Meer info</a>
            </span>
        </div>

How it looks like on a webpage:

With the following script I'm trying to extract the phone numbers (P.) of both firms :

import xml.etree.ElementTree as ET

tree = ET.parse('html88.txt')
root = tree.getroot()

for variable in root.findall('tbody'):
    phone = variable.find('/html/body/div[1]/div[2]/table/tbody/tr[6]/td[2]').text
    print(phone)

Result:

Traceback (most recent call last):
  File "C:/Users/Jacob/PycharmProjects/untitled/yay4.py", line 3, in <module>
    tree = ET.parse('html88.txt')
  File "C:\Python27\lib\xml\etree\ElementTree.py", line 1182, in parse
    tree.parse(source, parser)
  File "C:\Python27\lib\xml\etree\ElementTree.py", line 656, in parse
    parser.feed(data)
  File "C:\Python27\lib\xml\etree\ElementTree.py", line 1653, in feed
    self._raiseerror(v)
  File "C:\Python27\lib\xml\etree\ElementTree.py", line 1517, in _raiseerror
    raise err
xml.etree.ElementTree.ParseError: not well-formed (invalid token): line 1, column 9

What am I doing wrong and how can I solve this issue?

Troy Hoffman · Accepted Answer · 2017-03-09 21:24:42Z

1

I would use Beautiful Soup (pip install beautifulsoup4). It seems to handle the data correctly. Also, rather than relying on the order never changing, it looks like you can enumerate all td tags, look for one that equals 'P.' and the phone number is the one after that. Here's the code. It worked on the HTML code you included.

from bs4 import BeautifulSoup

with open('html88.txt', 'r') as f:
    html_string = f.read()

soup = BeautifulSoup(html_string, 'html.parser')
td_list = soup.find_all('td')

for index, variable in enumerate(td_list):
    # Look for phone numbers
    if variable.text == 'P.':
        # The next one should be a phone number, but make sure there are more tags to parse
        if index < len(td_list):
            # There are more tags, so the next one should be the phone number
            phone = td_list[index + 1].text
            print(phone)

answered Mar 9, 2017 at 21:24

Troy Hoffman

1931 silver badge5 bronze badges

Sign up to request clarification or add additional context in comments.

5 Comments

jakeT888 Over a year ago

i appreciate the response! However, your suggestion isn't printing anything: Process finished with exit code

Troy Hoffman Over a year ago

I tried this using the snippet you included in your question under both Python 2.7.8 and 3.5. Does the .txt file contain more than what you posted? Output: 555-889 555-458 Process finished with exit code 0

Troy Hoffman Over a year ago

Try this. After td_list = soup.find_all('td'), add: print(len(td_list))

jakeT888 Over a year ago

adding print(len(td_list)) helped thanks. Indeed the included snippet is just a fraction of the actual txt file. The .txt file contains more than what I posted. So the script works now, but only with the included html code. If i try the script on the large .txt file, it only print one variable. Any suggestion?

Troy Hoffman Over a year ago

Can you post the entire file? If it has sensitive data, you might be able to obfuscate it by changing it to random letters or numbers. However, you might be able to fix it without posting it. You'll need to use BeautifulSoup to find the div class="tab_content_card:" that represents the snippet you posted, then parse that object only.

Collectives™ on Stack Overflow

How to scrape data from html using python and xml?

1 Answer 1

5 Comments

Your Answer

Hot Network Questions

Collectives™ on Stack Overflow

1 Answer 1

5 Comments

Your Answer

Sign up or log in

Post as a guest

Related