В файле csv копирует данные о товаре

Вобщем судя по всему находит одинаковые страницы и копирует их вот пример


Безрукавка -VEST- (Norfin), р.M <img src="Bezrukavka_quot-VESTquot-_Norfin,_rM.jpg"> Многофункциональная одежда на все случаи жизни. Теплая, легкая и удобная, надетая под любую рыболовную одежду, она дополнительно утеплит весь костюм и создаст более комфортное состояние в суровую и холодную погоду. Изготовленная из «дышащего» материала NORTEX BREATHABLE с утеплителем THERMO GUARD, безрукавка имеет высокий воротник, который надежно защитит Вашу шею от сквозняков и ветра. 1 520 320.002 M

Безрукавка -VEST- (Norfin), р.M <img src="Bezrukavka_quot-VESTquot-_Norfin,_rM_2.jpg"> Многофункциональная одежда на все случаи жизни. Теплая, легкая и удобная, надетая под любую рыболовную одежду, она дополнительно утеплит весь костюм и создаст более комфортное состояние в суровую и холодную погоду. Изготовленная из «дышащего» материала NORTEX BREATHABLE с утеплителем THERMO GUARD, безрукавка имеет высокий воротник, который надежно защитит Вашу шею от сквозняков и ветра. 1 520 320.002 M

Безрукавка -VEST- (Norfin), р.M <img src="Bezrukavka_quot-VESTquot-_Norfin,_rM_3.jpg"> Многофункциональная одежда на все случаи жизни. Теплая, легкая и удобная, надетая под любую рыболовную одежду, она дополнительно утеплит весь костюм и создаст более комфортное состояние в суровую и холодную погоду. Изготовленная из «дышащего» материала NORTEX BREATHABLE с утеплителем THERMO GUARD, безрукавка имеет высокий воротник, который надежно защитит Вашу шею от сквозняков и ветра. 1 520 320.002 M



И Соответственно картинки называет с окончаниями 2 - 3 и тд картинки одни и теже

 

Не собирайте ссылки на одинаковые товары

 

Так я парсю один и тот-же сайт, ссылок 10 тысяч как определить что они одинаковые? И можно ли исключить при парсинге их?

 

При парсинге дубли ссылок автоматически удаляются

 

Судя по всему у меня не удаляются

 

Не думаю, что у вас какая-то "особая" версия программы.
Значит нужно удалить: правый клик по списку - удалить дубли...