Вот тут собра списочек программ может кому пригодицо!Программы старые но полезные! GoogPars - программа для парсинга выдачи поисковика Google. Почему именно Google? Потому что только в языке запросов Google есть возможность задать параметры поиска по части адреса. А это очень ценно для поиска однотипных ресурсов, основанных на использовании скриптов. Программа GoogPars умеет выбирать ссылки из результатов выдачи поисковика (парсить выдачу) как по поисковому запросу, так и по запросу вида http://www.google.com/ie?q=поиск&sa=Y&num=999&start=1000, т.е. по готовому адресу с результатами выдачи. Это иногда бывает весьма полезно. Для использования этой функции достаточно написать запрос в соответствующее поле и установить галочку "не передавать в браузер". Кроме того, программа снабжена кнопками "Пауза" и "Стоп", чтоб можно было управлять процессом парсинга. Если прграмма Вам покажется, что программа в целом полезна, но ей не хватает функционала - связывайтесь со мной, обсудим Ваши пожелания... Так, например, есть мысль добавить в программу случайную задержку между парсингом страниц выдачи, а так же возможность работы через прокси-сервер. Скачать парсер можно ТУТ TICPR - программа для определения Тематического Индекса Цитирования (ТИЦ) Яндекса и Page Rank (PR) Google. На входе программе задается список сайтов, ТИЦ и PR которых требуется определить. Если в ходе работы программы возникают трудности (например, не дождаться ответа с сервера), то программа ставит знак "?" для соответствующей характеристики сайта. А после окончания работы программы кнопкой "Попытаться уточнить" можно заставить ее проверить все сайты, для которых возникли вопросы, еще раз. Жать эту кнопку можно несколько раз, до тех пор, пока не будет получен ответ для всех сайтов из входного списка. Результат работы программы по желанию пользователя может быть сохранен в текстовый файл. Причем, сохранять можно не все ресурсы, которые есть во входном списке, а вводить фильтр по ТИЦ, по PR, по части адреса. Это может быть полезно для создания своей базы ресурсов. На рисунке приведен скриншот рабочего окна программы. Скачать программу можно ТУТ InYandex - программа для проверки индексации сайта поисковой системой Яндекс. На входе программе задается список страниц сайта (или - сайтов) - URL-ы и список текстов ссылок, по которым эти страницы должны искаться в Яндексе. Фактически, второй список - это список запросов, по которым соттветствующий URL может быть найден (или не найден) Яндексом. Результатом работы программы является таблица, в которой указаны URL-ы из первого списка и (опционально) запросы из второго списка с результатом проверки наличия страницы в индексе (т.е. - URL-а) и ссылки в индексе (т.е. ищется ли URL по соответствующему запросу). При работе программа проверяет наличие в индексе ПС Яндекс приведенных URL-ов как с www, так и без. Наличие же ссылки в индексе проверяется или для варианта текста ссылки, заключенного в кавычки, или - нет (опционально). Программа может использовать при работе соединение через прокси-сервер (опционально). Результат работы программы по желанию пользователя может быть сохранен в текстовый файл. На рисунке приведен скриншот рабочего окна программы. Скачать программу ТУТ BaseEditor - программа для управления базами, полученными в процессе парсинга. Это может быть как результат работы парсера GoogPars, так и любого другого. На входе программа может принимать один или два текстовых файла и выполнять такие действия как чистка базы от повторяющихся адресов, чистку базы от адресов сайтов с ТИЦ < 20 и сортировку базы по ТИЦ (для одного входного файла), а также чистку первой или второй (по выбору) базы от повторяющихся адресов или выборку повторяющихся адресов из обеих баз и перенос их в третью (для двух входных файлов). Естественно, все эти действия можно производить над любыми текстовыми файлами, не обязательно это должны быть базы интернет-адресов. Скачать программу можно ТУТ Tester - небольшая и нехитрая, но полезная программка для проверки честности Ваших партнеров по обмену ссылками. На входе программе нужно задать список страниц Ваших партнеров, на которых требуется проверить наличие ссылок и сам список ссылок. Результатом работы программы является список строк вида "страница партнера - количество обнаруженных ссылок из второго списка". Оба входных списка можно загружать из текстовых файлов, чтоб не писать каждый раз заново. А результат работы можно сохранить в текстовый LOG-файл, куда автоматически допишется также дата и время проведения проверки. Скачать программу можно ТУТ
|