автоматизация работы с фхг

[Mitch]

Хочется чтобы новые фхг со спонсоров автоамтически попадали на сидж.
Сначала я подумал что удобно это делать по rss, предложил dushik, он заинтересовался, обещал сделать это в стриме (там очч хороший режим автограба, поэто там это полезнее всего делать).
Проблемма в том что далеко не все спонсы дают rss на галеры.
И мне пришла мысль - зачем rss - ведь все давно шлют галеры в почту !
Надо сделать парсер pop3 почты - чтобы в ротаторе была опция - проверять pop3 ящик с указаным логин-паролем, скачивать оттуда раз в указанный период всю почту, парсить на предмет урлов, и пробовать их сграбить (предполагая что урл это галера).
Естественно проверят критерии того что это галера как обычно, проверять что это стаатик галера а не рандом-галлера (некоторые спносы включают такой урл в письма).
Еще хотелось бы автоматический поиск десков - как в теле письма - если после урлов галер есть какой то текст, и он разный - то вероятно это дески, ессно надо парсить этот текст на хтмл теги и вырезать их.
Если дески нет в письме то пробовать составить деску из текста на галере - можно тупо брать текст из title например.
Естественно парсинг текста - отключаем.
Мне например пофиг что там будет в десках - у меня они юзаются альтами к тумбам, хай гуглбот читает, лишним не будет.

Если такая фмча будет реализована - то останется завести под сидж отдельное мыло, вбить в ротатор доступ к нему, и указать мыло как свое рабочее на спонсорах сиджея - и автоматическое добавлени свежего когтента готово.

Ессно надо предусмотреть лимиты-настройки - не более NN новых в день \Месяц, предупреждение если база превысила NNN галер, отчеты о том что было сграбленно и добавлено.

[VET]

парсить почту это пипец =)
потом увидишь сиджу состоящую наполовину из тумб, которые сграбились с морд спонов-welcome_page =)

[Silence]

споны многие кидают в почту именно линки на фхгшки
я таким образом на некоторых спонов по полгода не захожу
иногда от них деньги на епасс приходят )))

[Mitch]

парсить почту это пипец =)
потом увидишь сиджу состоящую наполовину из тумб, которые сграбились с морд спонов-welcome_page =)

вообще то ротатор при грабе проводит тест предварительно - галера ли это.
и тумбы грабит не с тех картинок что есть на урле, а с больших изображений на которые ведут ссылки.

[Silence]

в дтре например даж можно указывать размер картинки

[Mitch]

обсуждение автоматизации на мастере:
http://www.master-x.com/forum/topics/85997/

[Mitch]

rss конечно более правильное решение, первое что нужно сделать - это собрать пожелания к реализации от сиджейщиков, помоему вполне целесообразно делать это прямо в этом топике.

Пожелания необходимо разбить на 2 части:
I. требования к формату выдачи от спонсоров.
II. требования к имплементации в ротаторах.

I. требования к формату выдачи от спонсоров.
- rss должен быть с авторизацией по логин-паролю адверта, в выдаче должны быть фхг уже с ID адверта.
В дополнительнор разделе админки споносора настраивается выдача rss:
- PPS/Revshare
- Триалы Yes/No
- Console fee (достаточно у многих есть этот загон)
- Желаемая длинна десков
- Номер шаблона для галер (если спонс дает выбор)

в выдаче каждая строка содержит 3 поля, разделитель например ; (вроде ; не юзается в урлах ? а из десков вырезать если есть):
- domain.com реклимируемого пейсайта
- URL FHG
- description галеры (лично мне нужен только 1, длина похер, все равно тока в alt пишется)


II. требования к имплементации в ротаторах.
В дополнительном меню ротатора указываются спонсоры с которых брать по rss новые галеры.
на каждого спонсора добавляется:
- rss url
- логин\пароль
- название спонсора (для тех ротаторов которые ведут "базу" спонсоров для возможности быстро отключать все гали спонса итд, например как в dtr)
ограничения
- максимум добавляемых галер за 1 день, настройка что делать с остальными (удалять/игнорировать или добавлять в список в последующие дни)
- максимум добавляемых галер за 1 мес (на всяк, от флуда)
- частота опроса спонсора, возможность выставить точное время опроса (для балансировки нагрузки на неск доменах например)
- Настройка "что делать с новыми галерами" - автодобавить в ротацию\оставить на ревьюв вебмастеру

- Для предотвращения бесконтрольного роста базы (при автомате с добавлением) нужно будет ввести лимиты на кол-во галерей в базе, ну и желательно чтоб рататор при достижении разных лимитов оповещал вебмастера по почте/собственному rss на выбор.

Из тех ротаторов с которыми я работал наиболее "вкусно" делать полную автоматизацию на стриме, тк он хорошо режет тумбы на полном автомате, за счет тестирования всех тумбов с галеры.

[Silence]

точка с запятой используеться вовсю в урлах потому лучше ставить |  вот этот замечательный символ

насчет формата в выдаче не соглашусь парсить строки с постоянно повторяющщимися доменами неоптимально
лечше сделать следующщим образо

|||spons (для ротаторов поддерживающщим масс включение отключение какого либо спона)
||domain.com
|URL FHG   |Desk
|URL FHG2 |Desk2

и т.д.
соответственно и распарсить такой файл будет легче и оптимальней выглядит

при этом в ротатор должен сверять полученные гали с базой имеющщихся спонсоров и их пейсайтов ( должна быть опция выключить показ тумб с пейсайта или выключить его со всего спонсора. ) Также гале должен присваиваться уникальный индекс означающщий с какого пейсата какого спонсора она была получена.
Также если  на спонсоре появляеться новый сайт  добавляет новый пейсайт в подбазу имеющщегося спонсора ( тут как и в случае со спонсорос по дефолту выключено вебмастеру мыло ) Вебмастер может включить получение фхг либо выключить либо вообще удалить пейсайт из списка ( в таком случае в базе напротив пейстайта ставиться rejected и при парсе рсса просто происходит поиск следующщего пейсайта.
 Также вполне приемлин вариан перенастройки дефолтов как на стороне спонсора так и на стороне вебмастера чтоб новопоявившийся пейсат тут же начинал добавляться в базу

В настройках спонсоры \ пейсайты вебмастер галочками помечает с каких пейсайтов принимать галеры рссом и сколько в день добавлять в базу.

также в дополнительной опции на спонсоре
должен быть глобал выбор
работать пер сигнап или ревшару
савить консоль или нет и т.д.
так и опциональный выбор формирования рсса для отдельного пейсайта по отдельным модифицированным правилам.
Также необходима дефолтная настройка ррса для новопоявившихся пейсайтов. Ну и должна быть напротив пейсайта естественно галка не отправлять в РСС таким образом если я не работаю в шмелях а у спона есть шмелиный пейсайт то мне не придеться настраивать в ротаторах сайтов работающщих с этим споном отказ от получения рсса с шмелиными фхг


Таким образом получиться что спонс формирует фхг в рсс по определяемым вебмастером правилам. Причем формирует полный список галер с выбранных вебмастером пейсайтов. А вебмастер настраивает на своей стороне ( в ротаторе ) какие пейсайты ему граббить на конкретный домен. А при появлении нового пейсайта вебмастер очень быстро информируеться об этом и может своевременно получить новые неюзанные фхг что естественно увеличит профит как вебмастера так и спонсора.

[Silence]

соответвенно парсинг должен быть реализован следующщим образом

ищщем |||
сверяемся с базой не выключен ли этот спонс
если выключен ищщем следующщие |||
если не выключен ищщем ||
сверяемся с базой не выключен ли пейсайт
если выключен ищщем следующщие ||
если не выключен парсим построчно пока не встретиться |||

[Silence]

также удобстро заключаеться в том что при появлении нового пейсайта на спонсоре достаточно будет указать его в рсс ( либо настроить дефолт чтоб было автоматически ) и фхг с этого сайта автоматически пойдут на морду сиджа а в ротаторе создаться новая подгруппа пейсайта

[Tsumibito]

А не приведет вся эта тема к тому что сиджи будут становиться все более одинаковыми, ведь будут грабиться одни и теже наборы фхг, с одних и тех же спонов (во многих нишах их не так уж и много), со временем возможно даже появятся глобальные фиды по нише, подключил и забыл , обрабатываться и ротироваться одними и теми-же скриптам..... и.т.п.

где тогда работа сидживода? только трейд....?

[Mitch]

А не приведет вся эта тема к тому что сиджи будут становиться все более одинаковыми, ведь будут грабиться одни и теже наборы фхг, с одних и тех же спонов (во многих нишах их не так уж и много), со временем возможно даже появятся глобальные фиды по нише, подключил и забыл ;), обрабатываться и ротироваться одними и теми-же скриптам..... и.т.п.

где тогда работа сидживода? только трейд....?

- вручную докропливать тумбы тебе никто не запретит
- далеко не все сразу начнут этим пользоваться, а быть первыми это очч хорошо.
щас тоже самое делается вручную, это просто автоматизация.

[Mitch]

соответвенно парсинг должен быть реализован следующщим образом

ищщем |||
сверяемся с базой не выключен ли этот спонс
если выключен ищщем следующщие |||
если не выключен ищщем ||
сверяемся с базой не выключен ли пейсайт
если выключен ищщем следующщие ||
если не выключен парсим построчно пока не встретиться |||

ты не понял - не надо искать спонсора - ты в ротаторе указываеш rss тех спонсоров кого хочеш грабить.
я забыл выше написать зачем в выдаче перед fhg  присутствует домен пейсайта - для того чтобы в ротаторе указать список пейсайтов спонсора фхг от которых тебе нужны. также полагаю будут удобны там регекспы:
!domain - все кроме этого домена
all - все платники спонса
Если спон завел новый платник - вебмастер сам должен решить добавить ли его в список или нет.

В rss со сопнсора должны попадать ВСЕ фхг, и первым пунктом ити домен платника для того чтобы можно было нормально работать с мультинишевым спонсором - использовать разные его платники на разных сиджах.

[Silence]

будет намного удобнее если вебмастеру тот же ротатор сообщит о новом платнике на спонсе сделать это при обработке подобного рсса совсем нетрудно.


тогда на споне просто галочки напротив пейсайтов ( отправлять в рсс )так как бывают вебмастера которые не начнут работать в шмелях но на спонсе есть и бейбсовые платники
рсс отправляетмый спонсором
получаеться вот так должно быть
||domain.com
|URL FHG |Desk
|URL FHG2 |Desk2

а на стороне ротатора
 ищщем ||
сверяемся с базой не выключен ли пейсайт
если выключен ищщем следующщие ||
если не выключен парсим построчно пока не встретиться ||

[Silence]

А не приведет вся эта тема к тому что сиджи будут становиться все более одинаковыми, ведь будут грабиться одни и теже наборы фхг, с одних и тех же спонов (во многих нишах их не так уж и много), со временем возможно даже появятся глобальные фиды по нише, подключил и забыл , обрабатываться и ротироваться одними и теми-же скриптам..... и.т.п.

где тогда работа сидживода? только трейд....?

зачем делать вручную ту работу которую можно оптимизировать
куча работочасов к примеру освободиться при введении такой автоматизации