Стена сообществ вконтакте: как спарсить, просмотреть все записи?
В последнее время активно осваиваю социальную сеть вконтакте. Много проблем возникает, что-то успешно решаю. Вот и при попытке спарсить стену одного из сообществ возникли сложности. Решение оказалось до безобразия простым. Читайте, пригодится.
Небольшое отступление от темы. В рамках работы с вконтакте приобрёл немало знаний и опыта, которые постепенно буду выкладывать на блог. Есть, конечно, ещё чему учиться, но и есть чем поделиться. Если интересна тема, следите за обновлением рубрики вконтакте.
В этой заметке хочу рассказать о стене сообществ. Как все знают, стена групп и пабликов вконтакте это главная страница сообщества, где размещены все записи сообщества. Посты стены погружаются постепенно, по мере прокрутки страницы вниз. Это создаёт ряд сложностей при работе со стеной.
Как обычный сайт её уже не спарсишь, придётся повозится с настройками парсера и то не факт, что получится спарсить. Или например Вы хочите посмотреть самые первые посты сообщества, дату, с которой сообщество начали наполнять контентом. А там, в сообществе, уже несколько десятков тысяч записей. Представьте, сколько придётся листать вниз, чтобы дойти до последней записи.
Я, например, долго парился в попытках спарсить стену, пока случайно не обнаружил альтернативную страницу стены сообщества. На этой странице идёт обычная постраничная навигация и на одной странице выводится по 20 записей.
Как найти ссылку на альтернативную страницу стены сообщества вконтакте?
На стене выбираете любую запись. Наводите курсор на ссылку даты поста, кликаете правой кнопкой мыши и выбираете открыть в новом окне/вкладке. Запись откроется в новом окне, а вверху на странице записи появится ссылка «Записи сообщества». Переходите по этой ссылке и попадаете на альтернативную страницу записей сообщества с постраничной навигацией.
Это значительно упрощает навигацию по стене сообщества и упрощает работу с ней.
- Можете в один клик перейти к последней записи и посмотреть её дату.
- Вы можете получить список ссылок и парсить стену как обычный сайт, например, с помощью программы Content Downloader. При этом если сообщество открытое, то авторизация даже не потребуется.
Для тех, кто давно работает в сети вконтакте, это конечно новостью не станет, но вот для начинающих будет полезно знать и поможет им сэкономить много времени и нервов.
Спасибо!
У меня вопрос: можно ли то же самое сделать со страницей Фейсбука?
Со своей страницей или страницей какой-то группы?
Не знаю, может и можно, но я с фейсбуком не знаком.
Как открыть стену сообщества для комментарий подписчиков, или даже тех кто не подписан!? Для их вопросов, для администраторов сообщества, что бы не писать в личку!
когда создавалось сообщество, публичная страница, какие были настройки уже совершенно не помнится.
Потому что очень не удобно, когда возможность только коментировать фото или записи сообщества.
Не совсем понял вопрос. Открыть/закрыть что и прочие действия с сообществом могут делать администраторы либо его создатель. Если вы не можете попасть на страницу управления сообществом (вы должны видеть ссылку под картинкой группы/паблика), то вы не являетесь его админитсратором, а значит сделать ничего не сможете.
Поигрался я с этой штукой.
Проблема в том, что даже запросы с подтасовкой заголовков и выставлением sleep(rand(7,12)); между запросами не помогают. Через некоторое время ВК всё равно накладывает бан на некоторое время.
Аккаунт вк банит или ip?
Я парсил картинки Content Downloader’ом с открытых сообществ без авторизации вконтакте. Всё отлично спарсилось. Уже точно не помню какие выставлял настройки, но интервал между запросами не более 3 секунд, поток вроде бы один.
Спасибо большое!)