Como é conhecido mundialmente, o governo chinês impõe censura estrita na internet . O sistema de censura chinês, comumente conhecido como Grande Firewall da China, é operado pelo Ministério da Segurança Pública e é oficialmente denominado de Projeto Escudo Dourado . O sistema está em operação desde 2003.

Sites de notícias internacionais que geralmente contêm conteúdo politicamente sensível, como o New York Times , ou sites de mídia social que não cumprem as regras de censura, como Facebook e Twitter , geralmente estão bloqueados e indisponíveis para usuários chineses. Isso é feito usando um variedade de métodos sofisticados .

Para sites de notícias e mídia social chineses, praticamente tudo está sob a vigilância do governo. Para poder operar, os ISPs e provedores de conteúdo da Internet na China geralmente têm seus próprio mecanismo de filtragem de conteúdo para bloquear ou remover o conteúdo publicado por seus usuários, ou até mesmo excluir a conta dos usuários diretamente, caso sejam considerados ilegais de acordo com a política governamental. Essas empresas têm seu próprio software de censura em seus servidores, bem como equipes ou departamentos especiais para lidar manualmente com as tarefas de censura que o software de censura automatizado não consegue gerenciar. Essas equipes cooperam com as divisões locais do Ministério de Segurança Pública, recebendo novas ordens e políticas e, geralmente, trabalhando juntas.

Para nosso doméstico desenvolvedores web , a censura da internet chinesa não apenas filtra nossa liberdade de expressão, mas também recursos profissionais valiosos de todo o mundo. No meu trabalho diário, tenho que contornar a censura da Internet para me conectar via VPN e usar o Gmail, Dropbox e muitos outros sites cruciais. Ainda me lembro como foi estranho em 2010, quando os serviços do Google se tornaram instáveis ​​ou inacessíveis na China depois do Google recusou-se a continuar cumprindo as regras de censura . Isso seria inacreditável para desenvolvedores em outros países.

Censura no Sina Weibo

Sina Weibo é o maior site de rede social de microblog da China. Uma vez que o Twitter não cumpre as regras da China, o Weibo não tem que competir com ele pelos usuários. As notícias se espalham mais rápida e diretamente no Weibo do que em qualquer outro meio de comunicação na China. Membros das gerações mais jovens, como eu, gostam de usá-lo para compartilhar notícias e discutir eventos públicos. Mas é claro que, sob a censura da internet chinesa, muitas postagens interessantes ou interessantes são excluídas imediatamente após serem postadas. Postagens de eventos políticos e públicos têm maior probabilidade de serem excluídas, enquanto notícias de entretenimento têm menos probabilidade de serem excluídas. UMA Estudo de 2013 pelos cientistas da computação Jed Crandall e Dan Wallach descobriram que cerca de 12% dos microblogs chineses estão sendo excluídos todos os dias.

Em dias politicamente sensíveis, como 4 de junho , espera-se que haja um número maior de postagens de microblog censuradas sendo excluídas. Nesses dias, os usuários geralmente não conseguem nem mesmo inserir certas palavras confidenciais quando tentam escrever um microblog.

Como é quando uma postagem é censurada? Quando você atualiza um novo microblog no site, frequentemente verá algo assim:

Isso equivale a um retuíte, em que a mensagem original normalmente aparece na caixa cinza. A caixa agora diz “Desculpe. O microblog foi excluído. Por favor, veja ... ”A postagem original era um apelo por justiça por uma mãe, pelo sequestro, estupro e prostituição forçada de sua filha de 11 anos em 2013.

2013 é um ano em que muitos escândalos políticos foram revelados através da plataforma de microblog. A popularidade do Sina Weibo disparou durante esse período. Em resposta, o governo ficou nervoso e começou a fortalecer sua censura na plataforma de mídia social.

Antes do microblog, jovens como eu, que se interessavam por política, geralmente tinham que usar servidores proxy ou serviços de túnel para buscar notícias confidenciais de sites internacionais. De repente, tínhamos uma plataforma de rede social chinesa relativamente aberta. Mas o governo interveio rapidamente, e acabou sendo apenas um flash na panela. Isso realmente me enfureceu. Conversei com amigos e todos ficamos irritados com o fortalecimento da censura na plataforma. Meus amigos perguntavam: “Por que não podemos fazer nada sobre isso?” Decidi que tentaria. Então, eu construí um site para começar a contornar a censura da Internet para ver o que exatamente estava sendo bloqueado ou excluído do Sina Weibo.

Discussão Técnica

Basicamente, eu precisava configurar um servidor que procurava constantemente por microblogs chineses bloqueados ou excluídos e os mostrava em um novo site. Eu tinha planejado usar um serviço doméstico de nuvem como Aliyun , mas descobriu-se que existem muitas restrições na plataforma, como redirecionamento de domínio, e seus preços não são mais baratos do que outros serviços em nuvem. Claro, minha preocupação adicional era que o próprio servidor estaria sob vigilância se eu o implantasse internamente. Acabei comprando um servidor em Linode , e localizou o servidor no Japão. Eu também comprei o domínio freeweibo.me para começar a contornar a censura do Sina Weibo.

O gráfico a seguir mostra a arquitetura geral do sistema: MongoDB, um servidor da web e um rastreador. Escolhi o Node.js para o ambiente de desenvolvimento, pois é mais eficiente e escalonável para aplicativos de rede e, pessoalmente, tenho mais experiência com ele. O servidor da web foi desenvolvido usando a estrutura Express.js, e usou o API Weibo para capturar dados. Inicialmente, o rastreador foi projetado para ser um processo separado, mas depois descobri que agrupá-lo como um módulo no processo do servidor da web era suficiente para o estágio inicial.

O conteúdo de um microblog tem duas partes principais de interesse. Um são os dados de texto e seus atributos relevantes. A outra são as imagens afiliadas ao post. Para salvar uma postagem, também queremos baixar as imagens e salvá-las como arquivos no disco. Para blogs bloqueados ou excluídos, essas imagens são muito importantes. Na China, é muito comum e popular usar imagens para postar conteúdo de texto, já que esse conteúdo é muito mais difícil de capturar com filtragem e censura automatizada baseada em texto nos servidores de empresas de internet.

A ideia básica de detectar postagens bloqueadas ou excluídas é verificar constantemente se há novas postagens a partir de uma lista conhecida de usuários e, em seguida, verificar novamente a disponibilidade das postagens posteriormente. Um microblog pode ser excluído ou bloqueado em alguns minutos ou dias. Portanto, o rastreador consiste em duas tarefas principais: a tarefa de busca, para buscar o conteúdo recém-postado, e a tarefa de verificação, para verificar se o conteúdo postado anteriormente foi censurado.

No início, configurei o rastreador para rastrear microblogs dos 100 principais usuários conhecidos do Weibo. Mas descobriu-se que quase nenhum blog excluído era detectado a cada dia. O motivo é que a maioria dos principais usuários não tem interesse em tópicos políticos ou públicos - eles nunca postam ou encaminham esse tipo de microblog. Por exemplo, este blogger , que é uma atriz com mais de 10 milhões de seguidores, é uma das usuárias mais populares, mas nunca posta em blogs sensíveis.

Depois de alguma experimentação e reflexão, desenvolvi uma técnica para encontrar de forma adaptativa usuários que são censurados de forma consistente. A rede de mídia social é interconectada por tópicos e os usuários tendem a se reunir em grupos por interesse. Se um usuário tiver interesse em tópicos públicos ou políticos, é mais provável que ele poste ou encaminhe blogs de outros usuários semelhantes. Essas postagens encaminhadas fornecem uma boa maneira de identificar novos usuários para digitalizar.

Por exemplo, digamos que o usuário A já esteja no banco de dados e o rastreador detecte que um blog, que foi postado novamente pelo usuário A, foi excluído. Se o usuário B, o autor original do blog, não estiver no banco de dados, o rastreador salvará o usuário B. Na próxima vez, quando o rastreador verificar novamente novos blogs, ele também examinará novos blogs do usuário B. Assim, a quantidade de os usuários que podem ser escaneados crescerão automaticamente aproveitando esse tipo de conexão de interesse social.

Depois de ajustar o algoritmo do rastreador para tirar proveito dessa metodologia, só precisei distribuir vários usuários-chave que tinham grande interesse em postar blogs confidenciais e o rastreador descobriu automaticamente novos usuários para fazer a varredura. O total diário de blogs censurados detectados aumentou de forma constante, dia após dia. A seguir está um instantâneo de blogs excluídos arquivados em minha caixa de correio.

• Um diálogo histórico de Mao Zedong repreendendo um oficial local por não derrubar a antiga muralha da cidade de Chengdu.
• Um post sobre Xu Zhiyong, que é um advogado ativo de direitos humanos. Ele ajudou muitas pessoas desprivilegiadas e iniciou o Movimento do Novo Cidadão na China. Ele foi condenado à prisão em janeiro de 2014.
• Críticas ao jornal do governo Diário do Povo
• Comente sobre a prisão e o julgamento de Wang Gongquan, um bilionário na China e líder do Movimento do Novo Cidadão.
• Uma referência à prisão de ativistas que participam de movimentos sociais.

Resultados

Depois de duas semanas codificando e depurando meu sistema de contornar o microblog chinês, implantei o site para freeweibo.me . No entanto, após várias semanas de execução, o servidor não detectou mais novos blogs. Com alguma investigação, encontrei dois problemas. Uma era que a plataforma Weibo havia mudado sua interface API original. A outra era que as solicitações de API do rastreador estavam excedendo o limite de taxa (1000 por minuto) devido ao aumento de blogs e usuários no banco de dados. Portanto, ajustei meu código para adotar a nova interface e também para diminuir a contagem de solicitações de API por minuto. O rastreador ficou estável a partir de então.

Enfrentei um dilema sobre se deveria ou não deixar que muitas pessoas soubessem sobre o site. Eu sabia que quanto mais pessoas visitassem o site, mais cedo ele seria detectado pelo governo e bloqueado. Então, eu só compartilhei o site com alguns dos meus amigos . Inicialmente, havia apenas cerca de 10 a 20 visitas por dia. Mas, um mês depois, as visitas chegaram a 80 ou mais em alguns dias, e eu tinha dezenas de assinantes de e-mail.

E então, como eu esperava, chegou a manhã em que descobri que meu site estava bloqueado na China. Durou cerca de três meses. Para acessar o site depois disso, os usuários tinham que usar um serviço de túnel VPN para visitar o site. Isso não é prático para a maioria dos usuários de internet chineses.

No entanto, naquele mesmo dia, fiquei aliviado e satisfeito ao descobrir que outro site, freeweibo.com , está fornecendo exatamente o mesmo serviço e é mais sofisticado do que o que eu criei. O projeto freeweibo.com é muito engenhoso. É ativo nas redes sociais e fornece diferentes meios de acesso ao conteúdo, como feeds RSS, assinatura de e-mail e sites espelho para usuários domésticos. Tem até um aplicativo para celular! Não sei quem construiu o site, mas estou feliz por compartilharmos a mesma visão.

Conclusão

Com base nas circunstâncias, era óbvio que meu site não era mais muito útil e fechei-o vários meses depois.

Apesar do resultado, não sinto que o projeto foi em vão. Pelo contrário, foi uma experiência maravilhosa, embora tenha sobrevivido apenas alguns meses. Isso me ajudou a apreciar profundamente a realidade em meu país.

Na China, para administrar um negócio na Internet, você deve ter muito cuidado com a censura, ou terá problemas mais cedo ou mais tarde. Quase não há maneira de os sites de mídia social serem bem-sucedidos se não obedecerem à censura estrita e comprometer a privacidade dos usuários.

---

Atualizar

o freeweibo.me o código-fonte agora está disponível no GitHub Aqui . Conforme afirmado acima, este código-fonte não está relacionado ao site semelhante freeweibo.com .