diff --git a/model/propostas_brasilparticipativo_v1_0_0.zip b/model/propostas_brasilparticipativo_v1_1_0.zip similarity index 99% rename from model/propostas_brasilparticipativo_v1_0_0.zip rename to model/propostas_brasilparticipativo_v1_1_0.zip index d024dac..71802b7 100644 Binary files a/model/propostas_brasilparticipativo_v1_0_0.zip and b/model/propostas_brasilparticipativo_v1_1_0.zip differ diff --git a/processo_de_desenvolvimento.ipynb b/processo_de_desenvolvimento.ipynb index b681ebb..ddc57a0 100644 --- a/processo_de_desenvolvimento.ipynb +++ b/processo_de_desenvolvimento.ipynb @@ -56,8 +56,9 @@ " - [Indexação das categorias](#pre-processing-2-1)\n", " - [Técnicas de NLP](#pre-processing-2-2)\n", " - [Vetorização textual](#pre-processing-3)\n", - " - [Dataset de propostas do Brasil Participativo](#pre-processing-4)\n", - "- [Treinamento do modelo](#training-model)\n", + "- [Agrupamento em tópicos](#text-clustering)\n", + "- [Dataset de propostas do Brasil Participativo](#dataset)\n", + "- [Classificação de propostas](#training-model)\n", " - [Importação das bibliotecas](#training-model-1)\n", " - [Configurações do modelo](#training-model-2)\n", "- [Utilização](#how-to-use)\n", @@ -138,17 +139,9 @@ }, { "cell_type": "code", - "execution_count": 2, + "execution_count": null, "metadata": {}, - "outputs": [ - { - "name": "stdout", - "output_type": "stream", - "text": [ - "Acesso realizado com sucesso!\n" - ] - } - ], + "outputs": [], "source": [ "# Requisição ao site através do link para receber o dataset\n", "url = \"https://brasilparticipativo.presidencia.gov.br/open-data/download\"\n", @@ -177,7 +170,7 @@ }, { "cell_type": "code", - "execution_count": 3, + "execution_count": null, "metadata": {}, "outputs": [], "source": [ @@ -207,7 +200,7 @@ }, { "cell_type": "code", - "execution_count": 4, + "execution_count": 2, "metadata": {}, "outputs": [ { @@ -658,7 +651,7 @@ "[10752 rows x 32 columns]" ] }, - "execution_count": 4, + "execution_count": 2, "metadata": {}, "output_type": "execute_result" } @@ -688,7 +681,7 @@ }, { "cell_type": "code", - "execution_count": 5, + "execution_count": 3, "metadata": {}, "outputs": [ { @@ -762,7 +755,7 @@ "4 Atenção Especializada à Saúde.
Ampliar o acesso às ações e serviços da Atenção Especializada à Saúde, conforme as necessidades de saúde da população, reduzindo as desigualdades de raça/etnia, de gênero, regionais e sociais, e promovendo a integralidade do cuidado
Órgão Responsável: Ministério da Saúde
Página Oficial: https://www.gov.br/saude/pt-br/
Foto: Divulgação/Ministério da Saúde
" ] }, - "execution_count": 5, + "execution_count": 3, "metadata": {}, "output_type": "execute_result" } @@ -792,7 +785,7 @@ }, { "cell_type": "code", - "execution_count": 6, + "execution_count": 4, "metadata": {}, "outputs": [ { @@ -824,7 +817,7 @@ }, { "cell_type": "code", - "execution_count": 7, + "execution_count": 5, "metadata": {}, "outputs": [ { @@ -865,7 +858,7 @@ }, { "cell_type": "code", - "execution_count": 8, + "execution_count": 6, "metadata": {}, "outputs": [ { @@ -984,7 +977,7 @@ "[371 rows x 2 columns]" ] }, - "execution_count": 8, + "execution_count": 6, "metadata": {}, "output_type": "execute_result" } @@ -998,7 +991,7 @@ }, { "cell_type": "code", - "execution_count": 9, + "execution_count": 7, "metadata": {}, "outputs": [], "source": [ @@ -1016,7 +1009,7 @@ }, { "cell_type": "code", - "execution_count": 10, + "execution_count": 8, "metadata": {}, "outputs": [ { @@ -1061,7 +1054,7 @@ }, { "cell_type": "code", - "execution_count": 11, + "execution_count": 9, "metadata": {}, "outputs": [ { @@ -1105,7 +1098,7 @@ }, { "cell_type": "code", - "execution_count": 12, + "execution_count": 10, "metadata": {}, "outputs": [], "source": [ @@ -1118,7 +1111,7 @@ }, { "cell_type": "code", - "execution_count": 13, + "execution_count": 11, "metadata": {}, "outputs": [], "source": [ @@ -1165,7 +1158,7 @@ }, { "cell_type": "code", - "execution_count": 14, + "execution_count": 12, "metadata": {}, "outputs": [ { @@ -1252,7 +1245,7 @@ "4 3 " ] }, - "execution_count": 14, + "execution_count": 12, "metadata": {}, "output_type": "execute_result" } @@ -1290,7 +1283,7 @@ }, { "cell_type": "code", - "execution_count": 15, + "execution_count": 13, "metadata": {}, "outputs": [ { @@ -1390,7 +1383,7 @@ "4 atenção especializar saúde ampliar acesso ação serviço atenção especializar saúde conforme necessidade saúde população reduzir desigualdade raça etnia gênero regional social promover integralidade cuidado " ] }, - "execution_count": 15, + "execution_count": 13, "metadata": {}, "output_type": "execute_result" } @@ -1415,7 +1408,7 @@ }, { "cell_type": "code", - "execution_count": 16, + "execution_count": 14, "metadata": {}, "outputs": [ { @@ -1457,7 +1450,7 @@ }, { "cell_type": "code", - "execution_count": 17, + "execution_count": 15, "metadata": {}, "outputs": [ { @@ -1475,7 +1468,7 @@ "docs = list(propostas['Texto Processado'])\n", "\n", "# A próxima linha configura o vetorizador TF-IDF com uso de IDF (Inverse Document Frequency) e um limite máximo de recursos em 50,000.\n", - "tfidf_vectorizer = TfidfVectorizer(use_idf=True, max_features=50000)\n", + "tfidf_vectorizer = TfidfVectorizer(ngram_range=(1,2), use_idf=True, max_features=50000)\n", "\n", "# Aqui, estamos transformando os documentos da lista 'docs' em vetores TF-IDF.\n", "tfidf_vectorizer_vectors = tfidf_vectorizer.fit_transform(docs)\n", @@ -1488,202 +1481,1058 @@ ] }, { - "attachments": {}, "cell_type": "markdown", "metadata": {}, "source": [ - "\n", + " | Categoria | \n", + "Texto | \n", + "id_cats | \n", + "Texto Processado | \n", + "Vector | \n", + "Texto_Tópicos | \n", + "
---|---|---|---|---|---|---|
0 | \n", + "Turismo | \n", + "Turismo: esse é o Destino. <p><strong>Objetivo:</strong> Posicionar o turismo como vetor de desenvolvimento sustentável e aumentar a competitividade dos destinos e produtos turísticos brasileiros, democratizando o acesso à atividade turística aos cidadãos brasileiros.<br><br><strong>Órgão Responsável:</strong> Ministério do Turismo<br><br><strong>Página Oficial: </strong>https://www.gov.br/turismo/pt-br/</p> | \n", + "0 | \n", + "turismo esse destino objetivo posicionar turismo vetor desenvolvimento sustentável aumentar competitividade destino produto turístico brasileiro democratizar acesso atividade turístico cidadão brasileiro | \n", + "[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] | \n", + "turismo: esse é o destino. objetivo: posicionar o turismo como vetor de desenvolvimento sustentável e aumentar a competitividade dos destinos e produtos turísticos brasileiros, democratizando o acesso à atividade turística aos cidadãos brasileiros. | \n", + "
1 | \n", + "Desenvolvimento Agrário e Agricultura Familiar | \n", + "Agricultura Familiar e Agroecologia. <p><strong>Objetivo: </strong>Fortalecer a agricultura familiar em sua diversidade e a agroecologia, promovendo a inclusão socioeconômica, com fomento à produção sustentável e à geração de renda, contribuindo para a promoção da segurança alimentar e nutricional e da vida digna, com redução das desigualdades e mitigação das mudanças climáticas.<br><br><strong>Órgão Responsável: </strong>Ministério do Desenvolvimento Agrário<br><strong><br>Página Oficial:</strong> <a href=\"https://www.gov.br/agricultura/pt-br/assuntos/mda/agricultura-familiar-1\" rel=\"noopener noreferrer\" target=\"_blank\">https://www.gov.br/agricultura/pt-br/assuntos/mda/agricultura-familiar-1</a></p> | \n", + "1 | \n", + "agricultura familiar agroecologia objetivo fortalecer agricultura familiar diversidade agroecologia promover inclusão socioeconômico fomento produção sustentável geração renda contribuir promoção segurança alimentar nutricional vida digna redução desigualdade mitigação mudança climático | \n", + "[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] | \n", + "agricultura familiar e agroecologia. objetivo: fortalecer a agricultura familiar em sua diversidade e a agroecologia, promovendo a inclusão socioeconômica, com fomento à produção sustentável e à geração de renda, contribuindo para a promoção da segurança alimentar e nutricional e da vida digna, com redução das desigualdades e mitigação das mudanças climáticas. | \n", + "
2 | \n", + "Agricultura e Pecuária | \n", + "Agropecuária Sustentável. <p>Objetivo: Contribuir para o desenvolvimento do setor agropecuário, com sustentabilidade ambiental, econômica e social, por meio do fomento e da intensificação da produção; da geração, compartilhamento e aplicação de conhecimento técnico-científico; e da regulamentação, certificação, auditoria e fiscalização agropecuária.</p><p>Órgão Responsável: Ministério da Agricultura e Pecuária</p><p>Página Oficial: http://www.gov.br/agricultura/pt-br/</p> | \n", + "2 | \n", + "agropecuária sustentável objetivo contribuir desenvolvimento setor agropecuário sustentabilidade ambiental econômico social meio fomento intensificação produção geração compartilhamento aplicação conhecimento técnico-científico regulamentação certificação auditoria fiscalização agropecuário | \n", + "[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] | \n", + "agropecuária sustentável. objetivo: contribuir para o desenvolvimento do setor agropecuário, com sustentabilidade ambiental, econômica e social, por meio do fomento e da intensificação da produção; da geração, compartilhamento e aplicação de conhecimento técnico-científico; e da regulamentação, certificação, auditoria e fiscalização agropecuária. | \n", + "
3 | \n", + "Saúde | \n", + "Atenção Primária à Saúde. <p>Fortalecer a Atenção Primária à Saúde, ampliando a cobertura da Estratégia de Saúde da Família e da Saúde Bucal, com vistas à universalização do acesso, à abrangência do cuidado integral, à promoção da saúde, à prevenção de agravos e à redução de desigualdades de raça/etnia, de gênero, regionais e sociais</p><p><strong>Órgão Responsável</strong>: Ministério da Saúde</p><p><strong>Página Oficial</strong>: https://www.gov.br/saude/pt-br/</p><p>Foto: Divulgação/Governo Federal</p> | \n", + "3 | \n", + "atenção primário saúde fortalecer atenção primário saúde ampliar cobertura estratégia saúde família saúde bucal vista universalização acesso abrangência cuidado integral promoção saúde prevenção agravo redução desigualdade raça etnia gênero regional social | \n", + "[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] | \n", + "atenção primária à saúde. fortalecer a atenção primária à saúde, ampliando a cobertura da estratégia de saúde da família e da saúde bucal, com vistas à universalização do acesso, à abrangência do cuidado integral, à promoção da saúde, à prevenção de agravos e à redução de desigualdades de raça/etnia, de gênero, regionais e sociais | \n", + "
4 | \n", + "Saúde | \n", + "Atenção Especializada à Saúde. <p>Ampliar o acesso às ações e serviços da Atenção Especializada à Saúde, conforme as necessidades de saúde da população, reduzindo as desigualdades de raça/etnia, de gênero, regionais e sociais, e promovendo a integralidade do cuidado</p><p><strong>Órgão Responsável</strong>: Ministério da Saúde</p><p><strong>Página Oficial</strong>: <a href=\"https://www.gov.br/saude/pt-br/\" rel=\"noopener noreferrer\" target=\"_blank\">https://www.gov.br/saude/pt-br/</a></p><p>Foto: Divulgação/Ministério da Saúde</p> | \n", + "3 | \n", + "atenção especializar saúde ampliar acesso ação serviço atenção especializar saúde conforme necessidade saúde população reduzir desigualdade raça etnia gênero regional social promover integralidade cuidado | \n", + "[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] | \n", + "atenção especializada à saúde. ampliar o acesso às ações e serviços da atenção especializada à saúde, conforme as necessidades de saúde da população, reduzindo as desigualdades de raça/etnia, de gênero, regionais e sociais, e promovendo a integralidade do cuidado | \n", + "
Objetivo: Posicionar o turismo como vetor de desenvolvimento sustentável e aumentar a competitividade dos destinos e produtos turísticos brasileiros, democratizando o acesso à atividade turística aos cidadãos brasileiros.
Órgão Responsável: Ministério do Turismo
Página Oficial: https://www.gov.br/turismo/pt-br/
Objetivo: Fortalecer a agricultura familiar em sua diversidade e a agroecologia, promovendo a inclusão socioeconômica, com fomento à produção sustentável e à geração de renda, contribuindo para a promoção da segurança alimentar e nutricional e da vida digna, com redução das desigualdades e mitigação das mudanças climáticas.
Órgão Responsável: Ministério do Desenvolvimento Agrário
Página Oficial: https://www.gov.br/agricultura/pt-br/assuntos/mda/agricultura-familiar-1
Objetivo: Contribuir para o desenvolvimento do setor agropecuário, com sustentabilidade ambiental, econômica e social, por meio do fomento e da intensificação da produção; da geração, compartilhamento e aplicação de conhecimento técnico-científico; e da regulamentação, certificação, auditoria e fiscalização agropecuária.
Órgão Responsável: Ministério da Agricultura e Pecuária
Página Oficial: http://www.gov.br/agricultura/pt-br/
\n", + "3 Atenção Primária à Saúde.Fortalecer a Atenção Primária à Saúde, ampliando a cobertura da Estratégia de Saúde da Família e da Saúde Bucal, com vistas à universalização do acesso, à abrangência do cuidado integral, à promoção da saúde, à prevenção de agravos e à redução de desigualdades de raça/etnia, de gênero, regionais e sociais
Órgão Responsável: Ministério da Saúde
Página Oficial: https://www.gov.br/saude/pt-br/
Foto: Divulgação/Governo Federal
\n", + "4 Atenção Especializada à Saúde.Ampliar o acesso às ações e serviços da Atenção Especializada à Saúde, conforme as necessidades de saúde da população, reduzindo as desigualdades de raça/etnia, de gênero, regionais e sociais, e promovendo a integralidade do cuidado
Órgão Responsável: Ministério da Saúde
Página Oficial: https://www.gov.br/saude/pt-br/
Foto: Divulgação/Ministério da Saúde
\n", + "\n", + " id_cats \\\n", + "0 0 \n", + "1 1 \n", + "2 2 \n", + "3 3 \n", + "4 3 \n", + "\n", + " Texto Processado \\\n", + "0 turismo esse destino objetivo posicionar turismo vetor desenvolvimento sustentável aumentar competitividade destino produto turístico brasileiro democratizar acesso atividade turístico cidadão brasileiro \n", + "1 agricultura familiar agroecologia objetivo fortalecer agricultura familiar diversidade agroecologia promover inclusão socioeconômico fomento produção sustentável geração renda contribuir promoção segurança alimentar nutricional vida digna redução desigualdade mitigação mudança climático \n", + "2 agropecuária sustentável objetivo contribuir desenvolvimento setor agropecuário sustentabilidade ambiental econômico social meio fomento intensificação produção geração compartilhamento aplicação conhecimento técnico-científico regulamentação certificação auditoria fiscalização agropecuário \n", + "3 atenção primário saúde fortalecer atenção primário saúde ampliar cobertura estratégia saúde família saúde bucal vista universalização acesso abrangência cuidado integral promoção saúde prevenção agravo redução desigualdade raça etnia gênero regional social \n", + "4 atenção especializar saúde ampliar acesso ação serviço atenção especializar saúde conforme necessidade saúde população reduzir desigualdade raça etnia gênero regional social promover integralidade cuidado \n", + "\n", + " Vector \\\n", + "0 [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] \n", + "1 [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] \n", + "2 [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] \n", + "3 [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] \n", + "4 [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] \n", + "\n", + " Texto_Tópicos \n", + "0 turismo: esse é o destino. objetivo: posicionar o turismo como vetor de desenvolvimento sustentável e aumentar a competitividade dos destinos e produtos turísticos brasileiros, democratizando o acesso à atividade turística aos cidadãos brasileiros. \n", + "1 agricultura familiar e agroecologia. objetivo: fortalecer a agricultura familiar em sua diversidade e a agroecologia, promovendo a inclusão socioeconômica, com fomento à produção sustentável e à geração de renda, contribuindo para a promoção da segurança alimentar e nutricional e da vida digna, com redução das desigualdades e mitigação das mudanças climáticas. \n", + "2 agropecuária sustentável. objetivo: contribuir para o desenvolvimento do setor agropecuário, com sustentabilidade ambiental, econômica e social, por meio do fomento e da intensificação da produção; da geração, compartilhamento e aplicação de conhecimento técnico-científico; e da regulamentação, certificação, auditoria e fiscalização agropecuária. \n", + "3 atenção primária à saúde. fortalecer a atenção primária à saúde, ampliando a cobertura da estratégia de saúde da família e da saúde bucal, com vistas à universalização do acesso, à abrangência do cuidado integral, à promoção da saúde, à prevenção de agravos e à redução de desigualdades de raça/etnia, de gênero, regionais e sociais \n", + "4 atenção especializada à saúde. ampliar o acesso às ações e serviços da atenção especializada à saúde, conforme as necessidades de saúde da população, reduzindo as desigualdades de raça/etnia, de gênero, regionais e sociais, e promovendo a integralidade do cuidado " + ] + }, + "execution_count": 18, + "metadata": {}, + "output_type": "execute_result" + } + ], "source": [ - "Primeiramente, os dados das propostas (colunas \"Vector\" e \"id_cats\") são parametrizados pelo Scikit-Learn. O dataset é embaralhado e dividido em dados para treinamento e teste, sendo 70% utilizado para treinamento e 30% para teste." + "def cleaning(text):\n", + " text = re.sub(REGX_HTML, '', text) # Removendo tags HTML\n", + " text = re.sub(REGX_ENDING, '', text) # Removendo texto desnecessário no final\n", + " text = text.lower()\n", + "\n", + " return text\n", + "\n", + "# Cleaning text from column \"Texto\"\n", + "propostas['Texto_Tópicos'] = propostas['Texto'].apply(cleaning)\n", + "propostas.head()" ] }, { "cell_type": "code", - "execution_count": 21, + "execution_count": 19, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ - "(11094, 19176) (11094,)\n" + "['turismo', 'Destino', 'Posicionar', 'turismo', 'vetor', 'desenvolvimento', 'sustentável', 'aumentar', 'competitividade', 'destino', 'produto', 'turístico', 'brasileiro', 'democratizar', 'acesso', 'atividade', 'turístico', 'cidadão', 'Órgão', 'Ministério', 'Turismo', 'Página', 'Oficial', 'turismo']\n", + "['Agricultura', 'Familiar', 'Agroecologia', 'objetivo', 'Fortalecer', 'agricultura', 'familiar', 'diversidade', 'agroecologia', 'promover', 'inclusão', 'socioeconômico', 'fomento', 'produção', 'sustentável', 'geração', 'renda', 'contribuir', 'promoção', 'segurança', 'alimentar', 'nutricional', 'vida', 'digna', 'redução', 'desigualdade', 'mitigação', 'mudança', 'Órgão', 'Responsável', 'Ministério', 'Desenvolvimento', 'agrário', 'Página', 'agricultura', 'assunto', 'mda', 'noreferrer', 'agricultura', 'assunto', 'mda']\n", + "['Agropecuária', 'Sustentável', 'p', 'objetivo', 'contribuir', 'desenvolvimento', 'setor', 'agropecuário', 'sustentabilidade', 'ambiental', 'econômico', 'social', 'fomento', 'intensificação', 'produção', 'geração', 'compartilhamento', 'aplicação', 'conhecimento', 'regulamentação', 'certificação', 'auditoria', 'fiscalização', 'Órgão', 'Responsável', 'Ministério', 'Agricultura', 'Página', 'Oficial']\n", + "['atenção', 'Primária', 'Saúde', 'p', 'Fortalecer', 'Atenção', 'Primária', 'Saúde', 'ampliar', 'cobertura', 'Estratégia', 'Saúde', 'Família', 'Saúde', 'Bucal', 'vista', 'universalização', 'acesso', 'abrangência', 'cuidado', 'integral', 'promoção', 'saúde', 'prevenção', 'agravo', 'redução', 'desigualdade', 'raça', 'etnia', 'gênero', 'regional', 'Órgão', 'Ministério', 'Página', 'divulgação', 'Governo']\n", + "['atenção', 'Especializada', 'Saúde', 'p', 'Ampliar', 'acesso', 'ação', 'serviço', 'Atenção', 'Especializada', 'Saúde', 'conforme', 'necessidade', 'saúde', 'população', 'reduzir', 'desigualdade', 'raça', 'etnia', 'gênero', 'regional', 'social', 'promover', 'integralidade', 'Órgão', 'Ministério', 'Página', 'saude', 'noreferrer', 'saude', 'Foto', 'divulgação', 'Ministério']\n" ] } ], "source": [ - "# Atribui a variável X ao conjunto de dados 'docs'\n", - "X = docs\n", + "REMOVAL_TAGS = ['ADV','PRON','CCONJ','PUNCT','PART','DET','ADP','SPACE', 'NUM', 'SYM']\n", + "COMMON_WORDS = ['público', 'programa']\n", + "COMMON_WORDS = [nlp(w)[0] for w in COMMON_WORDS]\n", "\n", - "# Atribui a variável y à coluna 'id_cats' do DataFrame 'propostas'\n", - "y = propostas['id_cats']\n", + "# Spacy model:\n", + "# nlp = pt_core_news_md.load()\n", "\n", - "# Imprime as dimensões (formato) de X e y, ou seja, o número de linhas e colunas\n", - "print(X.shape, y.shape)" + "tokens = []\n", + "# Getting lemmas + removing stop words, numeric tokens and unwanted POS tags \n", + "for texto in nlp.pipe(propostas['Texto']):\n", + " proj_tok = [token.lemma_ for token in texto\n", + " if token.pos_ not in REMOVAL_TAGS and\n", + " token not in COMMON_WORDS and\n", + " not token.is_stop and\n", + " token.is_alpha]\n", + " tokens.append(proj_tok)\n", + "\n", + "\n", + "print('\\n'.join([str(t) for t in tokens[0:5]]))" ] }, { - "cell_type": "code", - "execution_count": 22, + "cell_type": "markdown", "metadata": {}, - "outputs": [], "source": [ - "# Definindo a semente para garantir reprodutibilidade\n", - "SEED = 123 # Nunca utilizar em produção\n", - "\n", - "# Dividindo o conjunto de dados em conjuntos de treinamento e teste\n", - "X_train, X_test, y_train, y_test = model_selection.train_test_split(X, propostas.Categoria, test_size=0.3, random_state=SEED, stratify=propostas.Categoria)" + "Objetivo: Posicionar o turismo como vetor de desenvolvimento sustentável e aumentar a competitividade dos destinos e produtos turísticos brasileiros, democratizando o acesso à atividade turística aos cidadãos brasileiros.
Órgão Responsável: Ministério do Turismo
Página Oficial: https://www.gov.br/turismo/pt-br/
\n", + " | Categoria | \n", + "Texto | \n", + "id_cats | \n", + "Texto Processado | \n", + "Vector | \n", + "Texto_Tópicos | \n", + "Topicos | \n", + "
---|---|---|---|---|---|---|---|
0 | \n", + "Turismo | \n", + "Turismo: esse é o Destino. <p><strong>Objetivo:</strong> Posicionar o turismo como vetor de desenvolvimento sustentável e aumentar a competitividade dos destinos e produtos turísticos brasileiros, democratizando o acesso à atividade turística aos cidadãos brasileiros.<br><br><strong>Órgão Responsável:</strong> Ministério do Turismo<br><br><strong>Página Oficial: </strong>https://www.gov.br/turismo/pt-br/</p> | \n", + "0 | \n", + "turismo esse destino objetivo posicionar turismo vetor desenvolvimento sustentável aumentar competitividade destino produto turístico brasileiro democratizar acesso atividade turístico cidadão brasileiro | \n", + "[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] | \n", + "turismo: esse é o destino. objetivo: posicionar o turismo como vetor de desenvolvimento sustentável e aumentar a competitividade dos destinos e produtos turísticos brasileiros, democratizando o acesso à atividade turística aos cidadãos brasileiros. | \n", + "1 | \n", + "
1 | \n", + "Desenvolvimento Agrário e Agricultura Familiar | \n", + "Agricultura Familiar e Agroecologia. <p><strong>Objetivo: </strong>Fortalecer a agricultura familiar em sua diversidade e a agroecologia, promovendo a inclusão socioeconômica, com fomento à produção sustentável e à geração de renda, contribuindo para a promoção da segurança alimentar e nutricional e da vida digna, com redução das desigualdades e mitigação das mudanças climáticas.<br><br><strong>Órgão Responsável: </strong>Ministério do Desenvolvimento Agrário<br><strong><br>Página Oficial:</strong> <a href=\"https://www.gov.br/agricultura/pt-br/assuntos/mda/agricultura-familiar-1\" rel=\"noopener noreferrer\" target=\"_blank\">https://www.gov.br/agricultura/pt-br/assuntos/mda/agricultura-familiar-1</a></p> | \n", + "1 | \n", + "agricultura familiar agroecologia objetivo fortalecer agricultura familiar diversidade agroecologia promover inclusão socioeconômico fomento produção sustentável geração renda contribuir promoção segurança alimentar nutricional vida digna redução desigualdade mitigação mudança climático | \n", + "[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] | \n", + "agricultura familiar e agroecologia. objetivo: fortalecer a agricultura familiar em sua diversidade e a agroecologia, promovendo a inclusão socioeconômica, com fomento à produção sustentável e à geração de renda, contribuindo para a promoção da segurança alimentar e nutricional e da vida digna, com redução das desigualdades e mitigação das mudanças climáticas. | \n", + "1 | \n", + "
2 | \n", + "Agricultura e Pecuária | \n", + "Agropecuária Sustentável. <p>Objetivo: Contribuir para o desenvolvimento do setor agropecuário, com sustentabilidade ambiental, econômica e social, por meio do fomento e da intensificação da produção; da geração, compartilhamento e aplicação de conhecimento técnico-científico; e da regulamentação, certificação, auditoria e fiscalização agropecuária.</p><p>Órgão Responsável: Ministério da Agricultura e Pecuária</p><p>Página Oficial: http://www.gov.br/agricultura/pt-br/</p> | \n", + "2 | \n", + "agropecuária sustentável objetivo contribuir desenvolvimento setor agropecuário sustentabilidade ambiental econômico social meio fomento intensificação produção geração compartilhamento aplicação conhecimento técnico-científico regulamentação certificação auditoria fiscalização agropecuário | \n", + "[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] | \n", + "agropecuária sustentável. objetivo: contribuir para o desenvolvimento do setor agropecuário, com sustentabilidade ambiental, econômica e social, por meio do fomento e da intensificação da produção; da geração, compartilhamento e aplicação de conhecimento técnico-científico; e da regulamentação, certificação, auditoria e fiscalização agropecuária. | \n", + "1 | \n", + "
3 | \n", + "Saúde | \n", + "Atenção Primária à Saúde. <p>Fortalecer a Atenção Primária à Saúde, ampliando a cobertura da Estratégia de Saúde da Família e da Saúde Bucal, com vistas à universalização do acesso, à abrangência do cuidado integral, à promoção da saúde, à prevenção de agravos e à redução de desigualdades de raça/etnia, de gênero, regionais e sociais</p><p><strong>Órgão Responsável</strong>: Ministério da Saúde</p><p><strong>Página Oficial</strong>: https://www.gov.br/saude/pt-br/</p><p>Foto: Divulgação/Governo Federal</p> | \n", + "3 | \n", + "atenção primário saúde fortalecer atenção primário saúde ampliar cobertura estratégia saúde família saúde bucal vista universalização acesso abrangência cuidado integral promoção saúde prevenção agravo redução desigualdade raça etnia gênero regional social | \n", + "[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] | \n", + "atenção primária à saúde. fortalecer a atenção primária à saúde, ampliando a cobertura da estratégia de saúde da família e da saúde bucal, com vistas à universalização do acesso, à abrangência do cuidado integral, à promoção da saúde, à prevenção de agravos e à redução de desigualdades de raça/etnia, de gênero, regionais e sociais | \n", + "4 | \n", + "
4 | \n", + "Saúde | \n", + "Atenção Especializada à Saúde. <p>Ampliar o acesso às ações e serviços da Atenção Especializada à Saúde, conforme as necessidades de saúde da população, reduzindo as desigualdades de raça/etnia, de gênero, regionais e sociais, e promovendo a integralidade do cuidado</p><p><strong>Órgão Responsável</strong>: Ministério da Saúde</p><p><strong>Página Oficial</strong>: <a href=\"https://www.gov.br/saude/pt-br/\" rel=\"noopener noreferrer\" target=\"_blank\">https://www.gov.br/saude/pt-br/</a></p><p>Foto: Divulgação/Ministério da Saúde</p> | \n", + "3 | \n", + "atenção especializar saúde ampliar acesso ação serviço atenção especializar saúde conforme necessidade saúde população reduzir desigualdade raça etnia gênero regional social promover integralidade cuidado | \n", + "[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] | \n", + "atenção especializada à saúde. ampliar o acesso às ações e serviços da atenção especializada à saúde, conforme as necessidades de saúde da população, reduzindo as desigualdades de raça/etnia, de gênero, regionais e sociais, e promovendo a integralidade do cuidado | \n", + "4 | \n", + "
Objetivo: Posicionar o turismo como vetor de desenvolvimento sustentável e aumentar a competitividade dos destinos e produtos turísticos brasileiros, democratizando o acesso à atividade turística aos cidadãos brasileiros.
Órgão Responsável: Ministério do Turismo
Página Oficial: https://www.gov.br/turismo/pt-br/
Objetivo: Fortalecer a agricultura familiar em sua diversidade e a agroecologia, promovendo a inclusão socioeconômica, com fomento à produção sustentável e à geração de renda, contribuindo para a promoção da segurança alimentar e nutricional e da vida digna, com redução das desigualdades e mitigação das mudanças climáticas.
Órgão Responsável: Ministério do Desenvolvimento Agrário
Página Oficial: https://www.gov.br/agricultura/pt-br/assuntos/mda/agricultura-familiar-1
Objetivo: Contribuir para o desenvolvimento do setor agropecuário, com sustentabilidade ambiental, econômica e social, por meio do fomento e da intensificação da produção; da geração, compartilhamento e aplicação de conhecimento técnico-científico; e da regulamentação, certificação, auditoria e fiscalização agropecuária.
Órgão Responsável: Ministério da Agricultura e Pecuária
Página Oficial: http://www.gov.br/agricultura/pt-br/
\n", + "3 Atenção Primária à Saúde.Fortalecer a Atenção Primária à Saúde, ampliando a cobertura da Estratégia de Saúde da Família e da Saúde Bucal, com vistas à universalização do acesso, à abrangência do cuidado integral, à promoção da saúde, à prevenção de agravos e à redução de desigualdades de raça/etnia, de gênero, regionais e sociais
Órgão Responsável: Ministério da Saúde
Página Oficial: https://www.gov.br/saude/pt-br/
Foto: Divulgação/Governo Federal
\n", + "4 Atenção Especializada à Saúde.Ampliar o acesso às ações e serviços da Atenção Especializada à Saúde, conforme as necessidades de saúde da população, reduzindo as desigualdades de raça/etnia, de gênero, regionais e sociais, e promovendo a integralidade do cuidado
Órgão Responsável: Ministério da Saúde
Página Oficial: https://www.gov.br/saude/pt-br/
Foto: Divulgação/Ministério da Saúde
\n", + "\n", + " id_cats \\\n", + "0 0 \n", + "1 1 \n", + "2 2 \n", + "3 3 \n", + "4 3 \n", + "\n", + " Texto Processado \\\n", + "0 turismo esse destino objetivo posicionar turismo vetor desenvolvimento sustentável aumentar competitividade destino produto turístico brasileiro democratizar acesso atividade turístico cidadão brasileiro \n", + "1 agricultura familiar agroecologia objetivo fortalecer agricultura familiar diversidade agroecologia promover inclusão socioeconômico fomento produção sustentável geração renda contribuir promoção segurança alimentar nutricional vida digna redução desigualdade mitigação mudança climático \n", + "2 agropecuária sustentável objetivo contribuir desenvolvimento setor agropecuário sustentabilidade ambiental econômico social meio fomento intensificação produção geração compartilhamento aplicação conhecimento técnico-científico regulamentação certificação auditoria fiscalização agropecuário \n", + "3 atenção primário saúde fortalecer atenção primário saúde ampliar cobertura estratégia saúde família saúde bucal vista universalização acesso abrangência cuidado integral promoção saúde prevenção agravo redução desigualdade raça etnia gênero regional social \n", + "4 atenção especializar saúde ampliar acesso ação serviço atenção especializar saúde conforme necessidade saúde população reduzir desigualdade raça etnia gênero regional social promover integralidade cuidado \n", + "\n", + " Vector \\\n", + "0 [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] \n", + "1 [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] \n", + "2 [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] \n", + "3 [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] \n", + "4 [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...] \n", + "\n", + " Texto_Tópicos \\\n", + "0 turismo: esse é o destino. objetivo: posicionar o turismo como vetor de desenvolvimento sustentável e aumentar a competitividade dos destinos e produtos turísticos brasileiros, democratizando o acesso à atividade turística aos cidadãos brasileiros. \n", + "1 agricultura familiar e agroecologia. objetivo: fortalecer a agricultura familiar em sua diversidade e a agroecologia, promovendo a inclusão socioeconômica, com fomento à produção sustentável e à geração de renda, contribuindo para a promoção da segurança alimentar e nutricional e da vida digna, com redução das desigualdades e mitigação das mudanças climáticas. \n", + "2 agropecuária sustentável. objetivo: contribuir para o desenvolvimento do setor agropecuário, com sustentabilidade ambiental, econômica e social, por meio do fomento e da intensificação da produção; da geração, compartilhamento e aplicação de conhecimento técnico-científico; e da regulamentação, certificação, auditoria e fiscalização agropecuária. \n", + "3 atenção primária à saúde. fortalecer a atenção primária à saúde, ampliando a cobertura da estratégia de saúde da família e da saúde bucal, com vistas à universalização do acesso, à abrangência do cuidado integral, à promoção da saúde, à prevenção de agravos e à redução de desigualdades de raça/etnia, de gênero, regionais e sociais \n", + "4 atenção especializada à saúde. ampliar o acesso às ações e serviços da atenção especializada à saúde, conforme as necessidades de saúde da população, reduzindo as desigualdades de raça/etnia, de gênero, regionais e sociais, e promovendo a integralidade do cuidado \n", + "\n", + " Topicos \n", + "0 1 \n", + "1 1 \n", + "2 1 \n", + "3 4 \n", + "4 4 " + ] + }, + "execution_count": 30, + "metadata": {}, + "output_type": "execute_result" + } + ], + "source": [ + "# Adding topics into the DataFrame\n", + "propostas['Topicos'] = [sorted(lda_model[corpus][texto])[0][0] for texto in range(len(propostas['Texto']))]\n", + "propostas.head()" + ] + }, + { + "cell_type": "code", + "execution_count": 31, + "metadata": {}, + "outputs": [ + { + "data": { + "text/plain": [ + "Topicos\n", + "0 1964\n", + "1 1832\n", + "3 1238\n", + "2 1075\n", + "4 985\n", + "5 786\n", + "6 480\n", + "8 402\n", + "7 376\n", + "10 312\n", + "9 285\n", + "13 284\n", + "11 270\n", + "14 166\n", + "12 135\n", + "19 126\n", + "15 113\n", + "16 87\n", + "17 78\n", + "18 40\n", + "20 26\n", + "21 24\n", + "22 10\n", + "Name: count, dtype: int64" + ] + }, + "execution_count": 31, + "metadata": {}, + "output_type": "execute_result" + } + ], + "source": [ + "# Counting the frequency of each topic\n", + "propostas.Topicos.value_counts()" + ] + }, + { + "attachments": {}, + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + " | Categoria | \n", + "Texto | \n", + "
---|---|---|
0 | \n", + "Turismo | \n", + "Turismo: esse é o Destino. <p><strong>Objetivo:</strong> Posicionar o turismo como vetor de desenvolvimento sustentável e aumentar a competitividade dos destinos e produtos turísticos brasileiros, democratizando o acesso à atividade turística aos cidadãos brasileiros.<br><br><strong>Órgão Responsável:</strong> Ministério do Turismo<br><br><strong>Página Oficial: </strong>https://www.gov.br/turismo/pt-br/</p> | \n", + "
1 | \n", + "Desenvolvimento Agrário e Agricultura Familiar | \n", + "Agricultura Familiar e Agroecologia. <p><strong>Objetivo: </strong>Fortalecer a agricultura familiar em sua diversidade e a agroecologia, promovendo a inclusão socioeconômica, com fomento à produção sustentável e à geração de renda, contribuindo para a promoção da segurança alimentar e nutricional e da vida digna, com redução das desigualdades e mitigação das mudanças climáticas.<br><br><strong>Órgão Responsável: </strong>Ministério do Desenvolvimento Agrário<br><strong><br>Página Oficial:</strong> <a href=\"https://www.gov.br/agricultura/pt-br/assuntos/mda/agricultura-familiar-1\" rel=\"noopener noreferrer\" target=\"_blank\">https://www.gov.br/agricultura/pt-br/assuntos/mda/agricultura-familiar-1</a></p> | \n", + "
2 | \n", + "Agricultura e Pecuária | \n", + "Agropecuária Sustentável. <p>Objetivo: Contribuir para o desenvolvimento do setor agropecuário, com sustentabilidade ambiental, econômica e social, por meio do fomento e da intensificação da produção; da geração, compartilhamento e aplicação de conhecimento técnico-científico; e da regulamentação, certificação, auditoria e fiscalização agropecuária.</p><p>Órgão Responsável: Ministério da Agricultura e Pecuária</p><p>Página Oficial: http://www.gov.br/agricultura/pt-br/</p> | \n", + "
3 | \n", + "Saúde | \n", + "Atenção Primária à Saúde. <p>Fortalecer a Atenção Primária à Saúde, ampliando a cobertura da Estratégia de Saúde da Família e da Saúde Bucal, com vistas à universalização do acesso, à abrangência do cuidado integral, à promoção da saúde, à prevenção de agravos e à redução de desigualdades de raça/etnia, de gênero, regionais e sociais</p><p><strong>Órgão Responsável</strong>: Ministério da Saúde</p><p><strong>Página Oficial</strong>: https://www.gov.br/saude/pt-br/</p><p>Foto: Divulgação/Governo Federal</p> | \n", + "
4 | \n", + "Saúde | \n", + "Atenção Especializada à Saúde. <p>Ampliar o acesso às ações e serviços da Atenção Especializada à Saúde, conforme as necessidades de saúde da população, reduzindo as desigualdades de raça/etnia, de gênero, regionais e sociais, e promovendo a integralidade do cuidado</p><p><strong>Órgão Responsável</strong>: Ministério da Saúde</p><p><strong>Página Oficial</strong>: <a href=\"https://www.gov.br/saude/pt-br/\" rel=\"noopener noreferrer\" target=\"_blank\">https://www.gov.br/saude/pt-br/</a></p><p>Foto: Divulgação/Ministério da Saúde</p> | \n", + "
Objetivo: Posicionar o turismo como vetor de desenvolvimento sustentável e aumentar a competitividade dos destinos e produtos turísticos brasileiros, democratizando o acesso à atividade turística aos cidadãos brasileiros.
Órgão Responsável: Ministério do Turismo
Página Oficial: https://www.gov.br/turismo/pt-br/
Objetivo: Fortalecer a agricultura familiar em sua diversidade e a agroecologia, promovendo a inclusão socioeconômica, com fomento à produção sustentável e à geração de renda, contribuindo para a promoção da segurança alimentar e nutricional e da vida digna, com redução das desigualdades e mitigação das mudanças climáticas.
Órgão Responsável: Ministério do Desenvolvimento Agrário
Página Oficial: https://www.gov.br/agricultura/pt-br/assuntos/mda/agricultura-familiar-1
Objetivo: Contribuir para o desenvolvimento do setor agropecuário, com sustentabilidade ambiental, econômica e social, por meio do fomento e da intensificação da produção; da geração, compartilhamento e aplicação de conhecimento técnico-científico; e da regulamentação, certificação, auditoria e fiscalização agropecuária.
Órgão Responsável: Ministério da Agricultura e Pecuária
Página Oficial: http://www.gov.br/agricultura/pt-br/
\n", + "3 Atenção Primária à Saúde.Fortalecer a Atenção Primária à Saúde, ampliando a cobertura da Estratégia de Saúde da Família e da Saúde Bucal, com vistas à universalização do acesso, à abrangência do cuidado integral, à promoção da saúde, à prevenção de agravos e à redução de desigualdades de raça/etnia, de gênero, regionais e sociais
Órgão Responsável: Ministério da Saúde
Página Oficial: https://www.gov.br/saude/pt-br/
Foto: Divulgação/Governo Federal
\n", + "4 Atenção Especializada à Saúde.Ampliar o acesso às ações e serviços da Atenção Especializada à Saúde, conforme as necessidades de saúde da população, reduzindo as desigualdades de raça/etnia, de gênero, regionais e sociais, e promovendo a integralidade do cuidado
Órgão Responsável: Ministério da Saúde
Página Oficial: https://www.gov.br/saude/pt-br/
Foto: Divulgação/Ministério da Saúde
" + ] + }, + "execution_count": 5, + "metadata": {}, + "output_type": "execute_result" + } + ], + "source": [ + "propostas = pd.read_csv('../data_extraction/propostas.csv')\n", + "propostas.head()" + ] + }, + { + "cell_type": "code", + "execution_count": 6, + "metadata": {}, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "\n", + " | Categoria | \n", + "Texto | \n", + "
---|---|---|
0 | \n", + "Turismo | \n", + "turismo: esse é o destino. objetivo: posicionar o turismo como vetor de desenvolvimento sustentável e aumentar a competitividade dos destinos e produtos turísticos brasileiros, democratizando o acesso à atividade turística aos cidadãos brasileiros. | \n", + "
1 | \n", + "Desenvolvimento Agrário e Agricultura Familiar | \n", + "agricultura familiar e agroecologia. objetivo: fortalecer a agricultura familiar em sua diversidade e a agroecologia, promovendo a inclusão socioeconômica, com fomento à produção sustentável e à geração de renda, contribuindo para a promoção da segurança alimentar e nutricional e da vida digna, com redução das desigualdades e mitigação das mudanças climáticas. | \n", + "
2 | \n", + "Agricultura e Pecuária | \n", + "agropecuária sustentável. objetivo: contribuir para o desenvolvimento do setor agropecuário, com sustentabilidade ambiental, econômica e social, por meio do fomento e da intensificação da produção; da geração, compartilhamento e aplicação de conhecimento técnico-científico; e da regulamentação, certificação, auditoria e fiscalização agropecuária. | \n", + "
3 | \n", + "Saúde | \n", + "atenção primária à saúde. fortalecer a atenção primária à saúde, ampliando a cobertura da estratégia de saúde da família e da saúde bucal, com vistas à universalização do acesso, à abrangência do cuidado integral, à promoção da saúde, à prevenção de agravos e à redução de desigualdades de raça/etnia, de gênero, regionais e sociais | \n", + "
4 | \n", + "Saúde | \n", + "atenção especializada à saúde. ampliar o acesso às ações e serviços da atenção especializada à saúde, conforme as necessidades de saúde da população, reduzindo as desigualdades de raça/etnia, de gênero, regionais e sociais, e promovendo a integralidade do cuidado | \n", + "
\n", + " | Categoria | \n", + "Texto | \n", + "Tokens | \n", + "Topicos | \n", + "
---|---|---|---|---|
0 | \n", + "Turismo | \n", + "turismo: esse é o destino. objetivo: posicionar o turismo como vetor de desenvolvimento sustentável e aumentar a competitividade dos destinos e produtos turísticos brasileiros, democratizando o acesso à atividade turística aos cidadãos brasileiros. | \n", + "[turismo, destino, objetivo, posicionar, turismo, vetor, desenvolvimento, sustentável, aumentar, competitividade, destino, produto, turístico, brasileiro, democratizar, acesso, atividade, turístico, cidadão, brasileiro] | \n", + "2 | \n", + "
1 | \n", + "Desenvolvimento Agrário e Agricultura Familiar | \n", + "agricultura familiar e agroecologia. objetivo: fortalecer a agricultura familiar em sua diversidade e a agroecologia, promovendo a inclusão socioeconômica, com fomento à produção sustentável e à geração de renda, contribuindo para a promoção da segurança alimentar e nutricional e da vida digna, com redução das desigualdades e mitigação das mudanças climáticas. | \n", + "[agricultura, familiar, agroecologia, objetivo, fortalecer, agricultura, familiar, diversidade, agroecologia, promover, inclusão, socioeconômico, fomento, produção, sustentável, geração, renda, contribuir, promoção, segurança, alimentar, nutricional, vida, digna, redução, desigualdade, mitigação, mudança, climático] | \n", + "3 | \n", + "
2 | \n", + "Agricultura e Pecuária | \n", + "agropecuária sustentável. objetivo: contribuir para o desenvolvimento do setor agropecuário, com sustentabilidade ambiental, econômica e social, por meio do fomento e da intensificação da produção; da geração, compartilhamento e aplicação de conhecimento técnico-científico; e da regulamentação, certificação, auditoria e fiscalização agropecuária. | \n", + "[agropecuária, sustentável, objetivo, contribuir, desenvolvimento, setor, agropecuário, sustentabilidade, ambiental, econômico, social, fomento, intensificação, produção, geração, compartilhamento, aplicação, conhecimento, regulamentação, certificação, auditoria, fiscalização, agropecuário] | \n", + "2 | \n", + "
3 | \n", + "Saúde | \n", + "atenção primária à saúde. fortalecer a atenção primária à saúde, ampliando a cobertura da estratégia de saúde da família e da saúde bucal, com vistas à universalização do acesso, à abrangência do cuidado integral, à promoção da saúde, à prevenção de agravos e à redução de desigualdades de raça/etnia, de gênero, regionais e sociais | \n", + "[atenção, primário, saúde, fortalecer, atenção, primário, saúde, ampliar, cobertura, estratégia, saúde, família, saúde, bucal, vista, universalização, acesso, abrangência, cuidado, integral, promoção, saúde, prevenção, agravo, redução, desigualdade, raça, etnia, gênero, regional, social] | \n", + "16 | \n", + "
4 | \n", + "Saúde | \n", + "atenção especializada à saúde. ampliar o acesso às ações e serviços da atenção especializada à saúde, conforme as necessidades de saúde da população, reduzindo as desigualdades de raça/etnia, de gênero, regionais e sociais, e promovendo a integralidade do cuidado | \n", + "[atenção, especializar, saúde, ampliar, acesso, ação, serviço, atenção, especializar, saúde, conforme, necessidade, saúde, população, reduzir, desigualdade, raça, etnia, gênero, regional, social, promover, integralidade, cuidado] | \n", + "16 | \n", + "