Intensificação da concorrência de dados e tendências para a democratização dos dados

Os dados são a base e a força motriz para treinar e melhorar os modelos de IA. Sem dados suficientes e de alta qualidade, os modelos de IA não podem melhorar o seu desempenho ou adaptar-se a diferentes cenários. Ao mesmo tempo, os dados são um recurso escasso e valioso. As empresas com acesso a uma grande quantidade de dados novos podem obter vantagens competitivas e poder de negociação. Consequentemente, várias partes procuram e desenvolvem ativamente novas fontes de dados, ao mesmo tempo que protegem os seus próprios dados contra infrações.

No entanto, o atual ecossistema de dados enfrenta alguns problemas e desafios, tais como:

• Monopólio de dados: Grandes empresas de Internet formaram monopólios de dados significativos ao coletar, armazenar, analisar e utilizar dados pessoais dos usuários, o que exclui outros concorrentes e inovadores.
• Privacidade de dados: Os dados pessoais dos usuários são obtidos, utilizados indevidamente, vazados ou vendidos por grandes empresas de Internet sem consentimento, violando os direitos de privacidade e autonomia dos usuários.
• Qualidade dos dados: Devido a motivos como fontes de dados opacas, padrões de dados inconsistentes e processamento inadequado de dados, surgem problemas de qualidade dos dados, como incompletude, inconsistência, ruído ou preconceito.
• Esgotamento de dados: À medida que os modelos de IA se tornam cada vez mais complexos e massivos, são necessários mais dados e de maior qualidade para formação e melhoria. No entanto, as fontes de dados existentes podem não satisfazer esta procura, representando um risco de esgotamento dos dados.

Para resolver estes problemas e desafios, a indústria sugere várias soluções possíveis:

• Síntese de Dados: Usando técnicas como Redes Adversariais Generativas (GANs), gere dados virtuais, mas realistas, para expandir os conjuntos de dados existentes.
• Federações de dados: Utilize tecnologias de criptografia, distribuídas e colaborativas para alcançar compartilhamento e colaboração de dados interinstitucionais, inter-regionais e entre domínios, protegendo ao mesmo tempo a privacidade e a segurança dos dados.
• Mercados de dados: Utilize tecnologias como blockchain, contratos inteligentes e tokens para permitir transações e circulação de dados descentralizadas, transparentes e justas.

Dentre eles, chamou nossa atenção o modelo de construção de um volante de dados por meio da arquitetura distribuída Web3. Web3 refere-se à Internet de próxima geração construída sobre tecnologia blockchain e redes descentralizadas. Web3 permite que os usuários tenham controle e propriedade total de seus dados, ao mesmo tempo que incentiva o compartilhamento e troca de dados por meio de tokens. Dessa forma, os construtores de modelos de IA podem obter dados autorizados dos usuários por meio da plataforma Web3, e os usuários podem receber recompensas correspondentes. Este modelo promove a circulação e a inovação de dados, ao mesmo tempo que protege a privacidade e a segurança dos dados.

Como construir um volante de dados descentralizado para modelos grandes

Para aproveitar a arquitetura distribuída da Web3 para criar um volante descentralizado de big model data, precisamos considerar os seguintes aspectos:

Estabeleça estratégia e objetivos de dados

Antes de começar a recolher e utilizar dados, é necessária uma visão clara, clarificando o que se pretende alcançar através dos dados e como estes se alinham com os objetivos do negócio. Também é necessário identificar as principais partes interessadas, métricas e resultados que orientam o projeto de dados. Por exemplo, numa plataforma de comércio eletrónico de IA construída na infraestrutura Web3, é essencial estabelecer dados com base nas necessidades do utilizador, utilizando dados do lado do consumidor para criar uma base de dados de vetores de procura. Quando o lado da produção faz interface com o banco de dados do consumidor, o pagamento do Token correspondente deve ser feito de acordo com contratos inteligentes.

Colete e armazene dados de múltiplas fontes

Para criar um conjunto de dados abrangente e diversificado, os dados devem ser coletados e armazenados de várias fontes, como web scraping, interações do usuário, sensores, etc. Uma plataforma de nuvem confiável e escalável, como Amazon Web Services, deve ser usada para armazenamento e gerenciamento de dados seguros e eficientes. A recolha de dados deve ser feita através de várias bases de dados vectoriais verticais através de aquisições contratuais.

Transforme e enriqueça dados

Para tornar os dados adequados para fins de aprendizado de máquina, eles devem passar por pré-processamento, limpeza, rotulagem, aprimoramento e organização. Ferramentas de rotulagem e engenharia de dados, como Labelbox ou AtScale, devem ser usadas para automatizar e otimizar esses processos.

Construir e treinar modelos grandes

Utilize dados para criar e treinar modelos de aprendizado de máquina em grande escala que possam fornecer resultados precisos e confiáveis. Modelos básicos como ChatGPT ou PaLM podem ser usados como pontos de partida para a construção de modelos personalizados, ou estruturas como PyTorch ou TensorFlow podem ser empregadas para implementar e treinar modelos.

Implante e gerencie modelos grandes em produção

Para fornecer resultados de modelos a usuários e clientes, os modelos precisam ser implantados e gerenciados em ambientes de produção. Plataformas e ferramentas como MLCommons ou TensorBoard devem ser usadas para garantir o desempenho, segurança e escalabilidade do modelo.

Integre modelos grandes em produtos e serviços

Para agregar valor aos usuários e clientes, grandes modelos devem ser integrados em produtos e serviços que resolvam seus problemas ou atendam às suas necessidades. APIs e bibliotecas como OpenAI Playground ou Hugging Face Transformers podem ser usadas para acessar e utilizar modelos grandes para diversas tarefas.

Colete e analise feedback sobre resultados de modelos grandes de usuários e clientes

Para melhorar grandes modelos baseados no feedback de usuários e clientes, suas classificações, comentários, opiniões, cliques, compras, etc., devem ser coletados e analisados. Ferramentas analíticas e de pesquisa como Google Analytics ou Google Forms podem ser usadas para rastrear e medir seu comportamento e opiniões.

Principais estágios do volante de dados

Com base nos aspectos mencionados, vamos explorar mais detalhadamente como utilizar o volante de dados em aplicativos de modelo grande construídos na infraestrutura unificada da Web3 para valor de dados pessoais e públicos. Este tipo de volante de dados precisa considerar as seguintes etapas importantes:

Aquisição de dados: Os dados são obtidos ponto a ponto por meio de portais de aplicativos de IA e os usuários são incentivados com Tokens. Isto significa que os utilizadores podem obter um retorno partilhando os seus dados, em vez de serem explorados e controlados por grandes empresas como na Web 2.0. Os possíveis métodos de aquisição de dados incluem web scraping, interações do usuário, sensores, etc. Esses dados podem ser verificados, autorizados e recompensados por meio de contratos inteligentes na plataforma Web3, protegendo assim os direitos e a privacidade dos dados dos usuários.

Transformação de dados: Os dados são rotulados vetorialmente e um sistema de quantificação de dados é estabelecido. Os tokens são pagos por links ponto a ponto de dados unitários distribuídos, e os dados são precificados por meio de contratos inteligentes durante a rotulagem. Isso significa que os dados podem ser pré-processados, limpos, rotulados, aprimorados e organizados para atender aos propósitos de aprendizado de máquina. Estes processos podem ser padronizados, coordenados e incentivados através de contratos inteligentes na plataforma Web3, melhorando assim a qualidade e a eficiência dos dados.

Desenvolvimento de modelo: treine grandes modelos verticais com dados de banco de dados vetoriais em domínios segmentados. Isto implica o uso de dados para construir e treinar modelos de aprendizado de máquina em grande escala que forneçam resultados precisos e confiáveis. Esses modelos podem ser desenhados, otimizados e avaliados por meio de contratos inteligentes na plataforma Web3, melhorando seu desempenho e adaptabilidade.

Consumo de modelo e dados: ambos são precificados por meio de contratos inteligentes, e qualquer usuário da API deve pagar por meio de contratos inteligentes pelo uso do modelo e dos dados. Isso significa que modelos e dados podem ser integrados em produtos e serviços, agregando valor aos usuários e clientes, como compreensão de linguagem natural, visão computacional, sistemas de recomendação, etc. Estes produtos e serviços podem ser comercializados, distribuídos e recompensados através de contratos inteligentes na plataforma Web3, permitindo assim a circulação de dados e a inovação.

Feedback de modelo e dados: como coletar e analisar feedback de usuários e clientes sobre resultados e dados do modelo. Isso significa melhorar modelos e dados com base em avaliações, comentários, opiniões, cliques, compras de usuários e clientes, etc. Este feedback pode ser recolhido, analisado e recompensado através de contratos inteligentes na plataforma Web3, conseguindo assim uma otimização contínua de modelos e dados.

Objetivos do volante de dados descentralizados

O objetivo do volante descentralizado de big model data não é apenas treinar grandes modelos, mas também obter inteligência de negócios. Dados atualizados em tempo real são usados não apenas para o treinamento de grandes modelos para alavancar seu valor público, mas também para perceber o valor pessoal dos usuários por meio de sistemas de transmissão de dados ponto a ponto. Pretende colmatar a lacuna entre os dados do consumidor e os dados de produção, estabelecendo um sistema de cadeia industrial que ligue o lado da oferta ao lado da procura, formando uma sociedade empresarial verdadeiramente descentralizada e concretizando a democratização dos dados, a autonomia e a criação de valor.

Para atingir esse objetivo, podemos implementá-lo das seguintes maneiras:

O volante de dados pode melhorar a eficiência e eficácia do treinamento de modelos grandes. Ao utilizar a arquitetura distribuída Web3, os usuários podem ter total controle e propriedade de seus dados, ao mesmo tempo que compartilham e trocam dados por meio de um mecanismo de incentivo de Token. Assim, os construtores de modelos de IA podem adquirir dados autorizados dos usuários por meio da plataforma Web3, e os usuários podem receber recompensas correspondentes. Este modelo pode promover a circulação e a inovação de dados, ao mesmo tempo que protege a privacidade e a segurança dos dados. Esses dados podem ser usados para construir e treinar modelos de aprendizado de máquina em larga escala que fornecem resultados precisos e confiáveis, como compreensão de linguagem natural, visão computacional, sistemas de recomendação, etc.

O volante de dados pode unir dados do consumidor com dados de produção. Ao usar contratos inteligentes para precificação, qualquer usuário da API precisa pagar por meio de contratos inteligentes pelo uso do modelo e dos dados. Isso significa que modelos e dados podem ser integrados a produtos e serviços, agregando valor aos usuários e clientes. Estes produtos e serviços podem ser comercializados, distribuídos e recompensados através de contratos inteligentes na plataforma Web3, permitindo assim a circulação de dados e a inovação. Desta forma, os dados do consumidor podem estabelecer um banco de dados vetorial do consumidor e, quando o lado da produção faz interface com o banco de dados do consumidor, o pagamento do token é necessário de acordo com contratos inteligentes. Este método pode estabelecer um sistema de cadeia industrial que conecta os lados da oferta e da procura, melhorando assim a eficiência e eficácia dos negócios.

O volante dos dados pode formar uma sociedade empresarial verdadeiramente descentralizada. Ao usar um volante de dados de aplicativos de grande modelo construídos na infraestrutura unificada de valor de dados pessoais e públicos da Web3, é possível alcançar colaboração e ganhos mútuos entre usuários, fornecedores e plataformas. As próximas leis de proteção de dados são difíceis de implementar no ambiente Web2.0 e não podem proteger completamente os dados do usuário e o monopólio anti-dados do ponto de vista técnico. Em contraste, no ambiente técnico da estrutura distribuída de big model data flywheel, os usuários podem obter um retorno compartilhando seus dados, em vez de serem explorados e controlados por grandes empresas como na Web 2.0. Os desenvolvedores podem construir e treinar grandes modelos de alto desempenho usando dados autorizados dos usuários e integrá-los a produtos e serviços. As plataformas podem promover a inovação de dados e modelos, fornecendo mecanismos de comércio e circulação seguros, transparentes e justos. Este método pode alcançar a democratização dos dados, autonomia e criação de valor.

Conclusão

Construir um volante descentralizado de big model data por meio da arquitetura distribuída Web3 é uma solução promissora que pode resolver alguns dos problemas e desafios existentes no atual ecossistema de dados e promover a circulação e a inovação de dados. Para atingir esse objetivo, precisamos considerar vários aspectos, desde o estabelecimento de estratégias e objetivos de dados até a coleta e análise de feedback dos usuários, evitando algumas armadilhas comuns. Também precisamos considerar como usar o volante de dados de grandes modelos de aplicativos construídos na infraestrutura unificada de valor de dados pessoais e públicos da Web3, alcançando assim colaboração e benefícios mútuos entre usuários, fornecedores e plataformas. Esperamos que este artigo possa fornecer algumas informações e insights úteis.

Isenção de responsabilidade:

1. Este artigo foi reimpresso de [FlerkenS]. Todos os direitos autorais pertencem ao autor original [大噬元兽]. Se houver objeções a esta reimpressão, entre em contato com a equipe do Gate Learn e eles cuidarão disso imediatamente.
2. Isenção de responsabilidade: As opiniões e pontos de vista expressos neste artigo são exclusivamente do autor e não constituem qualquer conselho de investimento.
3. As traduções do artigo para outros idiomas são feitas pela equipe do Gate Learn. A menos que mencionado, é proibido copiar, distribuir ou plagiar os artigos traduzidos.