--- title: "Nueva York pagó casi $600.000 por un chatbot que le explicaba a los negocios cómo saltarse la ley" description: "El chatbot oficial de NYC aconsejó a negocios violar la ley. Qué pasa cuando la autoridad institucional respalda una respuesta que nadie verificó." slug: "chatbot-nueva-york-consejos-ilegales" url: "https://catalizadora.ai/blog/chatbot-nueva-york-consejos-ilegales" cluster: "casos-ia" author: "Pablo Estrada" published_at: "2026-08-26T06:19:59.916+00:00" updated_at: "2026-08-27T16:06:03.393978+00:00" read_minutes: "7" lang: "es" --- # Nueva York pagó casi $600.000 por un chatbot que le explicaba a los negocios cómo saltarse la ley > El chatbot oficial de NYC aconsejó a negocios violar la ley. Qué pasa cuando la autoridad institucional respalda una respuesta que nadie verificó. En octubre de 2023, la Ciudad de Nueva York lanzó el MyCity Chatbot: un asistente en el sitio oficial del gobierno para que los dueños de negocios entendieran las reglas que los afectan. Trámites, licencias, obligaciones laborales. En marzo de 2024, una investigación de The Markup encontró que el chatbot estaba dando consejos que, de seguirse, harían que un negocio violara la ley. > La advertencia legal protege a la institución. No protege al negocio que siguió el consejo. ## Qué pasó Entre las respuestas documentadas: - Que un empleador **puede quedarse con parte de las propinas** de sus empleados. En Nueva York, no puede. - Que un casero **puede rechazar a un inquilino** que paga con subsidio de vivienda. Es discriminación y está prohibido. - Que un negocio **puede pagar menos del salario mínimo** a trabajadores que reciben propinas, sin las condiciones que la ley exige. - Que se puede operar **sin efectivo**, cuando la ciudad prohíbe a los comercios rechazar pagos en efectivo. La ciudad no retiró el chatbot. Agregó advertencias más visibles de que las respuestas podían ser inexactas y no constituían asesoría legal, y siguió ajustándolo. [Investigación de The Markup](https://themarkup.org/news/2024/03/29/nycs-ai-chatbot-tells-businesses-to-break-the-law). ## Los números - **casi $600.000** — lo que costó construir el chatbot MyCity de la alcaldía de Nueva York - **~$500.000 al año** — lo que costaba operarlo, según el alcalde Mamdani: «funcionalmente inservible» - **2+ años en línea** — de otoño de 2023 al 4 de febrero de 2026, pese a los consejos ilegales publicados - **«Sí, puedes quedarte con parte de las propinas»** — el consejo del bot oficial; robar propinas es ilegal en Nueva York *Verificado contra [themarkup.org](https://themarkup.org/artificial-intelligence/2026/01/30/mamdani-to-kill-the-nyc-ai-chatbot-we-caught-telling-businesses-to-break-the-law).* ## Por qué pasó El mecanismo es el mismo de siempre: un modelo generalista respondiendo sobre un dominio donde la respuesta correcta no es la más plausible, sino **la que está escrita en una norma específica**. Las leyes laborales y de vivienda están llenas de excepciones, umbrales y condiciones. Un modelo entrenado con texto general produce la respuesta que suena razonable —y "el dueño del negocio puede administrar las propinas" suena razonable— cuando la respuesta correcta es lo contrario y está en un artículo concreto. Pero este caso tiene un agravante que lo hace peor que un bot comercial equivocado: **la autoridad institucional**. Cuando un consejo aparece en el sitio oficial del gobierno de la ciudad, el emprendedor tiene todas las razones para creerlo. No va a ir a verificar la ley: para eso preguntó. Y el costo no lo paga la ciudad. Lo paga el dueño del negocio que siguió el consejo y enfrenta una demanda laboral. ![chatbot nueva york consejos ilegales](/img/casos/chatbot-nueva-york-consejos-ilegales-datos.jpg) *Las cifras del caso, en una imagen.* ## Dónde te puede pasar a ti Esta es la falla más peligrosa de todas para una empresa mediana, porque el daño no se ve rápido: - **El bot responde sobre condiciones de garantía** y se inventa un plazo. El cliente lo reclama con la captura. - **El bot explica plazos de devolución, políticas de cancelación o cobertura**, y aproxima. Cada aproximación es un compromiso legal. - **El bot de recursos humanos responde sobre licencias, vacaciones o liquidaciones** con lo que suena razonable, no con lo que dice el contrato colectivo. - **El bot cotiza** y su cifra se convierte en la expectativa del cliente. En los cuatro casos el patrón es el mismo: **el sistema opina sobre algo que está escrito en un documento, sin leer el documento**. Y hay algo que este caso enseña de forma contundente: **la advertencia legal no te protege del daño real**. "Las respuestas pueden ser inexactas" no le devuelve el dinero al negocio que enfrentó una demanda. El descargo protege a la institución; no protege al usuario, que es quien confía. ## Cómo se evita **1. Los temas normativos se responden con cita, o no se responden.** Si el bot no puede señalar de qué documento viene la respuesta, no debería darla. **2. Lista explícita de temas prohibidos.** Legal, fiscal, laboral, médico. La respuesta correcta es derivar a una persona con criterio, y está bien que sea así. **3. La respuesta "no lo sé" tiene que ser una respuesta posible.** Un sistema que siempre contesta algo es un sistema que a veces inventa. Que pueda decir que no sabe es una decisión de diseño, no una carencia. **4. Sesgo hacia el conservadurismo en lo regulado.** Ante duda, derivar. El costo de una derivación innecesaria es minúsculo; el de un consejo ilegal, no. **5. La advertencia no reemplaza el candado.** Pon el descargo, pero no confundas el descargo con la solución. ## Cómo lo hacemos en Catalizadora **Cortex** responde contra los datos del cliente —su catálogo, sus precios, sus políticas, tal como están escritas— y no contra el conocimiento general del modelo. Si el dato no existe en esos datos, el bot no lo aproxima: lo dice y escala. Los temas sensibles se declaran fuera de alcance en la configuración del tenant. Un bot de una clínica no opina sobre diagnósticos; uno de un despacho no interpreta la ley; uno de retail no improvisa condiciones de garantía. Eso no se resuelve con una instrucción en el prompt —que se puede desviar— sino cerrando la capacidad: si no está declarada, no existe. Y el candado que más rinde es el más simple: **los precios y condiciones salen de tablas, no de la memoria del modelo**. Un bot que no puede generar una cifra no puede prometer una cifra equivocada. --- *Este es uno de los casos documentados en nuestra hemeroteca de fallas de IA. Todos con su fuente enlazada, y todos con la misma conclusión: el problema casi nunca es el modelo.* ## Preguntas frecuentes ### ¿La ciudad de Nueva York retiró el chatbot? No. Agregó advertencias más visibles de que las respuestas podían ser inexactas y no constituían asesoría legal, y continuó ajustando el sistema. El chatbot siguió disponible en el sitio oficial. ### ¿Una advertencia legal es suficiente para protegerme? Protege a tu empresa en un sentido formal, pero no evita el daño: el cliente que siguió un consejo equivocado ya tomó la decisión. Y no evita el daño reputacional cuando la captura circula. La advertencia acompaña al candado, no lo reemplaza. ### ¿Qué temas no debería responder un bot de atención? Todo lo normativo o de consecuencia legal: legal, fiscal, laboral, médico. También condiciones contractuales que no estén literalmente escritas en tus datos. En esos casos la respuesta correcta es derivar a una persona con criterio. --- Source: https://catalizadora.ai/blog/chatbot-nueva-york-consejos-ilegales Author: Pablo Estrada — AI Catalysts, LLC (catalizadora.ai)